DE102011088332B4

DE102011088332B4 - Method for improving object detection in multi-camera systems

Info

Publication number: DE102011088332B4
Application number: DE102011088332.0A
Authority: DE
Inventors: Tobias Ehlgen; Leo Vepa
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2011-12-13
Filing date: 2011-12-13
Publication date: 2021-09-02
Anticipated expiration: 2031-12-14
Also published as: DE102011088332A1; EP2791895A1; WO2013087362A1; CN103999122A; IN2014DN03173A

Abstract

Verfahren zur Wiedergabe von erhabenen Objekten (68), die sich im Bereich von Nahtstellen (52, 54, 56, 58) zusammengefügt aus von mehreren Kameras (28, 32, 36, 40) erfasster Sichtbereiche (30, 34, 38, 42) befinden, mit nachfolgenden Verfahrensschritten:d) Erfassung von Sichtbereichen (30, 34, 38, 42) mit jeweils einer Kamera (28, 32, 36, 40) an einem Fahrzeug (10),e) Zusammenfügen der Sichtbereiche (30, 34, 38, 42) an Nahtstellen (52, 54, 56, 58) zu einer transformierten Vogelperspektiv-Ansicht (24),f) Verschieben mindestens einer Nahtstelle (52, 54, 56, 58) zwischen angrenzenden Sichtbereichen (30, 34, 38, 42) bei Detektion mindestens eines sich im Bereich mindestens einer Nahtstelle (52, 54, 56, 58) befindenden oder sich auf diesen zubewegenden erhabenen Objekts (68), wobeii. das mindestens eine erhabene Objekt (68) durch Bildverarbeitungsalgorithmen detektiert wird,ii. die mindestens eine Nahtstelle (52, 54, 56, 58) innerhalb mindestens eines Überlappungsbereichs (44, 46, 48, 50) von einander überlappenden Sichtbereichen (30, 34, 38, 42) verschoben wird,iii. wobei bei mehreren sich im mindestens einen Überlappungsbereich (44, 46, 48, 50) befindender oder sich auf diesen zu bewegender erhabener Objekte (68), die mindestens eine Nahtstelle (52, 54, 56, 58) derart verschoben wird, dass das relevanteste der erhabenen Objekte (68) detektiert wird, undiv. das relevanteste erhabene Objekt (68) das beweglichste Objekt in der Nähe des Fahrzeugs (10) ist.Method for reproducing raised objects (68) which are assembled in the area of seams (52, 54, 56, 58) from viewing areas (30, 34, 38, 42) captured by several cameras (28, 32, 36, 40) with the following process steps: d) detection of viewing areas (30, 34, 38, 42) each with a camera (28, 32, 36, 40) on a vehicle (10), e) combining the viewing areas (30, 34, 38, 42) at seams (52, 54, 56, 58) to a transformed bird's eye view (24), f) moving at least one seam (52, 54, 56, 58) between adjacent viewing areas (30, 34, 38, 42) upon detection of at least one raised object (68) located in the area of at least one seam (52, 54, 56, 58) or moving towards this, wherein i. the at least one raised object (68) is detected by image processing algorithms, ii. the at least one seam (52, 54, 56, 58) is displaced within at least one overlapping area (44, 46, 48, 50) of overlapping viewing areas (30, 34, 38, 42), iii. with several raised objects (68) located in the at least one overlap area (44, 46, 48, 50) or to be moved on these, the at least one seam (52, 54, 56, 58) is shifted in such a way that the most relevant the raised objects (68) is detected, andiv. the most relevant raised object (68) is the most movable object in the vicinity of the vehicle (10).

Description

Stand der TechnikState of the art

Die Erfindung bezieht sich auf ein Verfahren zur Verbesserung der Objektdetektion bei Multikamerasystemen, insbesondere auf eine automatische Verschiebung von Nahtstellen bei Objektdetektion in Überlappungsbereichen von Bildern eines Multikamerasystems, eine Vorrichtung zur Implementierung des Verfahrens sowie auf ein Computerprogramm zur Ausführung des Verfahrens auf einer Computereinrichtung.The invention relates to a method for improving object detection in multi-camera systems, in particular to an automatic displacement of seams in the case of object detection in overlapping areas of images of a multi-camera system, a device for implementing the method and a computer program for executing the method on a computer device.

DE 10 2009 036 200 A1 offenbart ein Verfahren zur Überwachung der Umgebung eines Fahrzeugs. Die Umgebung und in dieser befindliche Objekte, insbesondere erhabene Objekte, werden mittels Bilderfassungseinheiten in einzelnen Bildern erfasst und aus den einzelnen Bildern wird ein Gesamtbild in der Vogelperspektive erzeugt. Bei der Erzeugung des Gesamtbildes werden Grenzlinien in den Überlappungsbereichen zwischen den einzelnen Bildern definiert. Um in den Überlappungsbereichen der Einzelbilder befindliche Objekte vollständig auf dem Gesamtbild darstellen zu können, wird eine Grenzlinie in Abhängigkeit von der ermittelten Position der Objekte in dem besagten Bild vorgesehen. Diese Grenzlinie ist derart variabel vorgegeben, so dass sie abseits der Objekte verläuft. Es werden Trennlinien zwischen den Einzelbildern festgelegt, wobei die Trennlinie derart ausgebildet ist, dass erhabene Objekte im Überlappungsbereich dargestellt werden können. DE 10 2009 036 200 A1 discloses a method for monitoring the surroundings of a vehicle. The environment and objects located in it, in particular raised objects, are captured in individual images by means of image capture units, and an overall image is generated from the individual images in a bird's eye view. When creating the overall image, boundary lines are defined in the overlapping areas between the individual images. In order to be able to display objects located in the overlapping areas of the individual images completely on the overall image, a boundary line is provided as a function of the determined position of the objects in the said image. This boundary line is variable in such a way that it runs away from the objects. Separating lines are established between the individual images, the separating line being designed in such a way that raised objects can be displayed in the overlapping area.

DE 10 2006 003 538 B3 offenbart ein Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive. Insbesondere werden bewegte Objekte zuverlässig dargestellt. Die Bildaufnahmen werden aus unterschiedlichen Positionen erfasst und weisen einen Überlappungsbereich auf. Die Bildaufnahmen werden in die Vogelperspektive transformiert, was im Rahmen einer Bild-Daten-Verarbeitung erfolgt, und Bildausschnitte der transformierten Bildaufnahmen werden zu einem Gesamtbild aus der Vogelperspektive zusammengefügt. Der Übergang zwischen zwei benachbarten Bildausschnitten erfolgt entlang einer geraden oder kurvigen Grenzlinie, welche asymmetrisch zwischen den Bildausschnitten im Gesamtbild verläuft. DE 10 2006 003 538 B3 discloses a method for combining several image recordings to form an overall image in a bird's eye view. In particular, moving objects are displayed reliably. The image recordings are captured from different positions and have an overlap area. The image recordings are transformed into the bird's eye view, which takes place within the framework of image data processing, and image sections of the transformed image recordings are combined to form an overall image from the bird's eye view. The transition between two adjacent image sections takes place along a straight or curved border line, which runs asymmetrically between the image sections in the overall image.

KR 2010 0113 959 A offenbart ein Verfahren zur Überwachung der Umgebung eines Fahrzeuges, wobei sich die Bildbereiche mehrerer Kameras teilweise überlagern. In einem Bildverarbeitungssystem werden die Einzelbilder zu einem Gesamtbild zusammengesetzt, in dem das Fahrzeug und seine Umgebung aus der Vogelperspektive dargestellt sind. Um die Umgebung möglichst vollständig abzubilden, sind die Kameras derart angeordnet und ausgerichtet, dass sich deren jeweils abgebildete Bereiche teilweise überlagern. Demnach setzt sich das Gesamtbild in dem gesamten abgebildeten Überlagerungsbereich aus Teilbereichen der Einzelbilder der beiden Kameras zusammen. Abwechselnd ist jeweils ein Teilbereich des Einzelbildes der ersten Kamera zu einem Teilbereich des Einzelbildes der zweiten Kamera angeordnet. KR 2010 0113 959 A discloses a method for monitoring the surroundings of a vehicle, the image areas of several cameras partially overlapping one another. In an image processing system, the individual images are combined to form an overall image in which the vehicle and its surroundings are shown from a bird's eye view. In order to map the surroundings as completely as possible, the cameras are arranged and aligned in such a way that their respective mapped areas partially overlap. Accordingly, the overall image in the entire imaged overlay area is composed of partial areas of the individual images from the two cameras. A sub-area of the individual image from the first camera is alternately arranged in relation to a sub-area of the individual image from the second camera.

DE 10 2008 029 181 A1 offenbart eine Vorrichtung, um dem Fahrer die Umgebung zu visualisieren und Hindernisse in der Fahrzeugumgebung darzustellen. Wenn ein Hindernis von einem anderen Detektionselement als der Kamera erfasst wird, ändert die Bildverarbeitungseinheit die Richtung und die Steigung der virtuellen Ansicht abhängig vom Hindernis. DE 10 2008 029 181 A1 discloses a device to visualize the environment for the driver and to show obstacles in the vehicle environment. When an obstacle is detected by a detection element other than the camera, the image processing unit changes the direction and the slope of the virtual view depending on the obstacle.

Weiteren Stand der Technik, aus dem zumindest Teile des Anspruches 1 bekannt sind, stellt die JP 2007-104 373 A dar.Further prior art, from which at least parts of claim 1 are known, is the JP 2007-104 373 A represent.

Heute bei vielen Fahrzeugen eingebaute Multikamerasysteme, beispielsweise eine Frontkamera, mindestens eine Seitenkamera im Außenspiegel sowie eine Heckkamera umfassend, berechnen aus Bildern eine Ansicht von oben auf das Fahrzeug aus der Vogelperspektive und geben die Fahrzeugumgebung wieder (Bird's Eye View, Top View oder Area View). Dadurch wird dem Fahrer ermöglicht, durch einen einzigen Blick auf eine Anzeigeeinheit, beispielsweise ein Display in einer Mittelkonsole, die gesamte nähere Fahrzeugumgebung zu sehen. Somit kann der Fahrer aufgrund der Vogelperspektive auch tote Winkel überblicken.Multi-camera systems built into many vehicles today, for example a front camera, at least one side camera in the exterior mirror and a rear camera, use images to calculate a top view of the vehicle from a bird's eye view and reproduce the vehicle's surroundings (Bird's Eye View, Top View or Area View) . This enables the driver to see the entire area around the vehicle at a single glance at a display unit, for example a display in a center console. The driver can therefore also see blind spots due to the bird's eye view.

Um ein möglichst vollständiges Bild der Fahrzeugumgebung zu erhalten, sind die Kameras an unterschiedlichen Positionen montiert. Die Frontkamera befindet sich meistens im Frontend oder im Bereich der Windschutzscheibe, die Heckkamera entweder oberhalb der Heckscheibe oder in Höhe der Kofferraumklappe, während sich Seitenkameras meistens mit einer vertikal auf die Fahrbahn gerichteten Orientierung in den Außenspiegeln auf Fahrer- und Beifahrerseite des Fahrzeugs befinden. Dabei haben einige dieser Kameras einen gemeinsamen Sichtbereich, der im Folgenden als Überlappungsbereich bezeichnet wird. In gängigen Systemen werden die Bilder, welche diese Kameras liefern, durch eine perspektivische Transformation (auch Homographie genannt) auf eine Ebene abgebildet. Um die auf die Ebene transformierten Bilder zu einem gemeinsamen Bild zusammenzufügen, werden die Bilder „zusammengenäht“, was in der Fachsprache auch als „Stitching“ bezeichnet wird. In den Überlappungsbereichen einzelner nebeneinander liegender Bilder liegen Bilddaten vor, die von mehreren Kameras aufgenommen wurden. Derartige Überlappungsbereiche zweier nebeneinander liegender Bilder bzw. deren Bilddaten definieren. Nahtstellen (Stitching Stellen). Hierbei wird heutzutage jedem Kamerabild ein Bildbereich innerhalb der Vogelperspektive zugewiesen, d.h. einer Darstellung der Fahrzeugumgebung und des Fahrzeugs von oben her. Bei gängigen Systemen wird eine festimplementierte und nicht änderbare Nahtstelle (Stitching Stelle) innerhalb des Überlappungsbereichs der Bilder definiert. Da die Nahtstelle in der Regel im Bezug auf die Ebene optimiert ist, entsteht für erhabene Objekte nahe der Nahtstelle ein blinder Keil, in dem diese erhabenen Objekte nicht mehr bzw. kaum noch zu erkennen sind. Die Bilder, die von den einzelnen im Fahrzeug verbauten Kameras aufgenommen werden, können nicht entlang der Kameragrundlinien zusammengenäht werden, da die üblicherweise vorgesehenen Einbaupositionen der Kameras am Fahrzeug dieses nicht zulassen.In order to obtain the most complete picture possible of the vehicle environment, the cameras are mounted in different positions. The front camera is usually located in the front end or in the area of the windshield, the rear camera either above the rear window or at the height of the trunk lid, while side cameras are usually located in the exterior mirrors on the driver and passenger side of the vehicle with a vertical orientation towards the road. Some of these cameras have a common field of vision, which is referred to below as the overlap area. In current systems, the images that these cameras deliver are mapped onto a plane by means of a perspective transformation (also called homography). In order to combine the images transformed onto the layer into a common image, the images are "sewn together", which is also known as "stitching" in technical terms. In the overlapping areas of individual images lying next to one another, image data are available that were recorded by several cameras. Such areas of overlap define two adjacent images or their image data. Seams (stitching points). Nowadays, each camera image is assigned an image area within the bird's eye view, ie a representation of the vehicle surroundings and the vehicle from above. In current systems, a permanently implemented and unchangeable seam (stitching point) is defined within the overlapping area of the images. Since the seam is usually optimized in relation to the plane, a blind wedge is created for raised objects near the seam, in which these raised objects can no longer or can hardly be recognized. The images that are recorded by the individual cameras installed in the vehicle cannot be sewn together along the basic camera lines, since the installation positions of the cameras on the vehicle that are usually provided do not allow this.

Darstellung der ErfindungPresentation of the invention

Erfindungsgemäß wird vorgeschlagen, die einzelnen sich zwischen den Kameras ergebenden Überlappungsbereiche, in denen sich auch die Zusammenfügungsstellen (Stitching Stellen) der Einzelbilder befinden, so zu modifizieren, dass aufgrund des Vorhandenseins eines erhabenen Objektes, die Zusammenfügungsstelle (Stitching Stelle) innerhalb der Überlappungsbereichs verschoben wird, derart, dass das mindestens eine detektierte erhabene Objekt immer sichtbar bleibt. Dem erfindungsgemäß vorgeschlagenen Verfahren folgend, ist sichergestellt, dass bei Detektion eines erhabenen Objektes innerhalb eines Überlappungsbereiches oder bei Detektion eines erhabenen Objektes in der Nähe einer Zusammenfügungsstelle (Stitching Stelle) die Visualisierung des mindestens einen detektierten erhabenen Objektes in diesem Bereich Priorität vor der Ausbildung korrekt verlaufender Überlappungsbereiche genießt. Durch das erfindungsgemäß vorgeschlagene Verfahren ist nunmehr der signifikante Nachteil bei aus dem Stand der Technik bekannten Verfahren ausgeschlossen, dass in Überlappungsbereichen oder in deren Nähe empfindliche erhabene Objekte einfach verschluckt werden und für den Fahrer trotz ihres Vorhandenseins nicht visualisierbar sind.According to the invention, it is proposed that the individual overlap areas resulting between the cameras, in which the stitching locations of the individual images are also located, be modified so that the stitching location is shifted within the overlapping area due to the presence of a raised object , such that the at least one detected raised object always remains visible. Following the method proposed according to the invention, it is ensured that when a raised object is detected within an overlapping area or when a raised object is detected in the vicinity of a stitching point, the visualization of the at least one raised object detected in this area has priority over the formation Overlap areas enjoys. The method proposed according to the invention now eliminates the significant disadvantage of methods known from the prior art that sensitive raised objects are simply swallowed in overlapping areas or in their vicinity and cannot be visualized by the driver despite their presence.

Die Detektion des mindestens einen erhabenen Objekts, sei es im Überlappungsbereich zweier Einzelbilder, sei es in der Nähe einer Zusammenfügungsstelle (Stitching Stelle) kann durch Sensoriken, wie z.B. Ultraschall, Laserscanner, Radar oder Lidar-Applikationen und dergleichen heutzutage zuverlässig entdeckt werden.The detection of the at least one raised object, be it in the overlap area of two individual images, be it in the vicinity of a joining point (stitching point) can nowadays be reliably detected by sensors such as ultrasound, laser scanners, radar or lidar applications and the like.

Für den Fall, dass sich mehrere erhabene Objekte innerhalb des Überlappungsbereiches zweier Einzelbilder bzw. in der Nähe einer Zusammenfügungsstelle (Stitching Stelle) von Einzelbildern befinden, wird die Zusammenfügungsstelle (Stitching Stelle) so verschoben, dass das relevanteste Objekt sich nicht innerhalb eines nicht darstellbaren Bereichs befindet, sondern sichergestellt ist, dass die Zusammenfügungsstelle (Stitching Stelle) bei Detektion mindestens eines erhabenen Objektes dieses mindestens eine erhabene Objekt einschließt, d.h. dieses im Visualisierungsbereich liegt. Im vorstehenden Zusammenhang ist unter dem Ausdruck „Relevantestes Objekt“ jenes mindestens eine erhabene Objekt zu verstehen, welches innerhalb des Überlappungsbereiches oder welches sich im Bereich einer Zusammenfügungsstelle (Stitching Stelle) am nächsten zum Fahrzeug befindet und/oder mindestens ein erhabenes Objekt, was sich mit der höchsten Geschwindigkeit bewegt.In the event that several raised objects are located within the overlap area of two individual images or in the vicinity of a joining point (stitching point) of individual images, the joining point (stitching point) is shifted so that the most relevant object is not within a non-displayable area is located, but it is ensured that the joining point (stitching point) when detecting at least one raised object includes this at least one raised object, ie this is in the visualization area. In the above context, the expression "most relevant object" is to be understood as that at least one raised object that is located within the overlap area or that is closest to the vehicle in the area of a stitching point and / or at least one raised object that is located with moves at the highest speed.

Vorteile der ErfindungAdvantages of the invention

Durch das erfindungsgemäß vorgeschlagene Verfahren wird sichergestellt, dass detektierte erhabene Objekte, die in den besagten Bereichen, d.h. entweder im Überlappungsbereich zweier Einzelbilder bzw. die sich in der Nähe einer Zusammenfügungsstelle (Stitching Stelle) befinden, nicht in einem blinden Bereich verschwinden. Dadurch kann einerseits eine Überwindung der Nachteile der aus dem Stand dem Technik bekannten Lösungen erreicht werden, des Weiteren wird dem Fahrer eines derart ausgerüsteten Fahrzeugs eine erheblich verbesserte Rundumsicht geboten, in der alle Objekte ständig sichtbar sind und bleiben. Dies führt nicht zuletzt zu einem erheblichen Zugewinn an Sicherheit.The method proposed according to the invention ensures that detected raised objects that are in the said areas, i.e. either in the overlapping area of two individual images or that are in the vicinity of a joining point (stitching point), do not disappear in a blind area. In this way, on the one hand, the disadvantages of the solutions known from the prior art can be overcome; furthermore, the driver of a vehicle equipped in this way is offered a considerably improved all-round view in which all objects are and remain constantly visible. Last but not least, this leads to a considerable gain in security.

Durch die erfindungsgemäß vorgeschlagene Lösung besteht des Weiteren die Möglichkeit, das detektierte Objekt bei der Darstellung auf einem Display innerhalb des Fahrzeugs einzufärben, um die Aufmerksamkeit des Fahrers zu erregen. Ferner ist sichergestellt, dass der Fahrer des Fahrzeugs das Objekt jederzeit sieht, da dieses nicht innerhalb eines Nahtstellenbereiches verschwindet, insbesondere nicht in einem Übergangsbereich zweier benachbarter Sichtbereiche der Kameras. Des Weiteren besteht durch die erfindungsgemäß vorgeschlagene Lösung die Möglichkeit, erhabene Objekte wesentlich natürlicher darzustellen, was einen deutlichen Vorteil hinsichtlich der Wahrnehmung durch den Fahrer ergibt.The solution proposed according to the invention also provides the option of coloring the detected object when it is shown on a display inside the vehicle in order to attract the driver's attention. Furthermore, it is ensured that the driver of the vehicle sees the object at all times, since it does not disappear within a seam area, in particular not in a transition area between two adjacent viewing areas of the cameras. Furthermore, the solution proposed according to the invention provides the possibility of displaying raised objects in a much more natural way, which results in a clear advantage in terms of perception by the driver.

FigurenlisteFigure list

Anhand der Zeichnung wird die Erfindung nachstehend eingehender beschrieben.The invention is described in more detail below with reference to the drawing.

Es zeigt:

1 Einzelbilder, die von im Fahrzeug montierten Kameras aufgenommen werden,
2 ein aus Einzelbildern berechnetes Bild des Fahrzeugs aus der Vogelperspektive,
3 die Sichtbereiche an verschiedenen Positionen im Fahrzeug angeordneter Kameras sowie die sich aus den Einzelsichtbereichen der Kameras ergebenden Überlappungsbereiche,
4 fest definierte Zusammenfügungsstellen (Stitching Stellen) für ein Bild auf das Fahrzeug aus der Vogelperspektive,
5 eine sich vor einem Fahrzeug (hier dargestellt als Sattelschlepper) befindliche Person,
6 eine sich im Bereich einer Zusammenfügungsstelle (Stitching Stelle) befindliche Person, in diesem Fall mittig vor dem Fahrzeug und damit nicht mehr eindeutig sichtbar,
7 einen sich ergebenden blinden Keil entlang der in 6 angedeuteten Zusammenfügungsstelle (Stitching Stelle),
8 ein detektiertes, sich einer Zusammenfügungsstelle (Stitching Stelle) näherndes erhabenes Objekt und
9 eine Verschiebung der Zusammenfügungsstelle (Stitching Stelle) innerhalb des Überlappungsbereiches zur Sichtbarmachung des detektierten, mindestens einen erhabenen Objektes für den Fahrer des Fahrzeugs.

It shows:

1 Single images that are recorded by cameras mounted in the vehicle,
2 a bird's eye view of the vehicle calculated from individual images,
3 the viewing areas of cameras arranged at different positions in the vehicle as well as the overlapping areas resulting from the individual viewing areas of the cameras,
4th firmly defined assembly points (stitching points) for an image of the vehicle from a bird's eye view,
5 a person in front of a vehicle (shown here as a semi-trailer),
6th a person in the area of a stitching point, in this case in the middle in front of the vehicle and thus no longer clearly visible,
7th a resulting blind wedge along the in 6th indicated joining point (stitching point),
8th a detected raised object approaching a stitching point and
9 a shift of the joining point (stitching point) within the overlap area to make the detected, at least one raised object visible to the driver of the vehicle.

AusführungsvariantenDesign variants

Der Darstellung gemäß 1 ist ein Fahrzeug zu entnehmen, welches vier einzelne Kameras aufweist. Hierzu ist anzumerken, dass das Fahrzeug auch mehr oder weniger Kameras aufweisen kann, solange diese mindestens einen gemeinsamen Überlappungsbereich haben.According to the representation 1 a vehicle can be seen that has four individual cameras. It should be noted here that the vehicle can also have more or fewer cameras as long as they have at least one common overlap area.

Gemäß der Darstellung in 1 ist ein Fahrzeug 10 mit einem 4-Kamera-System 12 ausgerüstet. Das 4-Kamera-System 12 umfasst eine Kamera, welche ein Bild eines Frontbildbereichs 14 aufnimmt, des Weiteren eine Kamera, die einen Heckbildbereich 16 aufnimmt. Der Frontbildbereich 14 und der Heckbildbereich 16 des Fahrzeugs 10 sind in Bezug auf eine Fahrtrichtung 18 identifiziert. Des Weiteren umfasst das 4-Kamera-System 12 des Fahrzeugs 10 eine Seitenkamera, welche einen linken Bildbereich 20 aufnimmt sowie eine weitere Seitenkamera, die beispielsweise in einem Außenspiegel des Fahrzeugs 10 montiert ist, die einen rechten Bildbereich 22 neben dem Fahrzeug 10 aufnimmt.As shown in 1 is a vehicle 10 with a 4 camera system 12th equipped. The 4-camera system 12th includes a camera taking an image of a front image area 14th records, furthermore a camera that has a rear image area 16 records. The front image area 14th and the rear image area 16 of the vehicle 10 are in relation to a direction of travel 18th identified. It also includes the 4-camera system 12th of the vehicle 10 a side camera, which has a left image area 20th records as well as another side camera, for example in an exterior mirror of the vehicle 10 is mounted, which is a right image area 22nd next to the vehicle 10 records.

Der Darstellung gemäß 2 ist zu entnehmen, dass die gemäß 1 aufgenommenen Frontbildbereiche, Heckbildbereiche und linke sowie rechte Bildbereiche 14, 16 20 und 22 zu einer Vogelperspektiv-Ansicht 24 transformiert werden. Die sich aus der Vogelperspektiv-Ansicht 24 ergebende Perspektive von oberhalb des Fahrzeugs 10 ist in 2 dargestellt.According to the representation 2 it can be seen that according to 1 recorded front image areas, rear image areas and left and right image areas 14th , 16 20th and 22nd for a bird's eye view 24 be transformed. Which can be seen from the bird's eye view 24 resulting perspective from above the vehicle 10 is in 2 shown.

Der Darstellung gemäß 3 ist zu entnehmen, dass das Fahrzeug 10 eine Frontkamera 28 umfasst. Die Frontkamera 28 des Fahrzeugs 10 nimmt einen Sichtbereich 30 auf, der sich im Wesentlichen vor dem Fahrzeug 10 befindet. Darüber hinaus weist das Fahrzeug 10 eine Heckkamera 32 auf, deren Sichtbereich 34 sich im Wesentlichen hinter dem Fahrzeug 10 erstreckt. Darüber hinaus umfasst das Fahrzeug 10 eine rechte Seitenkamera 36, deren Sichtbereich 38 sich auf der rechten Seite des Fahrzeugs 10 befindet. Des Weiteren umfasst das Fahrzeug 10 eine linke Seitenkamera 40, deren Sichtbereich mit Bezugszeichen 42 identifiziert ist und der sich im Wesentlichen auf der linken Seite des Fahrzeugs 10 befindet.According to the representation 3 it can be seen that the vehicle 10 a front camera 28 includes. The front camera 28 of the vehicle 10 occupies a viewing area 30th on, which is essentially in front of the vehicle 10 is located. In addition, the vehicle has 10 a rear view camera 32 on whose field of view 34 is essentially behind the vehicle 10 extends. It also includes the vehicle 10 a right side camera 36 , their field of view 38 on the right side of the vehicle 10 is located. The vehicle also includes 10 a left side camera 40 , their field of view with reference symbols 42 is identified and is essentially on the left side of the vehicle 10 is located.

Die beiden Seitenkameras 36 bzw. 40 können beispielsweise in den Außenspiegeln des Fahrzeugs 10 angeordnet sein.The two side cameras 36 respectively. 40 can for example in the exterior mirrors of the vehicle 10 be arranged.

Wie aus der Darstellung gemäß 3 hervorgeht, ergeben sich aufgrund der Überlappung der einzelnen Sichtbereiche 30, 34, 38 und 42 miteinander, jeweils Überlappungsbereiche 44, 46, 48 und 50.As shown in the illustration 3 emerges, result from the overlap of the individual viewing areas 30th , 34 , 38 and 42 with each other, in each case overlapping areas 44 , 46 , 48 and 50 .

Es ergibt sich ein erster Überlappungsbereich 44, resultierend aus einer Überlappung des Sichtbereiches 30 der Frontkamera 28 mit dem vorderen Teil des Sichtbereiches 38 der rechten Seitenkamer 36. Analog dazu stellt sich ein zweiter Überlappungsbereich 46 ein, der sich aus der Überlappung des Sichtbereichs 30 der Frontkamera 28 mit dem Sichtbereich 42 der linken Seitenkamera 40 des Fahrzeugs 10 ergibt. Ferner kommt es zur Bildung eines dritten Überlappungsbereichs 48, der sich aus der Überlappung des Sichtbereichs 42 der linken Seitenkamera 40 des Fahrzeugs mit dem Frontsichtbereich 30 der Frontkamera 28 ergibt. Ein vierter Überlappungsbereich 50 wird dadurch gebildet, dass sich der hintere Teil des Sichtbereichs 42 der linken Seitenkamera 40 mit dem Sichtbereich 34 der Heckkamera 32 überlappt.A first overlap area results 44 , resulting from an overlap of the field of view 30th the front camera 28 with the front part of the field of vision 38 the right side camera 36 . Similarly, there is a second overlap area 46 one resulting from the overlap of the field of view 30th the front camera 28 with the field of vision 42 the left side camera 40 of the vehicle 10 results. Furthermore, a third overlap area is formed 48 resulting from the overlap of the field of view 42 the left side camera 40 of the vehicle with the front view area 30th the front camera 28 results. A fourth area of overlap 50 is formed in that the rear part of the field of vision 42 the left side camera 40 with the field of vision 34 the rear camera 32 overlaps.

Aufgrund dieser Überlappungsbereiche 44, 46, 48 und 50 besteht das Erfordernis, in einer Bird's-Eye-Perspektive auf das Fahrzeug 10 einzelne, wie im Zusammenhang mit 4 noch näher beschrieben werden wird, Nahtstellen der Einzelbilder zum Zusammenfügen der Einzelbilder zu schaffen.Because of these areas of overlap 44 , 46 , 48 and 50 There is a need to have a bird's eye perspective of the vehicle 10 individual, as related to 4th will be described in more detail to create seams of the individual images for joining the individual images.

4 sind die einzelnen Zusammenfügungsstellen (Stitching Stellen) zu entnehmen, entlang derer bei einer Draufsicht auf das Fahrzeug 10 die Einzelbilder zusammengefügt werden. Aus der Lage der Nahtstellen 52, 54, 56, 58, welche eine erste, eine zweite, eine dritte und eine vierte Nahtstelle definieren, ergibt sich, dass die Nahtstellen 52, 54, 56, 58 bei einem Vergleich mit 3, den einzelnen Überlappungsbereichen 44, 46, 48, 50 entsprechen. Somit erfolgt gemäß 4 eine Modifikation des Sichtbereiches 30 der Frontkamera 28 sowie des ersten Überlappungsbereichs 44 sowie des zweiten Überlappungsbereiches 46 in Gestalt der ersten Nahtstelle 52 auf der rechten Seite des Fahrzeugs 10 gesehen in Fahrtrichtung sowie der zweiten Nahtstelle 54 auf der linken Seite des Fahrzeugs 10 gesehen in Fahrtrichtung. 4th the individual stitching points can be found along which, when looking at the vehicle from above 10 the individual images are merged. From the position of the seams 52 , 54 , 56 , 58 which a first, a Define a second, a third and a fourth seam, the result is that the seams 52 , 54 , 56 , 58 when compared with 3 , the individual overlap areas 44 , 46 , 48 , 50 correspond. Thus takes place according to 4th a modification of the field of vision 30th the front camera 28 as well as the first overlap area 44 as well as the second overlap area 46 in the form of the first seam 52 on the right side of the vehicle 10 seen in the direction of travel and the second seam 54 on the left side of the vehicle 10 seen in the direction of travel.

Ein Vergleich zwischen den Darstellungen gemäß 3 und 4 zeigt, dass sich der Sichtbereich 30 der Frontkamera 28 zum ersten modifizierten Sichtbereich 60 transformiert wird, der im Vergleich zum Sichtbereich 30 der Frontkamera 28 ein trapezförmiges Aussehen aufweist. Gleiches ergibt sich aus der Transformation des zweiten Überlappungsbereiches 46 und des dritten Überlappungsbereichs 48 (vgl. Darstellung gemäß 3), die zu einem zweiten modifizierten Sichtbereich 62 auf der linken Seite des Fahrzeugs 10 werden. Der zweite modifizierte Sichtbereich 62 ist durch die zweite Nahtstelle 54 und durch die dritte Nahtstelle 56 begrenzt. Ein sich hinter dem Fahrzeug 10 befindender dritter modifizierter Sichtbereich 64 wird durch die dritte Nahtstelle 56 und die vierte Nahtstelle 58 begrenzt, die zu dem dritten modifizierten Sichtbereich 64 auf der Rückseite des Fahrzeugs 10 führen. Schließlich entsteht ein vierter modifizierter Sichtbereich 66 auf der rechten Seite des Fahrzeugs 10, gemäß der Darstellung in 4, der durch die vierte Nahtstelle 58 und die erste Nahtstelle 52 begrenzt ist. Dabei entspricht die erste Nahtstelle 52 dem ersten Überlappungsbereich 44 an der rechten vorderen Seite des Fahrzeugs 10 und die vierte Nahtstelle 58 dem vierten Überlappungsbereich 50 an der rechten hinteren Seite des Fahrzeugs 10 - gesehen in Fahrtrichtung.A comparison between the representations according to 3 and 4th shows that the field of vision 30th the front camera 28 to the first modified viewing area 60 is transformed compared to the field of view 30th the front camera 28 has a trapezoidal appearance. The same results from the transformation of the second overlap area 46 and the third overlap area 48 (see illustration according to 3 ) leading to a second modified field of view 62 on the left side of the vehicle 10 will. The second modified viewing area 62 is through the second seam 54 and through the third seam 56 limited. One behind the vehicle 10 located third modified field of view 64 is through the third seam 56 and the fourth seam 58 limited to the third modified viewing area 64 on the back of the vehicle 10 to lead. Finally, a fourth modified viewing area is created 66 on the right side of the vehicle 10 , as shown in 4th through the fourth seam 58 and the first seam 52 is limited. The first seam corresponds to this 52 the first overlap area 44 on the right front side of the vehicle 10 and the fourth seam 58 the fourth overlap area 50 on the right rear side of the vehicle 10 - seen in the direction of travel.

Der Figurensequenz der 5, 6 und 7 sind die Darstellungsverhältnisse vor einem Fahrzeug - hier ein Sattelschlepper - bei Ausbildung eines blinden Keils an der Fahrzeugvorderseite zu entnehmen.The figure sequence of the 5 , 6th and 7th the representation conditions in front of a vehicle - here a semi-trailer truck - can be seen with the formation of a blind wedge on the front of the vehicle.

5 zeigt, dass sich vor einem Fahrzeug 10, hier die Zugmaschine eines Sattelschleppers, dessen Fahrzeugmitte mit Bezugszeichen 70 bezeichnet ist, ein erhabenes Objekt 68 in Gestalt einer Person befindet. Die Verzerrung in vertikale Richtung der ein erhabenes Objekt 68 darstellenden Person resultiert aus der Vertikalverzerrung, die bei der Bildtransformation durchlaufen wird, um zu einer Vogelperspektiv-Darstellung des Fahrzeugs 10 zu gelangen. 5 shows that is in front of a vehicle 10 , here the tractor of a semi-trailer truck, the center of the vehicle with reference number 70 is designated, a sublime object 68 is in the form of a person. The distortion in the vertical direction of a raised object 68 person performing the image results from the vertical distortion that is passed through during the image transformation in order to produce a bird's-eye view of the vehicle 10 to get.

Wie aus 6 ersichtlich, befindet sich das hier als Punkt dargestellte erhabene Objekt 68 an einer zentralen Nahtstelle 72 zwischen den Sichtbereichen an der Frontseite des Fahrzeugs 10. Die zentrale Nahtstelle 72 korrespondiert zur Fahrzeugmitte 70. Die zentrale Nahtstelle 72 (Stitching Stelle) befindet sich direkt vor dem Fahrzeug 10, so dass dort befindliche erhabene Objekte 68 für den Fahrer des Fahrzeugs 10 nicht mehr eindeutig sichtbar sind.How out 6th As can be seen, there is the raised object shown here as a point 68 at a central interface 72 between the viewing areas on the front of the vehicle 10 . The central interface 72 corresponds to the center of the vehicle 70 . The central interface 72 (Stitching point) is located directly in front of the vehicle 10 so that there are raised objects 68 for the driver of the vehicle 10 are no longer clearly visible.

In der Darstellung gemäß 7 ist der für den Fahrer aufgrund der Bildverarbeitung in Bezug auf die zentrale Nahtstelle 72 sich ergebende blinde Keil durch Bezugszeichen 74 bezeichnet. Dieser blinde Keil 74 befindet sich vor der Fahrzeugfront 76 des Fahrzeugs 10, hier ausgebildet als Sattelschlepper. Das mindestens eine erhabene Objekt 68 wird gemäß der Darstellung in 7 in einem schräg verlaufenden Schnitt verzerrt dargestellt. Diese verzerrte Darstellung innerhalb des blinden Keils 74, was in 7 nur unvollkommen dargestellt werden kann - führt zu einer ungünstigen Wiedergabe des erhabenen Objektes 68, sei es als verzerrter Punkt 68 in 6, sei als verzerrt dargestellte Person 68 wie in 5 zu sehen. Der blinde Keil 74, wie in 7 dargestellt, ergibt sich aufgrund des Umstandes, dass bei dem Fahrzeug 10 gemäß der 5, 6 und 7 Kameras in den Außenspiegeln des Fahrzeugs angeordnet sind, die zur zentralen Nahtstelle 72 (Stitching Stelle) einen sich in Richtung der Fahrzeugfront 76 des Fahrzeugs erstreckenden Sichtbereich erfassen, wodurch der unmittelbar vor der Fahrzeugfront 76 liegende Bereich eben jenen blinden Keil 74 bildet. Dies ist in 7 angedeutet.In the representation according to 7th is the one for the driver due to the image processing in relation to the central interface 72 resulting blind wedge by reference numerals 74 designated. That blind wedge 74 is located in front of the vehicle front 76 of the vehicle 10 , trained here as a semi-trailer. The at least one sublime object 68 is shown in 7th shown distorted in a diagonal section. This distorted representation within the blind wedge 74 what in 7th can only be displayed imperfectly - leads to an unfavorable rendering of the raised object 68 , be it as a distorted point 68 in 6th , be depicted as a distorted person 68 as in 5 to see. The blind wedge 74 , as in 7th shown, arises due to the fact that in the vehicle 10 according to the 5 , 6th and 7th Cameras are arranged in the exterior mirrors of the vehicle leading to the central interface 72 (Stitching point) towards the front of the vehicle 76 the vehicle's extended field of vision, which means that it is immediately in front of the front of the vehicle 76 lying area just that blind wedge 74 forms. This is in 7th indicated.

Der Darstellung gemäß 8 ist in Anlehnung an 4 zu entnehmen, dass sich um das Fahrzeug 10 herum die modifizierten Sichtbereiche 60, 62, 64 und 66 befinden. Analog zur Darstellung gemäß 4 ist der erste modifizierte Sichtbereich 60 durch die erste und die zweite Nahtstelle (Stitching Stelle) 52, 54 begrenzt, während der auf der linken Seite des Fahrzeugs liegende zweite modifizierte Sichtbereich 62 durch die zweite Nahtstelle 54 und die dritte Nahtstelle 56 begrenzt ist. Des Weiteren ist der Darstellung gemäß 8 zu entnehmen, dass der dritte modifizierte Sichtbereich 64 von der zweiten Nahtstelle 54 und der dritten Nahtstelle 56 begrenzt ist. Der auf der rechten Seite des Fahrzeugs 10 befindliche vierte modifizierte Sichtbereich 66 ist durch die vierte Nahtstelle 58 und die erste Nahtstelle 52 begrenzt.According to the representation 8th is based on 4th can be seen that around the vehicle 10 around the modified viewing areas 60 , 62 , 64 and 66 are located. Analogous to the representation according to 4th is the first modified viewing area 60 through the first and second seam (stitching point) 52 , 54 limited, while the second modified field of view lying on the left side of the vehicle 62 through the second seam 54 and the third seam 56 is limited. Furthermore, according to the illustration 8th it can be seen that the third modified field of view 64 from the second seam 54 and the third seam 56 is limited. The one on the right side of the vehicle 10 located fourth modified viewing area 66 is through the fourth seam 58 and the first seam 52 limited.

Aus der Draufsicht gemäß 8 ergibt sich, dass sich innerhalb des ersten modifizierten Sichtbereichs 60 vor dem Fahrzeug 10 liegend, ein erhabenes Objekt 68 von in Fahrtrichtung des Fahrzeugs 10 gesehen, der linken Seite, d.h. ausgehend von der zweiten Nahtstelle 54, von links nach rechts vor dem Fahrzeug 10 in Richtung auf die erste Nahtstelle 52 bewegt. Aus der Darstellung gemäß 8 geht des Weiteren hervor, dass hier - in 8 gestrichelt eingezeichnet - um die erste Nahtstelle 52 herum ein kritischer Bereich 78 definiert ist. Das erhabene Objekt 68, welches sich in Bewegungsrichtung 80 von links nach rechts vor dem Fahrzeug 10 bewegt, bewegt sich auf diesen kritischen Bereich 78 der ersten Nahtstelle 52 zu. Mit Bezugszeichen 82 ist ein Öffnungswinkel dieses kritischen Bereichs 78 bezeichnet, der in Darstellung gemäß 8 in der Größenordnung von 10°-20°, so z.B. 15°, liegt.From the top view according to 8th it results that is within the first modified field of view 60 in front of the vehicle 10 lying, a sublime object 68 from in the direction of travel of the vehicle 10 seen, the left side, ie starting from the second seam 54 , from left to right in front of the vehicle 10 towards the first seam 52 emotional. From the representation according to 8th it also emerges that here - in 8th dashed drawn - around the first seam 52 around a critical area 78 is defined. The sublime object 68 , which is in the direction of movement 80 from left to right in front of the vehicle 10 moves, moves to this critical area 78 the first seam 52 to. With reference number 82 is an opening angle of this critical area 78 referred to in the illustration according to 8th in the order of magnitude of 10 ° -20 °, for example 15 °.

Aus der Darstellung gemäß 9 geht hervor, dass sich das mindestens eine erhabene Objekt 68 in Bewegungsrichtung 80 bis an die erste Nahtstelle 52 heran bewegt hat, und dass eine Verschiebung 84 der ersten Nahtstelle 52 in Richtung auf den vierten modifizierten Sichtbereich 66 erfolgt ist. Wie 9 zeigt, sind der erste modifizierte Sichtbereich 60 und der vierte modifizierte Sichtbereich 66 durch die Verschiebung 84 der ersten Nahtstelle 52 betroffen. In der Darstellung des mindestens einen erhabenen Objekts 68 ist der erste modifizierte Sichtbereich 60 vor dem Fahrzeug 10 vergrößert, wohingegen der rechts neben dem Fahrzeug 10 liegende, vierte modifizierte Sichtbereich 66 verkleinert ist. Dies ist der Sichtbarmachung des mindestens einen erhabenen Objekts 68 an der ersten Nahstelle 52, deren ursprüngliche Lage in 9 gestrichelt eingezeichnet ist, geschuldet.From the representation according to 9 it can be seen that there is at least one sublime object 68 in the direction of movement 80 up to the first seam 52 has moved and that a shift 84 the first seam 52 towards the fourth modified field of view 66 is done. As 9 shows are the first modified viewing area 60 and the fourth modified viewing area 66 by the shift 84 the first seam 52 affected. In the representation of the at least one raised object 68 is the first modified viewing area 60 in front of the vehicle 10 enlarged, whereas the one to the right of the vehicle 10 lying, fourth modified viewing area 66 is reduced in size. This is the visualization of the at least one raised object 68 at the first point of proximity 52 whose original location is in 9 is drawn in dashed lines, owed.

Die in 9 dargestellte Verschiebung 84 der ersten Nahtstelle 52 aufgrund der Annäherung des mindestens einen erhabenen Objekts 68 an die erste Nahtstelle 52 kann in analoger Weise auch bei einer dementsprechenden Bewegungsrichtung 80 des mindestens einen erhabenen Objekts 68 zu einer Verschiebung der zweiten Nahtstelle 54 bzw. der dritten Nahtstelle 56 und schließlich der vierten, hinter dem Fahrzeug 10 liegenden Nahtstelle 58 führen.In the 9 shown shift 84 the first seam 52 due to the approach of the at least one raised object 68 at the first seam 52 can in an analogous manner also with a corresponding direction of movement 80 of the at least one raised object 68 to a shift of the second seam 54 or the third seam 56 and finally the fourth, behind the vehicle 10 lying seam 58 to lead.

Bei dem in den 8 und 9 darstellten erhabenen Objekt 68 kann es sich um ein solches handeln, welches sich sehr schnell bewegt oder welches sich in der größten Nähe zum Fahrzeug 10 befindet. Dies ist in vorstehendem Zusammenhang unter einem relevanten Objekt zu verstehen.The one in the 8th and 9 represented sublime object 68 it can be one that moves very quickly or that is very close to the vehicle 10 is located. In the above context, this is to be understood as a relevant object.

Aus der in 8 und 9 dargestellten Vogelperspektive des Fahrzeugs 10 geht hervor, dass im Rahmen der Bildverarbeitung die Modifikation der einzelnen Sichtbereiche 60, 62, 64 und 66 abhängig vom Auftreten des mindestens einen sich in Bewegungsrichtung 80 bewegenden erhabenen Objekts 68 zur jeweiligen Verschiebung der die modifizierten Sichtbereiche 60, 62, 64 und 66 verbindenden Nahtstellen 52, 54, 56, 58 führt.From the in 8th and 9 illustrated bird's eye view of the vehicle 10 it can be seen that the modification of the individual viewing areas in the context of image processing 60 , 62 , 64 and 66 depending on the occurrence of the at least one moving in the direction of movement 80 moving sublime object 68 for the respective shift of the modified viewing areas 60 , 62 , 64 and 66 connecting seams 52 , 54 , 56 , 58 leads.

Die Erfindung betrifft weiterhin ein Computerprogramm, gemäß dem eines der vorstehend beschriebenen Verfahren durchgeführt werden kann, wenn das Computerprogramm auf einer programmierbaren Computereinrichtung ausgeführt wird. Bei dem Computerprogramm kann es sich beispielsweise um ein Modul zur Implementierung eines Fahrassistenzsystems oder eines Subsystems hiervon in einem Fahrzeug handeln, oder um eine Applikation für Fahrassistenzfunktionen, welche auf einem Smartphone ausführbar ist. Das Computerprogramm kann auf einem maschinenlesbaren Speichermedium gespeichert werden, etwa auf einem permanenten oder wiederbeschreibbaren Speichermedium oder in Zuordnung zu einer Computereinrichtung oder auf einer entfernbaren CD-Rom, DVD oder einem USB-Stick. Zusätzlich oder alternativ kann das Computerprogramm auf einer Computereinrichtung, wie etwa auf einem Server zum Herunterladen bereitgestellt werden, zum Beispiel über ein Datennetzwerk, wie etwa das Internet oder einer Kommunikationsverbindung, wie etwa eine Telefonleitung oder eine drahtlose Verbindung.The invention further relates to a computer program according to which one of the methods described above can be carried out when the computer program is executed on a programmable computer device. The computer program can be, for example, a module for implementing a driver assistance system or a subsystem thereof in a vehicle, or an application for driver assistance functions that can be executed on a smartphone. The computer program can be stored on a machine-readable storage medium, for example on a permanent or rewritable storage medium or in association with a computer device or on a removable CD-ROM, DVD or USB stick. Additionally or alternatively, the computer program can be provided on a computer device such as a server for download, for example via a data network such as the Internet or a communication connection such as a telephone line or a wireless connection.

Durch die vorstehend insbesondere anhand der 3 bis 9 beschriebene Lösung kann die bei gängigen Systemen fest implementierte und nicht änderbare Lage der Nahtstellen 52, 54, 56 und 58 verschoben und entsprechend der Darstellungserfordernisse modifiziert werden. Durch die erfindungsgemäß vorgeschlagene Lösung wird in vorteilhafter Weise der blinde Keil 74 vermieden, in dem erhabene Objekte 68 nicht mehr bzw. kaum noch zu erkennen sind. Aufgrund der Modifikation des blinden Keils 74 vor dem Fahrzeug 10 werden dort befindliche erhabene Objekte 68 nicht kurzfristig im blinden Keil 74 - wie in 7 dargestellt - verschwinden, sondern die Nahtstellen 52, 54, 56, 58 werden objektabhängig verschoben. Durch die erfindungsgemäß vorgeschlagene Lösung kann bei einem mit mehreren Kameras ausgerüsteten Fahrzeug erreicht werden, dass im Bereich von Nahtstellen 52, 54, 56 und 58 vorhandene erhabene Objekte 68 in verbesserter realistischerer Darstellung wiedergegeben werden können und es kann in vorteilhafter Weise erreicht werden, dass diese erhabenen Objekte 68 auch stets sichtbar sind, wenngleich sie auch möglicherweise durch Kameras in einem geringeren Auflösungsvermögen detektiert werden. Dem Sicherheitsaspekt, dass die erhabenen Objekte 68 in jedem Fall für den Fahrer stets erkennbar sind, wiegt den Nachteil einer möglicherweise qualitativ geringer wertigen Darstellung mit geringerem Auflösungsvermögen bei weitem auf.By the above in particular based on the 3 until 9 The solution described can be the permanently implemented and unchangeable position of the interfaces in common systems 52 , 54 , 56 and 58 moved and modified according to the display requirements. The solution proposed according to the invention advantageously creates the blind wedge 74 avoided in the sublime objects 68 are no longer or can hardly be recognized. Due to the modification of the blind wedge 74 in front of the vehicle 10 are raised objects located there 68 not in the short term in the blind wedge 74 - as in 7th shown - disappear, but the seams 52 , 54 , 56 , 58 are moved depending on the object. With the solution proposed according to the invention, in the case of a vehicle equipped with several cameras, it is possible to achieve that in the area of seams 52 , 54 , 56 and 58 existing raised objects 68 can be reproduced in an improved, more realistic representation and it can be achieved in an advantageous manner that these raised objects 68 are also always visible, although they may also be detected by cameras with a lower resolution. The security aspect that the sublime objects 68 are always recognizable to the driver in any case, far outweighs the disadvantage of a possibly lower quality display with lower resolution.

Die Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele und die darin hervorgehobenen Aspekte beschränkt. Vielmehr ist innerhalb des durch die anhängigen Ansprüche angegebenen Bereiches eine Vielzahl von Abwandlungen möglich, die im Rahmen fachmännischen Handelns liegen.The invention is not restricted to the exemplary embodiments described here and the aspects emphasized therein. Rather, a large number of modifications are possible within the range specified by the appended claims, which are within the scope of professional action.

Claims

Method for reproducing raised objects (68) which are assembled in the area of seams (52, 54, 56, 58) from viewing areas (30, 34, 38, 42) captured by several cameras (28, 32, 36, 40) with the following procedural steps: d) Detection of viewing areas (30, 34, 38, 42) each with a camera (28, 32, 36, 40) on a vehicle (10), e) joining the viewing areas (30, 34, 38, 42) at seams (52, 54, 56, 58) to form a transformed bird's-eye view (24), f) Moving at least one seam (52, 54, 56, 58) between adjacent viewing areas (30, 34, 38, 42) upon detection of at least one in the area of at least one seam (52, 54, 56, 58) this raised object (68) to be moved, wherein i. the at least one raised object (68) is detected by image processing algorithms, ii. the at least one seam (52, 54, 56, 58) is displaced within at least one overlapping area (44, 46, 48, 50) of overlapping viewing areas (30, 34, 38, 42), iii. with several raised objects (68) located in the at least one overlap area (44, 46, 48, 50) or to be moved on these, the at least one seam (52, 54, 56, 58) is shifted in such a way that the most relevant the raised objects (68) is detected, and iv. the most relevant raised object (68) is the most movable object in the vicinity of the vehicle (10).

Method according to the preceding claim, characterized in that the at least one raised object (68) is detected by ultrasound, laser radar, radar or lidar.

Method according to one of the preceding claims, characterized in that the detected object is colored when it is presented on a display inside the vehicle.

Computer program for implementing the method according to one of the Claims 1 until 3 on a computer programmable device.