DE102021213882A1 - Method for creating an overall environment model of a multi-camera system of a vehicle - Google Patents

Method for creating an overall environment model of a multi-camera system of a vehicle Download PDF

Info

Publication number
DE102021213882A1
DE102021213882A1 DE102021213882.9A DE102021213882A DE102021213882A1 DE 102021213882 A1 DE102021213882 A1 DE 102021213882A1 DE 102021213882 A DE102021213882 A DE 102021213882A DE 102021213882 A1 DE102021213882 A1 DE 102021213882A1
Authority
DE
Germany
Prior art keywords
image detection
detection sensor
vehicle
stationary
environment model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021213882.9A
Other languages
German (de)
Inventor
Gabriela Jager
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102021213882.9A priority Critical patent/DE102021213882A1/en
Publication of DE102021213882A1 publication Critical patent/DE102021213882A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Abstract

Verfahren zum Erstellen eines gesamtheitlichen Umgebungsmodells eines Multikamerasystems eines Fahrzeugs, wobei das Multikamerasystem wenigstens einen mobile Bilderfassungssensor aufweist, wobei Signale des wenigstens einen mobilen Bilderfassungssensors und wenigstens eines ortsfesten Bilderfassungssensors einer Auswerteeinrichtung zugeführt werden, wobei die Signale in der Auswerteeinrichtung verarbeitet und zu einem gesamtheitlichen Umgebungsmodell zusammengeführt werden, dadurch gekennzeichnet, dass ein dem wenigstens einen ortsfesten Bilderfassungssensor zugeordneter Marker durch den wenigstens einen mobilen Bilderfassungssensor erfasst wird, sodass eine Position des wenigstens einen ortsfesten Bilderfassungssensors in Relation zu dem mobilen Bilderfassungssensor determiniert wird, wobei diese Position bei der Erstellung des gesamtheitlichen Umgebungsmodells berücksichtigt wird.Method for creating an overall environment model of a multi-camera system of a vehicle, the multi-camera system having at least one mobile image acquisition sensor, signals from the at least one mobile image acquisition sensor and at least one stationary image acquisition sensor being fed to an evaluation device, the signals being processed in the evaluation apparatus and combined to form an overall environment model characterized in that a marker assigned to the at least one stationary image detection sensor is detected by the at least one mobile image detection sensor, so that a position of the at least one stationary image detection sensor is determined in relation to the mobile image detection sensor, this position being taken into account when creating the overall environment model becomes.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Erstellen eines gesamtheitlichen Umgebungsmodells eines Multikamerasystems, welches bei Fahrzeugen unterschiedlichster Gattung verwendet wird. Neben (Personen-) Kraft- und Nutzfahrzeugen finden entsprechende Multikamerasysteme und das Verfahren zum Erstellen des Umgebungsmodells in Arbeitsmaschinen, also Forst-, Land- und/oder Baumaschinen, Verwendung. Mit anderen Worten eignet sich das Verfahren sowohl für den Einsatz in Anwendungen auf befestigten Wegen/im Straßenverkehr als auch im Offroad-Einsatz oder auf Betriebs- und Hafengeländen.The present invention relates to a method for creating an overall environment model of a multi-camera system, which is used in vehicles of the most varied types. In addition to (passenger) motor and commercial vehicles, corresponding multi-camera systems and the method for creating the environment model are used in working machines, ie forestry, agricultural and/or construction machines. In other words, the method is suitable both for use in applications on paved roads/in road traffic and for off-road use or on company and port sites.

Aus dem Stand der Technik sind verschiedene Verfahren und Vorrichtungen bekannt, um ein Umgebungsmodell mittels eines Multikamerasystems unter Berücksichtigung FZG-interner und FZG-externer Kameras zu erzeugen. DE 10 2009 045 496 A1 zeigt dbzgl. ein Verfahren zur Nutzung von Bildinformationen einer fahrzeugexternen Bildbereitstellungseinrichtung für ein Fahrerinformationssystem und/oder ein Fahrerassistenzsystem eines Fahrzeugs, ein entsprechendes Steuergerät sowie ein entsprechendes Computerprogrammprodukt und ein Bildinformationssystem.Various methods and devices are known from the prior art for generating an environment model using a multi-camera system, taking into account FZG-internal and FZG-external cameras. DE 10 2009 045 496 A1 shows regarding a method for using image information from an image provision device external to the vehicle for a driver information system and/or a driver assistance system of a vehicle, a corresponding control unit and a corresponding computer program product and an image information system.

Aus DE 10 2016 224 906 A1 sind darüber hinaus Bildverarbeitungssysteme für Fahrerassistenzsysteme für Kraftfahrzeuge bekannt. Insbesondere wird eine Bilddatenverarbeitungsvorrichtung und ein Verfahren zur Verarbeitung von Bilddaten von einem Multikamerasystem für ein Kraftfahrzeug beschrieben. Die Datenauswertungseinrichtung ist dazu ausgebildet, anhand der empfangenen internen Bilddaten und anhand der empfangenen externen Bilddaten ein Umgebungsmodell für das Kraftfahrzeug zu ermitteln. In einer Ausführungsform ist vorgesehen, dass die Datenauswertungseinrichtung dazu ausgelegt ist, eine Positionsbestimmung für das Kraftfahrzeug basierend auf den internen Bilddaten und den externen Bilddaten durchzuführen. Dies ermöglicht eine Unabhängigkeit von dem Satellitenempfang zu gewährleisten. So kann auch beispielsweise in einer Tiefgarage eine präzise Positionsbestimmung des Kraftfahrzeugs erfolgen, da Blickwinkel und Bildinformationen, welche außerhalb des Kraftfahrzeugs aufgenommen worden sind, verwendet werden. Dabei kann eine kartenbasierte Lokalisierung erarbeitet werden und das Kraftfahrzeug kann innerhalb einer bereitgestellten Karte lokalisiert werden. Dazu werden externe und interne Bilddaten unter Zuhilfenahme der Karte zu einer Positionsbestimmung ausgewertet. Ferner ist eine Näherungssensoreinrichtung vorgesehen. Diese ist dazu ausgebildet, eine Bilddatenübertragung von externen Bilddaten zu starten, mit anderen Worten die fahrzeugexterne Kamera zur Übertragung von Bilddaten anzuregen, falls das Kraftfahrzeug innerhalb eines vorbestimmten Abstandswertes zu der fahrzeugexternen Kamera detektiert wird.Out of DE 10 2016 224 906 A1 image processing systems for driver assistance systems for motor vehicles are also known. In particular, an image data processing device and a method for processing image data from a multi-camera system for a motor vehicle are described. The data evaluation device is designed to determine an environment model for the motor vehicle based on the received internal image data and based on the received external image data. One embodiment provides that the data evaluation device is designed to determine the position of the motor vehicle based on the internal image data and the external image data. This makes it possible to ensure independence from satellite reception. For example, the position of the motor vehicle can also be determined precisely in an underground car park, since viewing angles and image information recorded outside the motor vehicle are used. A map-based localization can be developed and the motor vehicle can be localized within a map provided. For this purpose, external and internal image data are evaluated with the help of the map to determine a position. Furthermore, a proximity sensor device is provided. This is designed to start image data transmission from external image data, in other words to stimulate the vehicle-external camera to transmit image data if the motor vehicle is detected within a predetermined distance from the vehicle-external camera.

Die Aufgabe der vorliegenden Erfindung ist darin zu sehen, ein verbessertes Verfahren zum Erstellen eines gesamtheitlichen Umgebungsmodells eines Multikamerasystems bereitzustellen. Die Aufgabe wird mit dem erfindungsgemäßen Verfahren gelöst. Ferner sind ein Multikamerasystem, ein Computerprogrammprodukt und ein Fahrzeug mit einem Multikamerasystem umfasst.The object of the present invention is to be seen as providing an improved method for creating an overall environment model of a multi-camera system. The object is achieved with the method according to the invention. Furthermore, a multi-camera system, a computer program product and a vehicle with a multi-camera system are included.

Bei dem erfindungsgemäßen Verfahren zum Erstellen eines gesamtheitlichen Umgebungsmodells eines Multikamerasystems eines Fahrzeugs weist ein Multikamerasystem wenigstens einen mobilen Bilderfassungssensor auf. Dabei handelt es sich beispielsweise um eine Kamera, welche an, auf oder in dem Fahrzeug montiert ist und einen Erfassungsbereich abdeckt, beispielsweise einen Rückraum. Bei sogenannten Bird-View-Systemen bzw. 360°-Kamerasystemen oder Surround-View-Systemen ist in der Regel anstatt nur einer Kamera eine Vielzahl von Bilderfassungssensoren vorgesehen, welche zueinander beabstandet umfänglich an, auf oder in dem Fahrzeug angebracht sind und so ein vollständiges Umgebungsmodell des betreffenden Fahrzeugs bereitstellen. Das so generierte Umgebungsmodell kann beispielsweise auf einer Anzeigevorrichtung dargestellt werden.In the method according to the invention for creating an overall environment model of a multi-camera system of a vehicle, a multi-camera system has at least one mobile image acquisition sensor. This is, for example, a camera that is mounted on, on, or in the vehicle and covers a detection area, for example a rear area. In so-called bird view systems or 360° camera systems or surround view systems, instead of just one camera, a large number of image acquisition sensors are usually provided, which are spaced apart from one another and mounted on, on or in the vehicle and thus a complete Provide environment model of the vehicle in question. The environment model generated in this way can be displayed on a display device, for example.

Signale des wenigstens einen mobilen Bilderfassungssensors werden einer Auswerteeinrichtung zugeführt. Neben den Signalen des wenigstens einen mobilen Bilderfassungssensors werden auch Signale von wenigstens einem ortsfesten Bilderfassungssensor der Auswerteeinrichtung zugeführt. Bei einem ortsfesten Bilderfassungssensor handelt es sich im Gegensatz zu dem mobilen Bilderfassungssensor beispielsweise um eine fest in oder an einer Infrastruktur (Gebäude, Licht-/Ampelmast, etc.) installierte Kamera, welche einen räumlich nicht veränderbaren, also nicht beweglichen Erfassungsbereich abdeckt. Das Zuführen der Signale an die Auswerteeinrichtung kann bei den mobilen Bilderfassungssensoren beispielsweise kabelgebunden erfolgen, während die Signale der ortsfesten Bilderfassungssensoren kabellos über geeignete Mittel zugeführt werden. Hierzu weisen ortsfester Bilderfassungssensor und Auswerteeinrichtung entsprechende Sende-/Empfangsmittel auf, um miteinander zu kommunizieren und Daten auszutauschen. Exemplarisch sind hier WLAN, Bluetooth, NFC, Mobilfunk (3G, 4G, 5G) etc. zu nennen.Signals from the at least one mobile image acquisition sensor are fed to an evaluation device. In addition to the signals from the at least one mobile image acquisition sensor, signals from at least one stationary image acquisition sensor are also fed to the evaluation device. In contrast to the mobile image acquisition sensor, a stationary image acquisition sensor is, for example, a camera installed permanently in or on an infrastructure (building, light/traffic light pole, etc.), which covers a spatially unchangeable, i.e. non-movable, acquisition area. In the case of the mobile image detection sensors, the signals can be supplied to the evaluation device, for example, by cable, while the signals of the stationary image detection sensors are supplied wirelessly via suitable means. For this purpose, the stationary image detection sensor and the evaluation device have corresponding transmission/reception means in order to communicate with one another and exchange data. WLAN, Bluetooth, NFC, mobile communications (3G, 4G, 5G) etc. are examples of this.

Die Signale des wenigstens einen ortsfesten und wenigstens einen mobilen Bilderfassungssensors werden in der Auswerteeinrichtung verarbeitet und zu einem gesamtheitlichen Umgebungsmodell zusammengeführt. Hierunter ist zu verstehen, dass die Signale des ortsfesten und des mobilen Sensors miteinander kombiniert werden, insbesondere da die Erfassungsbereiche des mobilen und des ortsfesten Bilderfassungssensor nicht kongruent zueinander sind. Durch das Zusammenführen der Signale und dem Erstellen des gesamtheitlichen Umgebungsmodells kann somit ein größerer Erfassungsbereich abgebildet werden, insbesondere können auch Bereiche in dem Fahrzeug bzw. auf der Anzeigevorrichtung dargestellt werden, welche durch die mobilen Bilderfassungssensoren, beispielsweise aufgrund von räumlichen Hindernissen oder der eigenen Erfassungsgrenzen, nicht einsehbar sind.The signals of the at least one stationary and at least one mobile image acquisition sensor are processed in the evaluation device and become an overall environment model merged. This means that the signals from the stationary and the mobile sensor are combined with one another, in particular since the detection ranges of the mobile and the stationary image detection sensor are not congruent to one another. By merging the signals and creating the overall environment model, a larger detection area can thus be mapped, in particular areas in the vehicle or on the display device can also be displayed which are covered by the mobile image detection sensors, for example due to spatial obstacles or their own detection limits. are not visible.

Erfindungsgemäß ist vorgesehen, dass dem wenigstens einen ortsfesten Bilderfassungssensor ein Marker zugeordnet ist, welcher durch den wenigstens einen mobilen Bilderfassungssensor erfasst wird. Bei dem Marker kann es sich beispielsweise um einen QR-Code, Barcode, AR-Tag etc. handeln. Neben Codierungsinformationen zum Herstellen der Kommunikation zwischen ortsfestem Bilderfassungssensor und Auswerteeinrichtung können auch Positionsangaben in Form von GPS-Koordinaten oder eine Ausrichtung und Erstreckung des Erfassungsbereichs codiert sein. Diese Informationen werden der Auswerteeinrichtung ebenfalls zugeführt und verarbeitet. Insofern GPS-Koordinaten in dem Marker kodiert sind, kann eine Zuordnung der Position in Relation zu dem Fahrzeug erfolgen, beispielsweise indem die GPS-Koordinaten des ortsfesten Bilderfassungssensors und GPS-Koordinaten des Fahrzeugs in Relation zueinander gesetzt und entsprechend verarbeitet werden. Insbesondere kann durch das Erfassen des Markers durch den wenigstens einen mobilen Bilderfassungssensor eine Position des Markers respektive des ortsfesten Bilderfassungssensors determiniert werden. Die Information über die Position des ortsfesten Bilderfassungssensors wird durch die Auswerteeinrichtung dahingehend verarbeitet, dass die Signale des ortsfesten und des mobilen Bilderfassungssensors korrekt zu einem gesamtheitlichen Umgebungsmodell zusammengeführt werden können. Bei dem sogenannten „Stitching“ werden die einzelnen Signalinhalte aneinandergeheftet, mit anderen Worten die Bilder der mobilen und ortsfesten Kamera also zu einem Ganzen zusammengefügt. Insbesondere wird dabei sichergestellt, dass die räumliche Ausrichtung der Bilder in dem gesamtheitlichen Umgebungsmodell korrekt berücksichtigt und wiedergegeben wird, die Inhalte der Signale also an der korrekten Stelle aneinandergeheftet werden und so das reale Umfeld abbilden. In einer optionalen Weiterbildung kann auch dem Fahrzeug bzw. jedem mobilen Bilderfassungssensor des Fahrzeugs ein Marker zugeordnet sein, welcher/welche durch den wenigstens einen ortsfesten Bilderfassungssensor erfasst wird/werden. So können Signale bzw. Signalinhalte und/oder Positionsinformationen zusätzlich plausibilisiert werden. Hierzu ist der/sind die betreffende/n Marker an dem Fahrzeug angebracht. Auch kann in einer alternativen Ausgestaltung oder in einer Fortbildung der Erfindung vorgesehen sein, dass mehrere Fahrzeuge anstatt mit dem wenigstens einen ortsfesten Bilderfassungssensor oder in Ergänzung mit dem wenigstens einen ortsfesten Bilderfassungssensor untereinander in der zuvor beschriebenen Art und Weise interagieren und Signale wenigstens eines weiteren mobilen Bilderfassungssensors eines weiteren Fahrzeugs der Auswerteeinrichtung zugeführt werden.According to the invention it is provided that the at least one stationary image detection sensor is assigned a marker which is detected by the at least one mobile image detection sensor. The marker can be a QR code, barcode, AR tag, etc., for example. In addition to coding information for establishing communication between the stationary image detection sensor and evaluation device, position information in the form of GPS coordinates or an orientation and extent of the detection area can also be coded. This information is also fed to the evaluation device and processed. If GPS coordinates are encoded in the marker, the position can be assigned in relation to the vehicle, for example by relating the GPS coordinates of the stationary imaging sensor and GPS coordinates of the vehicle to one another and processing them accordingly. In particular, a position of the marker or of the stationary image detection sensor can be determined by the detection of the marker by the at least one mobile image detection sensor. The information about the position of the stationary image detection sensor is processed by the evaluation device such that the signals from the stationary and the mobile image detection sensor can be correctly combined to form an overall environment model. In what is known as “stitching”, the individual signal contents are attached to one another, in other words the images from the mobile and stationary cameras are combined to form a whole. In particular, this ensures that the spatial alignment of the images is correctly taken into account and reproduced in the overall environment model, i.e. the contents of the signals are stitched together at the correct point and thus depict the real environment. In an optional development, a marker can also be assigned to the vehicle or to each mobile image detection sensor of the vehicle, which is/are detected by the at least one stationary image detection sensor. In this way, signals or signal contents and/or position information can also be checked for plausibility. For this purpose, the relevant marker(s) is/are attached to the vehicle. In an alternative embodiment or in a further development of the invention, it can also be provided that several vehicles interact with one another in the manner described above instead of with the at least one stationary image detection sensor or in addition to the at least one stationary image detection sensor and signals of at least one further mobile image detection sensor of another vehicle are fed to the evaluation device.

In einer Weiterbildung kann anhand des Markers auch eine relative Ausrichtung zu dem mobilen Bilderfassungssensor bestimmt werden. Dementsprechend erfolgt im Bedarfsfall eine Anpassung der bereitgestellten Inhalte des Signals. Mit anderen Worten wird das erhaltene Signal in der Auswerteeinrichtung entsprechend der Positionsinformationen verarbeitet, dies betrifft vor allen Dingen das Zusammenführen zu dem gesamtheitlichen Umgebungsmodell. Da der wenigstens eine mobile Bilderfassungssensor fest mit dem Fahrzeug verbunden und das System kalibriert ist, kann eine Zuordnung der Position relativ zu dem mobilen Bilderfassungssensor bzw. des Fahrzeugs erfolgen. Insofern die Marker eine genormte oder standardisierte Kontur und Größe aufweisen, kann auch darüber eine Ermittlung einer relativen Position, insbesondere einer Entfernung zu dem mobilen Bilderfassungssensor bzw. zu dem Fahrzeug vorgenommen werden.In one development, a relative orientation to the mobile image detection sensor can also be determined using the marker. If necessary, the provided content of the signal is adjusted accordingly. In other words, the signal received is processed in the evaluation device in accordance with the position information; this relates above all to the merging to form the overall environment model. Since the at least one mobile image capture sensor is permanently connected to the vehicle and the system is calibrated, the position can be assigned relative to the mobile image capture sensor or the vehicle. If the markers have a normalized or standardized contour and size, a relative position, in particular a distance from the mobile image detection sensor or from the vehicle can also be determined.

Bei einer Weiterbildung mit mehreren mobilen Bilderfassungssensoren können sich die betreffenden Erfassungsbereiche überlappen, sodass in Bereichen der Überlappung eine Erfassung des Markers mit mehr als einem mobilen Bilderfassungssensor erfolgen kann. Hierdurch ist die Position des Markers und somit des ortsfesten Bilderfassungssensors noch genauer feststellbar.In a further development with several mobile image detection sensors, the relevant detection areas can overlap, so that the marker can be detected with more than one mobile image detection sensor in overlapping areas. As a result, the position of the marker and thus of the stationary image detection sensor can be determined even more precisely.

Dieser Ansatz kann auch auf mehrere ortsfeste Bilderfassungssensoren angewendet werden, welche auch an verschiedenen Positionen um das Fahrzeug angeordnet sein können. Dabei können neben mehreren ortsfesten auch mehrere mobile Bilderfassungssensoren vorgesehen sein. Die so gewonnenen Positionen werden dann wiederum bei der Erstellung des gesamtheitlichen Umgebungsmodells berücksichtigt.This approach can also be applied to multiple stationary image acquisition sensors, which can also be arranged at different positions around the vehicle. In addition to several stationary image acquisition sensors, several mobile image acquisition sensors can also be provided. The positions obtained in this way are then in turn taken into account when creating the overall environment model.

Die Erfassung des wenigstens einen Markers und die Determinierung der Position des wenigstens einen ortsfesten Bilderfassungssensors erfolgt in einer Ausgestaltung des erfindungsgemäßen Verfahrens initial bei Stillstand des Fahrzeugs. Alternativ dazu erfolgt die Erfassung des wenigstens einen Markers und die Determinierung der Position des wenigstens einen ortsfesten Bilderfassungssensors nach initialer Erfassung fortlaufend während eines Fahrvorgangs.In one embodiment of the method according to the invention, the at least one marker is detected and the position of the at least one stationary image detection sensor is determined initially when the vehicle is stationary. Alternatively, the at least one marker is detected and the position of the at least one stationary image detection sensor after initial detection continuously during a driving process.

Beispielsweise bei initialer Erfassung bei Stillstand des Fahrzeugs erfolgt die Berücksichtigung einer Veränderung der Position in Relation zu dem wenigstens einen mobilen Bilderfassungssensor während eines Fahrvorgangs anhand von geeigneten Sensoren zur Erfassung kinematischer Größen des Fahrzeugs. Anders ausgedrückt wird eine relative Positionsänderung des Fahrzeugs anhand FZG-eigener Sensoren ermittelt und der Auswerteeinrichtung zugeführt, welche die Positionsänderung bei der Erstellung des gesamtheitlichen Umgebungsmodells dann wieder berücksichtigt. For example, in the case of initial detection when the vehicle is stationary, a change in position in relation to the at least one mobile image detection sensor during a driving process is taken into account using suitable sensors for detecting kinematic variables of the vehicle. In other words, a relative change in position of the vehicle is determined using FZG's own sensors and fed to the evaluation device, which then takes the change in position into account again when creating the overall environment model.

Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist ein Multikamerasystem eines Fahrzeugs mit einer Auswerteeinrichtung umfasst, wobei die Auswerteeinrichtung signalübertragend mit dem wenigstens einen mobilen und wenigstens einen ortsfesten Bilderfassungssensor verbunden ist. Die signalübertragende Verbindung kann dabei kabelgebunden oder kabellos, in Bezug auf den ortsfesten Bilderfassungssensor besonders vorteilhaft kabellos, erfolgen. Die Auswerteeinrichtung ist dazu geeignet und eingerichtet, das erfindungsgemäße Verfahren mit den zuvor beschriebenen Merkmalen für sich oder in beliebiger Kombination der Weiterbildungen auszuführen und ein gesamtheitliches Umgebungsmodell bereitzustellen.According to a further aspect of the present invention, a multi-camera system of a vehicle is included with an evaluation device, the evaluation device being connected to the at least one mobile and at least one stationary image acquisition sensor in a signal-transmitting manner. The signal-transmitting connection can be wired or wireless, particularly advantageously wireless in relation to the stationary image detection sensor. The evaluation device is suitable and set up to carry out the method according to the invention with the features described above alone or in any combination of the developments and to provide an overall environment model.

Weiter umfasst ist ein Computerprogrammprodukt mit einem auf einem maschinenlesbaren Träger gespeichertem Programmcode zur Durchführung des erfindungsgemäßen Verfahrens. Dabei wird das Verfahren ausgeführt, wenn der Programmcode auf der Auswerteeinrichtung ausgeführt wird.Also included is a computer program product with a program code stored on a machine-readable carrier for carrying out the method according to the invention. The method is executed when the program code is executed on the evaluation device.

Darüber hinaus ist ein Fahrzeug mit einem erfindungsgemäßen Multikamerasystem von der Erfindung umfasst, wobei das erstellte gesamtheitliche Umgebungsmodell auf einer Anzeigevorrichtung dargestellt wird. In einer möglichen Weiterbildung kann auch eine Objekterkennung in der Auswerteeinrichtung umgesetzt werden, sodass Hindernisse und/oder Gefahrenstellen in dem gesamtheitlichen Umgebungsmodell berücksichtigt und auf der Anzeigevorrichtung dargestellt werden. Ferner kann eine Sicherheitsfunktion dergestalt vorgesehen werden, dass bei Unterschreiten eines vorgegebenen Mindestabstandes zwischen Hindernis und Fahrzeug eine optische, akustische und/oder haptische Warnmeldung ausgegeben wird. Auch kann in einer Weiterbildung vorgesehen sein, dass ein Eingriff in Fahrfunktionen in Form einer Anfahrverhinderung oder einer Notbremsung umgesetzt wird. Dies kann entweder direkt durch die Auswerteeinrichtung erfolgen, oder die Auswerteeinrichtung sendet entsprechende Signale an ein Motorsteuergerät, Bremssteuergerät und/oder Getriebesteuergerät aus.In addition, a vehicle with a multi-camera system according to the invention is covered by the invention, with the created overall environment model being displayed on a display device. In one possible development, object recognition can also be implemented in the evaluation device, so that obstacles and/or danger spots are taken into account in the overall environment model and displayed on the display device. Furthermore, a safety function can be provided in such a way that an optical, acoustic and/or haptic warning message is output if the distance between the obstacle and the vehicle falls below a predetermined minimum. Provision can also be made in a development for an intervention in driving functions to be implemented in the form of a starting prevention or emergency braking. This can either be done directly by the evaluation device, or the evaluation device sends corresponding signals to an engine control unit, brake control unit and/or transmission control unit.

Die Erfindung wird anhand der nachfolgenden Figuren in beispielhaften Ausführungen näher erläutert. Es zeigen:

  • 1: eine schematische Darstellung eines Multikamerasystems eines Fahrzeugs nach dem Stand der Technik;
  • 2: eine schematische Darstellung eines erfindungsgemäßen Multikamerasystems eines Fahrzeugs.
The invention is explained in more detail with reference to the following figures in exemplary embodiments. Show it:
  • 1 1: a schematic representation of a multi-camera system of a vehicle according to the prior art;
  • 2 1: a schematic representation of a multi-camera system according to the invention of a vehicle.

1 zeigt in einer Draufsicht eine stark vereinfachte schematischen Darstellung eines Multikamerasystems eines Fahrzeugs 1, wie es aus dem Stand der Technik bekannt ist. Dabei weist das Multikamerasystem vorliegend vier mobile Bilderfassungssensoren 2 auf, welche vorwärts, rückwärts und seitlich (rechts, links) ausgerichtet sind. Jeder mobile Bilderfassungssensor 2 deckt dabei einen Erfassungsbereich 3 ab, wobei diese als Kreisausschnitte V, R, H, L dargestellt sind. Zusammengesetzt ergibt dies somit einen sich um 360° erstreckenden Erfassungsbereich 3. Dabei grenzt der Kreisausschnitt V des nach vorne ausgerichteten mobilen Bilderfassungssensors 2 im Uhrzeigersinn an den Kreisausschnitt R des nach rechts ausgerichteten mobilen Bilderfassungssensors 2. Diesem schließt sich der Kreisausschnitt H des nach hinten ausgerichteten mobilen Bilderfassungssensors 2, welcher zusammen mit dem Kreisausschnitt V des nach vorne ausgerichteten mobilen Bilderfassungssensors 2 den Kreisausschnitt L des nach links ausgerichteten mobilen Bilderfassungssensors 2 begrenzt. Signalinformationen in Form von Bildsignalen werden durch einer nicht gezeigte Auswerteeinrichtung zugeführt, von dieser verarbeitet und zu einem Umgebungsmodell (Surround-View) zusammengeführt. Mit anderen Worten werden die Bildinhalte der mobilen Bilderfassungssensoren 2 zu einem Gesamtbild mit 360°-Erstreckung aneinandergefügt. Es ist zu erwähnen, dass die hier gezeigte Ausführungsform vier mobile Bilderfassungssensoren 2 aufweist. Ein solches Multikamerasystem kann jedoch gerade in Bezug auf die Anzahl der mobilen Bilderfassungssensoren 2 nahezu beliebig erweitert werden, dementsprechend erhöht sich die Anzahl der Kreisausschnitte V, R, H, L bzw. die der Erfassungsbereiche 3 der mobilen Bilderfassungssensoren 2. 1 shows a greatly simplified schematic representation of a multi-camera system of a vehicle 1 in a plan view, as is known from the prior art. In the present case, the multi-camera system has four mobile image detection sensors 2 which are aligned forwards, backwards and to the side (right, left). Each mobile image detection sensor 2 covers a detection area 3, these being shown as sectors V, R, H, L. Put together, this results in a detection area 3 extending through 360°. The sector V of the forward-facing mobile image capture sensor 2 borders in a clockwise direction on the sector R of the mobile image capture sensor 2 facing right. This is followed by the sector H of the mobile image capture sensor 2 facing backwards Image detection sensor 2, which together with the sector V of the mobile image sensor 2 aligned to the front delimits the sector L of the mobile image sensor 2 aligned to the left. Signal information in the form of image signals is supplied by an evaluation device (not shown), processed by it and combined to form an environment model (surround view). In other words, the image contents of the mobile image detection sensors 2 are combined to form an overall image with a 360° extension. It should be mentioned that the embodiment shown here has four mobile image acquisition sensors 2 . However, such a multi-camera system can be expanded almost arbitrarily, especially with regard to the number of mobile image acquisition sensors 2; the number of sectors V, R, H, L or the detection areas 3 of the mobile image acquisition sensors 2 increases accordingly.

2 zeigt eine Weiterbildung mit den erfindungsgemäßen Merkmalen. Dabei ist nun in Erweiterung zu den in 1 beschriebenen Merkmalen auch ein ortsfester Bilderfassungssensor 4 vorhanden. Dessen Erfassungsbereich 3 ist mittels Strichpunktlinie als Kreisausschnitt O dargestellt. Ferner wird ein Marker 5 gezeigt, welcher vorliegend als QR-Code-Tafel dargestellt ist und so angeordnet ist, dass er in Richtung des Erfassungsbereichs 3 ausgerichtet ist. Mit anderen Worten kann er von dem Fahrzeug 1 bzw. dem wenigstens einem mobilen Bilderfassungssensor 2 erfasst werden, wenn sich das Fahrzeug 1 dem ortsfesten Bilderfassungssensor 4 nähert, insbesondere in dessen Erfassungsbereich 3 einfährt, und/oder sich der Marker 5 in dem Erfassungsbereich 3 wenigstens eines mobilen Bilderfassungssensors 2 befindet. 2 shows a development with the features of the invention. It is now in extension to the in 1 Features described also a stationary image detection sensor 4 available. Its detection area 3 is shown as a sector O by means of a chain line. Furthermore, a marker 5 is shown, which is present as QR code panel is shown and is arranged so that it is aligned in the direction of the detection area 3. In other words, it can be detected by the vehicle 1 or the at least one mobile image detection sensor 2 when the vehicle 1 approaches the stationary image detection sensor 4, in particular when it enters its detection area 3, and/or the marker 5 is in the detection area 3 at least a mobile image acquisition sensor 2 is located.

In der hier gezeigten Ausführungsform sind ferner vier schraffiert dargestellte Überschneidungsbereiche VR, RH, HL, LV abgebildet. Dies sind die Bereiche des Umgebungsmodells, in welchen sich die Erfassungsbereiche 3 benachbarter mobiler Bilderfassungssensoren 2 überlappen. So wird der Überschneidungsbereich VR durch die Schnittmenge der Kreisausschnitte V und R, der Überschneidungsbereich RH durch die Schnittmenge der Kreisausschnitte R und H, der Überschneidungsbereich HL durch die Schnittmenge der Kreisausschnitte H und L und der Überschneidungsbereich LV durch die Kreisausschnitte L und V gebildet.In the embodiment shown here, four overlapping areas VR, RH, HL, LV shown hatched are also shown. These are the areas of the environment model in which the detection areas 3 of adjacent mobile image detection sensors 2 overlap. The area of intersection VR is formed by the intersection of sections V and R, the area of intersection RH by the section of sections R and H, the area of intersection HL by the section of sections H and L and the area of intersection LV by sections L and V.

Hierdurch kann eine Position, insbesondere eine relative Ausrichtung/Position eines ortsfesten Bilderfassungssensors 4 zu dem Fahrzeug 1 bzw. den mobilen Bilderfassungssensoren 2, besser identifiziert werden, sodass in der nicht gezeigten Auswerteeinrichtung ein Signal des ortsfesten Bilderfassungssensors 4 räumlich besser zugeordnet und räumlich korrekt zusammengefügt bzw. an die Signale der mobilen Bilderfassungssensoren 2 angeheftet werden kann. Hierdurch ergibt sich ein verbessertes ganzheitliches Umgebungsmodell des Multikamerasystems. In der Darstellung gemäß 2 ist der Marker 5 in dem Überschneidungsbereich LV, also dem Erfassungsbereich 3 des nach vorne und nach links ausgerichteten mobilen Bilderfassungssensors 2 positioniert. Somit kann eine zusätzliche Positionsinformation des Markers 5 und des ortsfesten Bilderfassungssensors 4 der Auswerteeinrichtung zugeführt werden. Vorliegend könnte die Positionsinformation lauten, dass sich der Marker 5/der ortsfeste Bilderfassungssensor 4 in Relation zu dem Fahrzeug 1 „vorne links“ bzw. in einer „10-Uhr-Position“ befindet. Entsprechende Positionsinformationen können der Auswerteeinrichtung ebenfalls zugeführt werden, wenn der Marker 5 lediglich von einem mobilen Bilderfassungssensor 2 erfasst wird - beispielsweise durch den nach vorne gerichteten mobilen Bilderfassungssensor 2, wenn sich der Marker in dem Kreisausschnitt V befindet. Dem würde die Positionsinformation „vorne“ bzw. „12-Uhr-Position“ entsprechen. Mit steigender Anzahl der mobilen Bilderfassungssensoren 2 steigt eine Granularität der betreffenden Positionsinformationen ortsfester Bilderfassungssensoren 4.As a result, a position, in particular a relative orientation/position of a stationary image detection sensor 4 to the vehicle 1 or the mobile image detection sensors 2, can be better identified, so that in the evaluation device, not shown, a signal of the stationary image detection sensor 4 can be spatially better assigned and spatially correctly combined or combined can be attached to the signals of the mobile image acquisition sensors 2 . This results in an improved holistic environment model of the multi-camera system. In the representation according to 2 the marker 5 is positioned in the overlapping area LV, that is to say the detection area 3 of the mobile image detection sensor 2 which is aligned to the front and to the left. Additional position information of the marker 5 and of the stationary image detection sensor 4 can thus be supplied to the evaluation device. In the present case, the position information could read that the marker 5/the stationary image detection sensor 4 is located “in the front left” in relation to the vehicle 1 or in a “10 o'clock position”. Corresponding position information can also be supplied to the evaluation device if the marker 5 is only detected by a mobile image detection sensor 2 - for example by the forward-facing mobile image detection sensor 2 when the marker is in the sector V of a circle. This would correspond to the position information "in front" or "12 o'clock position". As the number of mobile image capture sensors 2 increases, the granularity of the relevant position information of stationary image capture sensors 4 increases.

Vorliegend wird das Signal des ortsfesten Bilderfassungssensors 4 kabellos an die Auswerteeinrichtung in dem Fahrzeug 1 übertragen bzw. dieser zugeführt. Im Ergebnis wird durch das Anheften bzw. Zusammenfügen der Erfassungsbereiche 3 der mobilen und ortsfesten Bilderfassungssensoren 2, 4 der Erfassungsbereich 3 erweitert. Diese gepunktet dargestellte Erweiterung G ergibt sich aus der Differenzmenge des Erfassungsbereichs 3 des ortsfesten Bilderfassungssensors 4 ohne den Erfassungsbereich 3 der mobilen Bilderfassungssensoren 2. Anders ausgedrückt ergibt sich die Erweiterung G aus der Differenzmenge des Kreisausschnitts O ohne die Kreisausschnitte V, R, H, L.In the present case, the signal from the stationary image detection sensor 4 is transmitted wirelessly to the evaluation device in the vehicle 1 or fed to it. As a result, the detection range 3 is expanded by attaching or joining the detection ranges 3 of the mobile and stationary image detection sensors 2, 4. This extension G shown in dots results from the difference in the detection area 3 of the stationary image detection sensor 4 without the detection area 3 of the mobile image detection sensors 2. In other words, the extension G results from the difference in the circle section O without the circle sections V, R, H, L.

In hier nicht gezeigten Weiterbildungen können auch mehrere ortsfeste Bilderfassungssensoren 4 berücksichtigt werden, wobei jedem ortsfesten Bilderfassungssensor 4 jeweils ein eindeutig identifizierbarer Marker 5 zugeordnet ist. Die Erweiterung G des Erfassungsbereichs 3 ergibt sich dann in analoger Anwendung der zuvor beschriebenen Vorgehensweise aus den jeweiligen Differenzmengen.In developments not shown here, several stationary image detection sensors 4 can also be taken into account, with each stationary image detection sensor 4 being assigned a clearly identifiable marker 5 . The extension G of the detection area 3 then results from the respective difference sets in an analogous application to the procedure described above.

BezugszeichenlisteReference List

11
Fahrzeugvehicle
22
Mobiler BilderfassungssensorMobile image capture sensor
33
Erfassungsbereichdetection range
44
Ortsfester BilderfassungssensorFixed image capture sensor
55
Marker marker
GG
Erweiterungextension
V, R, H, L, OV, R, H, L, O
Kreisausschnittcircle section
VR, RH, HL, LVVR, RH, HL, LV
Überschneidungsbereichoverlap area

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • DE 102009045496 A1 [0002]DE 102009045496 A1 [0002]
  • DE 102016224906 A1 [0003]DE 102016224906 A1 [0003]

Claims (9)

Verfahren zum Erstellen eines gesamtheitlichen Umgebungsmodells eines Multikamerasystems eines Fahrzeugs (1), wobei das Multikamerasystem wenigstens einen mobile Bilderfassungssensor (2) aufweist, wobei Signale des wenigstens einen mobilen Bilderfassungssensors (2) und wenigstens eines ortsfesten Bilderfassungssensors (4) einer Auswerteeinrichtung zugeführt werden, wobei die Signale in der Auswerteeinrichtung verarbeitet und zu einem gesamtheitlichen Umgebungsmodell zusammengeführt werden, dadurch gekennzeichnet, dass ein dem wenigstens einen ortsfesten Bilderfassungssensor (4) zugeordneter Marker (5) durch den wenigstens einen mobilen Bilderfassungssensor (2) erfasst wird, sodass eine Position des wenigstens einen ortsfesten Bilderfassungssensors (4) determiniert wird, wobei diese Position bei der Erstellung des gesamtheitlichen Umgebungsmodells berücksichtigt wird.Method for creating an overall environment model of a multi-camera system of a vehicle (1), the multi-camera system having at least one mobile image acquisition sensor (2), signals from the at least one mobile image acquisition sensor (2) and at least one stationary image acquisition sensor (4) being fed to an evaluation device, wherein the signals are processed in the evaluation device and combined to form an overall environment model, characterized in that a marker (5) assigned to the at least one stationary image detection sensor (4) is detected by the at least one mobile image detection sensor (2), so that a position of the at least one stationary image detection sensor (4) is determined, this position being taken into account when creating the overall environment model. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass neben einer Position des ortsfesten Bilderfassungssensors (4) anhand des Markers (5) auch eine relative Ausrichtung zu dem mobilen Bilderfassungssensor (2) bestimmt wird, wobei im Bedarfsfall eine Anpassung bereitgestellter Inhalte des Signals erfolgt.procedure after claim 1 , characterized in that in addition to a position of the stationary image detection sensor (4) using the marker (5) and a relative orientation to the mobile image detection sensor (2) is determined, if necessary, an adjustment of the provided content of the signal takes place. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der Marker (5) des wenigstens einen ortsfesten Bilderfassungssensors (4) durch mehrere mobile Bildererfassungssensoren (2) erfasst wird, sodass eine genauere Bestimmung der Position des wenigstens einen ortsfesten Bilderfassungssensors (4) erfolgt.Method according to one of the preceding claims, characterized in that the marker (5) of the at least one stationary image detection sensor (4) is detected by a plurality of mobile image detection sensors (2), so that the position of the at least one stationary image detection sensor (4) is determined more precisely. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass Marker (5) mehrerer ortsfester Bilderfassungssensoren (4) durch den wenigstens einen mobilen Bilderfassungssensor (2) erfasst werden, sodass Positionen der der ortsfesten Bilderfassungssensoren (4) determiniert werden, wobei diese Positionen bei der Erstellung des gesamtheitlichen Umgebungsmodells berücksichtigt werden.Method according to one of the preceding claims, characterized in that markers (5) of several stationary image detection sensors (4) are detected by the at least one mobile image detection sensor (2), so that positions of the stationary image detection sensors (4) are determined, with these positions being Creation of the overall environment model are taken into account. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Erfassung des wenigstens einen Markers (5) und die Determinierung der Position des wenigstens einen ortsfesten Bilderfassungssensors (4) initial bei Stillstand des Fahrzeugs (1) oder nach initialer Erfassung fortlaufend während eines Fahrvorgangs erfolgt.Method according to one of the preceding claims, characterized in that the at least one marker (5) is detected and the position of the at least one stationary image detection sensor (4) is determined initially when the vehicle (1) is stationary or continuously during a driving process after initial detection . Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass bei initialer Erfassung bei Stillstand des Fahrzeugs (1) eine Veränderung der Position in Relation zu dem wenigstens einen mobilen Bilderfassungssensor (2) während eines Fahrvorgangs anhand von geeigneten Sensoren zur Erfassung kinematischer Größen des Fahrzeugs (1) erfolgt.procedure after claim 5 , characterized in that during initial detection when the vehicle (1) is stationary, the position in relation to the at least one mobile image detection sensor (2) changes during a driving process using suitable sensors for detecting kinematic variables of the vehicle (1). Multikamerasystem eines Fahrzeugs (1) mit einer Auswerteeinrichtung, wobei die Auswerteeinrichtung signalübertragend mit dem wenigstens einen mobilen Bilderfassungssensor (2) und dem wenigstens einen ortsfesten Bilderfassungssensor (4) verbunden ist, wobei die Auswerteeinrichtung dazu geeignet und eingerichtet ist, das Verfahren nach einem der vorherigen Ansprüche auszuführen und ein gesamtheitliches Umgebungsmodell bereitzustellen.Multi-camera system of a vehicle (1) with an evaluation device, wherein the evaluation device is connected to the at least one mobile image detection sensor (2) and the at least one stationary image detection sensor (4) in a signal-transmitting manner, the evaluation device being suitable and set up for the method according to one of the preceding ones Execute claims and provide a holistic environment model. Computerprogrammprodukt mit einem auf einem maschinenlesbaren Träger gespeichertem Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 6, wenn der Programmcode auf einer Auswerteeinrichtung ausgeführt wird.Computer program product with a program code stored on a machine-readable carrier for carrying out the method according to one of Claims 1 until 6 , if the program code is executed on an evaluation device. Fahrzeug (1) mit einem Multikamerasystem nach Anspruch 7, wobei das gesamtheitliche Umgebungsmodell auf einer Anzeigevorrichtung dargestellt wird.Vehicle (1) with a multi-camera system claim 7 , wherein the overall environment model is displayed on a display device.
DE102021213882.9A 2021-12-07 2021-12-07 Method for creating an overall environment model of a multi-camera system of a vehicle Pending DE102021213882A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021213882.9A DE102021213882A1 (en) 2021-12-07 2021-12-07 Method for creating an overall environment model of a multi-camera system of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021213882.9A DE102021213882A1 (en) 2021-12-07 2021-12-07 Method for creating an overall environment model of a multi-camera system of a vehicle

Publications (1)

Publication Number Publication Date
DE102021213882A1 true DE102021213882A1 (en) 2023-06-07

Family

ID=86382034

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021213882.9A Pending DE102021213882A1 (en) 2021-12-07 2021-12-07 Method for creating an overall environment model of a multi-camera system of a vehicle

Country Status (1)

Country Link
DE (1) DE102021213882A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009045496A1 (en) 2009-10-08 2011-04-14 Robert Bosch Gmbh Method for utilizing image information of vehicle-external image preparing device for driver information system or driver assistance system of vehicle, involves preparing image information request at interface
US20120218125A1 (en) 2011-02-28 2012-08-30 Toyota Motor Engin. & Manufact. N.A.(TEMA) Two-way video and 3d transmission between vehicles and system placed on roadside
DE102013101493A1 (en) 2013-02-14 2014-08-14 Continental Teves Ag & Co. Ohg Method for operating navigation system of vehicle, involves connecting environment entity to evaluation unit, and specifying current position of vehicle by satellite-based positioning system based on position data of landmarks
DE102016224906A1 (en) 2016-12-14 2018-06-14 Conti Temic Microelectronic Gmbh An image processing apparatus and method for processing image data from a multi-camera system for a motor vehicle
DE102017118078A1 (en) 2017-08-09 2019-02-14 Safran Electronics & Defense Localization device for a motor vehicle, driver assistance device, motor vehicle and method for locating a motor vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009045496A1 (en) 2009-10-08 2011-04-14 Robert Bosch Gmbh Method for utilizing image information of vehicle-external image preparing device for driver information system or driver assistance system of vehicle, involves preparing image information request at interface
US20120218125A1 (en) 2011-02-28 2012-08-30 Toyota Motor Engin. & Manufact. N.A.(TEMA) Two-way video and 3d transmission between vehicles and system placed on roadside
DE102013101493A1 (en) 2013-02-14 2014-08-14 Continental Teves Ag & Co. Ohg Method for operating navigation system of vehicle, involves connecting environment entity to evaluation unit, and specifying current position of vehicle by satellite-based positioning system based on position data of landmarks
DE102016224906A1 (en) 2016-12-14 2018-06-14 Conti Temic Microelectronic Gmbh An image processing apparatus and method for processing image data from a multi-camera system for a motor vehicle
DE102017118078A1 (en) 2017-08-09 2019-02-14 Safran Electronics & Defense Localization device for a motor vehicle, driver assistance device, motor vehicle and method for locating a motor vehicle

Similar Documents

Publication Publication Date Title
EP2345021B1 (en) Method for displaying a warning message in a vehicle
EP2764505B1 (en) Display method and display system for a vehicle
DE102008043743A1 (en) Sensor signals e.g. video sensor signals, evaluating method for detecting e.g. traffic sign in surrounding of vehicle, involves evaluating information based on evaluation specification, and outputting information based on evaluation result
DE102008010119A1 (en) Device for detecting an object and system for communication between vehicles
WO2014044632A1 (en) Method and device for vehicle communication
EP3151213B1 (en) Vehicular apparatus and method of recording an area in the vicinity of a motor vehicle
DE102012023498A1 (en) Method for guiding automatic and/or assistive vehicle i.e. motor car, involves transmitting stored information to vehicle to decide whether track portion is suitable to guide automatic and/or assisting vehicle by environment sensor system
DE102009047436A1 (en) Method for resetting and/or setting blinker system of vehicle i.e. commercial motor vehicle, involves detecting completed and/or forthcoming direction change by comparing location data of vehicle with map data
DE102016201667A1 (en) Method for determining a desired trajectory for a first road user, in particular for a motor vehicle for a road section
DE102010015686A1 (en) Method for operating a motor vehicle and motor vehicle
DE102015003847A1 (en) Method and driver assistance system for detecting and signaling light signals from at least one light signal device of a alternating light signaling system
DE102017111468A1 (en) A vehicle system and method for determining whether a vehicle occupant has sensed an off-vehicle object
DE102017223431A1 (en) A method for assisting a driver of a motor vehicle in an overtaking operation; Motor vehicle; as well as system
DE102020123831A1 (en) Concept for supporting an at least partially automated motor vehicle
DE102020211478A1 (en) Concept for supporting an at least partially automated motor vehicle
EP3827277B1 (en) Method, system and electronic computing device for checking sensor devices of vehicles, in particular of motor vehicles
DE102018210852A1 (en) Procedure for the determination of illegal driving behavior by a vehicle
DE102016209242B4 (en) UNIT SETTING DEVICE AND UNIT SETTING PROCEDURE
DE102016215538A1 (en) Method for transforming sensor data
DE102007007283A1 (en) Vehicle for recording surroundings makes information on surroundings available to a vehicle's control unit so as to change a vehicle's performance
DE102021213882A1 (en) Method for creating an overall environment model of a multi-camera system of a vehicle
DE102019206652A1 (en) Method for determining a vehicle length of a vehicle in a vehicle group
DE102017218044A1 (en) Informing a vehicle parked at a lane boundary about a critical location of the vehicle with respect to the lane boundary
DE102017006835A1 (en) Control system, method and motor vehicle for calculating a motor vehicle trajectory
DE102013207456A1 (en) Method of predicting a particular maneuver

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication