DE102006051539A1

DE102006051539A1 - Method and device for aerial image-based environmental detection in motor vehicles

Info

Publication number: DE102006051539A1
Application number: DE102006051539A
Authority: DE
Inventors: Stefan Dipl.-Inform. Hahn
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2006-10-18
Filing date: 2006-10-27
Publication date: 2008-04-24
Also published as: WO2008046458A1

Abstract

Es wird ein Verfahren zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen beschrieben. Fahrzeugbezogene Bildaufnahmen, welche die Fahrzeugumgebung beinhalten, werden dabei mittels wenigstens eines Fahrzeugsensors erfasst. Im Rahmen der Umgebungserfassung wird zudem weitere Bildinformation aus Luftbildaufnahmen oder Bildaufnahmen wenigstens eines stationär angeordneten Bildsensors herangezogen. Die fahrzeugbezogenen Bildaufnahmen werden hierbei in erfinderischer Weise durch die weitere Bildinformation ergänzt. Somit wird hinsichtlich der Zuverlässigkeit und der Genauigkeit gegenüber bisherigen Umgebungserfassungssystemen eine verbesserte Umgebungserfassung möglich, wobei insbesondere in erfassten Bildaufnahmen keine Abschattungen enthalten sind.A method for aerial vehicle-based environmental detection is described. Vehicle-related image recordings, which include the vehicle environment, are thereby detected by means of at least one vehicle sensor. As part of the environmental detection, more image information from aerial photographs or image recordings of at least one stationary image sensor is also used. In this case, the vehicle-related image recordings are supplemented in an inventive manner by the further image information. Thus, in terms of reliability and accuracy compared to previous environmental detection systems, an improved environmental detection is possible, wherein, in particular, no shading is included in captured image recordings.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen.The The invention relates to a method and a device for aerial image-based environmental detection in motor vehicles.

In modernen Kraftfahrzeugen werden zunehmend mehr Assistenzsysteme eingesetzt, welche auf Kartinformation zugreifen. Beispielsweise kommen dabei Navigationssysteme oder Systeme, welche den Fahrer vor engen Kurven warnen zum Einsatz. Neuere Systeme basieren auf einer Kombination aus Kartendaten und Daten von Fahrzeugsensoren zur Umgebungserfassung. Beispielsweise werden Informationen über die Krümmung der Fahrspur aus Kartendaten abgerufen, um eine kamerabasierte Fahrspurerkennung, insbesondere bei schlechter Sicht, zu verbessern. Auch werden beispielsweise Geometriedaten der Fahrzeugumgebung aus Kartendaten herangezogen um die Funktionsweise von Fahrzeugregelsystemen zu verbessern, beispielsweise von Abstandsregelsystemen (ACC-Systemen). Kartendaten liefern dabei in vorteilhafter Weise Informationen über die statistische Fahrzeugumgebung, jedoch weisen diese häufig den Nachteil auf, dass sie ungenau und veraltet sind. Die Aktualisierung von Kartendaten ist mit hohen Kosten verbunden und wird deshalb von den Herstellern nur im Laufe von Monaten bzw. Jahren durchgeführt.In Modern motor vehicles are becoming increasingly more assistance systems used, which access map information. For example There are navigation systems or systems that the driver warn against tight bends. Newer systems are based on a combination of map data and vehicle sensor data for environmental detection. For example, information about the curvature the lane of map data retrieved to provide camera-based lane detection, especially in poor visibility, to improve. Also, for example Geometry data of the vehicle environment from map data used to improve the operation of vehicle control systems, for example of distance control systems (ACC systems). Map data provide information about the in an advantageous manner statistical vehicle environment, but these often have the Disadvantage that they are inaccurate and outdated. The update of map data is associated with high costs and therefore becomes carried out by the manufacturers only in the course of months or years.

In der JP 2001050754 A wird ein Navigationssystem für Kraftfahrzeuge gezeigt. Dieses Navigationssystem soll sich gegenüber bisherigen Navigationssystemen, bei denen Karteninformationen hinterlegt sind, dadurch auszeichnen, dass dessen Genauigkeit hinsichtlich der Korrespondenz der Navigationsinformation und der aktuellen Fahrzeugposition verbessert wird. Hierbei wird verbesserte Navigationsinformation geliefert, indem Luftbilder der Erdoberfläche aufgenommen und angezeigt werden. Bei den Luftbildern handelt es sich dabei um Bildaufnahmen, welche mittels Flugzeug oder von Satelliten gewonnnen und sodann im Navigationssystem abgespeichert werden.In the JP 2001050754 A a navigation system for motor vehicles is shown. This navigation system should be distinguished from previous navigation systems in which map information is deposited in that its accuracy with respect to the correspondence of the navigation information and the current vehicle position is improved. In this case, improved navigation information is provided by taking aerial images of the earth's surface and displayed. The aerial photographs are image recordings which are obtained by aircraft or satellites and then stored in the navigation system.

DE 102004048347 A1 beschreibt ein Fahrerassistenzsystem, womit dem Fahrer eines Kraftfahrzeugs der weitere Straßenverlauf positionsrichtig auf einem Fahrzeugdisplay dargestellt wird. Hierbei werden die Fahrbahn und der Straßenverlauf mittels eines bildgebenden Sensors erfasst und erkannt. Der außerhalb des Sichtfeldes des bildgebenden Sensors liegende Straßenverlauf wird aus den Straßenkartendaten einer Navigationsvorrichtung des Kraftfahrzeugs ermittelt. Die Navigationsdaten werden dabei verbessert, indem die Straßenkartendaten und die Bildinformationen positionsrichtig zusammengeführt werden. Diese werden sodann auf einer Bildanzeige dargestellt, um damit eine Vorhersage des Straßenverlaufs zu ermöglichen. DE 102004048347 A1 describes a driver assistance system, with which the driver of a motor vehicle, the further road is shown in the correct position on a vehicle display. Here, the road and the road are detected and detected by means of an imaging sensor. The road course outside the field of view of the imaging sensor is determined from the road map data of a navigation device of the motor vehicle. The navigation data is thereby improved by the road map data and the image information are brought together in the correct position. These are then displayed on an image display to allow predicting the course of the road.

Der Erfindung liegt daher die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen zu schaffen, womit hinsichtlich der Zuverlässigkeit und der Genauigkeit eine verbesserte Umgebungserfassung möglich wird.Of the The invention is therefore based on the object, a method and a Apparatus for aerial photography Environmental detection in motor vehicles to create, with regard to the reliability and the accuracy of improved environmental detection is possible.

Die Aufgabe wird gemäß der Erfindung durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 sowie eine Vorrichtung mit den Merkmalen des Patentanspruchs 12 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen werden in den Unteransprüchen aufgezeigt.The Task is according to the invention by a method having the features of claim 1 and a device with the features of claim 12 solved. advantageous Embodiments and developments are shown in the subclaims.

Gemäß der Erfindung werden ein Verfahren und eine Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen bereitgestellt. Die Vorrichtung umfasst im Wesentlichen einen Fahrzeugsensor zur Erfassung von Umgebungsbildern, eine Kommunikationseinheit womit weitere Bildinformation abgerufen werden sowie eine Rechnereinheit zur Verarbeitung von Bildaufnahmen bzw. Bildinformation. Im Rahmen des erfindungsgemäßen Verfahrens werden fahrzeugbezogene Bildaufnahmen, welche die Fahrzeugumgebung beinhalten, mittels wenigstens eines Fahrzeugsensors erfasst. Im Rahmen der Umgebungserfassung wird weitere Bildinformation aus Luftbildaufnahmen und/oder Bildaufnahmen wenigstens eines stationär angeordneten Bildsensors herangezogen. Dabei werden die fahrzeugbezogenen Bildaufnahmen durch die weitere Bildinformation ergänzt. Hierdurch wird eine luftbildgestützte Umgebungserfassung bei Kraftfahrzeugen, welche eine verbesserte Umgebungserfassung hinsichtlich der Zuverlässigkeit und der Genauigkeit aufweist, erst möglich. Durch die Ergänzung fahrzeugbezogener Bildaufnahmen mit weiterer Bildinformation aus Luftbildaufnahmen und/oder stationär angeordneter Bildsensoren wird in besonders vorteilhafter Weise die Qualität der Umgebungserfassung gegenüber einer rein fahrzeugbezogenen Umgebungserfassung deutlich verbessert. Dabei wird nicht nur eine höhere Genauigkeit und Zuverlässigkeit bei der Umgebungserfassung erzielt, sondern auch die Fahrzeugumgebung vollständig ohne Abschattungen erfasst. Bei einer rein fahrzeugbezogenen Umgebungserfassung können im Gegensatz dazu in Abhängigkeit von der Position der jeweils eingesetzten Bilderfassungseinheit Abschattungen in erfassten Umgebungsbildern enthalten sein. Bei einer rein fahrzeugbezogenen Umgebungserfassung ist daher nur bei großem Aufwand durch den Einsatz einer Vielzahl an Bildsensoren oder durch entsprechende Verfahren zum Verfolgen (Tracking) von Objektbewegungen eine abschattungsfreie Erfassung der Fahrzeugumgebung möglich. Bei einer Ergänzung fahrzeugbezogener Bildaufnahmen mit Bildinformationen aus Luftbildaufnahmen wird selbst beim Einsatz eines einzigen Bildsensors möglich, eine abschattungsfreie Umgebungserfassung ermöglicht. Der Fahrer kann somit den kompletten Umgebungsbereich des Fahrzeugs einsehen. In vorteilhafter Weise werden beim Einsatz der Erfindung keine Kartendaten benötigt. Anstelle Informationen aus Luftbildaufnahmen zu entnehmen und daraus digitalisierte Karteninformationen zu generieren und anschließend die Karteninformationen für den Einsatz im Fahrzeug in aufwendiger Weise zu vektorisieren, werden im Rahmen der Erfindung die Bildinformationen von Luftbildaufnahmen bzw. von stationär angeordneten Bildsensoren direkt genutzt, um die mittels wenigstens eines Fahrzeugsensors erfassten fahrzeugbezogenen Bildaufnahmen in vorteilhafter Weise zu ergänzen. Im Zusammenhang mit dieser Erfindung kann es sich bei einem Fahrzeugsensor zur Erfassung von Umgebungsbildern und bei einem stationär angeordneten Bildsensor um eine beliebige Art von Bildsensor handeln. Beispielsweise gehören hierzu Kamera-, Radar- und Lidarsensoren.According to the invention, a method and an apparatus for aerial image-based environmental detection in motor vehicles are provided. The device essentially comprises a vehicle sensor for detecting environmental images, a communication unit with which further image information is retrieved and a computer unit for processing image recordings or image information. In the context of the method according to the invention, vehicle-related image recordings, which contain the vehicle surroundings, are detected by means of at least one vehicle sensor. As part of the environmental detection, further image information from aerial photographs and / or image recordings of at least one stationaryly arranged image sensor is used. The vehicle-related image recordings are supplemented by the further image information. As a result, an aerial image-based environmental detection in motor vehicles, which has an improved environmental detection in terms of reliability and accuracy, only possible. By supplementing vehicle-related image recordings with further image information from aerial image recordings and / or image sensors arranged in a stationary manner, the quality of environmental detection is improved in a particularly advantageous manner compared to purely vehicle-related environmental detection. It not only achieves greater accuracy and reliability in environmental detection, but also captures the vehicle environment completely without shadowing. In the case of purely vehicle-related environmental detection, by contrast, depending on the position of the respectively used image capture unit, shading may be contained in detected environmental images. In the case of purely vehicle-related environmental detection, it is therefore only possible to obtain a shadow-free detection of the vehicle environment at great expense through the use of a large number of image sensors or through corresponding methods for tracking (object tracking). By supplementing vehicle-related image recordings with image information from aerial photography, even without the use of a single image sensor, a shadow-free environment detection is possible. The driver can thus the kom View the surrounding area of the vehicle. Advantageously, no card data is needed when using the invention. Instead of taking information from aerial photographs and to generate digitized map information and then to vectorize the map information for use in the vehicle, within the scope of the invention, the image information of aerial photographs or stationary arranged image sensors are used directly by at least one Vehicle sensor recorded vehicle-related image recordings to supplement in an advantageous manner. In the context of this invention, a vehicle sensor for capturing environmental images and a stationary image sensor may be any type of image sensor. For example, this includes camera, radar and Lidarsensoren.

In einer gewinnbringenden Weise handelt es sich bei einer Ergänzung von fahrzeugbezogenen Bildaufnahmen und der weiteren Bildinformation dabei um eine Bildfusion. Die Verarbeitung der fahrzeugbezogenen Bildaufnahmen und der Luftbildaufnahmen bzw. der Bildaufnahmen einer stationären Bildaufnahmeeinheit findet dabei vorzugsweise im Fahrzeug statt. Im Rahmen der Bildauswertung wird daraus die Umgebung des Fahrzeugs vermessen und Parameter aus der Fahrzeugumgebung, wie z.B. der Straßenverlauf, bestimmt. Hierbei besteht die Möglichkeit die Bildinformationen unterschiedlicher Arten von Bildsensoren bzw. unterschiedlicher Arten von Bildquellen zu fusionieren. Die Bildinformationen werden dabei beispielsweise derart verarbeitet, sodass diese sich auf ein gemeinsames Bezugskoordinatensystem beziehen und deren Größen wie z.B. Abbildungsmaßstab, Farben, Helligkeit usw. miteinander in Bezug gesetzt werden können. Beispielsweise werden die Luftbildaufnahmen mit Bildinformationen einer Kamera oder eines Radarsensors zeitgleich im Fahrzeug ausgewertet.In a profitable way is an addition of vehicle-related image recordings and the further image information thereby an image fusion. The processing of vehicle-related Capture images and the aerial photographs or the image recordings of a stationary image acquisition unit preferably takes place in the vehicle. As part of the image analysis From this, the surroundings of the vehicle will be measured and parameters taken out the vehicle environment, such as the course of the road, determined. in this connection it is possible the image information of different types of image sensors or different types of image sources to merge. The picture information will be thereby, for example, processed in such a way so that these on one refer to common reference coordinate system and their sizes as e.g. Magnification, Colors, brightness, etc. can be related to each other. For example become the aerial photographs with image information of a camera or a radar sensor evaluated simultaneously in the vehicle.

Auch kann es sich bei der Ergänzung von fahrzeugbezogenen Bildaufnahmen und der weiteren Bildinformation um eine Überlagerung von Bildern oder Bildinformationen handeln. Hierbei werden vorzugsweise Bilder gleicher Größe positionsrichtig überlagert, wobei Bilder mit unterschiedlicher Größe beispielsweise im Rahmen einer Vorverarbeitung entsprechend skaliert oder ausgeschnitten werden. Zur positionsrichtigen Überlagerung wird sodann beispielsweise eine Objekterkennung durchgeführt, wobei die positionsrichtige Überlagerung in Abhängigkeit gleicher Merkmale, die in den einzelnen Bildern enthalten sind, erfolgt. Bei der positionsrichtigen Überlagerung hat es sich dabei besonders bewährt Merkmale wie z.B. die unmittelbare Fahrzeugumgebung mit der Fahrbahnoberfläche, Markierungen, Fahrspurränder, Gebäudekanten usw. heranzuziehen. Weiterhin besteht auch die Möglichkeit, dass zur Ergänzung von fahrzeugbezogenen Bildaufnahmen mit der weiteren Bildinformation einzelne Bildaufnahmen zusammengesetzt werden. Beim Zusammensetzen wenigstens einer fahrzeugbezogenen Bildaufnahme mit der Bildinformation einer Luftbildaufnahme bzw. der Bildinformation wenigstens eines stationär angeordneten Bildsensors wird aufgrund der unterschiedlichen Perspektiven eine lückenlose und abschattungsfreie Umgebungserfassung möglich, was mit einer einzelnen fahrzeugbezogenen Bildaufnahme nicht der Fall wäre.Also It can be at the supplement of vehicle-related image recordings and the further image information to an overlay act on images or image information. These are preferably Superimposed images of the same size in the correct position, where images of different sizes, for example, in the context a preprocessing scaled or cut accordingly become. For positionally correct overlay is then carried out, for example, an object detection, wherein the positionally correct overlay dependent on the same characteristics that are contained in the individual images, he follows. In the correct position overlay, it has it especially proven features such as. the immediate vehicle environment with the road surface, markings, lane edges, building edges etc. to use. Furthermore, there is also the possibility that to supplement vehicle-related image recordings with the further image information individual picture shots are put together. When assembling at least one vehicle-related image recording with the image information an aerial photograph or the image information of at least one stationary arranged image sensor is due to the different perspectives a complete one and shadow-free environment detection possible, what with a single vehicle-based image capture would not be the case.

In einer weiteren gewinnbringenden Weise der Erfindung wird die weitere Bildinformation über eine geeignete Kommunikationsschnittstelle an das Fahrzeug übertragen. Beispielsweise kann es sich hierbei um eine drahtlose Kommunikationsverbindung handeln, wie z.B. eine Bluetooth oder WLAN Verbindung mittels der die Bildinformationen an das Fahrzeug übertragen werden. Dabei kann die Kommunikationsverbindung ununterbrochen bestehen, sodass die Umgebungsbilder fortwährend aktualisiert werden. Auch kann die Aktualisierung in bestimmten Zeitintervallen, z.B. beim Aufenthalt in der Werkstatt oder in der Garage erfolgen, wobei die Bildinformationen im Fahrzeug in einer Speichereinheit hinterlegt sind. Es können aber auch andere Kommunikationsverbindungen im Zusammenhang mit der Erfindung genutzt werden, wie z.B. optische Verbindung oder Telefonverbindungen, diese eignen sich besonders dann falls lokal an einem bestimmten Ort Umgebungsinformation in Form von Bildinformation gezielt abgerufen werden soll.In Another profitable way of the invention will be the further Image information about a transmit suitable communication interface to the vehicle. For example, this may be a wireless communication connection act, such as a Bluetooth or WLAN connection using the the image information is transmitted to the vehicle. It can the communication connection is continuous, so that the Environmental images ongoing to be updated. Also, updating at certain time intervals, e.g. when staying in the workshop or in the garage, wherein the image information in the vehicle in a storage unit are deposited. It can but also other communications related to of the invention are used, e.g. optical connection or telephone connections, These are particularly suitable if local to a particular Location Environment information specifically retrieved in the form of image information shall be.

Bei der weiteren Bildinformation handelt es sich dabei vorzugsweise um Bildaufnahmen, welche mittels Satellit, Flugzeug oder stationär angeordneten Bildsensoren gewonnen werden. Die mittels Satellit oder Flugzeug gewonnen Bildinformationen oder Bildaufnahmen von der Erdoberfläche mit zugehörigem Höhenprofil werden beispielsweise bereits in Verbindung mit so genannten Geografischen Informationssystemen (GIS) eingesetzt. Auch sind im Zusammenhang mit den weiteren Bildinformationen stationär angeordnete Bildsensoren möglich, derartige Sensoren werden z.B. im Bereich von Verkehrskreuzungen oder Tunneln bereits eingesetzt. Bei der Bestimmung der stationären Fahrzeugumgebung ist die stationär gewonnene Bildinformation gegenüber einer rein fahrzeugbezogenen Bildaufnahme in den allermeisten Fällen genauer. Auch sind die mittels einer stationär angeordneten Bilderfassungseinheit gewonnenen Bildinformationen in der Regel aktueller als im Fahrzeug hinterlegte Karteninformationen.at the further image information is preferably to recordings, which arranged by satellite, aircraft or stationary Image sensors are obtained. The by satellite or plane obtained image information or images of the earth's surface with associated height profile For example, they are already linked to so-called geographical ones Information systems (GIS). Also are related with the further image information stationarily arranged image sensors possible, such sensors are e.g. in the area of traffic intersections or tunnels already used. In determining the stationary vehicle environment is the stationary one obtained image information compared to one purely vehicle-related image capture in most cases more accurately. Also, the means of a stationary image acquisition unit image information obtained usually more current than in the vehicle deposited card information.

Im Zusammenhang mit der Erfindung ist es von großem Vorteil, falls die weitere Bildinformation mit hoher Genauigkeit registriert ist. Die Luftbildaufnahmen müssen dabei mit hoher Genauigkeit registriert sein, was bei Satellitenbildern bereits üblich ist. Falls die Bildaufnahmen nicht genau genug registriert sind, besteht z.B. die Gefahr dass Fehler in der Position des Straßenverlaufs aufgrund eines nicht genau genug erfassten Höhenprofils entstehen. Auch müssen stationär angeordnete Bildsensoren entsprechend kalibriert sein, damit eine Verlässlichkeit der erfassten Umgebungsinformation gewährleistet werden kann. Weiterhin ist es daher vorteilhaft, falls die fahrzeugbezogenen Bildaufnahmen und/oder die weitere Bildinformation im Fahrzeug korrigiert werden. Dadurch können etwaige Ungenauigkeiten bei der Bilderfassung anschließend im Fahrzeug mittels geeigneter Algorithmen ausgeglichen werden. Hierzu wird bei einer besonders bevorzugten Ausgestaltung der Erfindung im Rahmen der Korrektur eine Objekterkennung durchgeführt. Aufgrund der Objekterkennung können dabei Abweichungen anhand von Merkmalen die in den fahrzeugbezogenen Bildaufnahmen und in den weiteren Bildaufnahmen enthalten sind bzw. anhand deren Positionen auf einfache und zuverlässige Weise bestimmt werden.In the context of the invention, it is of great advantage if the further image information is registered with high accuracy. The aerial photographs have to register with high accuracy which is already common in satellite imagery. If the image recordings are not registered with enough accuracy, for example, there is a risk that errors in the position of the road will occur due to a not accurately recorded height profile. Also stationary image sensors must be calibrated accordingly, so that a reliability of the detected environmental information can be guaranteed. Furthermore, it is therefore advantageous if the vehicle-related image recordings and / or the further image information in the vehicle are corrected. As a result, any inaccuracies in the image acquisition can then be compensated in the vehicle by means of suitable algorithms. For this purpose, in a particularly preferred embodiment of the invention as part of the correction, an object detection is performed. Because of the object recognition, deviations can be determined based on features contained in the vehicle-related image recordings and in the further image recordings or on the basis of their positions in a simple and reliable manner.

Auch kann es sich bei der weiteren Bildinformation um Bildinformation aus fahrzeugexternen Datenbanken und/oder dem Internet handeln. Der Zugriff auf das Internet ist bei heutigen Fahrzeugen bereits möglich, beispielsweise werden im Internet Software und Portale zum Abruf von Umgebungsinformation bereits angeboten, z.B. "Google Earth". Auch sind in diesem Zusammenhang Bezahldienste möglich, die beispielsweise per Mobiltelefon abrufbar sind.Also it may be in the further image information to image information from off-board databases and / or the Internet. Access to the Internet is already on today's vehicles possible, For example, software and portals are available on the Internet of environment information already offered, e.g. "Google Earth". Also are in this Connection pay services possible, which are available, for example, by mobile phone.

Die weitere Bildinformation zu einer einzigen Umgebungsszene kann in vorteilhafter Weise auch aus wenigstens zwei unabhängigen Bildquellen stammen, um damit die Zuverlässigkeit der weiteren Bildinformation zu bestimmen. Durch die Erfassung der weiteren Bildinformation mittels zweier unabhängiger Bildquellen ist es möglich, dass das Erkennungsverfahren der Umgebungserfassung selbständig feststellt, ob die damit erfasste Bildinformation konsistent und korrekt ist. Beispielsweise stimmt die Bildaufnahme einer Kamera nach einer baulichen Veränderung einer Straße nicht mit einer mittels Satellit zuvor erfassten Bildinformation überein. Ein Fehler bei der fahrzeugbezogenen Bilderfassung lässt sich nicht mit der Satellitenaufnahme in Deckung bringen, wohingegen Bildinformationen zweier unabhängiger Bildquellen für die weitere Bildinformation in Deckung gebracht werden können, falls diese konsistent und damit korrekt sind. Andernfalls würde eine Abweichung auf eine fehlerhafte Erfassung der Umgebungsinformation hinweisen.The Further image information about a single environment scene can be found in advantageously come from at least two independent image sources, order reliability to determine the further image information. By capturing the Further image information by means of two independent image sources, it is possible that independently determines the detection method of the environmental detection, if the captured image information is consistent and correct. For example, the image capture of a camera after a structural change is correct a street not coincide with image information previously captured by satellite. An error in the vehicle-based image acquisition can be not coincide with the satellite image, whereas Image information of two independent Image sources for the additional image information can be brought into coincidence, if they are consistent and therefore correct. Otherwise, one would Deviation to incorrect detection of the environment information clues.

Verwendung des Verfahrens zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen nach einem der Patentansprüche 1 bis 11 oder der Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen nach Patentanspruch 12 zur exakten Bestimmung der absoluten Fahrzeugposition. Durch den Einsatz der Erfindung wird es sogar möglich, die genaue Fahrzeugposition in einem vorgegebenen Koordinatensystem genau zu bestimmen. Beispielsweise lässt sich mit gängigen GPS-Systemen ohne Referenzsignal nur eine Genauigkeit im Bereich von mehreren Metern bei der Positionsbestimmung erzielen. Durch die Auswertung von fahrzeugbezogenen Bildaufnahmen in Verbindung mit der weiteren Bildinformation von Luftbildaufnahmen bzw. ortsfest angeordneten Bildsensoren wird demgegenüber eine Genauigkeit im Bereich von wenigen Zentimetern möglich. Neben der höheren Genauigkeit bietet ein Einsatz der Erfindung den Vorteil, dass die damit durchführbare Umgebungserfassung überall weltweit einsetzbar ist. Demgegenüber stehen beispielsweise GPS-Daten nur in bestimmten Bereichen und teilweise nur mit eingeschränkter Auflösung zur Verfügung.use of the method for aerial photography Environmental detection in motor vehicles according to one of the claims 1 to 11 or the device for airborne environment detection at Motor vehicles according to claim 12 for the exact determination of absolute vehicle position. By the use of the invention will it even possible the exact vehicle position in a given coordinate system to be determined exactly. For example, can be used with popular GPS systems without reference signal only an accuracy in the range of several Meters in positioning. By the evaluation of vehicle-related image recordings in connection with the other Image information of aerial photographs or fixedly arranged Image sensors is in contrast an accuracy in the range of a few centimeters possible. Next the higher accuracy offers a use of the invention has the advantage that the feasible environment detection anywhere in the world can be used. In contrast, stand For example, GPS data only in certain areas and partially only with limited resolution to disposal.

Verwendung des Verfahrens zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen nach einem der Patentansprüche 1 bis 11 oder der Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen nach Patentanspruch 12 zur exakten Bestimmung der Relativposition zwischen Fahrzeugen. Falls zwei oder mehr Kraftfahrzeuge mit der erfindungsgemäßen Vorrichtung und dem erfindungsgemäßen Verfahren ausgestattet sind und diese jeweils fahrzeugbezogene Bildaufnahmen sowie weitere Bildinformation aus Luftbildaufnahmen bzw. eines stationär angeordneten Bildsensors erfassen und verarbeiten, besteht durch eine gemeinsame Auswertung dieser Bildaufnahmen bzw. Bildinformation damit die Möglichkeit die Relativposition zwischen diesen Kraftfahrzeugen exakt zu bestimmen. Beispielsweise bestimmen zwei sich begegnende Kraftfahrzeuge anhand der gemeinsamen Bildinformation ihre relative Position zueinander. Darüber hinaus besteht z.B. auch die Möglichkeit, dass neben der relativen Position zwischen den Fahrzeugen für jedes Fahrzeug anhand der gemeinsamen Bildinformation dessen Abstand zum Fahrspurrand bestimmt wird.use of the method for aerial photography Environmental detection in motor vehicles according to one of the claims 1 to 11 or the device for airborne environment detection at Motor vehicles according to claim 12 for the exact determination of Relative position between vehicles. If two or more vehicles with the device according to the invention and the method of the invention are equipped and these each vehicle-related images and further image information from aerial photographs or a stationary image sensor capture and process, consists of a common evaluation This image or image information thus the possibility to determine the relative position between these vehicles exactly. For example, determine two encountered motor vehicles based the common image information their relative position to each other. About that in addition there is e.g. also the possibility that in addition to the relative position between the vehicles for each Vehicle based on the common image information whose distance from the Lane edge is determined.

Claims

A method for aerial image based environment detection Motor vehicles wherein vehicle-related image recordings, which include the vehicle environment, by means of at least one vehicle sensor be detected wherein as part of the environment detection further image information from aerial photographs and / or image recordings of at least one stationary image sensor be used and wherein the vehicle-related image captures the additional image information added become.

Method according to claim 1, characterized in that that it is a supplement of vehicle-related image recordings and the further image information is an image fusion.

Method according to one of the preceding claims, characterized characterized in that it is a supplement of vehicle-related Image recordings and the further image information to an overlay of images or image information.

Method according to one of the preceding claims, characterized marked that to complement of vehicle-related image recordings with the further image information individual picture shots are put together.

Method according to one of the preceding claims, characterized characterized in that the further image information about a transmit suitable communication interface to the vehicle becomes.

Method according to one of the preceding claims, characterized in that the further image information is um Photographs are, which arranged by satellite, aircraft or stationary Image sensors are obtained.

Method according to one of the preceding claims, characterized characterized in that the further image information with high accuracy is registered.

Method according to one of the preceding claims, characterized in that the vehicle-related image recordings and / or the further image information in the vehicle can be corrected.

Method according to claim 8, characterized in that in that an object recognition is carried out as part of the correction.

Method according to one of the preceding claims, characterized in that the further image information is um Image information from external databases and / or the Internet is.

Method according to one of the preceding claims, characterized characterized in that the further image information to a single Environment scene comes from at least two independent image sources, order reliability to determine the further image information.

Device for aerial image-based environmental detection at Motor vehicles wherein at least one vehicle sensor is vehicle-related Captures images that contain the vehicle environment, in which a suitable means of communication is present in the frame the environment detection further image information from aerial photographs and / or Image recordings of at least one stationary image sensor zoom pull and wherein a computing unit is the vehicle-related Images added by the additional image information.

Use of the method for aerial image-based environmental detection in motor vehicles according to one of the claims 1 to 11 or the device for aerial photography Environmental detection in motor vehicles according to claim 12 to exact determination of the vehicle position.

Use of the method for aerial image-based environmental detection in motor vehicles according to one of the claims 1 to 11 or the device for aerial photography Environmental detection in motor vehicles according to claim 12 to exact determination of the relative position between vehicles.