DE102009045326B4

DE102009045326B4 - Method and system for creating a database for determining the position of a vehicle using natural landmarks

Info

Publication number: DE102009045326B4
Application number: DE102009045326.1A
Authority: DE
Inventors: Wolfgang Niem
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2009-10-05
Filing date: 2009-10-05
Publication date: 2022-07-07
Anticipated expiration: 2029-10-06
Also published as: DE102009045326A1

Abstract

Verfahren zum Aufbau einer Datenbank zur Positionsbestimmung eines Fahrzeuges mit Hilfe von natürlichen Landmarken, bei dem- eine aktuelle Position des Fahrzeuges durch ein von Landmarken unabhängiges Ortungssystem (2) bestimmt wird,- in einem vorgegebenen Streckenabschnitt vor Erreichen einer Gefahrenstelle Bilder von der Umgebung des Fahrzeuges aufgenommen werden,- aus den Umgebungsbildern mindestens zwei natürliche Landmarken bestimmt werden,- das Erreichen der Gefahrenstelle detektiert wird und- bei Erreichen der Gefahrenstelle mindestens zwei der bestimmten Landmarken sowie der jeweils zugehörigen aktuellen Position des Fahrzeuges zum Zeitpunkt der Aufnahme des jeweiligen Umgebungsbildes gespeichert werden.Method for creating a database for determining the position of a vehicle using natural landmarks, in which the current position of the vehicle is determined by a location system (2) independent of landmarks, images of the surroundings of the vehicle in a specified section of road before a danger point is reached are recorded, - at least two natural landmarks are determined from the images of the surroundings, - the arrival of the danger area is detected and - when the danger area is reached, at least two of the determined landmarks and the respectively associated current position of the vehicle at the time the respective environmental image is recorded are stored.

Description

Die Erfindung betrifft ein Verfahren und ein System zum Aufbau einer Datenbank zur Positionsbestimmung eines Fahrzeugs mit Hilfe von natürlichen Landmarken.The invention relates to a method and a system for building a database for determining the position of a vehicle using natural landmarks.

Stand der TechnikState of the art

Navigationssysteme für Fahrzeuge sind hinlänglich bekannt. Im Allgemeinen wird die aktuelle Position bestimmt und anschließend eine Route zu einem vorgegebenen Ziel berechnet. Hierzu wird auf digitalisierte Kartendaten eines Straßennetzes oder Wegenetzes in einem Speicher, beispielsweise einer CD-ROM oder einer DVD, zugegriffen. Die Kartendaten können unter anderem Informationen über Straßenverläufe, Straßenklassen, Kreuzungen, Abbiegebedingungen und Points-of-Interest enthalten. Die Menge und Genauigkeit der Informationen ist dabei abhängig von der Kapazität des verwendeten Speichers.Navigation systems for vehicles are well known. In general, the current position is determined and then a route to a specified destination is calculated. For this purpose, digitized map data of a road network or path network in a memory, for example a CD-ROM or a DVD, is accessed. The map data can contain, among other things, information about the course of roads, road classes, intersections, turning conditions and points of interest. The amount and accuracy of the information depends on the capacity of the memory used.

Die geographische Position des Fahrzeugs wird in der Regel mit einem Satelliten-gestützten Ortungssystem, beispielsweise einem GPS-Modul (Global-Positioning-System-Module) oder einem anderen vergleichbaren System, ermittelt. Zur Verbesserung der Positionsbestimmung, insbesondere in Bereichen mit eingeschränktem Empfang der Satellitensignale, wird bei einigen Fahrzeugen die Fahrtrichtung über einen Gyrometer, die Fahrgeschwindigkeit über Geschwindigkeitssensoren und/oder Fahränderungen über Beschleunigungssensoren ermittelt und somit eine zusätzliche Positionsbestimmung auf Basis von Koppelortung ermöglicht.The geographic position of the vehicle is usually determined using a satellite-based positioning system, for example a GPS module (Global Positioning System module) or another comparable system. In order to improve position determination, particularly in areas with limited satellite signal reception, some vehicles determine the direction of travel using a gyrometer, the driving speed using speed sensors and/or driving changes using acceleration sensors, thus enabling an additional position determination based on dead reckoning.

Ein Auswertemodul bestimmt anhand der ermittelten Positionsdaten und der Kartendaten der digitalisierten Straßenkarte den Standort des Fahrzeugs in Bezug auf die Straßenkarte. Hierbei können auftretende Messfehler der Sensoren und/oder Ungenauigkeiten in der Straßenkarte durch ein sogenanntes „Map-Matching“-Verfahren korrigiert werden. Da für das Navigationssystem die Lage des Fahrzeugs in der digitalisierten Straßenkarte entscheidend ist, wird die ermittelte Position mit den Karteninformationen so abgeglichen, dass der wahrscheinlichste Standort des Fahrzeugs in der Karte für die Navigation ermittelt wird. Hierzu werden beim Map-Matching die Kenntnisse über die Bewegungen des Fahrzeugs ausgenutzt. Da sich zum Beispiel Fahrzeuge nicht außerhalb von fest vorgegebenen Straßen bewegen können, kann sich die Position nicht innerhalb von bebautem Gebiet, sondern nur auf einer digitalisierten Straße befinden.An evaluation module uses the determined position data and the map data of the digitized road map to determine the location of the vehicle in relation to the road map. In this case, measurement errors that occur in the sensors and/or inaccuracies in the road map can be corrected using a so-called "map matching" process. Since the position of the vehicle on the digitized road map is decisive for the navigation system, the determined position is compared with the map information in such a way that the most probable location of the vehicle on the map for the navigation is determined. For this purpose, knowledge about the movements of the vehicle is used during map matching. Since, for example, vehicles cannot move outside of fixed roads, the position cannot be within a built-up area, but only on a digitized road.

Mit Hilfe satellitengestützter Ortungssysteme kann die aktuelle Position im Regelfall hinreichend genau bestimmt werden. Diese Ortbestimmung erfordert aber einen permanenten Kontakt mit den die Funksignale aussendenden Satelliten. Der Empfang der Satellitensignale kann jedoch durch die aktuelle Umgebung des Fahrzeugs, beispielsweise beim Durchfahren von Hochhausschluchten, Gebirgstälem und/oder einem Tunnel, aufgrund von Abschattung gestört werden. Neben Satellitenortung und Koppelortung sind auch weitere Ortungsverfahren bekannt.With the help of satellite-based positioning systems, the current position can usually be determined with sufficient accuracy. However, this location determination requires permanent contact with the satellites transmitting the radio signals. However, the reception of the satellite signals can be disrupted by the current environment of the vehicle, for example when driving through high-rise canyons, mountain valleys and/or a tunnel, due to shadowing. In addition to satellite positioning and dead reckoning, other positioning methods are also known.

Aus DE 41 38 270 A1 ist ein Verfahren zur Navigation eines selbstfahrenden Landfahrzeugs bekannt, bei dem Marken während der Fahrt erfasst, digitalisiert und mit abgespeicherten Daten verglichen werden, um Abweichungen von Sollwerten festzustellen, die zu entsprechenden Navigationssteuersignalen verarbeitet werden, wobei die abgespeicherten Daten während einer Lernfahrt erzeugt werden. Um von künstlichen Markierungen und Reichweiten unabhängig zu sein, werden als Marken natürliche im Raum befindliche Landmarken verwendet, die mittels einer um eine Achse senkrecht und eine Achse waagerecht zur Fahrtebene schwenkbaren Videokamera bildmäßig unter einem gespeicherten Blickwinkel zu einem Zeitpunkt, an dem ein mit der jeweiligen Landmarke in Bezug gesetzter Sollpunkt erreicht sein soll, erfasst werden und nach Digitalisierung eines erfassten Landmarkenbildes die koordinatenmäßige Verschiebung der Landmarke im Bild bestimmt und aus den Verschiebungen eines Landmarkenpaares die IstPosition des Fahrzeugs relativ zu einem Sollpunkt und die aktuelle Fahrzeugrichtung in Bezug auf eine Sollrichtung berechnet wird.Out of DE 41 38 270 A1 a method for navigating a self-propelled land vehicle is known, in which markers are recorded while driving, digitized and compared with stored data in order to determine deviations from target values, which are processed into corresponding navigation control signals, the stored data being generated during a learning trip. In order to be independent of artificial markings and ranges, natural landmarks in space are used as marks, which are captured by a video camera that can be swiveled about an axis perpendicular and an axis horizontal to the plane of travel from a stored perspective at a point in time when a vehicle with the respective Landmark reference set point should be reached, are detected and determined after digitization of a captured landmark image the coordinate displacement of the landmark in the image and from the displacements of a pair of landmarks, the actual position of the vehicle relative to a target point and the current vehicle direction in relation to a target direction is calculated .

Aus DE 10 2007 043 534 A1 ist außerdem eine Anordnung bekannt, die dazu ausgebildet ist, eine Umgebung für eine bewegliche Vorrichtung zu erfassen und die mindestens einen Sensor zum visuellen Erfassen der Umgebung sowie jeweils mindestens einen Sensor zum Erfassen der Bewegungsrichtung und der Orientierung der Vorrichtung aufweist, wobei die Anordnung dazu ausgebildet ist, Informationen, die von den Sensoren bereitgestellt werden, zu verarbeiten.Out of DE 10 2007 043 534 A1 an arrangement is also known which is designed to detect an environment for a mobile device and which has at least one sensor for visually detecting the environment and at least one sensor each for detecting the direction of movement and the orientation of the device, the arrangement being designed for this is to process information provided by the sensors.

Die US 2007/0124060 A1 offenbart ein Verfahren und eine Vorrichtung zum Detektieren eines mobilen Objekts sowie ein entsprechendes Computerprogramm.the U.S. 2007/0124060 A1 discloses a method and a device for detecting a mobile object and a corresponding computer program.

Die DE 10 2008 020 446 A1 offenbart eine Korrektur einer Position eines Fahrzeugs, indem markante Punkte auf der Fahrtroute detektiert werden und die gemessene Fahrzeugposition nach erfolgter Identifikation eines solchen Punktes korrigiert wird.the DE 10 2008 020 446 A1 discloses a correction of a position of a vehicle by detecting prominent points on the route and correcting the measured vehicle position after such a point has been identified.

Die DE 101 48 224 A1 offenbart ein Verfahren und ein System zur Ermittlung von Kartendaten.the DE 101 48 224 A1 discloses a method and system for determining map data.

Offenbarung der ErfindungDisclosure of Invention

Die vorliegende Erfindung schafft ein Verfahren zum Aufbau einer Datenbank zur Positionsbestimmung eines Fahrzeuges mit Hilfe von natürlichen Landmarken, bei dem eine aktuelle Position des Fahrzeuges durch ein von Landmarken unabhängiges Ortungssystem bestimmt wird, in einem vorgegebenen Streckenabschnitt vor Erreichen einer Gefahrenstelle - häufig auch als Hazard Spot bezeichnet - Bilder von der Umgebung des Fahrzeuges aufgenommen werden, aus den Umgebungsbildern mindestens zwei, vorzugsweise mindestens drei, natürliche Landmarken bestimmt werden, das Erreichen der Gefahrenstelle detektiert wird und bei Erreichen der Gefahrenstellen mindestens zwei der bestimmten Landmarken sowie die jeweils zugehörige Fahrzeugposition zum Zeitpunkt der Aufnahme des jeweiligen Umgebungsbildes gespeichert werden.The present invention creates a method for building a database for determining the position of a vehicle using natural landmarks, in which a current position of the vehicle is determined by a landmark-independent positioning system in a predetermined section of the route before a danger point is reached—often also known as a hazard spot referred to - images are taken of the area surrounding the vehicle, at least two, preferably at least three, natural landmarks are determined from the environmental images, reaching the hazard area is detected and when the hazard area is reached, at least two of the determined landmarks and the respective associated vehicle position at the time of the Recording of the respective environment image can be saved.

Die Erfindung schafft außerdem ein System zum Aufbau einer Datenbank zur Positionsbestimmung eines Fahrzeuges mit Hilfe von natürlichen Landmarken mit einem von Landmarken unabhängigen Ortungssystem, insbesondere einem satellitengestützten Ortungssystem, zum Empfangen von Ortungssignalen und zum Bestimmen einer aktuellen Position des Fahrzeuges auf Basis der Ortungssignale, einer Videosensorik zur Aufnahme von Bildern der Umgebung des Fahrzeuges in einem vorgegebenen Streckenabschnitt vor Erreichen einer Gefahrenstelle, einer Detektionseinheit zum Detektieren des Erreichens einer Gefahrenstelle, einer Recheneinheit zum Bestimmen mindestens zweier natürlicher Landmarken aus den Umgebungsbildern und zum Abspeichern von mindestens zwei der bestimmten Landmarken sowie der jeweils zugehörigen Fahrzeugposition zum Zeitpunkt der Aufnahme des jeweiligen Umgebungsbildes bei Erreichen der Gefahrenstelle und einer Speichereinheit zum Speichern der Landmarken sowie der zugehörigen Fahrzeugpositionen.The invention also creates a system for building a database for determining the position of a vehicle using natural landmarks with a locating system independent of landmarks, in particular a satellite-based locating system, for receiving locating signals and for determining a current position of the vehicle on the basis of the locating signals, a video sensor system for recording images of the surroundings of the vehicle in a specified section of the route before a danger zone is reached, a detection unit for detecting when a danger zone has been reached, a computing unit for determining at least two natural landmarks from the surroundings images and for storing at least two of the determined landmarks and the respectively associated ones Vehicle position at the time the respective image of the surroundings is recorded when the danger zone is reached, and a storage unit for storing the landmarks and the associated vehicle position in.

Das erfindungsgemäße Verfahren sowie das erfindungsgemäße System ermöglichen einerseits den selbsttätigen Aufbau einer Datenbank, in welcher Landmarken abgelegt werden, welche bei zukünftigen Fahrten mit dem Fahrzeug zur Positionsbestimmung genutzt werden können. Straßenkarten mit vorab hinterlegten Zeichen oder Landmarken, welche für viele Länder auch gar nicht existieren, sind aufgrund des selbstlernenden Systems nicht erforderlich. Der Aufbau der Datenbank erfolgt dabei sukzessive während der normalen Fahrtätigkeit des Fahrzeugs, so dass gesonderte Lernfahrten im engeren Sinne nicht erforderlich sind. Andererseits werden Landmarken nur in Bereichen vor einer Gefahrenstelle bestimmt und abgespeichert, was die erforderliche Speicherkapazität begrenzt.The method according to the invention and the system according to the invention enable, on the one hand, the automatic construction of a database in which landmarks are stored, which can be used to determine the position on future journeys with the vehicle. Road maps with characters or landmarks stored in advance, which do not even exist for many countries, are not required due to the self-learning system. The database is built up successively during the normal driving activity of the vehicle, so that separate learning trips in the narrower sense are not required. On the other hand, landmarks are only determined and stored in areas in front of a danger point, which limits the required storage capacity.

Gemäß einer Ausführungsform der Erfindung wird ein zeitlicher oder örtlicher Abstand von der Gefahrenstelle vorgegeben, der den Beginn des Streckenabschnittes definiert, in welchem Umgebungsbilder aufgenommen und Landmarken bestimmt werden. Das Ende des Streckenabschnittes wird jeweils durch die Gefahrenstelle selbst definiert. Der zeitliche oder örtliche Abstand wird dabei in Bezug auf die Position der Gefahrenstelle in einer digitalisierten Straßenkarte vorgegeben. Eine Gefahrenstelle kann in der digitalisierten Straßenkarte dabei entweder explizit, z.B. durch eine entsprechende Markierung, gekennzeichnet sein, oder implizit gekennzeichnet sein, indem z.B. zur Straßenkarte ein Regelwerk hinterlegt ist, welches z.B. jede in der Straßenkarte eingetragene Kreuzung oder Schule als Gefahrenstelle ansieht.According to one embodiment of the invention, a temporal or spatial distance from the danger point is specified, which defines the start of the route section in which images of the surroundings are recorded and landmarks are determined. The end of the route section is defined by the danger point itself. The temporal or spatial distance is specified in relation to the position of the danger point on a digitized road map. A danger spot can either be marked explicitly in the digitized road map, e.g. by a corresponding marking, or implicitly marked, e.g. by a set of rules being stored for the road map, which, for example, regards every intersection or school entered in the road map as a danger zone.

Auf diese Weise wird sichergestellt, dass der Streckenabschnitt einerseits ausreichend lang ist, um zur späteren Positionsbestimmung geeignete Landmarken zu bestimmen, und so kurz wie möglich ist, um unnötige Bildaufnahmen und Bildverarbeitungen zu vermeiden.In this way it is ensured that the route section is on the one hand long enough to determine suitable landmarks for later position determination and is as short as possible in order to avoid unnecessary image recordings and image processing.

Gemäß einer weiteren Ausführungsform der Erfindung werden die mindestens zwei Landmarken nur dann gespeichert, wenn die Qualität der Positionsbestimmung mit Hilfe des Ortungssystems an der Gefahrenstelle eine vorgegebene Genauigkeit nicht erreicht oder wenn bei Erreichen der Gefahrenstelle, die mit Hilfe des Ortungssystems bestimmte aktuelle Fahrzeugposition in Bezug auf eine digitalisierte Straßenkarte um mehr als einen vorgegebenen Schwellwert von der sich aus der digitalisierten Straßenkarte ergebenden Position der Gefahrenstelle abweicht.According to a further embodiment of the invention, the at least two landmarks are only stored if the quality of the position determination using the positioning system at the danger point does not reach a specified accuracy or if, when the danger point is reached, the current vehicle position determined using the positioning system in relation to a digitized road map deviates by more than a predetermined threshold value from the position of the hazard spot resulting from the digitized road map.

Grundsätzlich sind für die Anwendung des erfindungsgemäßen Verfahrens und den Einsatz des erfindungsgemäßen Systems beliebige Ortungssysteme einsetzbar, solange sie eine Positionsbestimmung ohne Zuhilfenahme von Landmarken ermöglichen. Üblicherweise werden jedoch satellitengestützte Ortungssysteme, wie zum Beispiel das Global-Positioning-System GPS oder zukünftig möglicher Weise auch das Galileo-System, eingesetzt. Mit Hilfe satellitengestützter Ortungssysteme kann die aktuelle Position im Regelfall hinreichend genau bestimmt werden. Dies erfordert jedoch einen permanenten Kontakt mit den die Funksignale aussendeten Satelliten. Der Empfang der Satellitensignale kann jedoch, wie bereits eingangs erwähnt, durch die aktuelle Umgebung des Fahrzeugs aufgrund von Abschattungen gestört werden. Werden Landmarken nur dann gespeichert, wenn die Qualität der Positionsbestimmung mit Hilfe des im Fahrzeug vorgesehenen, von Landmarken unabhängigen Ortungssystems, also zum Beispiel des satellitengestützten Ortungssystems, an der Gefahrenstelle eine vorgegebene Genauigkeit nicht erreicht, trägt dies zu einer weiteren erheblichen Reduzierung der notwendigen Speicherkapazität zum Speichern der Landmarken bei. Dabei wird das Grundprinzip verfolgt, Landmarken nur im Bereich von Gefahrenstellen zu speichern, an welchen die Qualität der Positionsbestimmung mit Hilfe des herkömmlichen Ortungssystems nicht ausreicht, um beispielsweise Warnfunktionen für den Fahrer zuverlässig zu realisieren. Die Qualität der Positionsbestimmung mit Hilfe des Ortungssystems kann dabei mit Hilfe eines in üblicher Weise bestimmten Gütemaßes erfolgen, welches unter anderem in Abhängigkeit von Anzahl und Einfallswinkel der Satellitensignale erzeugt wird. Alternativ dazu kann beispielsweise ermittelt werden, ob die aktuelle Signalstärke aller zur Satellitenortung erforderlichen Satellitensignale oberhalb eines vorgegebenen Schwellwertes liegt.In principle, any positioning system can be used for the application of the method according to the invention and the use of the system according to the invention, as long as they enable position determination without the aid of landmarks. Usually, however, satellite-based positioning systems are used, such as the global positioning system GPS or, in the future, the Galileo system. With the help of satellite-based positioning systems, the current position can usually be determined with sufficient accuracy. However, this requires permanent contact with the satellites sending out the radio signals. However, as already mentioned at the outset, reception of the satellite signals can be disrupted by the current surroundings of the vehicle due to shadowing. Are landmarks only saved if the quality of the Position determination with the aid of the positioning system provided in the vehicle and independent of landmarks, for example the satellite-based positioning system, does not achieve a specified accuracy at the danger point, this contributes to a further significant reduction in the storage capacity required for storing the landmarks. The basic principle here is to save landmarks only in the area of danger spots where the quality of the position determination using the conventional positioning system is not sufficient, for example to reliably implement warning functions for the driver. The quality of the position determination with the aid of the positioning system can be carried out with the aid of a quality measure which is determined in the usual way and which is generated as a function of the number and angle of incidence of the satellite signals, among other things. As an alternative to this, it can be determined, for example, whether the current signal strength of all the satellite signals required for satellite positioning is above a predetermined threshold value.

Die erforderliche Speicherkapazität zur Speicherung der Landmarken kann außerdem reduziert werden, indem Landmarken nur dann gespeichert werden, wenn bei Erreichen der Gefahrenstelle die mit Hilfe des Ortungssystems bestimmte aktuelle Fahrzeugposition in Bezug auf eine digitalisierte Straßenkarte um mehr als einen vorgegebenen Schwellwert von der sich aus der digitalisierten Straßenkarte ergebenen Position der Gefahrenstelle abweicht. Das Erreichen einer Gefahrenstelle kann gemäß einer Ausführungsform der Erfindung auf Basis von Betriebsparametern des Fahrzeuges und/oder auf Basis von Ausgangssignalen einer Videosensorik detektiert werden. So kann beispielsweise aufgrund eines Lenkeinschlags, welcher mit Hilfe eines Lenkwinkelsensors sensiert wird, eine Abbiegung, oder eine scharfe Kurve erkannt werden, welche im Sinne der Erfindung eine Gefahrenstelle darstellen können. Durch Auswertung von Bildern der Videosensorik ist es darüber hinaus auch möglich, Gefahrenstellen wie zum Beispiel Kreuzungen oder Schulen, zu erkennen. Beispielsweise eine Kreuzung oder Schule wird dabei dadurch zur Gefahrenstelle, dass sie in der digitalisierten Straßenkarte entsprechend gekennzeichnet ist, explizit oder implizit. Wird das Erreichen einer Gefahrenstelle auf diese Weise detektiert, so kann es aber vorkommen, dass die mit Hilfe des Ortungssystems bestimmte aktuelle Fahrzeugposition in Bezug auf eine digitalisierte Straßenkarte suggeriert, dass die Gefahrenstelle noch gar nicht erreicht sei oder schon passiert worden wäre. Dies ergibt sich daraus, dass die Position des Fahrzeugs in der Straßenkarte von der Position der Gefahrenstelle in der Straßenkarte um einen bestimmten Wert abweicht, obwohl das Erreichen der Gefahrenstelle detektiert wurde. Für die Sicherstellung einer zuverlässigen Positionsbestimmung ist es aber ausreichend, Landmarken dann abzuspeichern, wenn die reale Position der Gefahrenstelle um mehr als einen vorgegebenen Wert, zum Beispiel mehr als 10 m oder 20 m, von der sich aus der digitalisierten Straßenkarte ergebenen Position der Gefahrenstelle abweicht. Die zugrundeliegende Idee ist somit, Landmarken nur dann abzuspeichem, wenn die Positionsbestimmung über das herkömmliche Ortungssystem auch nach Map-Matching einer vorgegebenen Genauigkeit nicht genügt.The storage capacity required for storing the landmarks can also be reduced by landmarks only being stored if, when the danger point is reached, the current vehicle position determined with the aid of the positioning system in relation to a digitized road map by more than a predetermined threshold value from the digitized road map the position of the danger spot as shown on the road map. According to one embodiment of the invention, reaching a danger point can be detected on the basis of operating parameters of the vehicle and/or on the basis of output signals from a video sensor system. For example, based on a steering angle, which is sensed with the aid of a steering angle sensor, a turn or a sharp curve can be detected, which can represent a hazard within the meaning of the invention. By evaluating images from the video sensors, it is also possible to identify dangerous spots such as intersections or schools. For example, an intersection or school becomes a danger point because it is marked accordingly on the digitized road map, explicitly or implicitly. If reaching a danger point is detected in this way, it can happen that the current vehicle position determined with the help of the positioning system in relation to a digitized road map suggests that the danger point has not yet been reached or has already been passed. This results from the fact that the position of the vehicle on the road map deviates from the position of the hazard point on the road map by a specific value, although it was detected that the hazard point had been reached. However, to ensure reliable position determination, it is sufficient to store landmarks if the real position of the danger zone deviates by more than a specified value, for example more than 10 m or 20 m, from the position of the danger zone resulting from the digitized road map . The underlying idea is therefore to only store landmarks if the position determination via the conventional positioning system does not meet a specified level of accuracy even after map matching.

Gemäß einer Ausführungsform der Erfindung wird ein Objekt aus einem Umgebungsbild als Landmarke bestimmt in Abhängigkeit von der Signatur des Objektes und/oder der Lage des Objektes innerhalb des Umgebungsbildes und/oder der Bewegung des Objektes innerhalb eines Umgebungsbildes im Vergleich zu einem vorhergehenden Umgebungsbild.According to one embodiment of the invention, an object is determined from an image of the surroundings as a landmark depending on the signature of the object and/or the position of the object within the image of the surroundings and/or the movement of the object within an image of the surroundings compared to a previous image of the surroundings.

Objekte innerhalb eines Umgebungsbildes eignen sich dann besonders gut als Landmarke, wenn sie eine möglichst stabile und einmalige Signatur, also ein möglichst individuelles äußeres Erscheinungsbild aufweisen. Im Falle von Bildaufnahmen durch Front- oder Heckkameras, also Videosensoriken, welche in Fahrtrichtung oder entgegen der Fahrtrichtung ausgerichtet sind, ist es vorteilhaft, Objekte als Landmarken zu wählen, die möglichst im Bereich des linken oder rechten Bildrandes eines Umgebungsbildes liegen. Besonders vorteilhaft ist es, mindestens eine Landmarke im Bereich des linken Bildrandes und mindestens eine weitere Landmarke im Bereich des rechten Bildrandes zu bestimmen. Für die Qualität der für zukünftige Fahrten geplanten Positionsbestimmung mit Hilfe der Landmarken ist es auch vorteilhaft, Landmarken zu bestimmen, welche eine möglichst hohe Bild-zu-Bild-Geschwindigkeit aufweisen. Unter Bild-zu-Bild-Geschwindigkeit ist dabei die Bewegungsgeschwindigkeit des Objektes innerhalb eines Umgebungsbildes im Vergleich zu einem vorhergehenden Umgebungsbild zu verstehen. Je deutlicher sich die Position einer Landmarke von einem Bild zum nächsten ändert, umso höher ist die mit Hilfe dieser Landmarke erreichbare Genauigkeit der Positionsbestimmung. Ein Beobachten von Landmarken über mehrere Bilder hinweg ist daher vorteilhaft.Objects within an image of the surroundings are particularly suitable as landmarks if they have a signature that is as stable and unique as possible, ie an external appearance that is as individual as possible. In the case of images recorded by front or rear cameras, i.e. video sensors, which are aligned in the direction of travel or against the direction of travel, it is advantageous to select objects as landmarks that are as close as possible to the left or right edge of an image of the surroundings. It is particularly advantageous to determine at least one landmark in the area of the left edge of the image and at least one further landmark in the area of the right edge of the image. For the quality of the position determination planned for future journeys using the landmarks, it is also advantageous to determine landmarks which have the highest possible image-to-image speed. Frame-to-frame speed is to be understood as meaning the movement speed of the object within an environmental image compared to a preceding environmental image. The more clearly the position of a landmark changes from one image to the next, the higher the accuracy of position determination that can be achieved with the aid of this landmark. Observing landmarks across multiple images is therefore advantageous.

Gemäß einer weiteren Ausführungsform der Erfindung wird zum Zeitpunkt der Aufnahme eines Umgebungsbildes bis zum Erreichen der Gefahrenstelle die zurückgelegte Fahrstrecke, zum Beispiel mit Hilfe eines Gyrometers in Verbindung mit entsprechender Radsensorik, gemessen. Die zurückgelegte Fahrstrecke von der Position des Fahrzeugs zum Zeitpunkt der Aufnahme des Umgebungsbildes, aus welchem die Landmarke bestimmt wurde, bis zum Erreichen der Gefahrenstelle kann dann dazu genutzt werden, die Landmarke relativ zur Gefahrenstelle in einer digitalisierten Straßenkarte zu referenzieren. Außerdem kann die zurückgelegte Strecke als Maßstab dienen um die Position der Landmarken absolut bestimmen zu können.According to a further embodiment of the invention, the distance covered is measured at the point in time at which an image of the surroundings is recorded until the danger point is reached, for example with the aid of a gyrometer in conjunction with appropriate wheel sensors. The distance traveled from the position of the vehicle at the time the image of the surroundings from which the landmark was determined was recorded until the point of danger is reached can then be used to position the landmark relative to the danger place to reference in a digitized road map. In addition, the distance traveled can be used as a scale to be able to determine the absolute position of the landmarks.

Eine weitere Ausführungsform der Erfindung sieht vor, Straßensegmente, in welchen Gefahrenstelle erkannt werden, an denen die Qualität der Positionsbestimmung mit Hilfe des Ortungssystem eine vorgegebene Genauigkeit nicht erreicht, in der digitalisierten Straßenkarte entsprechend zu kennzeichnen. Diese Kennzeichnung ermöglicht es bei zukünftigen Fahrten auf einfache Weise zu erkennen, dass eine Positionsbestimmung auf Basis der abgespeicherten Landmarken durchgeführt werden soll, also eine Videoanalyse gestartet werden soll, welche die abgelegten Landmarken im Videobild sucht. Diese Suche ist dadurch stark vereinfacht, da einerseits nur nach wenigen Landmarken gesucht wird und andererseits die erwartete Position der Landmarken relativ genau bekannt ist.A further embodiment of the invention provides for road segments in which danger spots are detected, where the quality of the position determination using the positioning system does not reach a predetermined accuracy, to be marked accordingly on the digitized road map. This identification makes it possible to recognize in a simple manner on future journeys that a position determination is to be carried out on the basis of the stored landmarks, ie a video analysis is to be started which searches for the stored landmarks in the video image. This search is greatly simplified because, on the one hand, only a few landmarks are searched for and, on the other hand, the expected position of the landmarks is known relatively precisely.

Weitere Merkmale und Vorteile von Ausführungsformen der Erfindung ergeben sich aus der nachfolgenden Beschreibung mit Bezug auf die beigefügte Figur. Further features and advantages of embodiments of the invention result from the following description with reference to the attached figure.

Figurenlistecharacter list

1 shows a schematic block diagram of a system according to the invention for building a database for determining the position of a vehicle with the aid of natural landmarks.

Beschreibung der AusführungsbeispieleDescription of the exemplary embodiments

1 zeigt ein schematisches Blockschaltbild eines erfindungsgemäßen Systems 1 zum Aufbau einer Datenbank zur Positionsbestimmung eines Fahrzeuges mit Hilfe von natürlichen Landmarken, welches vorteilhaft als Bestandteil eines nicht dargestellten Navigationssystems für ein Fahrzeug ausgeführt ist. Ein Ortungssystem 2, welches gemäß der Darstellung als satellitengestütztes Ortungssystem ausgeführt ist, empfängt über eine Antenne 3 Satellitensignale. Die Satellitensignale sind dabei Funksignale des satellitengestützten Ortungssystems, beispielsweise des Global-Positioning-Systems GPS, des Galileo-Systems oder eines vergleichbaren anderen Systems. Das Ortungssystem 2 ermittelt auf Basis der Satellitensignale aktuelle Positionsdaten des Fahrzeugs. Eine Recheneinheit 4 bestimmt anhand der ermittelten Positionsdaten und von Kartendaten einer digitalisierten Straßenkarte, welche in einem Kartenspeicher 5 abgelegt ist, den Standort des Fahrzeugs in Bezug auf die Straßenkarte. Hierbei können auftretende Messfehler der Sensoren und/oder Ungenauigkeiten in der Straßenkarte durch „Map-Matching“-Verfahren korrigiert werden. 1 shows a schematic block diagram of a system 1 according to the invention for building a database for determining the position of a vehicle using natural landmarks, which is advantageously designed as a component of a navigation system for a vehicle (not shown). A positioning system 2, which according to the illustration is designed as a satellite-based positioning system, receives satellite signals via an antenna 3. The satellite signals are radio signals from the satellite-supported positioning system, for example the global positioning system GPS, the Galileo system or another comparable system. The positioning system 2 uses the satellite signals to determine current position data for the vehicle. A computing unit 4 uses the determined position data and map data of a digitized road map, which is stored in a map memory 5, to determine the location of the vehicle in relation to the road map. In this case, measurement errors of the sensors and/or inaccuracies in the road map that occur can be corrected by “map matching” processes.

Die Recheneinheit 4 erhält außerdem Umgebungsbilder, welche von einer Videosensorik 6, zum Beispiel in Form von mindestens einer an dem Fahrzeug angebrachten Kamera, aufgenommen werden. Die Kameras können dabei sowohl im Frontbereich des Fahrzeugs als auch im Seiten- und/oder Heckbereich des Fahrzeugs angeordnet sein. Die Recheneinheit 4 bestimmt aus den Umgebungsbildem mindestens zwei, vorzugsweise mindestens drei natürliche Landmarken. Dabei wird durch die Recheneinheit 4 berücksichtigt, dass Objekte innerhalb eines Umgebungsbildes besonders dann als Landmarke geeignet sind, wenn sie eine möglichst einmalige und stabile Signatur sowie eine möglichst hohe Bild-zu-Bild-Geschwindigkeit aufweisen. Im Falle von Umgebungsbildem, welche durch eine Front- oder Heckkamera aufgenommen wurden, wird zusätzlich berücksichtigt, dass Objekte besonders dann als Landmarke geeignet sind, wenn sie im Bereich des linken oder rechten Bildrandes liegen. Unter dem Begriff „natürliche Landmarken“ seien dabei Marken oder Objekte innerhalb der Landschaft verstanden, welche nicht eigens zum Zweck einer Ortung oder Positionsbestimmung angebracht wurden, sondern naturgemäß vorhanden sind. Dabei kann es sich sowohl um natürliche Landschaftsobjekte, wie zum Beispiel einen Berg, als auch um künstliche Landschaftsobjekte, wie zum Beispiel ein Gebäude oder auch einen Sendemasten, handeln. Eine Detektionseinheit 7 empfängt Signale von Sensoren 8, wie zum Beispiel einem Lenkwinkelsensor und auch Signale der Videosensorik 6. Basierend auf diesen Signalen erkennt die Detektionseinheit 7 eine Gefahrenstelle und detektiert damit das Erreichen der Gefahrenstelle. So wird beispielsweise aufgrund eines über den Lenkwinkelsensor erfassten Lenkeinschlags eine Abbiegung oder scharfe Kurve erkannt, welche bei entsprechender Kennzeichnnung in der digitalisierten Straßenkarte eine Gefahrenstelle darstellt. Ebenso kann über die Auswertung eines Umgebungsbildes beispielsweise eine Kreuzung oder auch eine Schule als Gefahrenstelle erkannt werden. Die Detektionseinheit 7 ist gemäß der Darstellung in 1 als eigenständige Einheit realisiert, kann aber auch in die Recheneinheit 4 integriert sein.The processing unit 4 also receives images of the surroundings, which are recorded by a video sensor system 6, for example in the form of at least one camera mounted on the vehicle. The cameras can be arranged both in the front area of the vehicle and in the side and/or rear area of the vehicle. The computing unit 4 determines at least two, preferably at least three, natural landmarks from the images of the surroundings. The arithmetic unit 4 takes into account that objects within an image of the surroundings are particularly suitable as landmarks if they have a signature that is as unique and stable as possible and as high an image-to-image speed as possible. In the case of images of the surroundings that were recorded by a front or rear camera, it is also taken into account that objects are particularly suitable as landmarks if they are in the area of the left or right edge of the image. The term "natural landmarks" is understood to mean marks or objects within the landscape that were not specifically attached for the purpose of locating or determining position, but are naturally present. These can be both natural landscape objects, such as a mountain, and artificial landscape objects, such as a building or a transmission mast. A detection unit 7 receives signals from sensors 8, such as a steering angle sensor, and also signals from the video sensor system 6. Based on these signals, the detection unit 7 recognizes a danger point and thus detects that the danger point has been reached. For example, based on a steering angle detected by the steering angle sensor, a turn or sharp bend is recognized which, if marked accordingly on the digitized road map, represents a danger point. Likewise, an intersection or even a school can be identified as a danger point by evaluating an image of the surroundings. The detection unit 7 is shown in FIG 1 implemented as an independent unit, but can also be integrated into the processing unit 4 .

Wird durch die Detektionseinheit 7 das Erreichen einer Gefahrenstelle detektiert, so speichert die Recheneinheit mindestens zwei der vorher bestimmten Landmarken sowie die jeweils zugehörige Fahrzeugposition zum Zeitpunkt der Aufnahme des jeweiligen Umgebungsbildes, aus welchem die Landmarke bestimmt wurde, in einer Speichereinheit 9 ab. Die Speichereinheit 9 ist gemäß 1 als eigenständige Speichereinheit dargestellt, die Landmarken können aber alternativ dazu auch unmittelbar in dem Kartenspeicher 5 abgelegt werden.If the detection unit 7 detects that a danger point has been reached, the computing unit stores at least two of the previously determined landmarks and the respective associated vehicle position at the time the respective environmental image from which the landmark was determined was recorded in a memory unit 9 . The memory unit 9 is according to 1 shown as an independent memory unit, but the landmarks can alternatively also be stored directly in the map memory 5.

Die Recheneinheit 4 kann darüber hinaus auch ermitteln, ob die Qualität der Positionsbestimmung mit Hilfe des Ortungssystems 2 an der Gefahrenstelle einer vorgegebenen Genauigkeit genügt. Dazu kann beispielsweise ein Gütemaß der Satellitenortung, welches entweder durch das Ortungssystem 2 bereitgestellt wird oder durch die Recheneinheit 4 selbst ermittelt wird, mit einem vorgegebenen Schwellwert verglichen werden. Die Recheneinheit 4 kann dann eine Speicherung der Landmarken nur für den Fall vornehmen, dass keine ausreichende Qualität der Positionsbestimmung mit Hilfe des Ortungssystems 2 erkannt wird. Ebenso kann die Recheneinheit 4 zum Zeitpunkt der Detektion des Erreichens der Gefahrenstelle die sich nach Map-Matching ergebende aktuelle Fahrzeugposition in Bezug auf die digitalisierte Straßenkarte mit der sich aus der digitalisierten Straßenkarte ergebenden Position der Gefahrenstelle vergleichen und vorteilhaft die Landmarken nur dann abspeichern, wenn diese Positionen um mehr als einen vorgegebenen Schwellwert, zum Beispiel um mehr als 10 m, voneinander abweichen.In addition, the processing unit 4 can also determine whether the quality of the position determination with the aid of the locating system 2 at the danger point satisfies a predetermined level of accuracy. For this purpose, for example, a quality measure of the satellite positioning, which is either provided by the positioning system 2 or is determined by the computing unit 4 itself, can be compared with a predefined threshold value. The processing unit 4 can then store the landmarks only in the event that the quality of the position determination using the position-finding system 2 is not recognized as being of sufficient quality. Likewise, at the time when it is detected that the danger zone has been reached, the processing unit 4 can compare the current vehicle position resulting from map matching in relation to the digitized road map with the position of the danger zone resulting from the digitized road map and advantageously only save the landmarks if they Positions deviate from one another by more than a predetermined threshold value, for example by more than 10 m.

Ein Gyrometer 10 und eine Radsensorik 11 liefern Signale, auf Basis derer die Recheneinheit 4 die zurückgelegte Fahrstrecke ermitteln kann. Auf Basis der Messung der zurückgelegten Fahrstrecke kann dann eine abgespeicherte Landmarke im Bezug auf eine Gefahrenstelle referenziert werden.A gyrometer 10 and a wheel sensor system 11 supply signals on the basis of which the computing unit 4 can determine the distance traveled. Based on the measurement of the route covered, a stored landmark can then be referenced in relation to a danger spot.

Vorteilhaft ist es möglich, die Videosensorik 6 und/oder die Recheneinheit 4 nur innerhalb des Streckenabschnitts vor Erreichen einer Gefahrenstelle zu aktivieren, in welchem Umgebungsbilder aufgenommen und Landmarken bestimmt und ggf. abgespeichert werden. Auch ist es möglich, zumindest Teilfunktionen oder Teileinheiten der Recheneinheit 4 außerhalb der vorgegebenen Streckenabschnitte zu deaktivieren und innerhalb der Streckenabschnitte wieder zu aktivieren.It is advantageously possible to activate the video sensor system 6 and/or the computing unit 4 only within the section of road before a danger point is reached, in which environmental images are recorded and landmarks are determined and possibly stored. It is also possible to deactivate at least partial functions or partial units of the computing unit 4 outside of the specified route sections and to reactivate them within the route sections.

Claims

Method for building a database for determining the position of a vehicle using natural landmarks, in which - a current position of the vehicle is determined by a location system (2) that is independent of landmarks, - pictures of the surroundings of the vehicle are taken in a specified section of the route before a danger point is reached, - at least two natural landmarks are determined from the images of the surroundings, - reaching the danger point is detected and - When the danger zone is reached, at least two of the determined landmarks and the respectively associated current position of the vehicle at the time the respective image of the surroundings is recorded are stored.

procedure after claim 1 , wherein danger spots are marked on a digitized road map and a temporal or spatial distance from the danger spot is specified, which defines the beginning of the route section and the danger spot itself defines the end of the route section.

Procedure according to one of Claims 1 or 2 , wherein the at least two landmarks are only stored if the quality of the position determination using the positioning system (2) at the danger point does not reach a specified accuracy or if the current vehicle position determined using the positioning system (2) is related when the danger point is reached on a digitized road map deviates by more than a predetermined threshold value from the position of the hazard spot resulting from the digitized road map.

Procedure according to one of Claims 1 until 3 , wherein reaching the danger point is detected on the basis of operating parameters of the vehicle and/or on the basis of output signals from a video sensor system (6).

Method according to one of the preceding claims, wherein an object from an image of the surroundings is determined as a landmark depending on the signature of the object and/or the position of the object within the image of the surroundings and/or the movement of the object within an image of the surroundings compared to a previous image of the surroundings .

Method according to one of the preceding claims, in which the route covered is measured from the point in time at which an image of the surroundings is recorded until the danger point is reached.

procedure after claim 6 , wherein the at least two stored landmarks are referenced relative to the hazard area over the route covered from the position of the vehicle at the time the respective image of the surroundings was recorded until the hazard area is reached.

Procedure according to one of claims 3 until 7 , where road segments in which danger spots are detected, where the quality of the position determination using the positioning system (2) does not reach a predetermined accuracy, are marked accordingly in the digitized road map.

System for creating a database for determining the position of a vehicle using natural landmarks, with - a locating system (2) independent of landmarks, in particular a satellite-based locating system, for receiving locating signals and for determining a current position of the vehicle on - the basis of the locating signals, - a Video sensor system (6) for recording images of the surroundings of the vehicle in a specified section of the route before a hazard area is reached, - a detection unit (7) for detecting when the hazard area has been reached, - a computing unit (4) for determining at least two natural landmarks from the environmental images and for storing at least two of the determined landmarks and the respectively associated current positions of the vehicle at the time the respective image of the surroundings was recorded upon detection of reaching the danger point and - a memory unit (9) for storing the landmarks and the associated positions.

system after claim 9 , wherein the at least two landmarks are only stored if the quality of the position determination using the positioning system (2) at the danger point does not reach a specified accuracy or if the current vehicle position determined using the positioning system (2) is related when the danger point is reached on a digitized road map deviates by more than a predetermined threshold value from the position of the hazard spot resulting from the digitized road map.

system according to one of the claims 9 or 10 , Sensors (6, 8) being provided which detect the operating parameters or images of the surroundings of the vehicle which are suitable for detecting when a danger point has been reached.

system according to one of the claims 9 until 11 , Sensors (10, 11) being provided which detect the operating parameters of the vehicle which are suitable for detecting a route covered.

system according to one of the claims 9 until 12 , wherein the video sensor system (6) and/or at least parts of the computing unit (4) are only activated within the predetermined section before the danger point is reached.

system according to one of the claims 9 until 13 , wherein a digitized road map is provided, in which danger spots are marked and the beginning of the specified route section is defined by a temporal or spatial distance from the danger spot.