DE102015203016A1 - Method and device for optical self-localization of a motor vehicle in an environment - Google Patents

Method and device for optical self-localization of a motor vehicle in an environment Download PDF

Info

Publication number
DE102015203016A1
DE102015203016A1 DE102015203016.4A DE102015203016A DE102015203016A1 DE 102015203016 A1 DE102015203016 A1 DE 102015203016A1 DE 102015203016 A DE102015203016 A DE 102015203016A DE 102015203016 A1 DE102015203016 A1 DE 102015203016A1
Authority
DE
Germany
Prior art keywords
motor vehicle
camera
map
environment
positions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102015203016.4A
Other languages
German (de)
Other versions
DE102015203016B4 (en
Inventor
Stephan Max
Torsten Büschenfeld
Stefan Brosig
Reiner KATZWINKEL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102015203016.4A priority Critical patent/DE102015203016B4/en
Publication of DE102015203016A1 publication Critical patent/DE102015203016A1/en
Application granted granted Critical
Publication of DE102015203016B4 publication Critical patent/DE102015203016B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2201/00Application
    • G05D2201/02Control of position of land vehicles
    • G05D2201/0213Road vehicle, e.g. car or truck
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

Verfahren zum Lokalisieren eines Kraftfahrzeugs in einem Umfeld, umfassend die folgenden Schritte: in einem ersten Verfahrensabschnitt Ausführen einer Lernfahrt (100), welche umfasst: Empfangen von Odometriedaten des Kraftfahrzeugs über einer Schnittstelle einer Kamera (101), Erfassen von mindestens zwei Abbildungen mit der Kamera während der Fahrt an unterschiedlichen Positionen des Kraftfahrzeugs (102), Extrahieren von Merkmalen in den mindestens zwei Abbildungen (103), Auffinden paarweise identischer Merkmale in den mindestens zwei Abbildungen (104), stereoskopisches Ermitteln einer dreidimensionalen Position der Merkmale unter Verwendung der Odometriedaten (105), Erstellen einer dreidimensionalen Karte (106) und Eintragen der Merkmale an ihren dreidimensionalen Positionen (107), anschließend, in einem oder mehreren zweiten Verfahrensabschnitten, Ausführen einer Folgefahrt (200), welche umfasst: Erfassen von mindestens einer weiteren Abbildung mit der Kamera (202), Ermitteln mehrerer Merkmale in der mindestens einen weiteren Abbildungen (203), Bestimmen von Relativorientierungen der mehreren Merkmale zum Kraftfahrzeug anhand der Abbildungsposition (204), Auffinden der mehreren Merkmale in der Karte (205), Triangulieren anhand der Merkmale und der Relativorientierungen und Rückschließen auf eine Lokalisierungsinformation des Kraftfahrzeugs in der Karte (206), Ausgabe der Lokalisierungsinformation an der Schnittstelle (207), wobei sämtliche Verfahrensschritte der beiden Verfahrensabschnitte in der Kamera ausgeführt werden. Ferner betrifft die Erfindung zugehörige Vorrichtung (1).A method for locating a motor vehicle in an environment, comprising the steps of: in a first method step, executing a learn run (100) comprising: receiving odometry data of the motor vehicle via an interface of a camera (101) capturing at least two images with the camera while driving at different positions of the motor vehicle (102), extracting features in the at least two images (103), finding pairs of identical features in the at least two images (104), stereoscopically determining a three-dimensional position of the features using the odometry data (105 ), Creating a three-dimensional map (106) and entering the features at their three-dimensional positions (107), then, in one or more second process sections, executing a follow-up run (200) comprising: acquiring at least one further image with the camera (10); 202), find me at least one further mappings (203), determining relative orientations of the plurality of features to the motor vehicle from the mapping position (204), locating the plurality of features in the map (205), triangulating based on the features and relative orientations, and inferring localization information of the motor vehicle in the map (206), outputting of the localization information at the interface (207), wherein all method steps of the two procedural sections are executed in the camera. Furthermore, the invention relates to associated device (1).

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Lokalisieren eines Kraftfahrzeugs in einer Umgebung.The invention relates to a method and a device for locating a motor vehicle in an environment.

Moderne Kraftfahrzeuge umfassen eine Reihe von Assistenzsystemen, welche dem Fahrer während der Fahrt umfangreiche zusätzliche Informationen bereitstellen. Diese Informationen können beispielsweise Navigationsanweisungen, Staumeldungen oder Informationen zu Verkehrsschildern für den aktuellen Fahrbahnbereich sein. Ebenfalls bekannt sind dem Fahrer beim Einparken assistierende Einparkhilfen, welche Hindernisse in der unmittelbaren Fahrzeugumgebung detektieren und, beispielsweise als graphische Darstellung oder als akustisches Signal, dem Fahrer Informationen zu deren Abstand oder deren Position mitteilen.Modern motor vehicles include a number of assistance systems that provide the driver with extensive additional information while on the move. This information can be, for example, navigation instructions, traffic jam messages or information about traffic signs for the current roadway area. Also known to the driver when parking assist parking assistance, which detect obstacles in the immediate vehicle environment and, for example, as a graphical representation or as an acoustic signal to notify the driver information about their distance or their position.

Aus dem Stand der Technik sind Lokalisationsverfahren bekannt, bei denen ein Kraftfahrzeug in einer unbekannten Umgebung mit Hilfe von Ultraschall- oder Radarmessungen eine Umgebungskarte erstellt. Dazu werden anhand der Ultraschall- oder Radarmessungen und der Odometriedaten des Kraftfahrzeugs Relativabstände zu Objekten im Umfeld des Kraftfahrzeugs bestimmt. Anschließend kann das Kraftfahrzeug sich selbständig in bereits kartierten Bereichen der Karte lokalisieren. Diese Verfahren werden auch als Simultaneous Localization and Mapping (SLAM) bezeichnet.Localization methods are known from the prior art in which a motor vehicle generates an environmental map in an unknown environment with the aid of ultrasonic or radar measurements. For this purpose, relative distances to objects in the surroundings of the motor vehicle are determined on the basis of the ultrasonic or radar measurements and the odometry data of the motor vehicle. Subsequently, the motor vehicle can locate itself in already mapped areas of the map. These methods are also referred to as Simultaneous Localization and Mapping (SLAM).

Ebenfalls bekannt sind Verfahren, bei denen Abbildungen der Fahrzeugumgebung mit Hilfe von Kameras erfasst und rechnergestützt ausgewertet werden. Auf diese Weise kann die für die Kamera sichtbare Umgebung analysiert werden und deren Informationsgehalt für Assistenzsysteme nutzbar gemacht werden.Also known are methods in which images of the vehicle environment are detected by means of cameras and evaluated computer-aided. In this way, the environment visible to the camera can be analyzed and their information content can be utilized for assistance systems.

Es sind mehrere Varianten für Assistenzsysteme bekannt, bei denen über eine Frontkamera ein Umfeld vor dem Kraftfahrzeug erfasst wird. Dabei werden Abbildungen erfasst und in einem Speicher mit der odometrisch bestimmten Position des Kraftfahrzeugs abgespeichert.Several variants of assistance systems are known in which a front camera detects an environment in front of the motor vehicle. Illustrations are recorded and stored in a memory with the odometrically determined position of the motor vehicle.

Auf diese Weise können umfangreiche Karten erstellt werden. Kehrt das Kraftfahrzeug später an einen bereits kartierten Ort zurück, so kann das Assistenzsystem das Kraftfahrzeug selbständig lokalisieren und dem Fahrer die aktuelle Position des Kraftfahrzeugs in der Karte mitteilen.In this way, extensive maps can be created. If the motor vehicle later returns to an already mapped location, the assistance system can autonomously locate the motor vehicle and notify the driver of the current position of the motor vehicle in the map.

Aus DE 10 2008 002 598 A1 ist eine Vorrichtung bekannt, die den Fahrer beim Abfahren einer vorher angelernten Strecke unterstützt. Dazu werden Abbildungen der Fahrzeugumgebung an der Startposition und optional an weiteren Positionen der angelernten Strecke mit einer Kamera erfasst und in einem Speicher abgelegt. Wird die Startposition einer solchen angelernten Strecke erneut angefahren, werden der Startpunkt und optional weitere Positionen durch Aufnahme weiterer Abbildungen und Vergleich mit den gespeicherten Abbildungen erkannt. Anschließend kann die angelernte Strecke abgefahren werden, wobei der Fahrer aktuelle Informationen über die Abweichung zur Soll-Position der angelernten Strecke bekommt. Dazu wertet die Vorrichtung die Odometriedaten des Kraftfahrzeugs aus und vergleicht die aktuellen mit den gespeicherten Abbildungen.Out DE 10 2008 002 598 A1 a device is known which assists the driver when driving off a previously learned route. For this purpose, images of the vehicle surroundings at the start position and optionally at further positions of the learned route are recorded with a camera and stored in a memory. If the start position of such a learned route is approached again, the starting point and optionally further positions are detected by taking further pictures and comparing them with the stored pictures. Subsequently, the learned route can be traversed, the driver gets current information about the deviation to the desired position of the learned route. For this purpose, the device evaluates the odometry data of the motor vehicle and compares the current with the stored images.

Ein Nachteil der vorgenannten Vorrichtungen und Verfahren ist, dass sie große Datenmengen für eine Vielzahl von Abbildungen vorhalten müssen, um die Umgebung des Kraftfahrzeugs an verschiedenen Positionen hinreichend genau zu erfassen. Dies erhöht die technischen Anforderungen: Es muss ein Speicher mit hinreichend großer Kapazität vorhanden sein und die Leistungsfähigkeit des Rechners muss groß genug sein, um die Datenmengen in Echtzeit zu verarbeiten. Insgesamt steigen dadurch der Aufwand und die Kosten.A disadvantage of the aforementioned devices and methods is that they must hold large amounts of data for a plurality of images in order to capture the environment of the motor vehicle at various positions with sufficient accuracy. This increases the technical requirements: There must be a memory with sufficient capacity and the capacity of the computer must be large enough to process the data in real time. Overall, this increases the effort and costs.

Ein Nachteil von Verfahren und Vorrichtungen, die das Kraftfahrzeug hauptsächlich auf Basis von Odometriedaten lokalisieren, ist, dass die Odometriedaten zu ungenau sind, um das Kraftfahrzeug stets präzise zu lokalisieren. So können beispielsweise unbekannte Abweichungen der Laufwege der Räder durch Schlupf oder unterschiedlichen Abrieb auftreten. Dies verfälscht dann das Ergebnis beim Lokalisieren des Kraftfahrzeugs oder verringert dessen Genauigkeit.A disadvantage of methods and devices that locate the motor vehicle mainly based on odometry data is that the odometry data is too inaccurate to always accurately locate the motor vehicle. For example, unknown deviations of the paths of the wheels due to slippage or different abrasions can occur. This then falsifies the result when locating the motor vehicle or reduces its accuracy.

Es ist somit wünschenswert, ein Verfahren und eine Vorrichtung zur Verfügung zu haben, bei der ein Lokalisieren eines Kraftfahrzeugs einerseits mit Hilfe einer wesentlich geringeren vorgehaltenen Datenmenge möglich ist und bei der andererseits eine hohe Genauigkeit beim Lokalisieren des Kraftfahrzeugs in einem bereits einmal durchfahrenen Bereich erreicht wird.It is therefore desirable to have available a method and a device in which localization of a motor vehicle on the one hand is possible with the aid of a much smaller amount of data stored and on the other hand high accuracy is achieved in locating the motor vehicle in an already passed through range ,

Der Erfindung liegt somit das Problem zugrunde, ein Verfahren und eine Vorrichtung zu schaffen, die eine bessere Lokalisation eines Kraftfahrzeugs relativ zu Objekten in einer Umgebung ermöglichen. Insbesondere soll eine bessere Lokalisation bei wiederkehrenden Fahrten ermöglicht werden, wie beispielsweise dem Einparken in eine enge Garage oder Parklücke.The invention is therefore based on the problem to provide a method and a device that allow a better localization of a motor vehicle relative to objects in an environment. In particular, a better localization for recurring trips should be possible, such as parking in a narrow garage or parking space.

Die technische Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des Patentanspruchs 10 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.The technical problem is solved by a method with the features of claim 1 and a device having the features of claim 10. advantageous Embodiments of the invention will become apparent from the dependent claims.

Der Erfindung liegt der Gedanke zugrunde, eine Soll-Trajektorie während einer Lernfahrt zu definieren und dafür Abbildungen einer Umgebung eines Kraftfahrzeugs mit einer Kamera zu erfassen, so dass eine monoskopische Bildfolge entsteht. In jeder der Abbildungen werden graphische Merkmale, welche beispielsweise von Objekten in der Umgebung stammen können, erkannt und extrahiert. Solche graphischen Merkmale in den Abbildungen können beispielsweise geometrische Formen, Ortsfrequenzen, Farbverläufe, Kontraste oder Pixelmuster sein. Die Positionen der erkannten Merkmale werden anschließend unter Verwendung der Odometriedaten des Kraftfahrzeugs stereoskopisch aus der monoskopischen Bildfolge bestimmt und in eine dreidimensionale Karte eingetragen. Die erfassten Abbildungen selber werden anschließend verworfen, so dass nur sehr geringe Datenmengen für die Karte anfallen. Im Anschluss an die Lernfahrt kann eine Folgefahrt durchgeführt werden. Dabei werden weitere Abbildungen der Umgebung mit der Kamera erfasst und Merkmale in den weiteren Abbildungen erkannt, sowie deren Relativorientierung, das heißt Richtungen der Merkmale im Raum relativ zur Kamera, d. h zum Kraftfahrzeug an oder in dem die Kamera fixiert ist, über die Positionen der Merkmale in den weiteren Abbildungen bestimmt. Die erkannten Merkmale und deren jeweilige Relativorientierung zur Kamera, d. h. zum Kraftfahrzeug, werden dann dazu benutzt, das Kraftfahrzeug in der Karte zu lokalisieren und eine Lokalisierungsinformation, die beispielsweise eine Abweichung einer Ist-Trajektorie von der Soll-Trajektorie umfasst, auszugeben. Dabei werden sämtliche Verfahrensschritte in einem einzigen Kameramodul, nachstehend als Kamera bezeichnet, ausgeführt.The invention is based on the idea to define a desired trajectory during a learning trip and to capture images of an environment of a motor vehicle with a camera, so that a monoscopic image sequence arises. In each of the illustrations, graphical features, which can originate, for example, from objects in the environment, are recognized and extracted. Such graphic features in the figures may be, for example, geometric shapes, spatial frequencies, color gradients, contrasts or pixel patterns. The positions of the recognized features are then determined stereoscopically from the monoscopic image sequence using the odometry data of the motor vehicle and entered into a three-dimensional map. The captured images themselves are then discarded, so that only very small amounts of data for the card incurred. After the learning journey, a follow-up journey can be carried out. In this case, further images of the environment are captured with the camera and features are recognized in the other images, as well as their relative orientation, that is, directions of the characteristics in space relative to the camera, d. h to the motor vehicle or in which the camera is fixed, determines the positions of the features in the other figures. The recognized features and their respective relative orientation to the camera, d. H. to the motor vehicle, are then used to locate the motor vehicle in the map and output a localization information, which includes, for example, a deviation of an actual trajectory of the desired trajectory. In this case, all method steps in a single camera module, hereinafter referred to as camera, executed.

Definitionendefinitions

Eine Position bezeichnet einen punktförmigen Ort in einem dreidimensionalen Koordinatensystem. Das Koordinatensystem kann beispielsweise kartesisch ausgebildet sein.A position denotes a punctiform location in a three-dimensional coordinate system. The coordinate system can be designed, for example, Cartesian.

Eine Orientierung eines Kraftfahrzeugs bezeichnet eine Ausrichtung der Mittelachsen des Kraftfahrzeugs bezüglich der Achsen in dem Koordinatensystem. Die Orientierung kann dabei einen Roll-, Nick- und Gierwinkel umfassen. Die Orientierung kann sowohl von der Kamera als auch von der Fahrzeugodometrie erfasst oder bestimmt werden. Beispielsweise kann ein Nickwinkel des Kraftfahrzeugs bei zusätzlicher Beladung von der Fahrzeugodometrie im Fahrwerk gemessen werden und später bei der Analyse der von der Kamera erfassten Abbildungen zu Korrekturzwecken berücksichtigt werden.An orientation of a motor vehicle refers to an alignment of the center axes of the motor vehicle with respect to the axes in the coordinate system. The orientation may include a roll, pitch and yaw angle. The orientation can be detected or determined both by the camera and by vehicle odometry. For example, a pitch angle of the motor vehicle can be measured with additional loading of the vehicle odometry in the chassis and be taken into account later in the analysis of the images captured by the camera for correction purposes.

Ein Merkmal bezeichnet eine Eigenschaft oder eine Gesamtheit von Eigenschaften, die einem Bereich in einer Abbildung oder einer Position in der Abbildung aufgrund graphischer Bildinformationen der Abbildung oder eines Teilbereichs der Abbildung zugeordnet ist oder zuordenbar ist. Der Teilbereich kann mit dem Bereich identisch sein, dem die Eigenschaft oder Gesamtheit der Eigenschaften und somit das Merkmal zugeordnet wird. Merkmale können beispielsweise horizontale oder vertikale Linien oder deren Kreuzungspunkte in den Abbildungen sein, aber auch Kontraste, Farbverläufe oder Ortsfrequenzen oder Ortfrequenzmuster nach einer Fourier- oder Waveletanalyse. Auch Pixelmuster oder bestimmte Anordnungen von Pixelmustern oder Ähnliches können Merkmale darstellen. In der Regel lassen sich Merkmale nicht unmittelbar einem physischen Gegenstand zuordnen.A feature refers to a property or set of properties associated or attributable to an area in a map or position in the map based on graphic image information of the map or a portion of the map. The subarea can be identical to the area to which the property or totality of the properties and thus the characteristic is assigned. Features may be, for example, horizontal or vertical lines or their crossing points in the images, but also contrasts, color gradients or spatial frequencies or local frequency patterns after a Fourier or wavelet analysis. Also, pixel patterns or particular arrangements of pixel patterns or the like may represent features. As a rule, features can not be directly assigned to a physical object.

Eine Karte ist ein dreidimensionales nicht-körperliches Gerüst mit einem Koordinatensystem. Die Karte kann eine aus einem Raster gebildete Repräsentation des dreidimensionalen Raumes sein. In einem Speicher kann die Karte beispielsweise in Form von Vektoren aufgebaut sein, welche die dreidimensionalen Positionen von Merkmalen bezeichnen. Als Bezugspunkt kann beispielsweise eine allererste bestimmte Position des Kraftfahrzeugs dienen. Ein Kartieren bezeichnet dann das Eintragen von Merkmalen und deren Position in die dreidimensionale Karte.A map is a three-dimensional non-physical scaffold with a coordinate system. The map may be a representation of three-dimensional space formed from a grid. For example, in memory, the map may be constructed in the form of vectors that designate the three-dimensional locations of features. As a reference point, for example, serve a very first specific position of the motor vehicle. Mapping then refers to the entry of features and their position in the three-dimensional map.

Eine Trajektorie bezeichnet eine Menge aus zeitlich und räumlich miteinander verknüpften Positionen und gegebenenfalls Orientierungen des Kraftfahrzeugs. Die Trajektorie besitzt eine Start-Position und gegebenenfalls eine Start-Orientierung und eine End-Position und gegebenenfalls eine End-Orientierung, welche den Anfang bzw. das Ende der Trajektorie definieren.A trajectory denotes a set of temporally and spatially linked positions and possibly orientations of the motor vehicle. The trajectory has a start position and possibly a start orientation and an end position and optionally an end orientation, which define the beginning or the end of the trajectory.

Eine Ist-Trajektorie bezeichnet die Menge der für eine aktuell durchgeführte Fahrt bestimmten Positionen und gegebenenfalls Orientierungen des Kraftfahrzeugs.An actual trajectory designates the quantity of the positions determined for a currently performed journey and possibly orientations of the motor vehicle.

Eine Soll-Trajektorie bezeichnet die Menge der für eine aktuell durchgeführte Fahrt vorgegebenen Positionen und gegebenenfalls Orientierungen des Kraftfahrzeugs.A desired trajectory designates the quantity of the positions predefined for a currently performed journey and possibly orientations of the motor vehicle.

Die Differenz-Position und die Differenz-Orientierung bezeichnen die Abweichungen der entsprechenden Soll-Größen und Ist-Größen voneinander.The difference position and the difference orientation denote the deviations of the corresponding desired sizes and actual sizes from each other.

Eine Lokalisierungsinformation umfasst eine Menge oder eine Teilmenge der aktuell gemessenen oder bestimmten Werte für folgende Größen: die Ist-Position, die Ist-Orientierung, die Differenz-Position, die Differenz-Orientierung.Location information comprises a set or a subset of the currently measured or determined values for the following quantities: the actual Position, the actual orientation, the difference position, the difference orientation.

Eine stereoskopische Positionsermittlung bezeichnet eine Positionsermittlung eines Merkmals aus einer monoskopischen Bildfolge, bei der aus mindestens zwei Abbildungen, welche von einer in einem Umfeld bewegten Kamera von unterschiedlichen Umfeldspositionen aus erfasst wurden, und einer bekannten Wegstrecke zwischen den beiden unterschiedlichen Umfeldspositionen und gegebenenfalls einer zusätzlichen Orientierungsänderung der Kamera zwischen den beiden unterschiedlichen Umfeldspositionen eine dreidimensionale Position des Merkmals bestimmt wird. Beispielsweise kann dazu ein Structure-from-Motion-Verfahren verwendet werden (siehe z. B. R. C. Bolles et al., Int. Journal of Computer Vision, 1, 7–55 [1987] ).A stereoscopic position determination refers to a position determination of a feature from a monoscopic image sequence, in which at least two images, which were acquired from a camera moving in an environment from different surrounding positions, and a known distance between the two different surrounding positions and possibly an additional orientation change Camera between the two different surrounding positions, a three-dimensional position of the feature is determined. For example, a structure-from-motion method can be used for this purpose (see, for example, US Pat. RC Bolles et al., Int. Journal of Computer Vision, 1, 7-55 [1987] ).

Bevorzugte AusführungsformenPreferred embodiments

Insbesondere wird somit ein Verfahren zum Lokalisieren eines Kraftfahrzeugs in einem Umfeld geschaffen, umfassend die folgenden Schritte: in einem ersten Verfahrensabschnitt Ausführen einer Lernfahrt, welche umfasst: Empfangen von Odometriedaten des Kraftfahrzeugs über eine Schnittstelle einer Kamera, Erfassen von mindestens zwei Abbildungen mit der Kamera während der Fahrt an unterschiedlichen Positionen der Kamera relativ zum Umfeld, wobei die Kamera an dem Kraftfahrzeug fixiert ist, Extrahieren von Merkmalen in den mindestens zwei Abbildungen, Auffinden paarweise identischer Merkmale in den mindestens zwei Abbildungen, stereoskopisches Ermitteln einer dreidimensionalen Position der Merkmale unter Verwendung der Odometriedaten, Erstellen einer dreidimensionalen Karte und Eintragen der Merkmale an ihren dreidimensionalen Positionen, anschließend, in einem oder mehreren zweiten Verfahrensabschnitten: Ausführen einer Folgefahrt, welche umfasst: Erfassen von mindestens einer weiteren Abbildung mit der Kamera, Ermitteln mehrerer Merkmale in der mindestens einen weiteren Abbildung, Bestimmen von Relativorientierungen der mehreren Merkmale zum Kraftfahrzeug anhand der Abbildungsposition der Merkmale, Auffinden der mehreren Merkmale in der Karte, Triangulieren anhand der Merkmale und der Relativorientierungen und Rückschließen auf eine Lokalisierungsinformation des Kraftfahrzeugs in der Karte, Ausgabe der Lokalisierungsinformation an der Schnittstelle, wobei sämtliche Verfahrensschritte der beiden Verfahrensabschnitte in der Kamera ausgeführt werden.In particular, there is thus provided a method for locating a motor vehicle in an environment, comprising the steps of: in a first method step, performing a learning run comprising: receiving odometry data of the motor vehicle via an interface of a camera, capturing at least two images with the camera during driving at different positions of the camera relative to the environment, the camera being fixed to the motor vehicle, extracting features in the at least two images, finding pairs of identical features in the at least two images, stereoscopically determining a three-dimensional position of the features using the odometry data Creating a three-dimensional map and plotting the features at their three-dimensional positions, then, in one or more second method sections, executing a sequential trip, comprising: detecting at least one more n imaging with the camera, determining a plurality of features in the at least one further image, determining relative orientations of the plurality of features to the motor vehicle based on the imaging position of the features, locating the plurality of features in the map, triangulating based on the features and relative orientations, and inferring localization information of the motor vehicle in the map, output of the localization information at the interface, wherein all process steps of the two process sections are executed in the camera.

Ferner wird vorteilhafterweise ein Vorrichtung zum Lokalisieren eines Kraftfahrzeugs in einem Umfeld geschaffen, welche eine Kamera zur Erfassung des Umfeldes des Kraftfahrzeugs umfasst, die an dem Kraftfahrzeug fixiert ist, wobei die Kamera eine Steuereinrichtung umfasst, welche einen Speicher und eine Schnittstelle umfasst, wobei die Steuereinrichtung ausgebildet ist, in einem ersten Verfahrensabschnitt während einer Lernfahrt über die Schnittstelle der Kamera Odometriedaten des Kraftfahrzeugs zu empfangen, mindestens zwei Abbildungen während der Fahrt an unterschiedlichen Positionen der Kamera relativ zum Umfeld mit der Kamera zu erfassen, Merkmale in den mindestens zwei Abbildungen zu ermitteln, in den mindestens zwei Abbildungen paarweise identische Merkmale aufzufinden und für die Merkmale jeweils eine dreidimensionale Position unter Verwendung der Odometriedaten stereoskopisch zu bestimmen, eine dreidimensionale Karte von den Merkmalen und ihren dreidimensionalen Positionen zu erstellen und in dem Speicher zu speichern, anschließend, in einem zweiten Verfahrensabschnitt während einer oder mehrerer Folgefahrten, mindestens eine weitere Abbildung mit der Kamera zu erfassen, mehrere Merkmale in der mindestens einen weiteren Abbildung zu ermitteln, die Relativorientierung der mehreren Merkmale zum Kraftfahrzeug anhand der Abbildungsposition zu bestimmen, die mehreren Merkmale in der Karte aufzufinden, das Kraftfahrzeug in der Karte mittels Triangulation zu lokalisieren und eine daraus abgeleitete Lokalisierungsinformation an der Schnittstelle auszugeben.Furthermore, a device is advantageously provided for locating a motor vehicle in an environment comprising a camera for detecting the environment of the motor vehicle, which is fixed to the motor vehicle, wherein the camera comprises a control device which comprises a memory and an interface, wherein the control device is configured to receive odometry data of the motor vehicle during a learning run via the interface of the camera, to acquire at least two images while driving at different positions of the camera relative to the surroundings with the camera, to determine features in the at least two images, Identify pairwise identical features in the at least two images and stereoscopically determine a three-dimensional position using the odometry data for the features, a three-dimensional map of the features and their three-dimensional positions to create and store in the memory, then, in a second process section during one or more subsequent trips to capture at least one more image with the camera to determine several features in the at least one other image, the relative orientation of the plurality of features to the motor vehicle based determine the imaging position, locate the plurality of features in the map, locate the motor vehicle in the map by means of triangulation and output localization information derived therefrom at the interface.

Der Vorteil der Erfindung liegt darin, dass nicht mehr komplette Abbildungen und somit große Datenmengen abgespeichert und vorgehalten werden müssen, sondern nur eine Menge von Merkmalen und deren Positionen in einer dreidimensionalen Karte. Das hat eine drastische Datenreduktion im Vergleich zu den oben genannten Verfahren im Stand der Technik zur Folge. Die Datenreduktion führt auch dazu, dass bei einem Suchen von in den aktuellen Abbildungen gefundenen Merkmalen in der Karte eine viel geringere Datenmenge ausgewertet werden muss.The advantage of the invention is that not more complete images and thus large amounts of data must be stored and kept, but only a lot of features and their positions in a three-dimensional map. This results in a drastic reduction of data compared to the above-mentioned prior art methods. The data reduction also means that a much smaller amount of data has to be evaluated when searching for features found in the current images in the map.

Darüber hinaus werden anhand der in der Umgebung erkannten Merkmale die Position und gegebenenfalls zusätzlich die Orientierung des Kraftfahrzeugs bestimmt, was wesentlich genauer erfolgen kann als mit den vom Stand der Technik bekannten Verfahren auf Basis der Odometriedaten.In addition, the position and possibly additionally the orientation of the motor vehicle are determined on the basis of the features recognized in the environment, which can be done much more accurately than with the methods known from the prior art based on the odometry data.

Weiterhin kann mit dem erfindungsgemäßen Verfahren beispielsweise das Lokalisieren des Kraftfahrzeugs hinsichtlich der Genauigkeit ortspezifisch variabel ausgestaltet werden. So erfordert das Bestimmen der Position und gegebenenfalls zusätzlich der Orientierung des Kraftfahrzeugs auf einer breiten Autobahnfahrbahn weniger Genauigkeit als bei einer schmalen Garageneinfahrt.Furthermore, with the method according to the invention, for example, the localization of the motor vehicle can be designed to be location-specific variably in terms of accuracy. Thus, determining the position and optionally additionally the orientation of the motor vehicle on a wide highway lane requires less accuracy than with a narrow garage entrance.

Sämtliche Funktionen werden dabei von einer Kamera ausgeführt, wobei die Kamera an der Schnittstelle Odometriedaten empfängt und Lokalisierungsinformationen ausgibt, beispielsweise über eine Controller-Area-Network(CAN)-Busschnittstelle, welche in Kraftfahrzeugen weit verbreitet ist. Ein Nachrüsten von Kraftfahrzeugen mit einer solchen Kamera ist deshalb kostengünstig möglich. Da bereits in der Kamera eine starke Informationsverdichtung vorgenommen wird, müssen nur sehr wenige Daten über die Schnittstelle übertragen werden, so dass die Kamera in bestehende Kraftfahrzeuginfrastruktur integriert werden kann.All functions are performed by a camera, with the camera receiving odometry data at the interface and Output localization information, for example via a Controller Area Network (CAN) bus interface, which is widely used in motor vehicles. Retrofitting of motor vehicles with such a camera is therefore inexpensive possible. Since already in the camera a strong information compression is made, only very few data must be transmitted via the interface, so that the camera can be integrated into existing vehicle infrastructure.

Eine besonders vorteilhafte Ausführungsform sieht vor, dass die Lokalisierungsinformation, welche von der Kamera ausgegeben wird, eine Position und gegebenenfalls zusätzlich eine Orientierung des Kraftfahrzeugs umfassen. Der Vorteil ist, dass damit eine in der Karte absolute Position ausgegeben werden kann. Wird zusätzlich noch die Orientierung des Kraftfahrzeugs bezüglich einer Bezugsrichtung ausgegeben, so ist der Zustand des Kraftfahrzeugs bezüglich seines Umfeldes vollständig bekannt.A particularly advantageous embodiment provides that the localization information that is output by the camera, a position and optionally additionally include an orientation of the motor vehicle. The advantage is that it can be used to output an absolute position in the map. If, in addition, the orientation of the motor vehicle with respect to a reference direction is output, then the state of the motor vehicle with respect to its surroundings is completely known.

Besonders bevorzugt ist eine Ausführungsform, bei der während der Lernfahrt im ersten Verfahrensabschnitt mehrere Positionen und gegebenenfalls zusätzlich Orientierungen des Kraftfahrzeugs in ihrer zeitlichen Reihenfolge als Soll-Positionen und gegebenenfalls zusätzlich Soll-Orientierungen gespeichert und zu einer Soll-Trajektorie verknüpft werden. Die Soll-Trajektorie kann dann später, im zweiten Verfahrensabschnitt im Rahmen einer Folgefahrt abgefahren werden und kann somit als Referenztrajektorie dienen. Beispielsweise werden bei einem Einparkvorgang die Ist-Positionen und gegebenenfalls zusätzlich die Ist-Orientierungen in die dreidimensionale Karte als Soll-Trajektorie eingetragen. Bei den anschließenden Folgefahrten wird die Soll-Trajektorie als Referenz ausgewählt und erleichtert somit das Einparken. Während des Abfahrens der Soll-Trajektorie werden fortlaufend Lokalisierungsinformationen bereitgestellt, welche den Fahrer beim Führen des Kraftfahrzeugs unterstützen.Particularly preferred is an embodiment in which several positions and possibly additionally orientations of the motor vehicle are stored in their chronological order as desired positions and optionally additionally desired orientations during the learning run in the first method section and linked to a desired trajectory. The desired trajectory can then be traversed later, in the second process section as part of a follow-up run and can thus serve as a reference trajectory. For example, during a parking operation, the actual positions and possibly also the actual orientations are entered into the three-dimensional map as desired trajectory. During the subsequent follow-up runs, the setpoint trajectory is selected as the reference and thus facilitates parking. During the travel of the desired trajectory localization information is provided continuously, which support the driver when driving the motor vehicle.

Die Erfindung ermöglicht es, dass eine andere Person als der spätere Fahrer ein erstmaliges Einparken vornimmt und die Soll-Trajektorie anlernt und anschließend abspeichert. Auf diese Weise kann beispielsweise ein geübter Fahrer das erstmalige Einparken übernehmen. Ein anderer, beispielsweise ungeübter, Fahrer kann dann später, wenn er sich im näheren Umfeld der Soll-Trajektorie befindet, auf die Soll-Trajektorie zurückgreifen. Während des Abfahrens der Soll-Trajektorie erhält er dann fortlaufend Lokalisierungsinformationen des Kraftfahrzeugs, die ihn beim Einparken unterstützen, beispielsweise durch Bereitstellen von aktuellen Positionen- und gegebenenfalls Orientierungen des Kraftfahrzeugs.The invention makes it possible for a person other than the later driver to make a first-time parking and to learn the desired trajectory and then to store it. In this way, for example, a skilled driver take over the first time parking. Another, for example, inexperienced, driver can later, if he is in the vicinity of the desired trajectory, resort to the desired trajectory. During the travel of the desired trajectory he receives then continuously localization information of the motor vehicle, which support him when parking, for example by providing current position and possibly orientations of the motor vehicle.

In manchen Situationen ist es notwendig, zusätzlich Informationen über den Zustand des Kraftfahrzeugs zu speichern. Deshalb sieht eine besonders bevorzugte Ausführungsform der Erfindung vor, dass während der Lernfahrt neben den Positionen und gegebenenfalls den Orientierungen des Kraftfahrzeugs auch Lenkeinschläge, Bewegungsrichtungen, Drehmomente und/oder Geschwindigkeiten in ihrer zeitlichen Reihenfolge gespeichert und mit der jeweiligen Position, an der sie aufgezeichnet wurden, verknüpft werden. Eine Position kann dabei gegebenenfalls zusätzlich durch eine Orientierung charakterisiert sein. Dies bietet den Vorteil, dass zusätzliche Informationen zur Art und Weise, wie eine Soll-Trajektorie abgefahren wurde oder abgefahren werden soll, bereitgestellt werden. Beispielsweise macht es wenig Sinn, in eine Garageneinfahrt mit einem Tempo von 50 km/h einzuparken oder in die Garage einzuparken, wenn das Kraftfahrzeug sich in einem Winkel von 90° zur Garageneinfahrt befindet. Das Aufzeichnen von Lenkeinschlägen, Bewegungsrichtungen und Geschwindigkeiten für die Positionen und gegebenenfalls Orientierungen auf einer Soll-Trajektorie macht beispielsweise auch beim Einparken in eine parallele Parklücke am Straßenrand Sinn, wo neben der Bewegungsrichtung vor allem der Lenkeinschlag, verknüpft mit der aktuellen Position auf der Soll-Trajektorie, über den Erfolg oder Misserfolg eines Einparkvorgangs entscheidet. So wird das Einparken für den Fahrer erleichtert, da er fortlaufend Lokalisierungsinformationen über das Kraftfahrzeug und seine Aktionen erhält.In some situations it is necessary to additionally store information about the condition of the motor vehicle. Therefore, a particularly preferred embodiment of the invention provides that in addition to the positions and, where appropriate, the orientations of the motor vehicle also steering angles, directions of movement, torques and / or speeds are stored in their time sequence and with the respective position at which they were recorded during the Lernfahrt be linked. If necessary, a position can additionally be characterized by an orientation. This offers the advantage that additional information about the way in which a desired trajectory has been traversed or should be traversed is provided. For example, it makes little sense to park in a garage entrance at a speed of 50 km / h or to park in the garage when the motor vehicle is at an angle of 90 ° to the garage entrance. The recording of steering angles, directions of movement and speeds for the positions and possibly orientations on a desired trajectory makes sense, for example, when parking in a parallel parking space at the roadside, where in addition to the direction of movement above all the steering angle, linked to the current position on the target Trajectory that decides the success or failure of a parking operation. Thus, the parking for the driver is facilitated because he receives ongoing localization information about the motor vehicle and its actions.

Die Erfindung ermöglicht es, auf Basis der Lokalisierungsinformationen einen automatischen Einpark-, Fahrspur- oder Fahrassistent zu betreiben. So kann beispielsweise ein Einparkassistenzsystem anhand einer Soll-Trajektorie das Einparken des Kraftfahrzeugs vollautomatisch übernehmen. Möglich ist sogar, dass der Fahrer vor dem Einparken aus dem Kraftfahrzeug steigt und das Einparkassistenzsystem das Einparken vollständig autonom übernimmt.The invention makes it possible to operate an automatic parking, lane or driving assistant based on the location information. Thus, for example, a parking assistance system can take over the parking of the motor vehicle fully automatically based on a desired trajectory. It is even possible that the driver steps out of the vehicle before parking and the parking assistance system assumes parking completely autonomously.

Dadurch steigt der Komfort für den Fahrer und der Stress auf Grund von komplizierten Einparkmanövern bei wenig Platz auf stark befahrenen Straßen kann minimiert werden. Darüber hinaus könnten Parkplätze und Parkhäuser kompakter ausgeführt werden, so dass es zu einer Flächenersparnis kommt, da der Fahrer nicht mehr Platz zum Ein- und Aussteigen benötigt, sondern immer im ausgeparkten Zustand in das Kraftfahrzeug ein- und aussteigt.This increases the comfort for the driver and the stress due to complicated parking maneuvers with little space on busy roads can be minimized. In addition, parking spaces and car parks could be made more compact, so that there is an area savings, since the driver does not need more space for getting in and out, but always in the parked state in the vehicle on and off.

Es gibt Situationen, in denen es wünschenswert ist, mehrere unterschiedliche Soll-Trajektorien für das gleiche Umfeld verfügbar zu haben, beispielsweise, wenn es mehrere Fahrer gibt, die unterschiedliche Wünsche haben oder es beispielsweise mehrere mögliche Parkplätze in einem Parkhaus gibt. Deshalb wird idealerweise eine Ausführungsform realisiert, bei der für Bereiche in der Karte mehrere Soll-Trajektorien durch ein weiteres Ausführen des ersten Verfahrensabschnitts gespeichert werden können und anschließend von einem Bediener als aktive Soll-Trajektorie ausgewählt werden können. Dies ist von Vorteil, wenn zu einem Bereich in der Karte mehrere Trajektorien benötigt werden. Beispielsweise können so Doppelgaragen komfortabel von derselben Position aus angefahren werden. Der Fahrer fährt auf die Einfahrt und sobald das Kraftfahrzeug sich in seiner 3D-Karte lokalisiert hat, bietet ein Assistenzsystem beide verfügbaren Soll-Trajektorien an. Der Fahrer wählt dann dort die Soll-Trajektorie, beispielsweise für die linke der beiden Garagen, aus. Fortan erhält er Lokalisierungsinformationen des Kraftfahrzeugs in Bezug auf die Soll-Trajektorie zum Einparken in die linke Garage. Ein anderes Mal muss er, weil die linke Garage belegt ist, in die rechte Garage einparken. Er selektiert auf der Einfahrt die Soll-Trajektorie für die rechte Garage und erhält fortan Lokalisierungsinformationen in Bezug auf die Soll-Trajektorie zum Einparken in die rechte Garage. Ebenfalls möglich sind Soll-Trajektorien für unterschiedliche Positionen und Orientierungen des Kraftfahrzeugs in der Garage, sowie unterschiedliche Anfahrtswege, beispielsweise, wenn das Einbiegen in die Einfahrt bereits Teil der Soll-Trajektorie ist.There are situations in which it is desirable to have several different target trajectories available for the same environment, for example, when there are multiple drivers who have different wishes or there are, for example, several possible parking spaces in a parking garage. Therefore, ideally, an embodiment is realized in which multiple target trajectories for areas in the map by further executing the first method section can be stored and then selected by an operator as the active setpoint trajectory. This is advantageous when multiple trajectories are needed for an area in the map. For example, so double garages can be comfortably approached from the same position. The driver drives onto the driveway and as soon as the motor vehicle has located itself in his 3D map, an assistance system offers both available target trajectories. The driver then selects there the target trajectory, for example, for the left of the two garages from. From now on, he receives localization information of the motor vehicle with respect to the desired trajectory for parking in the left-hand garage. Another time, because the left-hand garage is occupied, he has to park in the right-hand garage. He selects the target trajectory for the right-hand garage on the driveway and henceforth receives localization information relating to the target trajectory for parking in the right-hand garage. Also possible are desired trajectories for different positions and orientations of the motor vehicle in the garage, as well as different access routes, for example, if the entry into the driveway is already part of the desired trajectory.

Um den Komfort bei der Bedienung zu erhöhen, ist eine möglichst einfache Auswahl einer Soll-Trajektorie wünschenswert. Besonders vorteilhaft ist deshalb eine Ausführungsform, bei der eine oder mehrere für das aktuelle Umfeld des Kraftfahrzeugs gespeicherte Soll-Trajektorie als im Umfeld liegend erkannt werden und dem Fahrer zur Auswahl als aktive Soll-Trajektorie bereit gestellt werden. Beispielsweise fährt der Fahrer auf die Einfahrt zu seinem Grundstück und das Assistenzsystem erkennt, dass sich das Kraftfahrzeug nun in einem Bereich der Karte befindet, für den es zwei Soll-Trajektorien gibt, eine für die linke und eine für die rechte Garage. Es macht den Fahrer dann darauf aufmerksam, beispielsweise durch Ausgabe eines Signals, dass Soll-Trajektorien vorliegen, und bietet dem Fahrer beide Soll-Trajektorien zur Auswahl an.In order to increase the convenience of operation, the simplest possible selection of a desired trajectory is desirable. Therefore, an embodiment is particularly advantageous in which one or more target trajectories stored for the current environment of the motor vehicle are recognized as lying in the surrounding area and are made available to the driver for selection as an active desired trajectory. For example, the driver drives to the entrance to his property and the assistance system recognizes that the motor vehicle is now in an area of the map for which there are two desired trajectories, one for the left and one for the right garage. It then alerts the driver, for example by outputting a signal that target trajectories are present, and offers the driver both target trajectories for selection.

Der Fahrer kann nun entscheiden, ob er eine der beiden Soll-Trajektorien auswählt oder ob er auf eine Auswahl verzichtet. So können für eine Position und gegebenenfalls Orientierung auf einfache und für den Fahrer komfortable Weise mehrere Soll-Trajektorien vorgehalten und bei Bedarf bedienerfreundlich bereitgestellt werden.The driver can now decide whether to select one of the two target trajectories or whether to do without a selection. Thus, for a position and, if appropriate, orientation in a simple manner that is comfortable for the driver, a plurality of desired trajectories can be kept available and, if necessary, provided in a user-friendly manner.

Eine Ausführungsform sieht vor, zumindest einen Bereich einer Karte mit einer Soll-Trajektorie über die Schnittstelle in die Kamera zu laden. Beispielsweise kann so von einem Fahrer eine unbekannte Umgebung, beispielsweise ein Parkhaus eines Einkaufszentrums, sicher durchfahren werden. Möglich ist beispielsweise folgendes Szenario: Dem Fahrer wird bei Einfahrt in das Parkhaus automatisch der Parkplatz X zugewiesen. Das Kraftfahrzeug erhält dann automatisch von einem entsprechenden System des Parkhauses einen Bereich der Karte für das Parkhaus und eine Soll-Trajektorie für den Parkplatz X zugewiesen, welche über die Schnittstelle in die Kamera überspielt werden. Fortan stehen der Bereich der Karte und die Soll-Trajektorie zum Parkplatz X zur Verfügung und können vom Fahrer ausgewählt werden. Ein zielgerichtetes Einparken oder Fahren in unbekannten Umgebungen kann somit erleichtert oder sogar automatisiert werden.One embodiment provides for loading at least one area of a map with a desired trajectory via the interface into the camera. For example, an unknown environment, for example a parking garage of a shopping center, can be safely passed through by a driver. For example, the following scenario is possible: The driver is automatically assigned the parking space X when entering the car park. The motor vehicle is then automatically assigned by a corresponding system of the parking garage an area of the map for the parking garage and a target trajectory for the parking lot X, which are dubbed over the interface to the camera. From now on, the area of the map and the desired trajectory are available for parking lot X and can be selected by the driver. A purposeful parking or driving in unknown environments can thus be facilitated or even automated.

Besonders vorteilhaft ist eine Ausführungsform der Erfindung, bei der die Lokalisierungsinformation eine Differenz zwischen der Soll- und Ist-Position und gegebenenfalls Soll- und Ist-Orientierung umfasst. So können dem Fahrer des Kraftfahrzeugs fortlaufend Informationen und Anweisungen bereitgestellt werden, die ihn beim Führen des Kraftfahrzeugs unterstützen. Die Differenzen können beispielsweise an der Schnittstelle ausgegeben werden und dann anschließend auf einer Anzeigeeinrichtung, beispielsweise einem Head-Up-Display, dargestellt oder von einer Fahrzeugsteuerung weiterverarbeitet werden.Particularly advantageous is an embodiment of the invention, in which the localization information comprises a difference between the desired and actual position and, where appropriate, desired and actual orientation. Thus, the driver of the motor vehicle continuously information and instructions are provided to assist him in driving the motor vehicle. The differences can be output, for example, at the interface and then subsequently displayed on a display device, for example a head-up display, or further processed by a vehicle control.

Möglich ist es auch, dass auf Basis der ermittelten Differenzen zwischen der Soll- und Ist-Position und gegebenenfalls zusätzlich -Orientierung ein vollautomatisches System zum Führen des Kraftfahrzeugs betrieben wird.It is also possible that a fully automatic system for guiding the motor vehicle is operated on the basis of the determined differences between the desired and actual position and optionally additional orientation.

Idealerweise wird eine Ausführungsform realisiert, bei der die aktuelle Lokalisierungsinformation dazu benutzt wird, den Bereich der Karte, der für den Vergleich mit den aus der weiteren Abbildung ermittelten Merkmalen benutzt wird, auf ein näheres Umfeld zu beschränken. Beispielsweise ist es möglich, den Bereich auf nur wenige Meter im unmittelbaren Umfeld des Kraftfahrzeugs einzugrenzen, beispielsweise wenn das Kraftfahrzeug bereits in der Karte lokalisiert ist.Ideally, an embodiment is realized in which the current location information is used to restrict the area of the map used for comparison with the features determined from the further map to a closer environment. For example, it is possible to limit the area to just a few meters in the immediate vicinity of the motor vehicle, for example when the motor vehicle is already located in the map.

Dadurch sinkt die Anzahl der Merkmale in der Karte, die verarbeitet bzw. verglichen werden müssen. Als Folge sinkt der Rechenaufwand in der Steuereinrichtung und der Vergleich kann schneller und zeitsparender durchgeführt werden, so dass die Lokalisierungsinformation schneller und damit öfter bereitgestellt werden kann.This reduces the number of features in the map that need to be processed or compared. As a result, the computational effort in the control device decreases and the comparison can be performed faster and more time-saving, so that the localization information can be provided faster and thus more often.

Es ist wünschenswert, den relativen Positionen der Karte eine absolute, eindeutige, gegebenenfalls globale, Koordinate zuzuordnen. Eine Ausführungsform der Erfindung sieht deshalb vor, dass Positionen in der Karte eine globale Positionskoordinate zugeordnet wird. Beispielsweise wird eine Grobpositionierung des Kraftfahrzeugs mittels eines globalen Navigationssystems, beispielsweise dem Global Positioning System (GPS), durchgeführt und die mittels GPS bestimmten Positionen des Kraftfahrzeugs mit denen in der Karte hinterlegten Positionen und gegebenenfalls zusätzlichen Orientierungen verknüpft. Dies hat den Vorteil, dass das Kraftfahrzeug auch bei einer noch nicht erstellten oder noch unzureichenden Karte grob lokalisiert werden kann. Auch bei bereits vorhandener Karte kann eine erste Groblokalisierung in der Karte vorgenommen werden, so dass der Bereich, für den der Vergleich zwischen den in der aktuellen Abbildung erkannten Merkmalen und den in der Karte gespeicherten Merkmalen durchgeführt wird, eingeschränkt werden kann. Die GPS-Daten können beispielsweise über die Schnittstelle in die Kamera übertragen werden.It is desirable to assign an absolute, unique, possibly global, coordinate to the relative positions of the map. An embodiment of the invention therefore provides that positions in the map are assigned a global position coordinate. For example, a coarse positioning of the motor vehicle by means of a global navigation system, such as the Global Positioning System (GPS), performed and the means of GPS certain positions of the motor vehicle with those stored in the map positions and possibly linked additional orientations. This has the advantage that the motor vehicle can be coarsely localized even in the case of a card that has not yet been created or is still insufficient. Even with an existing card, a first coarse localization can be made in the card, so that the range for which the comparison is made between the features recognized in the current image and the features stored in the card can be restricted. The GPS data can be transmitted via the interface into the camera, for example.

Darüber hinaus ist es durch Einbeziehen von globalen Positionsdaten möglich, schneller mehrere unterschiedliche Soll-Trajektorien demselben Bereich einer Karte zuzuordnen. Beispielsweise können so unterschiedlich ausgeführte Einbiegevorgänge in eine Einfahrt eines Grundstücks sofort als zum selben Bereich einer Karte zugehörig erkannt werden. Dies beschleunigt den Aufbau der Karte und verringert Fehler bei der Auswertung der Merkmale in der Karte, welche beispielsweise dadurch entstehen könnten, dass beim Einbiegen von links in die Einfahrt andere Merkmale sichtbar sind als beim Einbiegen von rechts in die Einfahrt.In addition, by including global position data, it is possible to more quickly assign multiple different target trajectories to the same area of a map. For example, so differently executed bending operations in a driveway of a property can be immediately recognized as belonging to the same area of a map. This speeds up the construction of the map and reduces errors in the evaluation of the features in the map, which could be caused, for example, by other features being visible when turning from the left into the driveway than when turning from the right into the driveway.

Vorzugsweise ist die Kamera als eine automotive Frontkamera ausgebildet, d. h. fest in das Kraftfahrzeug integriert. Ein Vorteil besteht darin, dass diese Kamera auch für andere Assistenzsystem genutzt werden kann, die ein vor dem Fahrzeug liegendes Umfeld erfassen und auswerten. Beispielsweise kann ein Spurerkennungsassistenzsystem zusätzlich mit der Kamera realisiert werden.Preferably, the camera is designed as an automotive front camera, i. H. firmly integrated into the motor vehicle. One advantage is that this camera can also be used for other assistance systems that detect and evaluate an environment in front of the vehicle. For example, a track recognition assistance system can be additionally realized with the camera.

Eine besonders vorteilhafte Anordnung sieht vor, dass die automotive Frontkamera hinter oder im Bereich der Windschutzscheibe des Kraftfahrzeugs angeordnet ist. Hierdurch ist ein gutes Sichtfeld der Kamera garantiert sowie ein ausreichender Schutz vor Beschädigung gewährleistet.A particularly advantageous arrangement provides that the automotive front camera is arranged behind or in the region of the windshield of the motor vehicle. This guarantees a good field of view of the camera and ensures adequate protection against damage.

Besonders bevorzugt wird die Frontkamera in einem Dachknoten hinter einem Innenspiegel angeordnet oder als Dachknotenkamera ausgebildet. Bei dieser Einbauposition oder Ausgestaltungsvariante wir ein Sichtfeld eines Fahrers durch die Frontkamera nicht oder nur unwesentlich beeinträchtigt.Particularly preferably, the front camera is arranged in a roof node behind an interior mirror or designed as a roof node camera. In this installation position or design variant, a field of vision of a driver by the front camera is not or only slightly affected.

Bei einer Ausführungsform ist vorgesehen, dass die Kamera eine Rückansichtkamera ist. Bei anderen Ausführungsformen kann eine Rückansichtkamera, welche das Umfeld hinter dem Kraftfahrzeug erfasst, auch zusätzlich zur Frontkamera eingesetzt werden, um eine Lokalisierung zu verbessern und zu beschleunigen. Mit den Abbildungen der Rückansichtkamera wird genauso verfahren wie mit den Abbildungen der Frontkamera. Die ermittelten Merkmale werden in derselben Karteeingetragen und lokalisiert.In one embodiment, it is provided that the camera is a rear view camera. In other embodiments, a rear view camera sensing the environment behind the vehicle may also be used in addition to the front camera to enhance and accelerate localization. The illustrations of the rear view camera are the same as with the images of the front camera. The determined features are entered and located in the same card.

Die vorgenannten Ausführungsformen stellen Beispiele zur Ausführung der Erfindung dar. Es sind jedoch auch weitere Ausführungsformen möglich, die vor allem verschiedene Kombinationen aus mehreren Merkmalen der Unteransprüche umfassen.The abovementioned embodiments represent examples for carrying out the invention. However, other embodiments are also possible which, above all, comprise different combinations of several features of the subclaims.

Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:The invention will be explained in more detail with reference to preferred embodiments with reference to the figures. Hereby show:

1 eine schematische Darstellung einer Ausführungsform zum Lokalisieren eines Kraftfahrzeugs in einem Umfeld mit Anlernen und Abfahren einer Soll-Trajektorie; 1 a schematic representation of an embodiment for locating a motor vehicle in an environment with learning and departing a desired trajectory;

2a, 2b beide schematische Darstellungen zur Erläuterung des Erfassens einer Abbildung mit der Kamera und der folgenden Merkmalsextraktion; 2a . 2 B both schematic diagrams for explaining the capture of an image with the camera and the following feature extraction;

3a, 3b, 3c schematische Darstellungen zur Erläuterung der Bestimmung der Positionen der Merkmale in einer Karte durch Auswerten paarweise identischer Merkmale in zwei unterschiedlichen Abbildungen an verschiedenen Positionen des Kraftfahrzeugs in einem Umfeld; 3a . 3b . 3c schematic representations for explaining the determination of the positions of the features in a map by evaluating pairwise identical features in two different images at different positions of the motor vehicle in an environment;

4a, 4b, 4c schematische Darstellungen zur Erläuterung der Entstehung der Abbildung durch Projektion eines Ausschnitts eines frontseitigen Umfelds eines Kraftfahrzeugs an unterschiedlichen Positionen des Kraftfahrzeugs in dem Umfeld; 4a . 4b . 4c schematic representations for explaining the emergence of the image by projection of a section of a front-side environment of a motor vehicle at different positions of the motor vehicle in the environment;

5a, 5b schematische Darstellungen zur Erläuterung der dreidimensionalen Positionsbestimmung des Merkmals aus den Abbildungen in den 4b und 4c; 5a . 5b schematic representations for explaining the three-dimensional position determination of the feature from the figures in the 4b and 4c ;

6a, 6b, 6c schematische Darstellungen zur Erläuterung der Bestimmung der Ist-Position des Kraftfahrzeugs in der Karte anhand eine einzelnen Abbildung; 6a . 6b . 6c schematic representations for explaining the determination of the actual position of the motor vehicle in the map using a single figure;

7a, 7b, 7c schematische Darstellungen für Beispiele mehrerer Soll-Trajektorien in einem Bereich der Karte, der beispielshaft eine Garageneinfahrt darstellt; 7a . 7b . 7c schematic representations for examples of multiple target trajectories in an area of the map, which represents an example of a garage entrance;

8 eine schematische Darstellung einer Soll- und einer Ist-Trajektorie und beispielhaft zweier Differenzvektoren; 8th a schematic representation of a desired and an actual trajectory and exemplified two difference vectors;

9 ein schematisches Ablaufdiagramm des Verfahrens. 9 a schematic flow diagram of the method.

In 1 ist eine Ausführungsform der Vorrichtung 1 zum Lokalisieren eines Kraftfahrzeugs 50 in einer Umgebung mit Anlernen und Abfahren einer Soll-Trajektorie gezeigt. In dem Kraftfahrzeug 50 wird, beispielsweise frontseitig, die Vorrichtung 1, umfassend die Kamera 2, eingebaut. Die Kamera 2 ist vorzugsweise als Frontkamera in einem Dachknoten, vom Fahrer aus betrachtet hinter einem Innenspiegel, angeordnet. Die Kamera 2 umfasst dabei eine Bilderfassungseinrichtung 3, beispielsweise einen Charged-Coupled-Devices(CCD)-Sensor mit dazugehöriger Optik, eine Steuereinrichtung 4, eine Schnittstelle 5 und einen Speicher 6. Nicht zur Vorrichtung 1 gehören eine zur Veranschaulichung dargestellte Fahrzeugodometrie 7 und eine Fahrzeugsteuerung 8, welche über einen Datenbus 9 und die Schnittstelle 5 an die Vorrichtung 1 angebunden sind. In 1 is an embodiment of the device 1 for locating a motor vehicle 50 shown in an environment with learning and traversing a desired trajectory. In the motor vehicle 50 is, for example, the front side, the device 1 including the camera 2 , built-in. The camera 2 is preferably arranged as a front camera in a roof node, viewed from the driver behind an interior mirror. The camera 2 includes an image capture device 3 For example, a Charged Coupled Devices (CCD) sensor with associated optics, a control device 4 , an interface 5 and a memory 6 , Not to the device 1 include an illustrative vehicle odometry 7 and a vehicle controller 8th which via a data bus 9 and the interface 5 to the device 1 are connected.

Das Verfahren wird zur Erläuterung im Folgenden vereinfacht dargestellt.The method will be simplified in the following for explanation.

Das Kraftfahrzeug 50 befindet sich in einem Umfeld, in dem eine Lernfahrt durchgeführt werden soll. Im ersten Verfahrensabschnitt, während einer Lernfahrt, erfasst die Kamera 2 über die Bilderfassungseinrichtung 3 mindestens zwei Abbildungen des frontseitigen Umfelds an unterschiedlichen Positionen des Kraftfahrzeugs im Umfeld, wobei das Erfassen von der Steuereinrichtung 4 ausgelöst und gesteuert wird. Zeitgleich erhält die Steuereinrichtung 4 über die Schnittstelle 5 Odometriedaten des Kraftfahrzeugs 50, welche von der Fahrzeugodometrie 7 auf den Datenbus 9 gesendet werden und dort über die Schnittstelle 5 abrufbar sind. In den mindestens zwei erfassten Abbildungen extrahiert die Steuereinrichtung 4 anschließend graphische Merkmale. Solche Merkmale müssen nicht von physisch ausgebildeten Objekten stammen. Unterschiedliche physisch ausgebildete Objekte können aber gleiche Merkmale in der graphischen Repräsentation in den Abbildungen aufweisen. Merkmale können beispielsweise horizontale oder vertikale Linien oder deren Kreuzungspunkte in den Abbildungen sein, aber auch Kontraste, Farbverläufe oder Ortsfrequenzen nach Fourier- oder Waveletanalyse. Auch Pixelmuster oder bestimmte Anordnungen von Pixelmustern können Merkmale darstellen. Dem Fachmann sind mehrere Mustererkennungsverfahren bekannt, welche charakteristische Eigenschaften, beispielsweise geometrische oder farbliche Merkmale, aus Abbildungen extrahieren können. In den mindestens zwei Abbildungen werden dann paarweise identische Merkmale, beispielsweise dasselbe Pixelmuster, gesucht. Nach Auffinden paarweise identischer Merkmale wird mit Hilfe stereoskopischer Verfahren unter Verwendung der Odometriedaten deren dreidimensionale Position bestimmt. Dies kann beispielsweise mit dem bekannten Structure-from-Motion(SfM)-Verfahren geschehen (siehe z. B. R. C. Bolles et al., Int. Journal of Computer Vision, 1, 7–55 [1987] ).The car 50 is located in an environment in which a learning journey is to be carried out. In the first part of the procedure, during a learning journey, the camera detects 2 via the image capture device 3 at least two images of the front-end environment at different positions of the motor vehicle in the environment, wherein the detection of the control device 4 is triggered and controlled. At the same time, the control device receives 4 over the interface 5 Odometry data of the motor vehicle 50 Which of the vehicle odometry 7 on the data bus 9 be sent and there via the interface 5 are available. In the at least two captured images, the controller extracts 4 then graphic features. Such features do not have to come from physically formed objects. However, different physically trained objects may have similar features in the graphical representation in the images. Features can be, for example, horizontal or vertical lines or their crossing points in the images, but also contrasts, color gradients or spatial frequencies after Fourier or wavelet analysis. Also, pixel patterns or particular arrays of pixel patterns may represent features. A person skilled in the art knows several pattern recognition methods which can extract characteristic properties, for example geometric or color features, from images. The at least two mappings then search for pairwise identical features, for example the same pixel pattern. After finding pairwise identical features, the three-dimensional position is determined by means of stereoscopic methods using the odometry data. This can be done, for example, with the known structure-from-motion (SfM) method (see, for example, US Pat. RC Bolles et al., Int. Journal of Computer Vision, 1, 7-55 [1987] ).

Die Steuereinrichtung 4 erstellt eine Karte des Umfeldes und trägt die dreidimensionale Position des Merkmals anschließend in die Karte ein. Die Daten der Karte werden in einem Speicher 6 abgelegt, welcher von der Steuereinrichtung 4 verwaltet und gepflegt wird. Während der Lernfahrt werden nun wiederholt weitere Abbildungen erfasst, Merkmale extrahiert und in die Karte eingetragen. Es entsteht auf diese Weise eine Karte für den während der Lernfahrt durchfahrenen Bereich des Umfelds des Kraftfahrzeugs 50. Sind die Merkmale aus den Abbildungen extrahiert und mit ihren Positionen in der Karte vermerkt, werden die Abbildungen selber verworfen.The control device 4 creates a map of the environment and then enters the three-dimensional position of the feature in the map. The data of the card is stored in memory 6 stored, which of the control device 4 managed and maintained. During the learning journey, further images are repeatedly recorded, features extracted and entered into the map. In this way, a map is produced for the area of the surroundings of the motor vehicle passed through during the learning journey 50 , If the features are extracted from the images and noted with their positions in the map, the images themselves are discarded.

Um beispielsweise einen komplizierten Einparkvorgang zu erleichtern, können mehrere zeitlich aufeinander folgende Positionen und gegebenenfalls zusätzliche Orientierungen zu einer Soll-Trajektorie verknüpft werden und im Speicher 6 abgespeichert werden.For example, to facilitate a complicated parking operation, several temporally successive positions and possibly additional orientations can be linked to a desired trajectory and in memory 6 be stored.

Ist der erste Verfahrensabschnitt mit der Lernfahrt beendet, so können eine oder mehrere Folgefahrten durchgeführt werden. Dabei kann eine vorher während einer Lernfahrt gespeicherte Soll-Trajektorie als aktive Soll-Trajektorie ausgewählt werden, so dass sich die Folgefahrt auf diese aktive Soll-Trajektorie bezieht. Während der Folgefahrt erfasst die Kamera 2 über die Bilderfassungseinrichtung 3 mindestens eine weitere Abbildung des frontseitigen Umfelds. In der mindestens einen weiteren Abbildung werden dann von der Steuereinrichtung 4 mehrere Merkmale extrahiert. Dabei wird zu diesen Merkmalen jeweils die Relativorientierung, das heißt die Richtungen der Merkmale im Raum relativ zur Kamera 2, d. h. zum Kraftfahrzeug 50, bestimmt, was bei bekannten Eigenschaften der Bilderfassungseinrichtung 3, wie beispielsweise dem Öffnungswinkel, dem Bildwinkel, der Verzerrung und der Pixelanzahl des Sensors, anhand der Positionen der Merkmale in der mindestens einen weiteren Abbildung möglich ist. Anschließend werden die mehreren Merkmale in der Karte gesucht. In den meisten Fällen unterscheiden sich die in den Abbildungen identifizierten Merkmale so stark, dass jedem Merkmal genau eine Position in der Karte zugeordnet ist, so dass beim späteren Suchen stets eine eindeutige Zuordnung zur einer Position in der Karte gewährleistet ist. Bei Auffinden mehrerer Merkmale kann die Genauigkeit erhöht werden. Nach dem Auffinden der Merkmale ist ein Triangulieren anhand der mehreren Merkmale und der Relativorientierungen zum Kraftfahrzeug 50 möglich, so dass das Kraftfahrzeug 50 in der Karte lokalisiert werden kann. Die Lokalisierungsinformation umfasst dabei beispielsweise die Position und gegebenenfalls zusätzlich die Orientierung des Kraftfahrzeugs 50 in der Karte und wird über die Schnittstelle 5 auf den Datenbus 9 des Kraftfahrzeugs 50 ausgegeben.If the first process section ends with the learning run, then one or more subsequent trips can be carried out. In this case, a desired trajectory previously stored during a learning run can be selected as the active desired trajectory, so that the following travel relates to this active desired trajectory. During the following drive, the camera detects 2 via the image capture device 3 at least one more illustration of the frontal environment. In the at least one further image are then by the control device 4 extracted several features. In each case, the relative orientation, that is to say the directions of the features in the space relative to the camera, becomes one of these features 2 ie to the motor vehicle 50 , determines what in known characteristics of the image capture device 3 , such as the aperture angle, the angle of view, the distortion and the number of pixels of the sensor, on the basis of the positions of the features in the at least one further image is possible. Subsequently, the several features are searched in the map. In most cases, the features identified in the figures are so different that each feature is assigned exactly one position in the map, so that a clear assignment to a position in the map is always ensured during subsequent searches. When finding several features, the accuracy can be increased. After finding the features is a triangulation based on the multiple features and the relative orientations to the motor vehicle 50 possible, so that the motor vehicle 50 can be located in the map. The location information includes, for example, the position and possibly additionally the orientation of the motor vehicle 50 in the card and is over the interface 5 on the data bus 9 of the motor vehicle 50 output.

Zeitgleich oder anschließend kann die Steuereinrichtung 4 die Lokalisierungsinformation dazu verwenden, eine Differenz zwischen einer Ist-Trajektorie und der vorher aktivierten Soll-Trajektorie zu ermitteln und dem Fahrer des Kraftfahrzeugs 50 die Differenz mitzuteilen, beispielsweise indem die Differenz als kodierte Daten über der Schnittstelle 5 auf den Datenbus 9 des Kraftfahrzeugs ausgegeben wird und von dort über eine Anzeigeeinrichtung des Kraftfahrzeugs dargestellt wird.At the same time or subsequently, the control device 4 use the localization information to determine a difference between an actual trajectory and the previously activated desired trajectory and the driver of the motor vehicle 50 to communicate the difference, for example by taking the difference as coded data over the interface 5 on the data bus 9 of the motor vehicle is output and is displayed from there via a display device of the motor vehicle.

Ebenfalls möglich ist, dass die Lokalisierungsinformation und gegebenenfalls zusätzlich die Differenz von der Fahrzeugsteuerung 8 über den Datenbus 9 abgegriffen werden und zur automatischen oder halbautomatischen Steuerung des Kraftfahrzeugs 50 verwendet werden. Beispielsweise kann eine Fahrzeugsteuerung 8 die Lokalisierungsinformation und gegebenenfalls zusätzlich die Differenz zwischen Soll- und Ist-Trajektorie dazu verwenden, den Lenkeinschlag bzw. die Bewegungsrichtung des Kraftfahrzeugs 50 zu steuern bzw. zu regeln.It is also possible that the localization information and possibly additionally the difference from the vehicle control 8th over the data bus 9 be tapped and for automatic or semi-automatic control of the motor vehicle 50 be used. For example, a vehicle controller 8th the localization information and optionally additionally use the difference between the desired and actual trajectory, the steering angle or the direction of movement of the motor vehicle 50 to control or regulate.

Ein Vorteil der Erfindung liegt in der Durchführung sämtlicher Schritte in der Kamera 2, welche lediglich über eine schmalbandige Schnittstelle 5, beispielsweise des in Kraftfahrzeugen üblichen CAN-Buses, kommuniziert. Die Kommunikation über die Schnittstelle 5 umfasst dabei nur sehr geringe Datenmengen. Dadurch ist eine einfache Aus- oder Nachrüstung von Kraftfahrzeugen 50 kostengünstig möglich.An advantage of the invention is the implementation of all steps in the camera 2 which only have a narrowband interface 5 , For example, the usual in motor vehicles CAN bus communicates. Communication via the interface 5 covers only very small amounts of data. This is a simple removal or retrofitting of motor vehicles 50 inexpensive possible.

In den 2a und 2b sind schematisch die Durchführung der Abbildungserfassung und die Merkmalsextraktion während einer Lernfahrt im ersten Verfahrensabschnitt dargestellt. Die Vorrichtung 1 ist in einem Kraftfahrzeug, welches hier aus Gründen der Übersichtlichkeit nicht dargestellt ist, eingebaut, so dass die Kamera 2 das frontseitige Umfeld 10 des Kraftfahrzeugs innerhalb eines Bildwinkels 11 erfasst. Zeitgleich mit dem Erfassen der Abbildung 17 empfängt die Steuereinrichtung der Kamera 2 Odometriedaten der Fahrzeugodometrie über die Schnittstelle vom Datenbus des Kraftfahrzeugs. Innerhalb des Bildwinkels 11 sind schematisch als Draufsicht ein Gebäude 12 und eine Fahrbahn 13, welche eine Fahrbahnbegrenzung durch Randsteine 14 und eine Fahrbahnmarkierung 15 in der Mitte der Fahrbahn 13 umfasst, dargestellt. Ebenfalls dargestellt ist ein Baum 16 am rechten Rand des Bildwinkels 11. Die von der Kamera 2 erfasste Abbildung 17 ist in 2b schematisch dargestellt. Dort sind das Gebäude 12, die Fahrbahn 13 und der Baum 16 in einer Frontansicht sichtbar. Die Steuereinrichtung der Kamera 2 führt dann in dieser Abbildung 17 eine Bildanalyse durch, in der Merkmale 18, 19, 20 gesucht und identifiziert werden. Hier werden beispielsweise die Ecken 21 und Kanten 22 der graphischen Repräsentation des Gebäudes 12 erkannt und mit einem entsprechenden Merkmal 18 verknüpft. Für die Fahrbahn 13 werden beispielsweise die graphischen Repräsentationen der Randsteine 14 und der Fahrbahnmarkierung 15 jeweils mit eigenen Merkmalen 19, 20 versehen. Die graphische Repräsentation des Baumes wird in diesem Beispiel nicht mit Merkmalen markiert.In the 2a and 2 B schematically the implementation of the image acquisition and the feature extraction during a learning trip in the first process section are shown. The device 1 is installed in a motor vehicle, which is not shown here for reasons of clarity, so that the camera 2 the frontal environment 10 of the motor vehicle within an angle of view 11 detected. Coinciding with capturing the picture 17 receives the control device of the camera 2 Odometry data of vehicle odometry via the interface from the data bus of the motor vehicle. Within the picture angle 11 are schematically a plan view of a building 12 and a carriageway 13 a lane boundary by curbs 14 and a lane marker 15 in the middle of the roadway 13 includes shown. Also shown is a tree 16 at the right edge of the picture angle 11 , The from the camera 2 captured picture 17 is in 2 B shown schematically. There are the building 12 , the roadway 13 and the tree 16 visible in a front view. The control device of the camera 2 then leads in this picture 17 an image analysis by, in the features 18 . 19 . 20 be searched for and identified. For example, here are the corners 21 and edges 22 the graphical representation of the building 12 recognized and with a corresponding feature 18 connected. For the roadway 13 become, for example, the graphical representations of the curbs 14 and the lane marking 15 each with its own characteristics 19 . 20 Mistake. The graphical representation of the tree is not marked with features in this example.

Zum Erstellen einer detaillierten Karte des Umfelds des Kraftfahrzeugs ist ein Erfassen von mehreren Abbildungen des Umfeldes an unterschiedlichen Positionen des Kraftfahrzeugs notwendig.To create a detailed map of the surroundings of the motor vehicle, it is necessary to acquire several images of the surroundings at different positions of the motor vehicle.

Die nächsten Schritte sind schematisch in den 3a, 3b und 3c dargestellt. Die in 3a dargestellte Abbildung 17 mit den Merkmalen 18, 19, 20 ist dabei identisch mit der Abbildung 17 der 2b. Die Abbildung 17 wurde zum Zeitpunkt t = t1 aufgenommen. Die Steuereinrichtung bestimmt nun im nächsten Schritt die Relativorientierung der Merkmale 18, 19, 20 zum Kraftfahrzeug.The next steps are schematic in the 3a . 3b and 3c shown. In the 3a illustrated illustration 17 with the features 18 . 19 . 20 is identical to the picture 17 of the 2 B , The illustration 17 was recorded at time t = t1. The control device now determines the relative orientation of the features in the next step 18 . 19 . 20 to the motor vehicle.

Dies ist möglich, da die Eigenschaften der Bilderfassungseinrichtung in der Kamera 2, also Öffnungswinkel, Bildwinkel und Pixelanzahl, bekannt sind. Auf diese Weise wird zu jedem Merkmal ein Winkel bezüglich der Mittelachse des Kraftfahrzeug, welche beispielsweise mit der optischen Achse der Kamera 2 übereinstimmt, bestimmt, welcher in der Abbildung 17 schematisch als ein von der Abbildungsmitte 23 ausgehender Winkelvektor 24 für die rechte obere Ecke des Gebäudes 12 dargestellt ist.This is possible because the properties of the image capture device in the camera 2 , So opening angle, angle of view and number of pixels are known. In this way, for each feature is an angle with respect to the center axis of the motor vehicle, which, for example, with the optical axis of the camera 2 determines which one in the picture 17 schematically as one of the imaging center 23 outgoing angle vector 24 for the upper right corner of the building 12 is shown.

Die Kamera 2 erfasst zu einem späteren Zeitpunkt t2 eine weitere Abbildung 25 des frontseitigen Umfeldes, welche schematisch in 3b dargestellt ist. Da sich das Kraftfahrzeug mit einer Geschwindigkeit v bewegt, hat es in der Zeit dt = t2 – t1 eine Wegstrecke s = v·dt zurückgelegt, so dass sich das frontseitige Umfeld gegenüber der ersten Abbildung 17 verändert hat und sich das Gebäude 12, die Fahrbahn 13 und der Baum 16 an anderen Positionen der Abbildung 25 befinden. Die Steuereinrichtung der Kamera 2 sucht und extrahiert nun wieder Merkmale 18, 19, 20 in der Abbildung 25 und bestimmt ihre Relativorientierungen zum Kraftfahrzeug. Da sich das Kraftfahrzeug um die Strecke s bewegt hat, sind identische Merkmale in den beiden Abbildung 16, Abbildung 25 nun unter einem anderen Winkel zum Fahrzeug sichtbar, in 3b veranschaulicht durch einen weiteren Winkelvektor 26 für das Merkmal 18, das die rechte obere Ecke des Gebäudes 12 markiert. Aus den unterschiedlichen Winkeln bzw. Winkelvektoren 24, 26 in den beiden Abbildung 17, Abbildung 25 kann die Position des Merkmals durch stereoskopische Verfahren, beispielsweise durch das bekannte Structure-from-motion(Sfm)-Verfahren (siehe z. B. R. C. Bolles et al., Int. Journal of Computer Vision, 1, 7–55 [1987] ), unter Ausnutzung der Wegstreckeninformation bestimmt werden.The camera 2 detects at a later time t2 another figure 25 the frontal environment, which is schematically in 3b is shown. Since the motor vehicle is moving at a speed v, it has traveled a distance s = v · dt in the time dt = t2-t1, so that the front-side environment is opposite the first image 17 has changed and the building 12 , the roadway 13 and the tree 16 at other positions of the picture 25 are located. The control device of the camera 2 seek and extract features again 18 . 19 . 20 in the picture 25 and determines their relative orientations to the motor vehicle. Since the motor vehicle has moved by the distance s, identical features are in the two figures 16 , Illustration 25 now visible at a different angle to the vehicle, in 3b illustrated by another angle vector 26 for the feature 18 , which is the upper right corner of the building 12 marked. From the different angles or angle vectors 24 . 26 in the two illustration 17 , Illustration 25 The position of the feature can be determined by stereoscopic methods, for example by the known structure-from-motion (Sfm) methods (see e.g. RC Bolles et al., Int. Journal of Computer Vision, 1, 7-55 [1987] ), using the route information.

Die auf diese Weise aus mindestens zwei an unterschiedlichen Positionen erfassten Abbildung 17, Abbildung 25 bestimmten Positionen der Merkmale 18, 19, 20 werden dann im nächsten Schritt in eine dreidimensionale Karte eingetragen. Ein schematischer Ausschnitt 27 einer solchen dreidimensionalen Karte ist in 3c dargestellt. In weiteren Schritten während der Lernfahrt im ersten Verfahrensabschnitt können weitere Abbildungen erfasst werden und in ihnen enthaltene weitere Merkmale extrahiert und bezüglich ihrer Position auf die gleiche Weise analysiert werden. Die auf diese Weise entstehende Karte wird im Speicher der Kamera 2 abgespeichert. Da jeweils die Positionen der Merkmale im Umfeld des Kraftfahrzeugs relativ zum Kraftfahrzeug selber bestimmt werden, kann nach einmaliger Festlegung einer Referenzposition, beispielsweise der allerersten Position des Kraftfahrzeugs, die Position des Kraftfahrzeugs in der erzeugten dreidimensionalen Karte bestimmt werden. Mehrere solcher Positionen werden im Rahmen der Lernfahrt dann zu einer Soll-Trajektorie 28 verknüpft, welche ebenfalls schematisch im Ausschnitt 27 der Karte dargestellt ist.The image captured in this way from at least two different positions 17 , Illustration 25 certain positions of the characteristics 18 . 19 . 20 are then entered in the next step in a three-dimensional map. A schematic section 27 such a three-dimensional map is in 3c shown. In further steps during the learning run in the first method section, further images can be acquired and further features contained in them can be extracted and analyzed with regard to their position in the same way. The resulting map is stored in the memory of the camera 2 stored. Since in each case the positions of the features in the environment of the motor vehicle relative to the motor vehicle itself are determined, the position of the motor vehicle in the generated three-dimensional map can be determined after a single determination of a reference position, for example, the very first position of the motor vehicle. Several such positions then become a desired trajectory during the learning journey 28 linked, which also schematically in the section 27 the map is shown.

Im zweiten Verfahrensabschnitt, während einer oder mehrerer Folgefahrten durch das gleiche Umfeld, kann das Kraftfahrzeug dann in der Karte lokalisiert werden und ein Vergleich zwischen der Soll-Trajektorie 28 und einer Ist-Trajektorie 29 der Folgefahrt stattfinden. Dazu erfasst die Kamera mindestens eine weitere Abbildung des Umfeldes. Aus der Abbildung extrahiert die Steuereinrichtung mehrere Merkmale und bestimmt die Relativorientierung der mehreren Merkmale zum Kraftfahrzeug. Anschließend sucht die Steuereinrichtung die mehreren Merkmale in der Karte und bestimmt nach dem Auffinden durch Triangulieren und Rückschließen die Ist-Position und gegebenenfalls zusätzlich die Ist-Orientierung des Kraftfahrzeugs. Werden mehrere solcher Ist-Positionen und gegebenenfalls zusätzlich die Ist-Orientierungen miteinander verknüpft, so lässt sich die Ist-Trajektorie 29 beschreiben und darstellen.In the second process section, during one or more subsequent trips through the same environment, the motor vehicle can then be located in the map and a comparison between the desired trajectory 28 and an actual trajectory 29 the following trip take place. For this purpose, the camera captures at least one additional image of the environment. From the figure, the controller extracts a plurality of features and determines the relative orientation of the plurality of features to the motor vehicle. Subsequently, the control device searches for the plurality of features in the map and determines after finding by triangulating and inference the actual position and optionally additionally the actual orientation of the motor vehicle. If several such actual positions and possibly also the actual orientations are linked to one another, then the actual trajectory can be determined 29 describe and represent.

Die 4a, 4b und 4c erläutern schematisch die Bestimmung der dreidimensionalen Position eines Merkmals während der Lernfahrt im ersten Verfahrensabschnitt. Die 4a zeigt ein Beispiel für eine Projektion der durch ein Objekt im frontseitigen Umfeld des Kraftfahrzeugs erzeugten Merkmale in der Abbildung 61 der Kamera. Die Kamera erfasst einen bestimmten Blickwinkel, der für die erfasste Abbildung als bekannt vorausgesetzt wird. Beispielhaft werden Punkte 75, welche mit den Ecken des Objektes 60, korrespondieren, auf einen Betrachtungspunkt 62, der sich in der Kamera befindet, projiziert, wodurch die Positionen der graphischen Repräsentation der Punkte 75 in der erfassten Abbildung 61 festgelegt werden.The 4a . 4b and 4c schematically illustrate the determination of the three-dimensional position of a feature during the learning run in the first method section. The 4a shows an example of a projection of the generated by an object in the frontal environment of the motor vehicle features in the figure 61 the camera. The camera captures a certain angle, which is assumed to be known for the captured image. Examples become points 75 which align with the corners of the object 60 , correspond to a viewing point 62 projected into the camera, thereby increasing the positions of the graphical representation of the points 75 in the captured picture 61 be determined.

In 4b, die zur Vereinfachung nur ein einziges Merkmal zeigt, ist eine Situation zum Zeitpunkt t = t1 dargestellt, wobei sich das Kraftfahrzeug am Betrachtungspunkt 62 befindet. Vom Betrachtungspunkt 62 aus erfasst die Kamera eine erste Abbildung 64, auf der ein Beispielpunkt 76 des Objektes 60 an einer bestimmten Position 65 abgebildet wird. Der Position 65 kann zweidimensional durch die Koordinaten yAbb und zAbb beschrieben werden. Die graphische Repräsentation des Beispielpunktes 76 an der Position 65 wird von der Kamera als ein graphisches Merkmal 63 erkannt, beispielsweise, weil sich die Ecke des Objektes 60 als besonderes Merkmal 63 diskriminieren lässt.In 4b showing only a single feature for the sake of simplicity, a situation is shown at time t = t1 with the motor vehicle at the viewpoint 62 located. From the viewpoint 62 off, the camera captures a first image 64 on which an example point 76 of the object 60 at a certain position 65 is shown. The position 65 can be described two-dimensionally by the coordinates y Abb and z Abb . The graphic representation of the example point 76 at the position 65 is used by the camera as a graphical feature 63 detected, for example, because the corner of the object 60 as a special feature 63 discriminate.

4c zeigt eine Situation zu einem späteren Zeitpunkt t = t2. In der Zeit dt = t2 – t1 hat das Kraftfahrzeug und somit der Betrachtungspunkt 62 eine Wegstrecke 66 zurückgelegt, die zur Vereinfachung als entlang der x-Koordinate des Koordinatensystems 68 der Karte angenommen wird, und welche aus den Odometriedaten des Kraftfahrzeugs bestimmt wird, welche über die Schnittstelle der Kamera empfangen werden. 4c shows a situation at a later time t = t2. In the time dt = t2 - t1 has the motor vehicle and thus the viewpoint 62 a route 66 for simplicity's sake, as along the x-coordinate of the coordinate system 68 the map is accepted, and which is determined from the odometry data of the motor vehicle, which are received via the interface of the camera.

Das Objekt 60 erscheint nun vom Betrachtungspunkt 62 aus gesehen unter einem anderen Winkel, so dass sich die Koordinaten des Beispielpunktes 76 in einer zum Zeitpunkt t2 gemachten zweiten Abbildung 67 verändert haben. Hierdurch wird eine Position 74 des ebenfalls in der zweiten Abbildung 67 erkannten Merkmals 63, beispielsweise näher am Rand einer linken oberen Ecke der Abbildung 67 aufgefunden.The object 60 now appears from the viewpoint 62 seen from another angle, so that the coordinates of the example point 76 in a second map made at time t2 67 have changed. This will be a position 74 also in the second illustration 67 recognized feature 63 , for example, closer to the edge of a left upper corner of the figure 67 discovered.

Aus der ersten Abbildung 64 und der zweiten Abbildung 67 kann nun die Position des Merkmals 63 im Koordinatensystem 68 der Karte bestimmt werden. Dies ist schematisch in den 5a und 5b dargestellt. 5a zeigt die Bestimmung der x- und der y-Koordinate. Aus der ersten Abbildung 64 kann unter Verwendung der Eigenschaften des Bilderfassungssystems der Kamera, wie beispielsweise dem Blickwinkel und der Pixelanzahl, auf eine Richtung ausgehend vom Betrachtungspunkt geschlossen werden. Diese Richtung bildet eine Menge aus x-y-Koordinatentupeln im Koordinatensystem der Karte, welche schematisch als Vektor 69 dargestellt ist, der von der Position des Bezugspunkts ausgeht. Aus der zweiten Abbildung 67 ergibt sich eine weitere Menge aus x-y-Koordinatentupeln im Koordinatensystem der Karte, welche ebenfalls als Vektor 70 dargestellt ist. Da sich das Fahrzeug aber in der Zeit dt = t2 – t1 um die Wegstrecke 66 bewegt hat, ist der Vektor 70 gegenüber dem Vektor 69 um die Wegstrecke 66 auf der x-Achse verschoben. Die Wegstrecke 66 wird dabei aus den Odometriedaten bestimmt. Überträgt man nun die Mengen an x-y-Koordinatentupeln in einen gemeinsamen Graph, so lässt sich ein Schnittpunkt 71 der beiden Vektoren 69, 70 bestimmen. Der Schnittpunkt 71 bestimmt dann eindeutig die Position bezüglich der x- und der y-Koordinate des Merkmals im Koordinatensystem der Karte.From the first picture 64 and the second picture 67 can now change the position of the feature 63 in the coordinate system 68 of the card. This is schematic in the 5a and 5b shown. 5a shows the determination of the x and y coordinates. From the first picture 64 can be closed in one direction from the viewpoint using the characteristics of the camera's image acquisition system, such as the viewing angle and the number of pixels. This direction forms a set of xy coordinate tuples in the coordinate system of the map, which is shown schematically as a vector 69 is shown, which starts from the position of the reference point. From the second picture 67 this results in another set of xy-coordinate tuples in the coordinate system of the map, which is also a vector 70 is shown. However, since the vehicle is in the time dt = t2 - t1 by the distance 66 has moved is the vector 70 opposite the vector 69 around the route 66 moved on the x-axis. The path 66 is determined from the odometry data. If one now transfers the sets of xy coordinate tuples into a common graph, an intersection point can be found 71 of the two vectors 69 . 70 determine. The point of intersection 71 then uniquely determines the position with respect to the x and y coordinates of the feature in the coordinate system of the map.

Auf die gleiche Weise wird die x-z-Koordinate im Koordinatensystem der Karte bestimmt. Dies ist schematisch in dargestellt. Wieder lassen sich aus der ersten 64 und der zweiten 67 Abbildung zwei Mengen aus x-z-Koordinatentupeln zu den beiden Zeitpunkten t1 und t2 bestimmen, welche als zwei Vektoren 69, 70 dargestellt sind. Der Vektor 70 ist dabei wieder um die Wegstrecke 66 gegenüber dem Vektor 69 verschoben. Aus dem Schnittpunkt 70 der beiden Vektoren 69, 70 ergibt sich dann die x-z-Koordinate des Merkmals im Koordinatensystem der Karte. Zusammen mit der x-y-Koordinate sind somit alle drei Ortskoordinaten bekannt, so dass dem Merkmal eine dreidimensionale Position zugeordnet werden kann.In the same way, the xz-coordinate in the coordinate system of the map is determined. This is schematically in shown. Again let the first 64 and the second 67 Figure two sets of xz coordinate tuples at the two times t1 and t2 determine which as two vectors 69 . 70 are shown. The vector 70 is again about the route 66 opposite the vector 69 postponed. From the intersection 70 of the two vectors 69 . 70 then the xz-coordinate of the feature results in the coordinate system of the map. Together with the xy coordinate, all three location coordinates are thus known, so that a three-dimensional position can be assigned to the feature.

Anschließend wird die bestimmte Position für das Merkmal in eine dreidimensionale Karte eingetragen und gespeichert. Dabei ist zu beachten, dass die dreidimensionalen Positionen der Merkmale alle bezüglich derselben Referenzposition in der Karte bestimmt werden.Subsequently, the specific position for the feature is entered and stored in a three-dimensional map. It should be noted that the three-dimensional positions of the features are all determined with respect to the same reference position in the map.

Dies kann beispielsweise ein allererster Betrachtungspunkt des Kraftfahrzeugs sein. Alle weiteren Positionen werden dann immer bezüglich dieses allerersten Betrachtungspunkt bestimmt.This can be, for example, a very first viewpoint of the motor vehicle. All other positions are then always determined with respect to this very first viewpoint.

Die 6a und 6b zeigen schematisch die Lokalisation des Kraftfahrzeugs während einer Folgefahrt im zweiten Verfahrensabschnitt. Es wird an einer aktuellen Ist-Position 73 des Kraftfahrzeugs von der Kamera eine einzelne Abbildung 72 des, beispielsweise frontseitigen, Umfelds erfasst, welche schematisch in 6a dargestellt ist. In dieser Abbildung 72 werden Merkmale gesucht und aufgefunden, hier beispielsweise drei Merkmale 18, welche durch die Ecken eines Objekts 60 hervorgerufen werden. Aus den Eigenschaften des Bilderfassungssystems lassen sich die Richtungen bezüglich des Betrachtungspunktes 62 ermitteln, welche schematisch als Vektoren 77', 77'', 77''', 78', 78'', 78''' in einem relativen Koordinatensystem für die drei Merkmale 18', 18'', 18''' in 6b dargestellt sind. Die aufgefundenen Merkmale 18', 18'', 18''' werden anschließend in der Karte gesucht, hier werden sie beispielsweise in einem Ausschnitt 27 der Karte, dargestellt in 6c, aufgefunden. Da die dreidimensionalen Positionen der Merkmale 18', 18'', 18''' in der Karte gespeichert sind, lässt sich aus den Richtungen der Merkmale 18', 18'', 18''' bezüglich des Betrachtungspunktes 62, die Ist-Position 73 und gegebenenfalls zusätzlich die Ist-Orientierung des Kraftfahrzeugs eindeutig bestimmen. Bei der Bestimmung der Ist-Position 73 können auch, beispielsweise über den Datenbus von der Fahrzeugodometrie empfangene, Odometriedaten berücksichtigt werden, beispielsweise, wenn ein Nick- oder Rollwinkel korrigiert werden müssen. Auf diese Weise ist es möglich, nur mit der einzigen Abbildung 72 das Kraftfahrzeug in der Karte zu lokalisieren.The 6a and 6b schematically show the location of the motor vehicle during a subsequent trip in the second process section. It will be at a current actual position 73 of the motor vehicle from the camera a single picture 72 of, for example, front side, environment detected, which schematically in 6a is shown. In this picture 72 features are searched and found, here for example three features 18 passing through the corners of an object 60 be caused. From the properties of the image acquisition system can be the directions with respect to the viewing point 62 determine which schematically as vectors 77 ' . 77 '' . 77 ''' . 78 ' . 78 '' . 78 ''' in a relative coordinate system for the three features 18 ' . 18 '' . 18 ' in 6b are shown. The found features 18 ' . 18 '' . 18 ' are then searched in the map, here they are for example in a section 27 the map, presented in 6c , found. Because the three-dimensional positions of the features 18 ' . 18 '' . 18 ' stored in the map, can be derived from the directions of the characteristics 18 ' . 18 '' . 18 ' with regard to the viewpoint 62 , the actual position 73 and optionally additionally determine the actual orientation of the motor vehicle clearly. When determining the actual position 73 It is also possible to take account of odometry data received, for example, via the data bus from vehicle odometry, for example, when a pitch or roll angle must be corrected. In this way it is possible only with the single picture 72 to locate the motor vehicle in the map.

Die 7a, 7b und 7c zeigen mehrere Beispiele für Soll-Trajektorien, wie sie beispielsweise im Alltag wünschenswert sind. Das Umfeld, in dem das Kraftfahrzeug 50 lokalisiert werden soll und in dem der Vergleich zwischen einer Soll-Trajektorie und der beim Fahren entstehenden Ist-Trajektorie stattfinden soll, ist eine Straße 30, von der eine Einfahrt 31 abzweigt und auf eine Doppelgarage 32a, 32b führt. In 7a sind zwei mögliche Soll-Trajektorien 33, 34 dargestellt, welche von der aktuellen in der 7a dargestellten Position 51 des Kraftfahrzeugs 50 aktiviert werden können, da sie von der Kamera als im näheren Umfeld liegend erkannt werden und dem Fahrer als im Umfeld liegend und aktivierbar für die aktuelle Position 51 angezeigt werden. Eine der Soll-Trajektorien 33 führt dann direkt bis ans Ende der rechten Garage 32a, während die andere der Soll-Trajektorien 34 direkt bis ans Ende der linken Garage 32b führt. So erhält der Fahrer beim Annähern in das Umfeld der Soll-Trajektorien 33, 34 eine Mitteilung von der Kamera, dass Soll-Trajektorien 33, 34 verfügbar sind. Die Mitteilung wird dabei vorzugsweise an der Schnittstelle auf den Datenbus ausgegeben und kann dort von einer Anzeigeeinrichtung und/oder akustischen Signalgeber zur Weiterverarbeitung abgegriffen werden. Er kann nun eine der Soll-Trajektorien 33, 34 auswählen und erhält dann nach der Auswahl beim Einparken in eine der Garagen 32a, 32b der Doppelgarage fortlaufend Lokalisierungsinformationen, beispielsweise eine Differenz zwischen einer der Soll-Trajektorien 33, 34 und einer Ist-Trajektorie des Kraftfahrzeugs 50.The 7a . 7b and 7c show several examples of target trajectories, as they are desirable for example in everyday life. The environment in which the motor vehicle 50 is to be located and in which the comparison between a desired trajectory and the actual trajectory arising during driving is to take place is a road 30 from which a driveway 31 branches off and onto a double garage 32a . 32b leads. In 7a are two possible target trajectories 33 . 34 shown which of the current in the 7a position shown 51 of the motor vehicle 50 can be activated, as they are recognized by the camera as lying in the immediate vicinity and the driver as lying in the environment and activated for the current position 51 are displayed. One of the target trajectories 33 then leads directly to the end of the right garage 32a while the other of the target trajectories 34 right to the end of the left garage 32b leads. Thus, the driver receives when approaching in the environment of the target trajectories 33 . 34 a message from the camera that targets trajectories 33 . 34 Are available. The message is preferably output at the interface on the data bus and can be picked up there by a display device and / or acoustic signal generator for further processing. He can now choose one of the target trajectories 33 . 34 select and then receives after the selection when parking in one of the garages 32a . 32b the double garage continuously localization information, such as a difference between one of the desired trajectories 33 . 34 and an actual trajectory of the motor vehicle 50 ,

Eine weitere Ausführungsform sieht vor, das Kraftfahrzeug 50 mit Hilfe der ausgewählte Soll-Trajektorie 33, 34 automatisch in die Doppelgarage 32a, 32b einzuparken, beispielsweise indem die Lokalisierungsinformationen dazu verwendet werden, eine Fahrzeugsteuerung mit Daten zu versorgen.Another embodiment provides, the motor vehicle 50 with the help of the selected target trajectory 33 . 34 automatically in the double garage 32a . 32b for example, by using the location information to provide data to a vehicle controller.

Zwei weitere mögliche Soll-Trajektorien 35, 36 sind in 7b dargestellt. Dabei hat sich das Kraftfahrzeug 50 während der Lernfahrt auf der gegenüberliegenden Fahrbahnseite befunden und ist aus der anderen Richtung gekommen. Hier stehen wieder zwei Soll-Trajektorien zur Verfügung, welche von der Kamera als im näheren Umfeld liegend erkannt werden und vom Fahrer als aktive Soll-Trajektorie ausgewählt werden können.Two more possible target trajectories 35 . 36 are in 7b shown. In this case, the motor vehicle 50 during the learning journey on the opposite side of the road and came from the other direction. Here are again two target trajectories available, which are recognized by the camera as lying in the immediate vicinity and can be selected by the driver as the active target trajectory.

Zwei weitere mögliche Soll-Trajektorien 37, 38 sind in 7c dargestellt. Diesmal wurde das Kraftfahrzeug 50 während der Lernfahrt rückwärts in jeweils eine der Garagen 32a, 32b der Doppelgarage eingeparkt. Besonders vorteilhaft ist es hier, wenn zu den Positionen und gegebenenfalls zusätzlich der Orientierungen des Kraftfahrzeugs 50 auch Lenkeinschläge, Bewegungsrichtungen und/oder Drehmomente während der Lernfahrt erfasst wurden und mit den entsprechenden Positionen auf der Soll-Trajektorie 37, 38 verknüpft wurden. Dies ermöglicht es, dem Fahrer in Form einer Lokalisierungsinformation präzise Anweisungen beim Abfahren der Soll-Trajektorie 37, 38 zu geben. Auch ein automatischer Einparkassistent wird dadurch für komplizierte Einpark- und Rangiermanöver möglich. Two more possible target trajectories 37 . 38 are in 7c shown. This time the car became 50 during the learning journey backwards into each of the garages 32a . 32b the double garage parked. It is particularly advantageous here, if to the positions and optionally additionally the orientations of the motor vehicle 50 also steering angles, directions of movement and / or torques were detected during the learning drive and with the corresponding positions on the target trajectory 37 . 38 were linked. This allows the driver in the form of localization information precise instructions when moving off the target trajectory 37 . 38 to give. An automatic parking assistant also makes this possible for complicated parking and maneuvering maneuvers.

Die Soll-Trajektorien wurden nur zur Vereinfachung und besseren Darstellbarkeit in unterschiedlichen Figuren gezeigt. Es sind natürlich Ausführungen möglich, in denen mehr als zwei Soll-Trajektorien gespeichert sind und aktuell ausgewählt werden können. Beispielsweise könnten alle Soll-Trajektorien aus den 7a und 7c auswählbar sein, so dass beispielsweise von der Position 51 des Kraftfahrzeugs 50 insgesamt vier mögliche Soll-Trajektorien zur Verfügung stünden.The target trajectories have been shown in different figures only for simplicity and better representability. Of course, embodiments are possible in which more than two desired trajectories are stored and can currently be selected. For example, all desired trajectories could be derived from the 7a and 7c be selectable, so for example, from the position 51 of the motor vehicle 50 a total of four possible target trajectories would be available.

8 zeigt schematisch den Vergleich zwischen einer Soll-Trajektorie 40 und einer Ist-Trajektorie 41. Dabei sind auch die konkreten Soll-Positionen 42 bzw. Ist-Positionen 43 des Kraftfahrzeugs gezeigt. Die Trajektorien 40, 41 beginnen von einer gemeinsamen Startposition 44, an der die Positionen 42, 43 von Soll-Trajektorie 40 und Ist-Trajektorie 41 noch identisch sind. Der Fahrer fährt nun los und weicht im Laufe der Fahrt von der Soll-Trajektorie 41 ab, so dass sich eine Differenz zwischen den Soll-Positionen 42 und den aktuellen Ist-Positionen 43 ergibt, welche hier beispielhaft für eine Position 47 als Differenzvektor 45 dargestellt ist. Ein weiterer Vektor 46 kann beispielsweise die Soll-Orientierung des Kraftfahrzeugs beschreiben. Die Kamera gibt nun für jede Ist-Position 43 auf der Ist-Trajektorie 41 sowohl eine Lokalisierungsinformation des Kraftfahrzeugs in der Karte als auch die aktuelle Differenz zwischen Soll-Trajektorie 40 und Ist-Trajektorie 41 an der Schnittstelle aus, beispielsweise auf den CAN-Bus des Kraftfahrzeugs. Die Lokalisierungsinformation und die Differenz kann dann auf einer Anzeigeeinrichtung im Kraftfahrzeug dargestellt werden oder von der Fahrzeugsteuerung abgegriffen und weiterverarbeitet werden. So sind Assistenzsysteme möglich, welche den Fahrer beim Fahren unterstützen. Ebenfalls möglich sind vollautomatische Systeme, die das Kraftfahrzeug komplett autonom entlang der Soll-Trajektorie 40 steuern. 8th schematically shows the comparison between a desired trajectory 40 and an actual trajectory 41 , There are also the concrete target positions 42 or actual positions 43 of the motor vehicle. The trajectories 40 . 41 start from a common starting position 44 at the positions 42 . 43 of desired trajectory 40 and actual trajectory 41 are still identical. The driver now drives off and deviates during the drive from the target trajectory 41 so that there is a difference between the target positions 42 and the current actual positions 43 which gives an example here for a position 47 as a difference vector 45 is shown. Another vector 46 may for example describe the desired orientation of the motor vehicle. The camera is now available for every actual position 43 on the actual trajectory 41 both a localization information of the motor vehicle in the map and the current difference between the target trajectory 40 and actual trajectory 41 at the interface, for example, on the CAN bus of the motor vehicle. The location information and the difference can then be displayed on a display device in the motor vehicle or tapped and processed by the vehicle control. Thus, assistance systems are possible, which support the driver while driving. Also possible are fully automatic systems, the motor vehicle completely autonomous along the target trajectory 40 Taxes.

9 zeigt ein schematisches Ablaufdiagramm des Verfahrens zum Lokalisieren eines Kraftfahrzeugs in einer Umgebung mit Anlernen und Abfahren einer Soll-Trajektorie. In einem ersten Verfahrensabschnitt wird eine Lernfahrt durchgeführt 100. Diese Lernfahrt umfasst die folgenden Schritte: Empfangen von Odometriedaten über eine Schnittstelle der Kamera 101, sowie das Erfassen von mindestens zwei Abbildungen des, beispielsweise frontseitigen, Umfelds des Kraftfahrzeugs mit der Kamera an unterschiedlichen Positionen 102. In den beiden Abbildungen werden Merkmale gesucht und extrahiert 103. In den mindestens zwei Abbildungen werden anschließend paarweise identische Merkmale aufgefunden und deren Position durch stereoskopische Auswertung unter Verwendung der Odometriedaten bestimmt 105. Es wird eine dreidimensionale Karte erstellt 106 und die Merkmale und die dazugehörigen dreidimensionalen Positionen werden in die dreidimensionale Karte eingetragen 107. Optional kann nun eine Soll-Trajektorie aus mehreren Positionen und gegebenenfalls zusätzlich Orientierungen gespeichert werden 108. Ebenfalls optional werden Lenkeinschläge, Bewegungsrichtungen, Drehmomente und/oder Geschwindigkeiten an den entsprechenden Positionen und gegebenenfalls zusätzlich Orientierungen mit der Soll-Trajektorie verknüpft und gespeichert 109. 9 shows a schematic flow diagram of the method for locating a motor vehicle in an environment with training and departure of a desired trajectory. In a first process section, a learning run is performed 100 , This learning trip includes the following steps: Receive odometry data through an interface of the camera 101 , As well as the detection of at least two images of, for example, the front side environment of the motor vehicle with the camera at different positions 102 , In the two figures, features are searched for and extracted 103 , In the at least two figures pairs identical features are then found and their position determined by stereoscopic evaluation using the Odometriedaten 105 , A three-dimensional map is created 106 and the features and the associated three-dimensional positions are entered in the three-dimensional map 107 , Optionally, a desired trajectory from a plurality of positions and, if appropriate, additional orientations can now be stored 108 , Also optionally, steering angles, directions of movement, torques and / or speeds at the corresponding positions and possibly additionally orientations are linked to the desired trajectory and stored 109 ,

In einem oder mehreren zweiten Verfahrensabschnitten werden eine oder mehrere Folgefahrten durchgeführt 200. Die Folgefahrt umfasst dabei folgende Schritte: Optional eine Auswahl einer Soll-Trajektorie für ein aktuelles Umfeld 201. Anschließend wird mindestens eine weitere Abbildung des Umfeldes, beispielsweise frontseitig, mit der Kamera erfasst 202. In der mindestens einen weiteren Abbildung werden mehrere Merkmale ermittelt 203 und die Relativorientierungen der mehreren Merkmale, das heißt deren Richtungen im Raum relativ zur Kamera, d. h. zum Kraftfahrzeug, an dem die Kamera fixiert ist, bestimmt 204. Im nächsten Schritt werden die mehreren Merkmale in der Karte gesucht und aufgefunden 205, so dass anschließend trianguliert werden kann und auf eine Lokalisierungsinformation des Kraftfahrzeugs in der Karte zurückgeschlossen werden kann 206. Die ermittelte Lokalisierungsinformation, beispielsweise die Ist-Position und gegebenenfalls zusätzlich die Ist-Orientierung des Kraftfahrzeugs in der Karte, wird dann an der Schnittstelle ausgegeben 207. Optional kann auch eine Differenz zwischen der Ist- und der Soll-Trajektorie bestimmt und ausgegeben werden 208.In one or more second process sections, one or more subsequent trips are performed 200 , The following drive comprises the following steps: Optionally, a selection of a desired trajectory for a current environment 201 , Subsequently, at least one further image of the environment, for example at the front, is captured with the camera 202 , In the at least one further illustration, several features are determined 203 and the relative orientations of the plurality of features, that is, their directions in space relative to the camera, ie the motor vehicle to which the camera is fixed determined 204 , In the next step, the several features in the map are searched for and found 205 , so that subsequently can be triangulated and can be deduced on a localization information of the motor vehicle in the map 206 , The determined localization information, for example, the actual position and possibly additionally the actual orientation of the motor vehicle in the map, is then output to the interface 207 , Optionally, a difference between the actual and the desired trajectory can be determined and output 208 ,

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Vorrichtungcontraption
22
Kameracamera
33
BilderfassungseinrichtungImage capture device
44
Steuereinrichtungcontrol device
55
Schnittstelleinterface
66
SpeicherStorage
7 7
FahrzeugodometrieFahrzeugodometrie
88th
Fahrzeugsteuerungvehicle control
99
Datenbusbus
1010
Umfeldenvironment
1111
Bildwinkelangle of view
1212
Gebäudebuilding
1313
Fahrbahnroadway
1414
Randsteinecurbs
1515
Fahrbahnmarkierungroad marking
1616
Baumtree
1717
AbbildungIllustration
1818
Merkmalfeature
18'18 '
Merkmalfeature
18''18 ''
Merkmalfeature
18'''18 '
Merkmalfeature
1919
Merkmalfeature
2020
Merkmalfeature
2121
Eckecorner
2222
Kanteedge
2323
AbbildungsmitteFigure center
2424
Winkelvektorangle vector
2525
weitere Abbildungfurther illustration
2626
weiterer Winkelvektoranother angle vector
2727
Ausschnitt der KarteDetail of the map
2828
Soll-TrajektorieNominal trajectory
2929
Ist-TrajektorieActual trajectory
3030
StraßeStreet
3131
Einfahrtentrance
32a, 32b32a, 32b
Doppelgaragedouble garage
3333
Soll-TrajektorieNominal trajectory
3434
Soll-TrajektorieNominal trajectory
3535
Soll-TrajektorieNominal trajectory
3636
Soll-TrajektorieNominal trajectory
3737
Soll-TrajektorieNominal trajectory
3838
Soll-TrajektorieNominal trajectory
4040
Soll-TrajektorieNominal trajectory
4141
Ist-TrajektorieActual trajectory
4242
Soll-PositionNominal position
4343
Ist-PositionActual position
4444
Startpositionstarting position
4545
Differenzvektordifference vector
4646
weiterer Vektoranother vector
4747
Beispielpositionexample position
5050
Kraftfahrzeugmotor vehicle
5151
Position des KraftfahrzeugsPosition of the motor vehicle
6060
Objektobject
6161
AbbildungIllustration
6262
Betrachtungspunktviewpoint
6363
Merkmalfeature
6464
erste Abbildungfirst picture
6565
Position in der AbbildungPosition in the picture
6666
Wegstreckepath
6767
zweite Abbildungsecond picture
6868
Koordinatensystem der KarteCoordinate system of the map
6969
VerktorVerktor
7070
Vektorvector
7171
Schnittpunktintersection
7272
einzelne Abbildungsingle picture
7373
Ist-PositionActual position
7474
Position in der AbbildungPosition in the picture
7575
Beispielpunktexample point
7676
Beispielpunktexample point
77'77 '
Vektorvector
77''77 ''
Vektorvector
77'''77 '' '
Vektorvector
78'78 '
Vektorvector
78''78 ''
Vektorvector
78'''78 '' '
Vektorvector
100–109100-109
Verfahrensschritte im ersten VerfahrensabschnittProcess steps in the first part of the process
200–208200-208
Verfahrensschritte im zweiten VerfahrensabschnittProcess steps in the second process section

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102008002598 A1 [0007] DE 102008002598 A1 [0007]

Zitierte Nicht-PatentliteraturCited non-patent literature

  • R. C. Bolles et al., Int. Journal of Computer Vision, 1, 7–55 [1987] [0023] RC Bolles et al., Int. Journal of Computer Vision, 1, 7-55 [1987] [0023]
  • R. C. Bolles et al., Int. Journal of Computer Vision, 1, 7–55 [1987] [0063] RC Bolles et al., Int. Journal of Computer Vision, 1, 7-55 [1987] [0063]
  • R. C. Bolles et al., Int. Journal of Computer Vision, 1, 7–55 [1987] [0074] RC Bolles et al., Int. Journal of Computer Vision, 1, 7-55 [1987] [0074]

Claims (13)

Verfahren zum Lokalisieren eines Kraftfahrzeugs in einem Umfeld, umfassend die folgenden Schritte: in einem ersten Verfahrensabschnitt Ausführen einer Lernfahrt (100), welche umfasst: Empfangen von Odometriedaten des Kraftfahrzeugs über einer Schnittstelle einer Kamera (101), Erfassen von mindestens zwei Abbildungen mit der Kamera während der Fahrt an unterschiedlichen Positionen der Kamera relativ zum Umfeld (102), wobei die Kamera an dem Kraftfahrzeug fixiert ist, Extrahieren von Merkmalen in den mindestens zwei Abbildung (103), Auffinden paarweise identischer Merkmale in den mindestens zwei Abbildung (104), stereoskopisches Ermitteln einer dreidimensionalen Position der Merkmale unter Verwendung der Odometriedaten (105), Erstellen einer dreidimensionalen Karte (106) und Eintragen der Merkmale an ihren dreidimensionalen Positionen (107), anschließend, in einem oder mehreren zweiten Verfahrensabschnitten, Ausführen einer Folgefahrt (200), welche umfasst: Erfassen von mindestens einer weiteren Abbildung mit der Kamera (202), Ermitteln mehrerer Merkmale in der mindestens einen weiteren Abbildung (203), Bestimmen von Relativorientierungen der mehreren Merkmale zum Kraftfahrzeug anhand der Abbildungsposition (204), Auffinden der mehreren Merkmale in der Karte (205), Triangulieren anhand der Merkmale und der Relativorientierungen und Rückschließen auf eine Lokalisierungsinformation des Kraftfahrzeugs in der Karte (206), Ausgabe der Lokalisierungsinformation an der Schnittstelle (207), wobei sämtliche Verfahrensschritte der beiden Verfahrensabschnitte in der Kamera ausgeführt werden.Method for locating a motor vehicle in an environment, comprising the following steps: in a first method section, performing a learning journey ( 100 ), which comprises: receiving odometry data of the motor vehicle via an interface of a camera ( 101 ), Capture at least two images with the camera while driving at different positions of the camera relative to the environment ( 102 ), with the camera fixed to the motor vehicle, extracting features in the at least two images ( 103 ), Finding pairwise identical features in the at least two figure ( 104 ), stereoscopically determining a three-dimensional position of the features using the odometry data ( 105 ), Creating a three-dimensional map ( 106 ) and entering the features at their three-dimensional positions ( 107 ), then, in one or more second method sections, executing a follow-up run ( 200 ), which comprises: capturing at least one further image with the camera ( 202 ), Determining a plurality of features in the at least one further mapping ( 203 ), Determining relative orientations of the plurality of features to the motor vehicle based on the imaging position ( 204 ), Finding the several features in the map ( 205 ), Triangulating on the basis of the features and the relative orientations and inferring on localization information of the motor vehicle in the map ( 206 ), Output of the localization information at the interface ( 207 ), wherein all process steps of the two process sections are performed in the camera. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Lokalisierungsinformation eine Position und gegebenenfalls zusätzlich eine Orientierung des Kraftfahrzeugs umfasst.A method according to claim 1, characterized in that the location information comprises a position and optionally additionally an orientation of the motor vehicle. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass während der Lernfahrt mehrere Positionen und gegebenenfalls zusätzlich mehrere Orientierungen des Kraftfahrzeugs in ihrer zeitlichen Reihenfolge als Soll-Positionen und gegebenenfalls zusätzlich Soll-Orientierungen gespeichert und zu einer Soll-Trajektorie verknüpft werden (108).Method according to one of Claims 1 or 2, characterized in that, during the learning run, a plurality of positions and optionally additionally a plurality of orientations of the motor vehicle are stored in their chronological order as desired positions and possibly additionally desired orientations and linked to a desired trajectory ( 108 ). Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass während einer Lernfahrt Lenkeinschläge, Bewegungsrichtungen, Drehmomente und/oder Geschwindigkeiten in ihrer zeitlichen Reihenfolge gespeichert und mit den jeweiligen Positionen, welche gegebenenfalls zusätzlich durch Orientierungen charakterisiert sind, einer Soll-Trajektorie verknüpft werden (109).A method according to claim 3, characterized in that stored during a learning drive steering angles, directions of movement, torques and / or speeds in their temporal order and with the respective positions, which are optionally additionally characterized by orientations, a desired trajectory ( 109 ). Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass für eine Position und gegebenenfalls zusätzlich eine Orientierung mehrere Soll-Trajektorien durch ein weiteres Ausführen des ersten Verfahrensabschnitts gespeichert werden und vom Bediener als aktuell aktive Soll-Trajektorie ausgewählt werden können (201).A method according to claim 4, characterized in that for a position and optionally additionally an orientation a plurality of desired trajectories are stored by further execution of the first method section and can be selected by the operator as currently active setpoint trajectory ( 201 ). Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass eine für ein aktuelles Umfeld des Kraftfahrzeugs gespeicherte Soll-Trajektorie als im Umfeld liegend erkannt wird und dem Fahrer zur Auswahl als aktive Soll-Trajektorie bereit gestellt wird.Method according to one of claims 1 to 5, characterized in that a stored for a current environment of the motor vehicle target trajectory is recognized as lying in the environment and the driver is provided for selection as an active target trajectory. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Lokalisierungsinformation eine Differenz zwischen einer Soll- und Ist-Position und gegebenenfalls zusätzlich einer -Orientierung umfasst (208).Method according to one of claims 1 to 6, characterized in that the localization information comprises a difference between a desired and actual position and optionally additionally an orientation ( 208 ). Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die aktuelle Lokalisierungsinformation dazu benutzt wird, den Bereich in der Karte, der für einen Vergleich mit den aus der weiteren Abbildung ermittelten Merkmalen benutzt wird, auf ein näheres Umfeld zu beschränken.Method according to one of claims 1 to 7, characterized in that the current localization information is used to limit the area in the map, which is used for a comparison with the features determined from the further image, to a closer environment. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass Positionen und gegebenenfalls zusätzlich Orientierungen in der Karte eine globale Positionskoordinate zugeordnet wird.Method according to one of claims 1 to 8, characterized in that positions and optionally additionally orientations in the map is assigned a global position coordinate. Vorrichtung (1) zum Lokalisieren eines Kraftfahrzeugs (50) in einer Umfeld (10), umfassend: eine Kamera (2) zur Erfassung des Umfeldes (10) des Kraftfahrzeugs (50), die an dem Kraftfahrzeug fixiert ist, wobei die Kamera eine Steuereinrichtung (4) umfasst, welche einen Speicher (6) und eine Schnittstelle (5) umfasst, dadurch gekennzeichnet, dass die Steuereinrichtung (4) so ausgebildet ist, in einem ersten Verfahrensabschnitt während einer Lernfahrt über die Schnittstelle (5) der Kamera (2) Odometriedaten des Kraftfahrzeugs (50) zu empfangen, mindestens zwei Abbildungen (64, 67) während der Fahrt an unterschiedlichen Positionen der Kamera (2) relativ zum Umfeld (10) mit der Kamera (2) zu erfassen, Merkmale (18, 19, 20) in den mindestens zwei Abbildungen (64, 67) zu ermitteln, in den mindestens zwei Abbildungen (64, 67) paarweise identische Merkmale (63) aufzufinden und daraus eine dreidimensionale Position der Merkmale unter Verwendung der Odometriedaten stereoskopisch zu bestimmen, eine dreidimensionale Karte von den Merkmalen und ihren dreidimensionalen Positionen zu erstellen und im Speicher (5) zu speichern, anschließend, in einem zweiten Verfahrensabschnitt während einer oder mehrerer Folgefahrten, mindestens eine weitere Abbildung mit der Kamera (2) zu erfassen, mehrere Merkmale (18', 18'', 18''') in der mindestens einen weiteren Abbildung (72) zu ermitteln, die Relativorientierung der mehreren Merkmale zum Kraftfahrzeug (50) anhand der Abbildungsposition zu bestimmen, die mehreren Merkmale (18', 18'', 18''') in der Karte aufzufinden, das Kraftfahrzeug (50) in der Karte mittels Triangulation zu lokalisieren und eine daraus abgeleitete Lokalisierungsinformation an der Schnittstelle (5) auszugeben.Contraption ( 1 ) for locating a motor vehicle ( 50 ) in an environment ( 10 ), comprising: a camera ( 2 ) for recording the environment ( 10 ) of the motor vehicle ( 50 ) fixed to the motor vehicle, the camera having a control device ( 4 ) comprising a memory ( 6 ) and an interface ( 5 ), characterized in that the control device ( 4 ) is configured in a first method section during a learning run via the interface ( 5 ) the camera ( 2 ) Odometry data of the motor vehicle ( 50 ) to receive at least two Illustrations ( 64 . 67 ) while driving at different positions of the camera ( 2 ) relative to the environment ( 10 ) with the camera ( 2 ), characteristics ( 18 . 19 . 20 ) in the at least two figures ( 64 . 67 ), in the at least two figures ( 64 . 67 ) pairwise identical characteristics ( 63 ) and stereoscopically determine a three-dimensional position of the features using the odometry data, create a three-dimensional map of the features and their three-dimensional positions, and store them in memory ( 5 ), then, in a second process section during one or more subsequent runs, at least one further image with the camera ( 2 ), several characteristics ( 18 ' . 18 '' . 18 ' ) in the at least one further illustration ( 72 ) to determine the relative orientation of the plurality of features to the motor vehicle ( 50 ) based on the imaging position, the multiple features ( 18 ' . 18 '' . 18 ' ) in the map, the motor vehicle ( 50 ) in the map by means of triangulation and localization information derived therefrom at the interface ( 5 ). Vorrichtung (1) nach Anspruch 10, dadurch gekennzeichnet, dass es sich bei der Kamera (2) um eine automotive Frontkamera handelt.Contraption ( 1 ) according to claim 10, characterized in that the camera ( 2 ) is an automotive front camera. Vorrichtung (1) nach Anspruch 11, dadurch gekennzeichnet, dass die automotive Frontkamera hinter oder im Bereich der Windschutzscheibe des Kraftfahrzeugs (50) angeordnet ist.Contraption ( 1 ) according to claim 11, characterized in that the automotive front camera behind or in the region of the windshield of the motor vehicle ( 50 ) is arranged. Vorrichtung (1) nach Anspruch 10, dadurch gekennzeichnet, dass es sich bei der Kamera (2) um eine automotive Rückansichtkamera handelt.Contraption ( 1 ) according to claim 10, characterized in that the camera ( 2 ) is an automotive rear view camera.
DE102015203016.4A 2015-02-19 2015-02-19 Method and device for optical self-localization of a motor vehicle in an environment Active DE102015203016B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015203016.4A DE102015203016B4 (en) 2015-02-19 2015-02-19 Method and device for optical self-localization of a motor vehicle in an environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015203016.4A DE102015203016B4 (en) 2015-02-19 2015-02-19 Method and device for optical self-localization of a motor vehicle in an environment

Publications (2)

Publication Number Publication Date
DE102015203016A1 true DE102015203016A1 (en) 2016-08-25
DE102015203016B4 DE102015203016B4 (en) 2019-08-01

Family

ID=56577249

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015203016.4A Active DE102015203016B4 (en) 2015-02-19 2015-02-19 Method and device for optical self-localization of a motor vehicle in an environment

Country Status (1)

Country Link
DE (1) DE102015203016B4 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018054521A1 (en) * 2016-09-21 2018-03-29 Daimler Ag Method for the self-location of a vehicle
WO2018128674A1 (en) * 2017-01-04 2018-07-12 Qualcomm Incorporated Systems and methods for mapping based on multi-journey data
DE102017201620A1 (en) 2017-02-01 2018-08-02 Volkswagen Aktiengesellschaft Device and method for automated, semi-automated or assisted maneuvering of a motor vehicle
DE102017211712A1 (en) 2017-07-10 2019-01-10 Audi Ag A data generation method for generating and updating a topology map for at least one room of at least one building
DE102017216267A1 (en) * 2017-09-14 2019-03-14 Robert Bosch Gmbh Method and device for data reduction feature-based environment information of a driver assistance system
DE102018113344A1 (en) 2018-06-05 2019-12-05 Valeo Schalter Und Sensoren Gmbh A method for locating a motor vehicle in an environment after a learning trip; Control device and driver assistance system
DE102019110239A1 (en) * 2019-04-18 2020-10-22 Valeo Schalter Und Sensoren Gmbh Driving assistance method for a vehicle
DE102019213403A1 (en) * 2019-09-04 2021-03-04 Zf Friedrichshafen Ag Method for the sensor-based localization of a host vehicle, host vehicle and a computer program
DE102020211461A1 (en) 2020-09-11 2022-03-17 Volkswagen Aktiengesellschaft Method for operating a reversing assistance system for a vehicle and reversing assistance system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008002598A1 (en) 2007-06-28 2009-01-08 Robert Bosch Gmbh Device for semi-autonomous support of the steering movement of a vehicle
DE102010023162A1 (en) * 2010-06-09 2011-12-15 Valeo Schalter Und Sensoren Gmbh A method for assisting a driver of a motor vehicle when parking in a parking space, Fahrerassistzeinrichtung and motor vehicle
DE102012023030A1 (en) * 2012-11-26 2014-05-28 Audi Ag Method for determining the movement of a motor vehicle

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10012471A1 (en) 2000-03-15 2001-09-20 Bosch Gmbh Robert Navigation system imaging for position correction avoids error build up on long journeys
DE102004047130B4 (en) 2004-09-27 2012-07-26 Andreas Stopp Environment modeling for autonomous mobile systems
DE202007018604U1 (en) 2007-12-20 2009-03-19 Tomtom International B.V. Improved navigation device
DE102009003298A1 (en) * 2009-05-20 2010-11-25 Robert Bosch Gmbh Device and method for assisted parking of a vehicle
DE102011014699B4 (en) 2011-03-22 2015-10-29 Audi Ag Method for operating a driver assistance system for protecting a motor vehicle against damage and motor vehicle
DE102011112404B4 (en) 2011-09-03 2014-03-20 Audi Ag Method for determining the position of a motor vehicle
DE102011082379A1 (en) 2011-09-08 2013-03-14 Robert Bosch Gmbh Method for detecting navigation data for navigating vehicle, involves storing feature and position of feature as additional information to navigation data, or transmitting additional information to external processing unit
DE102011119762A1 (en) 2011-11-30 2012-06-06 Daimler Ag Positioning system for motor vehicle, has processing unit that determines localized position of vehicle using vehicle movement data measured based on specific location data stored in digital card
US8825371B2 (en) 2012-12-19 2014-09-02 Toyota Motor Engineering & Manufacturing North America, Inc. Navigation of on-road vehicle based on vertical elements
DE102013001867A1 (en) 2013-02-02 2014-08-07 Audi Ag Method for determining orientation and corrected position of motor vehicle, involves registering features of loaded and recorded environmental data by calculating transformation and calculating vehicle orientation from transformation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008002598A1 (en) 2007-06-28 2009-01-08 Robert Bosch Gmbh Device for semi-autonomous support of the steering movement of a vehicle
DE102010023162A1 (en) * 2010-06-09 2011-12-15 Valeo Schalter Und Sensoren Gmbh A method for assisting a driver of a motor vehicle when parking in a parking space, Fahrerassistzeinrichtung and motor vehicle
DE102012023030A1 (en) * 2012-11-26 2014-05-28 Audi Ag Method for determining the movement of a motor vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
R. C. Bolles et al., Int. Journal of Computer Vision, 1, 7–55 [1987]

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018054521A1 (en) * 2016-09-21 2018-03-29 Daimler Ag Method for the self-location of a vehicle
WO2018128674A1 (en) * 2017-01-04 2018-07-12 Qualcomm Incorporated Systems and methods for mapping based on multi-journey data
US11120296B2 (en) 2017-01-04 2021-09-14 Qualcomm Incorporated Systems and methods for mapping based on multi-journey data
US10296812B2 (en) 2017-01-04 2019-05-21 Qualcomm Incorporated Systems and methods for mapping based on multi-journey data
DE102017201620A1 (en) 2017-02-01 2018-08-02 Volkswagen Aktiengesellschaft Device and method for automated, semi-automated or assisted maneuvering of a motor vehicle
US10921137B2 (en) 2017-07-10 2021-02-16 Audi Ag Data generation method for generating and updating a topological map for at least one room of at least one building
WO2019011564A1 (en) 2017-07-10 2019-01-17 Audi Ag Data generation method for generating and updating a topological map for at least one room of at least one building
DE102017211712A1 (en) 2017-07-10 2019-01-10 Audi Ag A data generation method for generating and updating a topology map for at least one room of at least one building
CN109509274A (en) * 2017-09-14 2019-03-22 罗伯特·博世有限公司 Make the method and apparatus of the environmental information data reduction of driver assistance system
CN109509274B (en) * 2017-09-14 2022-03-15 罗伯特·博世有限公司 Method and device for reducing environmental information data of a driver assistance system
US10733768B2 (en) 2017-09-14 2020-08-04 Robert Bosch Gmbh Method and apparatus for data reduction of feature-based environment information of a driver assistance system
DE102017216267A1 (en) * 2017-09-14 2019-03-14 Robert Bosch Gmbh Method and device for data reduction feature-based environment information of a driver assistance system
DE102017216267B4 (en) * 2017-09-14 2020-02-06 Robert Bosch Gmbh Method and device for data reduction of feature-based environment information of a driver assistance system
DE102018113344A1 (en) 2018-06-05 2019-12-05 Valeo Schalter Und Sensoren Gmbh A method for locating a motor vehicle in an environment after a learning trip; Control device and driver assistance system
DE102019110239A1 (en) * 2019-04-18 2020-10-22 Valeo Schalter Und Sensoren Gmbh Driving assistance method for a vehicle
DE102019213403A1 (en) * 2019-09-04 2021-03-04 Zf Friedrichshafen Ag Method for the sensor-based localization of a host vehicle, host vehicle and a computer program
DE102020211461A1 (en) 2020-09-11 2022-03-17 Volkswagen Aktiengesellschaft Method for operating a reversing assistance system for a vehicle and reversing assistance system
DE102020211461B4 (en) 2020-09-11 2022-03-24 Volkswagen Aktiengesellschaft Method for operating a reversing assistance system for a vehicle and reversing assistance system

Also Published As

Publication number Publication date
DE102015203016B4 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
DE102015203016B4 (en) Method and device for optical self-localization of a motor vehicle in an environment
DE102014223363B4 (en) Method and device for localizing a motor vehicle in a fixed reference map
EP3213260B1 (en) Method and device for localizing a vehicle in the environment thereof
EP2769373B1 (en) Acquisition of data from image data-based map services by an assistance system
DE102010006828B4 (en) Method for the automatic creation of a model of the surroundings of a vehicle as well as driver assistance system and vehicle
DE102016211182A1 (en) A method, apparatus and system for performing automated driving of a vehicle along a trajectory provided from a map
WO2015120981A1 (en) Method for determining the absolute position of a mobile unit, and mobile unit
EP2830030B1 (en) Method for determining and updating an occupancy map in a parking area
EP2568310A2 (en) Method, system and device for locating a vehicle relative to a predefined reference system
WO2013029722A2 (en) Method for representing surroundings
DE102017206847B4 (en) Method for the automatic creation and updating of a data record for an autonomous vehicle
EP3529561B1 (en) System and method for generating digital road models from aerial or satellite images and from data captured by vehicles
DE102018111778A1 (en) Method, apparatus and system for controlling a vehicle passing an intersection.
DE102016222259B4 (en) Method and system for providing data for a first and second trajectory
DE102014212866A1 (en) Method for determining a parking space from a number of measuring points
DE102019201852A1 (en) Vehicle control system and control method
DE102016213817B4 (en) A method, apparatus and computer readable storage medium having instructions for determining the lateral position of a vehicle relative to the lanes of a lane
DE102016119729A1 (en) Controlling a passenger transport vehicle with all-round vision camera system
DE102014110175A1 (en) A method for assisting a driver when parking a motor vehicle, driver assistance system and motor vehicle
DE112019004285T5 (en) ON-BOARD DEVICE
EP3704631A2 (en) Method for determining a distance between a motor vehicle and an object
DE102004001555B4 (en) Method and system for tracking a vehicle
DE102014110173A1 (en) A method for assisting a driver when parking a motor vehicle, driver assistance system and motor vehicle
DE102018210712A1 (en) System and method for simultaneous localization and mapping
DE102018213007A1 (en) Procedure for creating a parking garage card for valet parking

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final