DE102021126288A1 - Method and device for determining a vehicle's own position - Google Patents

Method and device for determining a vehicle's own position Download PDF

Info

Publication number
DE102021126288A1
DE102021126288A1 DE102021126288.7A DE102021126288A DE102021126288A1 DE 102021126288 A1 DE102021126288 A1 DE 102021126288A1 DE 102021126288 A DE102021126288 A DE 102021126288A DE 102021126288 A1 DE102021126288 A1 DE 102021126288A1
Authority
DE
Germany
Prior art keywords
landmark
lines
line
vehicle
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021126288.7A
Other languages
German (de)
Inventor
Roland KUBE
Michael Holicki
Ralph Hänsel
Timo Iken
Carolin Last
Stefan Wappler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Cariad SE
Original Assignee
Volkswagen AG
Cariad SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG, Cariad SE filed Critical Volkswagen AG
Priority to DE102021126288.7A priority Critical patent/DE102021126288A1/en
Priority to PCT/EP2022/078136 priority patent/WO2023061955A1/en
Publication of DE102021126288A1 publication Critical patent/DE102021126288A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

Es soll ein ressourcenschonendes Verfahren zum Bestimmen einer Eigenposition bereitgestellt werden. Dazu erfolgt ein Erfassen einer Landmarke und eines Datensatzes betreffend eine Erfassungsposition des Fahrzeugs. Anschließend erfolgt ein Zuordnen (S6) der erfassten Landmarke zu einem Kartenmarke einer Karte und ein Gewinnen (S7) der Eigenposition aus dem Datensatz betreffend die Erfassungsposition und aus einer kartierten Position der Kartenmarke. Das Erfassen der Landmarke umfasst eine Extraktion (S2) von mindestens zwei Linien eines Rohbilds der Landmarke sowie ein Zuweisen (S3) einer Richtung zu jeder Linie. Sodann wird für jede Linie ein Deskriptor erzeugt (S4), der eine Information darüber enthält, welcher Farbübergang oder Helligkeitsübergang senkrecht zu der betreffenden Linie in Bezug auf die jeweilige Richtung vorliegt. Aus den mindestens zwei Linien und den dazugehörigen Deskriptoren kann nun die Landmarke ermittelt werden (S5).A resource-saving method for determining an individual position is to be made available. For this purpose, a landmark and a data set relating to a detection position of the vehicle are detected. The recorded landmark is then assigned (S6) to a map mark of a map and the own position is obtained (S7) from the data set relating to the recorded position and from a mapped position of the map mark. The detection of the landmark includes an extraction (S2) of at least two lines of a raw image of the landmark and an assignment (S3) of a direction to each line. A descriptor is then generated for each line (S4), which contains information about which color transition or brightness transition is present perpendicularly to the relevant line in relation to the respective direction. The landmark can now be determined from the at least two lines and the associated descriptors (S5).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen einer Eigenposition eines Fahrzeugs durch Erfassen einer Landmarke und eines Datensatzes betreffend eine Erfassungsposition des Fahrzeugs, Zuordnen der erfassten Landmarke zu einer Kartenmarke einer Karte und Gewinnen der Eigenposition aus dem Datensatz betreffend die Erfassungsposition und einer kartierten Position der Kartenmarke. Darüber hinaus betrifft die vorliegende Erfindung eine entsprechende Vorrichtung zum Bestimmen einer Eigenposition sowie ein korrespondierendes Fahrzeug mit einer solchen Vorrichtung. Im vorliegenden Dokument wird das Wort Position auch stellvertretend für das Wort Pose, d.h. Position und Orientierung, verwendet.The present invention relates to a method for determining a vehicle's own position by detecting a landmark and a data set relating to a detection position of the vehicle, assigning the detected landmark to a map mark of a map and obtaining the own position from the data set relating to the detection position and a mapped position of the map mark . In addition, the present invention relates to a corresponding device for determining one's own position and a corresponding vehicle with such a device. In this document, the word position is also used as a substitute for the word pose, i.e. position and orientation.

Kraftfahrzeuge und insbesondere autonom fahrende Kraftfahrzeuge besitzen eine Vielzahl an Sensoren, um ihre Umgebung wahrzunehmen. In der Regel sind in den Kraftfahrzeugen jeweils eine oder mehrere Kameras und gegebenenfalls auch Ultraschallsensoren, Radarsensoren und dergleichen eingesetzt. Speziell sollen die Kameras dazu genutzt werden, natürliche Landmarken wie Poller und Bodenmarkierungen zu extrahieren. Dazu werden die aufgenommenen Bilder meist mit externen 3D-Karten abgeglichen, womit die Eigenposition des Fahrzeugs bestimmt werden kann.Motor vehicles and in particular autonomously driving motor vehicles have a large number of sensors in order to perceive their surroundings. As a rule, one or more cameras and possibly also ultrasonic sensors, radar sensors and the like are used in the motor vehicles. In particular, the cameras are to be used to extract natural landmarks such as bollards and ground markings. For this purpose, the recorded images are usually compared with external 3D maps, with which the vehicle's own position can be determined.

Die Detektion von Objekten aus Kamerabildern geschieht traditionell mit Methoden des maschinellen Lernens. Insbesondere wurden sogenannte „Deep-Learning-Verfahren“ in den letzten Jahren zum Stand der Technik. Diese Verfahren können entweder Objekte anhand von umschreibenden Rechtecken (Bounding Boxes) aus dem Bild extrahieren oder für jedes Pixel des Bildes eine Zuordnung zu einer semantischen Klasse bestimmen (semantische Segmentierung). Obwohl diese Verfahren sehr leistungsfähig sind, haben sie einige strukturelle Nachteile.The detection of objects from camera images is traditionally done using machine learning methods. In particular, so-called "deep learning methods" have become state-of-the-art in recent years. These methods can either extract objects from the image using circumscribing rectangles (bounding boxes) or assign each pixel of the image to a semantic class (semantic segmentation). Although these methods are very powerful, they have some structural disadvantages.

Einer dieser Nachteile ist, dass sie einen hohen Annotationsaufwand erfordern, da eine große Menge von Beispielen für die jeweiligen Klassen durch menschliche Bediener manuell markiert werden müssen, um die entsprechenden Netze zu trainieren. Insbesondere sind neue manuelle Annotationen erforderlich, wenn eine neue Kamerageneration mit stark unterschiedlichen Abbildungseigenschaften eingeführt wird oder das Verfahren in einem bislang unbekannten Szenario verwendet werden soll (z.B. Übergang von Parkhaus auf Open Sky Parking, Asphaltboden zu gepflastertem Boden et cetera). Ein weiterer Nachteil ist, dass im Fahrzeug für solche Verfahren leistungsfähige Grafikkarten benötigt werden, um sie überhaupt anwenden zu können. Nachteilig ist aber auch, dass gerade die Bounding-Box-Verfahren keinen präzisen Haltepunkt der Objekte zur Verfügung stellen, der zur geometrischen Lokalisierung benötigt wird. Außerdem stellen die Verfahren neben den reinen Objektdetektionen keine weiteren Beschreibungen zur Verfügung, die geeignet sind, um Mehrdeutigkeiten bei den Zuordnungen zur 3D-Karte zu reduzieren.One of these disadvantages is that they require a lot of annotation effort, since a large number of examples for the respective classes have to be marked manually by human operators in order to train the corresponding networks. In particular, new manual annotations are required when a new camera generation with very different imaging properties is introduced or the method is to be used in a previously unknown scenario (e.g. transition from multi-storey car park to open sky parking, asphalt floor to paved floor, etc.). Another disadvantage is that powerful graphics cards are required in the vehicle for such processes in order to be able to use them at all. However, it is also disadvantageous that the bounding box method in particular does not provide a precise stopping point of the objects, which is required for geometric localization. In addition, apart from the pure object detections, the methods do not provide any further descriptions that are suitable for reducing ambiguities in the assignments to the 3D map.

Die Druckschrift US 2016/0305794 A1 offenbart ein System zur Schätzung der Fahrzeugposition, das eine Position eines Fahrzeugs unter Verwendung einer Landmarke schätzt. Eine an Bord eines Fahrzeugs installierte Steuervorrichtung erfasst Landmarkeninformationen einschließlich Positionsinformationen einer Landmarke, die auf einer Straße erkannt werden kann, auf der sich das Fahrzeug voraussichtlich befindet. Die fahrzeugseitige Steuervorrichtung wertet die Erkennungsergebnisse der Landmarke als Erkennungsgegenstand aus und überträgt die Erkennungsergebnisse an den Server mit dem von der Kamera erkannten Landmarkenbild. Der Server fasst die Ergebnisse der Erkennungsauswertung der Landmarke und die von der Kamera empfangenen, erkannten Bilder zusammen und spiegelt sie in Erkennungsbewertungen für die Landmarkeninformationen wider, die an das bordseitige Steuergerät übertragen werden.The pamphlet US 2016/0305794 A1 discloses a vehicle position estimation system that estimates a position of a vehicle using a landmark. A control device installed on board a vehicle acquires landmark information including position information of a landmark that can be recognized on a road where the vehicle is expected to be located. The on-vehicle control device evaluates the recognition results of the landmark as the recognition object and transmits the recognition results to the server with the landmark image recognized by the camera. The server combines the results of the landmark recognition evaluation and the recognized images received from the camera and reflects them in recognition scores for the landmark information, which are transmitted to the onboard controller.

Des Weiteren sind aus der Druckschrift US 2019/0226853 A1 ein Verfahren und ein System zur Klassifizierung von Datenpunkten einer Punktewolke bekannt, die die Umgebung eines Fahrzeugs anzeigt. Dabei werden Merkmale einer digitalen Karte, die sich auf eine angenommene aktuelle Position des Fahrzeugs beziehen, verwendet. Derartige Verfahren und Systeme können verwendet werden, um Straßenakteure, wie z.B. andere Fahrzeuge, in der Umgebung eines Fahrzeugs zu erkennen. Vorzugsweise kann das Verfahren beziehungsweise System bei hoch- und vollautomatisierten Fahranwendungen genutzt werden.Furthermore, from the pamphlet US 2019/0226853 A1 discloses a method and a system for classifying data points of a point cloud that indicates the surroundings of a vehicle. In this case, features of a digital map that relate to an assumed current position of the vehicle are used. Such methods and systems can be used to detect road actors, such as other vehicles, in the vicinity of a vehicle. The method or system can preferably be used in highly and fully automated driving applications.

Die Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren und eine Vorrichtung vorzustellen, mit denen verschiedene Arten von Objekten aus Sensorbildern (insbesondere Kamerabildern) extrahiert werden können, um damit die Eigenposition feststellen zu können.The object of the present invention is to present a method and a device with which different types of objects can be extracted from sensor images (in particular camera images) in order to be able to determine one's own position.

Erfindungsgemäß wird diese Aufgabe gelöst durch ein Verfahren und eine Vorrichtung gemäß den unabhängigen Ansprüchen. Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.According to the invention, this object is achieved by a method and a device according to the independent claims. Advantageous developments of the invention result from the dependent claims.

Entsprechend der vorliegenden Erfindung wird demnach ein Verfahren zum Bestimmen einer Eigenposition eines Fahrzeugs bereitgestellt. Bei dem Fahrzeug handelt es sich vorzugsweise um ein Kraftfahrzeug, aber es kann sich prinzipiell um jede Art von Fahrzeug handeln, das sich in einer Umgebung bewegt und gegebenenfalls orientieren muss. Dazu erfolgt ein Erfassen einer Landmarke und eines Datensatzes betreffend eine Erfassungsposition des Fahrzeugs. Das Erfassen der Landmarke erfolgt beispielsweise durch eine Kamera, die ein entsprechendes Bild der Landmarke erzeugt. Gegebenenfalls wird die Landmarke auch in einer Folge von mehreren Bildern erfasst. Die Erfassung kann aber auch mit einer anderen Sensorik erfolgen, die beispielsweise auf Ultraschall, Radar oder Lasertechnik basiert. Außerdem wird ein Datensatz erfasst, der eine Erfassungsposition des Fahrzeugs betrifft. Dieser Datensatz kann beispielsweise Odometriedaten und eine relative Position des Fahrzeugs gegenüber der Landmarke umfassen. Gegebenenfalls kann der Datensatz aber auch grobe absolute Positionierungsdaten (z.B. GPS-Daten) umfassen. Anschließend erfolgt ein Zuordnen der erfassten Landmarke zu einer Kartenmarke einer Karte. Bei der Karte handelt es sich vorzugsweise um eine digitale 3D-Karte, in der Landmarken mehr oder weniger detailliert eingetragen sind. Die in der Karte eingetragenen Landmarken werden im vorliegenden Dokument als Kartenmarken bezeichnet im Gegensatz zu den realen Landmarken. Schließlich erfolgt ein Gewinnen der Eigenposition des Fahrzeugs aus dem Datensatz betreffend die Erfassungsposition und einer kartierten Position der Kartenmarke. Da die exakte Position der Landmarke durch die korrespondierende Kartenmarke bekannt ist, kann aufgrund des Datensatzes, der die Erfassungsposition des Fahrzeugs beim Erfassen der Landmarke direkt oder indirekt enthält, auf die absolute Erfassungsposition, d.h. die Eigenposition des Fahrzeugs, geschlossen werden.Accordingly, according to the present invention, a method for determining an inherent position of a vehicle is provided. The vehicle is preferably a motor vehicle, but it can in principle be any type Act as a type of vehicle that moves in an environment and may need to orientate itself. For this purpose, a landmark and a data set relating to a detection position of the vehicle are detected. The landmark is detected, for example, by a camera that generates a corresponding image of the landmark. If necessary, the landmark is also recorded in a sequence of several images. However, the detection can also take place with a different sensor system, which is based, for example, on ultrasound, radar or laser technology. In addition, a data set relating to a detection position of the vehicle is recorded. This data record can include, for example, odometry data and a position of the vehicle relative to the landmark. If necessary, the data set can also include rough absolute positioning data (eg GPS data). The detected landmark is then assigned to a map mark on a map. The map is preferably a digital 3D map in which landmarks are entered in more or less detail. The landmarks entered in the map are referred to as map marks in the present document, in contrast to the real landmarks. Finally, the vehicle's own position is obtained from the data set relating to the detection position and a mapped position of the map mark. Since the exact position of the landmark is known from the corresponding map mark, the absolute detection position, ie the vehicle's own position, can be inferred from the data record, which directly or indirectly contains the detection position of the vehicle when detecting the landmark.

Das Erfassen der Landmarke umfasst eine Extraktion von mindestens zwei Linien eines Rohbilds der Landmarke. Das Rohbild der Landmarke ist beispielsweise ein Pixelbild, das mit einer entsprechenden Sensorik (z.B. Kamera) des Fahrzeugs gewonnen wird. Bei dem Rohbild kann es sich aber auch um ein vorverarbeitetes Bild der Sensorik handeln. Aus dem Rohbild werden mittels Linienextraktion mindestens zwei Linien extrahiert. Diese Extraktion findet im Rahmen der Erfassung der Landmarke statt. Grundsätzlich können natürlich auch mehr als zwei Linien für eine Landmarke erfasst werden. Oft ist es notwendig, eine Vielzahl von Linien zu extrahieren, um einen bestimmten Typ von Landmarke erkennen zu können.The detection of the landmark includes an extraction of at least two lines of a raw image of the landmark. The raw image of the landmark is, for example, a pixel image that is obtained with a corresponding sensor system (e.g. camera) of the vehicle. However, the raw image can also be a pre-processed image of the sensor system. At least two lines are extracted from the raw image using line extraction. This extraction takes place as part of the detection of the landmark. In principle, of course, more than two lines can also be recorded for a landmark. It is often necessary to extract a large number of lines in order to be able to recognize a certain type of landmark.

Erfindungsgemäß wird jeder Linie eine Richtung zugewiesen. Dadurch entsteht ein Vektor, der nicht nur den Verlauf der Linie wiedergibt, sondern anhand seiner Richtung eine zusätzliche Information tragen kann. Um nun ressourcenschonend eine Landmarke zu erfassen, wird für jede Linie ein Deskriptor erzeugt. Der Deskriptor enthält eine Information darüber, welcher Farbübergang oder Helligkeitsübergang senkrecht zu der betreffenden Linie in Bezug auf die jeweilige Richtung vorliegt. Wird beispielsweise eine Linie entlang der zugewiesenen Richtung betrachtet, so kann die Linie in dem Rohbild einen Hell-Dunkel-Übergang oder einen Dunkel-Hell-Übergang charakterisieren. Aufgrund der festgelegten Richtung kann damit auch ein Übergang von links nach rechts beziehungsweise rechts nach links berücksichtigt werden. Beispielsweise stellt eine weiße Bodenmarkierung einen weißen Streifen auf dunklem Asphalt dar. Der weiße Streifen besitzt zwei parallele Linien. Den Linien kann eine Richtung zugewiesen werden, z.B. eine Richtung weg von der Kamera. Die eine der beiden Linien stellt in Bezug auf die zugewiesene Richtung einen Dunkel-Hell-Übergang und die andere Linie einen Hell-Dunkel-Übergang dar. Die entsprechende Information bezüglich der Übergänge wird als Deskriptor bezeichnet. Mithilfe der beiden parallelen Linien zusammen mit ihren beiden Deskriptoren (Dunkel-Hell-Übergang und Hell-Dunkel-Übergang) kann in ressourcenschonender Weise auf eine Bodenmarkierung geschlossen werden. Es wird also aus den mindestens zwei Linien und den dazugehörigen Deskriptoren die korrespondierende Landmarke ermittelt.According to the invention, each line is assigned a direction. This creates a vector that not only reflects the course of the line, but can also carry additional information based on its direction. In order to record a landmark in a resource-saving manner, a descriptor is generated for each line. The descriptor contains information about which color transition or brightness transition is perpendicular to the relevant line in relation to the relevant direction. For example, if a line is viewed along the assigned direction, the line in the raw image can characterize a light-dark transition or a dark-light transition. Because of the specified direction, a transition from left to right or right to left can also be taken into account. For example, a white pavement marking represents a white stripe on dark asphalt. The white stripe has two parallel lines. A direction can be assigned to the lines, e.g. a direction away from the camera. One of the two lines represents a dark-to-light transition and the other line represents a light-to-dark transition with respect to the assigned direction. The corresponding information regarding the transitions is called a descriptor. With the help of the two parallel lines together with their two descriptors (dark-light transition and light-dark transition) a floor marking can be inferred in a resource-saving manner. The corresponding landmark is thus determined from the at least two lines and the associated descriptors.

In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens ist vorgesehen, dass unter Verwendung einer vorgegebenen Kameraintrinsik und Kameraextrinsik jeder Linie eine Lageinformation darüber zugeordnet wird, ob sie hauptsächlich waagrecht oder senkrecht verläuft, und die Lageinformation zum Ermitteln der Landmarke herangezogen wird. Während die extrinsischen Parameter die Lage der Kamera in einem externen Koordinatensystem (z.B. Weltkoordinatensystem) bestimmen, hängen die intrinsischen Parameter nicht von der Position und Orientierung der Kamera ab, sondern beschreiben die interne Geometrie der Kamera (z.B. Brennweite et cetera). Aufgrund dieser Kameraparameter können die erfassten Linien in waagrechte und senkrechte Linien klassifiziert werden. Dabei ist es nicht zwingend, dass Linien exakt waagrecht oder senkrecht verlaufen. Ausschlaggebend kann die Hauptrichtungskomponente der Linie sein, die entweder waagrecht oder senkrecht verläuft. Diese Lageinformation (senkrecht oder waagrecht) wird nun zum Ermitteln der Landmarke herangezogen. So besitzen Bodenmarkierungen meist waagrechte Hauptrichtungskomponenten (abhängig von der Kameraposition) und Poller besitzen üblicherweise senkrechte Linien.In an advantageous embodiment of the method according to the invention, it is provided that using a predetermined camera intrinsic and camera extrinsic, each line is assigned position information about whether it runs mainly horizontally or vertically, and the position information is used to determine the landmark. While the extrinsic parameters determine the position of the camera in an external coordinate system (e.g. world coordinate system), the intrinsic parameters do not depend on the position and orientation of the camera, but describe the internal geometry of the camera (e.g. focal length et cetera). Based on these camera parameters, the detected lines can be classified into horizontal and vertical lines. It is not mandatory that lines run exactly horizontally or vertically. The main directional component of the line, which runs either horizontally or vertically, can be decisive. This position information (vertical or horizontal) is now used to determine the landmark. Ground markings usually have horizontal main directional components (depending on the camera position) and bollards usually have vertical lines.

In einer Weiterbildung des Verfahrens kann festgestellt werden, ob die zwei Linien einen Schnittpunkt besitzen, wobei eine diesbezügliche Information zum Ermitteln der Landmarke herangezogen wird. Wenn die beiden Linien keinen Schnittpunkt besitzen, sondern beispielsweise parallel sind, kann es sich um eine geradlinige, streifenförmige Bodenmarkierung oder um einen Poller handeln. Besitzen die beiden Linien hingegen einen Schnittpunkt, so kann es sich spezifisch um eine Ecke einer mittels Bodenmarkierung eingefassten Parkbox handeln. Der Schnittpunkt kann also auf eine sehr spezielle Landmarke, nämlich eine Ecke einer Parkbox, hindeuten. Speziell in einem Parkhaus oder auf einem Parkplatz kann ein solcher Schnittpunkt einen sehr hilfreichen Hinweis für die Orientierung darstellen.In a further development of the method, it can be determined whether the two lines have an intersection point, with relevant information being used to determine the landmark. If the two lines do not intersect own, but are parallel, for example, it can be a linear, strip-shaped ground marking or a bollard. If, on the other hand, the two lines intersect, it can specifically be a corner of a parking box bordered by ground markings. The point of intersection can therefore point to a very specific landmark, namely a corner of a parking box. Especially in a multi-story car park or in a parking lot, such an intersection can be a very helpful hint for orientation.

Den zwei Linien, die sich in dem Schnittpunkt schneiden, kann nun ausgehend von dem Schnittpunkt jeweils eine Richtung zugeordnet werden. Dies bedeutet, dass der Schnittpunkt für jede Linie den Anfangspunkt darstellt und das distale Ende jeder Linie den jeweiligen Endpunkt. Mittels des Schnittpunkts ergibt sich dadurch eine eindeutige Richtungszuordnung. Es ergeben sich damit zwei Vektoren, die von dem Schnittpunkt wegweisen. Das Vektorprodukt von beiden Vektoren ergibt einen Produktvektor, der auf beiden Vektoren senkrecht steht. Die Vektoren zusammen mit dem Produktvektor bilden ein Rechtssystem, wodurch sich die Orientierung des Produktvektors eindeutig ergibt. Das Vektorprodukt beziehungsweise die Richtung des Produktvektors kann auf einfache Weise dazu verwendet werden, eine Landmarke näher zu klassifizieren. Beispielsweise besitzt ein linkes Eck einer Parkbox aufgrund seiner Linien mit Schnittpunkt einen nach oben weisenden Produktvektor, während ein rechtes Eck einen nach unten weisenden Produktvektor besitzt. Auf diese Weise können Ecken von Parkboxen einfach unterschieden werden.Starting from the point of intersection, a direction can now be assigned to the two lines that intersect at the point of intersection. This means that the intersection point for each line represents the starting point and the distal end of each line represents the respective ending point. By means of the point of intersection, this results in an unambiguous directional assignment. This results in two vectors pointing away from the point of intersection. The vector product of both vectors gives a product vector that is perpendicular to both vectors. The vectors together with the product vector form a legal system, which clearly results in the orientation of the product vector. The vector product or the direction of the product vector can be used in a simple manner to classify a landmark more closely. For example, a left corner of a parking box has an up product vector due to its intersecting lines, while a right corner has a down product vector. In this way, corners of parking boxes can be easily distinguished.

Generell kann diese Eigenschaft des Vektorprodukts für rechteckförmige Landmarken genutzt werden. Solche rechteckförmigen Landmarken können auch beispielsweise geringelte Poller sein, für die sich beispielsweise in einem Kamerabild abwechselnd rote und weiße Rechtecke ergeben. Auch diese Konstellation der Rechtecke kann mithilfe der Vektorprodukte einfach analysiert werden. Es werden dafür nämlich mindestens zwei Ecken ermittelt, an denen sich Schnittpunkte von Linien befinden. An einer der mindestens zwei Ecken besitzt das Vektorprodukt eine erste Richtung und an der anderen der mindestens zwei Ecken besitzt das Vektorprodukt eine der ersten Richtung entgegengesetzte zweite Richtung. Dies liegt daran, dass einer der Vektoren an beispielsweise der linken vorderen Ecke der rechteckförmigen Landmarke eine entgegengesetzte Richtung besitzt gegenüber dem entsprechenden Vektor des rechten vorderen Ecks der rechteckförmigen Landmarke. Aufgrund dieser Antiparallelität besitzen die Produktvektoren auch entgegengesetzte Richtungen.In general, this property of the vector product can be used for rectangular landmarks. Such rectangular landmarks can also be, for example, ringed bollards, for which alternating red and white rectangles result, for example, in a camera image. This constellation of rectangles can also be easily analyzed using the vector products. At least two corners where there are intersections of lines are determined. At one of the at least two corners the vector product has a first direction and at the other of the at least two corners the vector product has a second direction opposite the first direction. This is because one of the vectors at, for example, the left front corner of the rectangular landmark has an opposite direction to the corresponding vector at the right front corner of the rectangular landmark. Because of this anti-parallelism, the product vectors also have opposite directions.

In einem weiteren Ausführungsbeispiel kann vorgesehen sein, dass zwei parallele vertikale Linien ermittelt werden, auf der Basis der Deskriptoren der beiden Linien diesen Linien ein Objekt zugeordnet wird, anhand einer Odometrie eine Veränderung eines Abstands der beiden Linien bei einer Fahrt des Fahrzeugs ermittelt wird, anhand der Veränderung auf eine Breite des Objekts geschlossen wird und aufgrund der Breite das Objekt identifiziert wird. Speziell kann dieses Vorgehen für die Identifikation von Pollern nützlich sein. Ein Poller oder ein anderer vertikal ausgerichteter Gegenstand (z.B. Schilderstange) besitzt zwei parallele, vertikale Linien. Die Deskriptoren beschreiben auch hier einen Helligkeits- oder Farbübergang an den Kanten des Objekts. Zur weiteren Eingrenzung muss die tatsächliche Breite des Objekts bestimmt werden. Dies ist beispielsweise durch Odometrie beziehungsweise entsprechende Odometriedaten möglich, indem beobachtet wird, wie sich der Abstand der beiden Linien bei einer Fahrt des Fahrzeugs verändert. Durch die Odometrie ist der Bewegungspfad bekannt, sodass damit auf die Entfernung des Objekts und somit auf den Abstand der beiden Linien geschlossen werden kann. Ist nämlich ein Objekt weiter entfernt, ändert sich bei der Fahrt des Fahrzeugs der Abstand der Linien weniger als bei einem Objekt, das näher am Fahrzeug ist. Da nun aufgrund der Veränderung des Abstands auf die Breite des Objekts geschlossen werden kann, kann das Objekt aufgrund dieser Breite näher identifiziert werden. Wenn also beispielsweise eine Breite von 10 Zentimetern ermittelt wird, kann dieses Objekt als Poller identifiziert werden. Die Stange eines Straßenschilds kann in diesem Fall ausgeschlossen werden.In a further exemplary embodiment, it can be provided that two parallel vertical lines are determined, an object is assigned to these lines on the basis of the descriptors of the two lines, a change in the distance between the two lines when the vehicle is traveling is determined using odometry a width of the object is inferred from the change and the object is identified on the basis of the width. This procedure can be particularly useful for identifying bollards. A bollard or other vertically oriented object (e.g. sign pole) has two parallel, vertical lines. Here, too, the descriptors describe a brightness or color transition at the edges of the object. To narrow it down further, the actual width of the object must be determined. This is possible, for example, by odometry or corresponding odometry data by observing how the distance between the two lines changes when the vehicle is driving. The movement path is known through odometry, so that the distance of the object and thus the distance between the two lines can be deduced. If an object is further away, the distance between the lines changes less when the vehicle is moving than for an object that is closer to the vehicle. Since the width of the object can now be inferred from the change in the distance, the object can be identified more closely on the basis of this width. For example, if a width of 10 centimeters is determined, this object can be identified as a bollard. A street sign pole can be ruled out in this case.

In einem speziellen Ausführungsbeispiel ist vorgesehen, dass bei dem Erfassen der Landmarke extrahierte Linien in drei Gruppen klassifiziert werden: Senkrechte Linien, nicht-senkrechte Linien unterhalb eines erfassten Horizonts und nicht-senkrechte Linien oberhalb des Horizonts. Eine derartige Klassifikation ist hilfreich für das Identifizieren der erfassten Landmarken. So sind beispielsweise die senkrechten Linien Kandidaten für senkrechte Objekte wie Poller. Demgegenüber sind nicht-senkrechte Linien unterhalb des Horizonts Kandidaten für Bodenmarkierungen. Nicht-senkrechte Linien oberhalb des Horizonts können in der Regel verworfen werden.In a specific exemplary embodiment, it is provided that lines extracted during the detection of the landmark are classified into three groups: vertical lines, non-vertical lines below a detected horizon and non-vertical lines above the horizon. Such a classification is helpful for identifying the detected landmarks. For example, the vertical lines are candidates for vertical objects such as bollards. On the other hand, non-vertical lines below the horizon are candidates for ground markings. Non-perpendicular lines above the horizon can usually be discarded.

Bei einem weiteren Ausführungsbeispiel werden bei dem Erfassen der Landmarke extrahierte Linien, die Endpunkte in einem vorgegebenen Höchstabstand besitzen, unter Verwendung einer vorgegebenen Kameraintrinsik und Kameraextrinsik gruppiert, und die Gruppierung wird zum Ermitteln der Landmarke herangezogen. So können beispielsweise Linienpaare mit unmittelbar benachbarten Endpunkten Segmente einer gemeinsamen 3D-Geraden darstellen. Andere Linienpaare hingegen, die ebenfalls Endpunkte in unmittelbarer Nachbarschaft beziehungsweise mit vorgegebenem Höchstabstand besitzen, können Schnittpunkte aufweisen. Ein solches Linienpaar mit Schnittpunkt kann dann beispielsweise zur Identifikation eines Ecks einer rechteckförmigen Landmarke (z.B. Parkbox) dienen. Eine derartige Gruppierung von Linien mit benachbarten Endpunkten kann also zur weiteren Identifikation der Landmarken herangezogen werden.In a further embodiment, when detecting the landmark, extracted lines that have endpoints within a predetermined maximum distance are grouped using a predetermined camera intrinsic and camera extrinsic, and the grouping is used to determine the landmark. For example, line pairs with immediately adjacent endpoints can be segments of a common 3D represent straight lines. Other pairs of lines, on the other hand, which also have end points in the immediate vicinity or with a predetermined maximum distance, can have points of intersection. Such a pair of lines with an intersection point can then be used, for example, to identify a corner of a rectangular landmark (eg parking box). Such a grouping of lines with adjacent end points can therefore be used for further identification of the landmarks.

Die oben genannte Aufgabe wird erfindungsgemäße auch gelöst durch eine Vorrichtung zum Bestimmen einer Eigenposition mit

  • - einer Erfassungseinrichtung zum Erfassen einer Landmarke und eines Datensatzes betreffend eine Erfassungsposition,
  • - einer Zuordnungseinrichtung zum Zuordnen der erfassten Landmarke zu einer Kartenmarke einer Karte und
  • - einer Ermittlungseinrichtung zum Gewinnen der Eigenposition aus dem Datensatz betreffend die Erfassungsposition und einer kartierten Position der Kartenmarke, wobei
  • - von der Erfassungseinrichtung beim Erfassen der Landmarke mindestens zwei Linien eines Rohbilds der Landmarke extrahierbar sind,
  • - von der Erfassungseinrichtung jeder Linie eine Richtung zuweisbar ist,
  • - von der Erfassungseinrichtung für jede Linie ein Deskriptor erzeugbar ist, der eine Information darüber enthält, welcher Farbübergang oder Helligkeitsübergang senkrecht zu der betreffenden Linie in Bezug auf die jeweilige Richtung vorliegt,
  • - von der Erfassungseinrichtung aus den mindestens zwei Linien und den dazugehörigen Deskriptoren die Landmarke ermittelbar ist.
The above-mentioned object is also achieved according to the invention by a device for determining an inherent position
  • - a detection device for detecting a landmark and a data set relating to a detection position,
  • - an assignment device for assigning the detected landmark to a map mark of a map and
  • - a determination device for obtaining the own position from the data set relating to the detection position and a mapped position of the map mark, wherein
  • - at least two lines of a raw image of the landmark can be extracted by the detection device when detecting the landmark,
  • - a direction can be assigned to each line by the detection device,
  • - a descriptor can be generated by the detection device for each line, which contains information about which color transition or brightness transition is present perpendicularly to the relevant line in relation to the respective direction,
  • - The landmark can be determined by the detection device from the at least two lines and the associated descriptors.

Zu der Erfindung gehören auch Weiterbildungen der erfindungsgemäßen Vorrichtung, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen der erfindungsgemäßen Vorrichtung hier nicht noch einmal besch rieben.The invention also includes developments of the device according to the invention, which have features as have already been described in connection with the developments of the method according to the invention. For this reason, the corresponding further developments of the device according to the invention are not described again here.

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.The invention also includes the combinations of features of the described embodiments.

Im Folgenden werden Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

  • 1 ein schematisches Blockdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens; und
  • 2 ein Diagramm zur Wirkungsweise der erfindungsgemäßen Landmarkenerkennung am Beispiel von Bodenmarkierungen; und
  • 3 eine schematische Ausführungsform eines Ausführungsbeispiels eines erfindungsgemäßen Fahrzeugs.
Exemplary embodiments of the invention are described below. For this shows:
  • 1 a schematic block diagram of an embodiment of a method according to the invention; and
  • 2 a diagram of the mode of operation of the landmark detection according to the invention using the example of ground markings; and
  • 3 a schematic embodiment of an embodiment of a vehicle according to the invention.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsbeispiele der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsbeispiele auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred exemplary embodiments of the invention. In the exemplary embodiments, the described components each represent individual features of the invention that are to be considered independently of one another, which also develop the invention independently of one another and are therefore also to be regarded as part of the invention individually or in a combination other than that shown. Furthermore, the exemplary embodiments described can also be supplemented by further features of the invention already described.

In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.Elements with the same function are each provided with the same reference symbols in the figures.

Das Beispiel von 1 zeigt eine mögliche Ausführungsform eines erfindungsgemäßen Verfahrens mit mehreren Einzelschritten S1 bis S7. In einem ersten Schritt S1 erfolgt das Erfassen eines Rohbilds. Dies kann beispielsweise durch eine Kamera, einen Ultraschallsensor, einen Radarsensor und dergleichen erfolgen. In einem zweiten Schritt S2 werden im Rahmen der Erfassung einer Landmarke mindestens zwei Linien aus dem Rohbild der Landmarke extrahiert. Gegebenenfalls werden auch mehr als zwei Linien extrahiert. Anhand der extrahierten Linien soll ein vorgebbarer Typ einer Landmarke identifiziert werden. Dazu wird in einem Schritt S3 jeder Linie eine Richtung zugewiesen. Die Richtung kann durch einen Anfangspunkt und einen Endpunkt der Linie definiert sein. In einem anschließenden Schritt S4 wird für jede Linie ein Deskriptor erzeugt, der eine Information darüber enthält, welcher Farbübergang oder Helligkeitsübergang senkrecht zu der betreffenden Linie in Bezug auf die jeweilige Richtung vorliegt. Der Deskriptor beinhaltet beispielsweise die Information über einen Hell-Dunkel-Übergang. Hierzu ist auch die Information notwendig, an welcher Seite der Linie der dunkle Bereich und auf welcher Seite der helle Bereich liegt. Daher wird auf die zugewiesene Richtung der Linie Bezug genommen. Durch die Richtung kann eindeutig definiert werden, auf welcher Seite der helle Bereich und der dunkle Bereich liegen (z.B. links oder rechts). In einem weiteren Schritt S5 wird aus den mindestens zwei Linien und den dazugehörigen Deskriptoren die Landmarke ermittelt. Die Linien und die Deskriptoren, die in Bezug auf die Linienrichtung eine Farbinformation beziehungsweise eine Helligkeitsinformation senkrecht zur Linie tragen, ermöglichen im einfachsten Fall die Zuordnung zu einer Landmarke. Falls weitere Informationen zur Verfügung stehen, können auch diese genutzt werden, um eine Landmarke näher zu identifizieren.The example of 1 shows a possible embodiment of a method according to the invention with several individual steps S1 to S7. A raw image is captured in a first step S1. This can be done, for example, by a camera, an ultrasonic sensor, a radar sensor and the like. In a second step S2, at least two lines are extracted from the raw image of the landmark as part of the detection of a landmark. If necessary, more than two lines are also extracted. A predeterminable type of landmark is to be identified on the basis of the extracted lines. For this purpose, a direction is assigned to each line in a step S3. The direction can be defined by a starting point and an ending point of the line. In a subsequent step S4, a descriptor is generated for each line, which contains information about which color transition or brightness transition is present perpendicularly to the relevant line in relation to the respective direction. For example, the descriptor contains information about a light-dark transition. This also requires the information on which side of the line the dark area is and on which side the light area is. Therefore, reference is made to the assigned direction of the line. The direction can be used to clearly define on which side the light area and the dark area lie (e.g. left or right). In a further step S5, the at least two lines and the associated descriptors determines the landmark. In the simplest case, the lines and the descriptors, which carry color information or brightness information perpendicular to the line in relation to the direction of the line, enable assignment to a landmark. If further information is available, this can also be used to identify a landmark more closely.

Falls nun die Landmarke feststeht, kann in einem Schritt S6 ein Zuordnen der erfassten Landmarke zu einer Kartenmarke einer Karte erfolgen. Im einfachsten Fall befindet sich auf der Karte nur genau eine Kartenmarke, die der erfassten Landmarke entspricht. Damit ist unmittelbar eine eindeutige Zuordnung möglich. Falls die Karte jedoch mehrere Kartenmarken aufweist, die der erfassten realen Landmarke entsprechen könnten, sind gegebenenfalls zusätzliche Informationen beispielsweise über die Odometrie oder andere Positionierungssysteme notwendig. In diesem Fall müssen also Informationen bezüglich der Erfassungsposition oder -pose des Fahrzeugs gewonnen werden. Diese lassen sich in einem entsprechenden Datensatz zusammenfassen. Dabei enthält der Datensatz beispielsweise auch eine Information über die relative Position oder Pose des Fahrzeugs zu der Landmarke. Anhand des Datensatzes betreffend die Erfassungsposition und der kartierten Position der Kartenmarke kann nun gemäß Schritt S7 die Eigenposition des Fahrzeugs gewonnen werden. Da beispielsweise die absolute Position der Kartenmarke und die relative Position des Fahrzeugs beim Erfassen der Landmarke bekannt sind, kann daraus die Eigenposition des Fahrzeugs beim Erfassen der Landmarke ermittelt werden.If the landmark is now fixed, the detected landmark can be assigned to a map mark of a map in a step S6. In the simplest case, there is only exactly one map marker on the map that corresponds to the detected landmark. This means that an unambiguous assignment is immediately possible. However, if the map has a number of map marks that could correspond to the recorded real landmark, additional information may be necessary, for example via odometry or other positioning systems. In this case, therefore, information on the detection position or pose of the vehicle must be obtained. These can be summarized in a corresponding data record. The data set also contains information about the relative position or pose of the vehicle to the landmark, for example. Based on the data set relating to the detection position and the mapped position of the map mark, the vehicle's own position can now be obtained according to step S7. Since, for example, the absolute position of the map mark and the relative position of the vehicle when the landmark is detected are known, the vehicle's own position when the landmark is detected can be determined from this.

Nachfolgend wird ein Ausführungsbeispiel mit mehreren optionalen Verfahrensstufen vorgestellt, bei dem ressourcensparend verschiedene Arten von Objekten aus Kamerabildern extrahiert werden können.An exemplary embodiment with a number of optional method steps is presented below, in which different types of objects can be extracted from camera images in a resource-saving manner.

Zunächst kann in einem ersten Schritt eine Linienextraktion erfolgen, bei der beispielsweise Linien beziehungsweise Liniensegmente aus einem Grauwert-Kamerabild mithilfe eines Standard-Liniendetektors (z.B. das LSD-Verfahren; Line Segment Detector) erfolgen. Dabei kann jedes Segment durch einen Anfangs- und Endpunkt im Bild repräsentiert werden, wobei die Reihenfolge von Anfangs- und Endpunkt verwendet wird, um der Linie eine Richtung zuzuweisen, anhand der ein Hell-Dunkel-Übergang senkrecht zur Linie codiert werden kann.In a first step, a line extraction can be carried out in which, for example, lines or line segments are extracted from a gray value camera image using a standard line detector (e.g. the LSD method; Line Segment Detector). Each segment can be represented by a start and end point in the image, and the order of start and end points is used to assign the line a direction that can be used to encode a light-dark transition perpendicular to the line.

In einer optionalen zweiten Stufe des Verfahrens kann eine Linien-Grobklassifikation stattfinden. Dabei können unter Verwendung einer vorgegebenen Kameraintrinsik und - extrinsik die extrahierten Linien beispielsweise in drei Gruppen aufgeteilt werden:

  • - Potentiell senkrechte Linien (d.h. Linien, die in einer Ebene liegen, die senkrecht zur Bodenebene steht und durch das Kamerazentrum verläuft). Diese Linien sind Kandidaten für senkrechte Objekte wie Poller.
  • - Nicht-senkrechte Linien unterhalb des Horizonts. Diese Linien sind Kandidaten für Bodenmarkierungen.
  • - Nicht-senkrechte Linien oberhalb des Horizonts. Diese Linien können verworfen werden.
In an optional second stage of the method, a rough classification of lines can take place. Using a given camera intrinsic and extrinsic, the extracted lines can be divided into three groups, for example:
  • - Potentially perpendicular lines (ie lines lying in a plane perpendicular to the ground plane and passing through the camera center). These lines are candidates for vertical objects such as bollards.
  • - Non-perpendicular lines below the horizon. These lines are candidates for floor markings.
  • - Non-vertical lines above the horizon. These lines can be discarded.

In einer optionalen nächsten Stufe können Gruppierungen und gegebenenfalls Schnittpunktberechnungen erfolgen. Dazu werden Paare von Linien beziehungsweise Liniensegmenten analysiert, die Endpunkte in unmittelbarer Nachbarschaft haben, d.h. in einem vorgegebenen Höchstabstand. Unter Berücksichtigung der Kameraparameter (Intrinsik und Extrinsik) können diese Paare beispielsweise in zwei Klassen eingeteilt werden:

  • - Linienpaare, die von einer gemeinsamen 3D-Geraden stammen könnten, welche aufgrund beispielsweise der Kameraverzerrung bei der Projektion in mehrere Segmente zerfällt, die dabei nicht auf einer Geraden liegen (Diese Linienpaare könnten eventuell verworfen werden).
  • - Linienpaare, bei denen dies nicht der Fall ist. Die Schnittpunkte dieser Linienpaare im Bild werden zur weiteren Verarbeitung gespeichert.
In an optional next stage, groupings and, if necessary, intersection calculations can take place. To this end, pairs of lines or line segments are analyzed that have end points in the immediate vicinity, ie at a predetermined maximum distance. For example, considering the camera parameters (intrinsic and extrinsic), these pairs can be divided into two classes:
  • - Line pairs that could come from a common 3D straight line, which, due to camera distortion, for example, breaks down into several segments during the projection that do not lie on a straight line (these line pairs could possibly be discarded).
  • - Line pairs where this is not the case. The intersections of these pairs of lines in the image are stored for further processing.

In einer optionalen vierten Stufe des Verfahrens kann eine Extraktion von Bodenmarkierungen erfolgen. Derartige Bodenmarkierungen sind üblicherweise weiße Streifen auf dunklen Asphaltböden. Derartige Bodenmarkierungen sind aufgrund ihrer Geometrie und ihres Kontrasts zuverlässig erkennbar. Daher werden Bodenmarkierungen oft als erste Landmarkentypen aus den Daten extrahiert. Insbesondere handelt es sich dabei um Linien beziehungsweise Segmente unterhalb des Horizonts, die als Deskriptor beziehungsweise Zusatzinformation die Richtung des Hell-Dunkel-Übergangs tragen können.In an optional fourth stage of the method, ground markings can be extracted. Such pavement markings are typically white stripes on dark asphalt pavements. Such floor markings are reliably recognizable due to their geometry and their contrast. Therefore, ground markings are often extracted from the data as the first landmark types. In particular, these are lines or segments below the horizon, which can carry the direction of the light-dark transition as a descriptor or additional information.

In einer optionalen fünften Stufe kann die Extraktion von Schnittpunkt-Landmarken erfolgen. Derartige Schnittpunkt-Landmarken sind beispielsweise die Bodenmarkierungen 1 von Parkboxen 2, wie sie beispielhaft in 2 dargestellt sind. Die eingezeichneten vier Parkboxen 2 sind gegenüber einer Fahrbahn 3 durch einen ersten Markierungsabschnitt 4 getrennt. Die Parkboxen 2 sind durch zweite Markierungsabschnitte 5 wiederum voneinander getrennt. Die zweiten Markierungsabschnitte 5 stehen senkrecht auf dem ersten Markierungsabschnitt 4, sodass sich rechteckförmige Parkboxen 2 ergeben.In an optional fifth stage, intersection landmarks can be extracted. Such intersection landmarks are, for example, the floor markings 1 of parking boxes 2, as shown by way of example in 2 are shown. The four parking spaces 2 shown are separated from a lane 3 by a first marking section 4 . The parking boxes 2 are in turn separated from one another by second marking sections 5 . The second marking sections 5 are perpendicular to the first marking section 4, resulting in rectangular parking boxes 2.

Der erste Markierungsabschnitt 4 stößt unmittelbar auf die zweiten Markierungsabschnitte 5. Dadurch, dass die Parkboxen hier dunkel und die Bodenmarkierungen hell sind, kann ein Liniendetektor die Übergänge beziehungsweise Grenzen klar als Linien erkennen.The first marking section 4 directly meets the second marking sections 5. Due to the fact that the parking bays are dark here and the floor markings are light, a line detector can clearly see the transitions or borders as lines.

In 2 sind zwei erfasste Linien 6 und 7 eingezeichnet. Eine erste Linie 6 befindet sich an dem Dunkel-Hell-Übergang einer Parkbox 2 zu dem ersten Markierungsabschnitt 4. Eine zweite Linie 7 befindet sich auf dem Dunkel-Hell-Übergang zu einem zweiten Markierungsabschnitt 5. Die beiden Linien 6 und 7 schneiden sich in einem Schnittpunkt 8. Ausgehend vom Schnittpunkt 8 wird der Linie 6 eine Richtung im Bild nach rechts und der Linie 7 eine Richtung im Bild nach oben zugewiesen. Vorzugsweise weist die jeweilige Richtung einer Linie von dem Schnittpunkt 8 weg. Anhand solcher Schnittpunkte 8 kann nun eine zweite Klasse von Landmarken identifiziert werden. Die Linien werden ebenfalls mit einem Deskriptor versehen, der die Richtungen enthält, die den Linien definitionsgemäß zugewiesen wurden. Die beiden Linien 6 und 7 zerlegen die Umgebung des Schnittpunkts 8 in zwei Sektoren, einen hellen und einen dunklen Sektor. Die Hauptrichtung des hellen Sektors kann als „weißer Vektor“ ebenfalls dem Deskriptor hinzugefügt werden.In 2 two detected lines 6 and 7 are drawn. A first line 6 is located at the dark-light transition from a parking garage 2 to the first marking section 4. A second line 7 is located at the dark-light transition to a second marking section 5. The two lines 6 and 7 intersect in an intersection point 8. Starting from the intersection point 8, line 6 is assigned a direction in the image to the right and line 7 is assigned an upward direction in the image. The respective direction of a line preferably points away from the point of intersection 8 . A second class of landmarks can now be identified on the basis of such intersection points 8 . The lines are also provided with a descriptor containing the directions assigned to the lines by definition. The two lines 6 and 7 divide the area around the intersection point 8 into two sectors, a light and a dark sector. The main direction of the bright sector can also be added to the descriptor as a "white vector".

Aus den beiden Vektoren, die durch die Linien 6 und 7 einschließlich ihrer Richtungen definiert sind, lässt sich durch Vektormultiplikation ein dritter Vektor 9 ermitteln. Dieser dritte Vektor 9 steht senkrecht auf den beiden anderen Vektoren, die auf den Linien 6 und 7 basieren. Im vorliegenden Beispiel ragt der dritte Vektor 9 aus der Bildebene heraus. Dadurch, dass er aus der Bildebene herausragt, kennzeichnet er eine linke Ecke einer Parkbox 2. An der rechten Ecke der Parkbox 2 hätte der Vektor, der auf der ersten Linie 6 basierte, eine entgegengesetzte Richtung, weshalb das Vektorprodukt zu einem dritten Vektor führt, der in die Zeichnungsebene hinein weist. Er hat also eine entgegengesetzte Richtung zu dem in 2 eingezeichneten dritten Vektor 9 der linken Ecke der Parkbox 2. Die linken und rechten Ecken einer Parkbox 2 sind somit einfach anhand des Vektorprodukts zu unterscheiden. Auf diese Weise ergibt sich eine sehr einfache Unterscheidung der Landmarken. Zur Erkennung dieser Ecken als Landmarken ist es auch nicht notwendig, dass eine Linie vollständig erfasst wird. Vielmehr genügt es, wenn von einer Linie nur ein Teil am Schnittpunkt erkannt beziehungsweise erfasst wird. Dies ist insbesondere dann von Vorteil, wenn die Parkboxen durch Kraftfahrzeuge belegt sind.A third vector 9 can be determined from the two vectors, which are defined by the lines 6 and 7 including their directions, by vector multiplication. This third vector 9 is perpendicular to the other two vectors based on lines 6 and 7. In the present example, the third vector 9 protrudes from the image plane. Protruding out of the image plane, it marks a left corner of a parking box 2. At the right corner of parking box 2, the vector based on the first line 6 would have an opposite direction, so the vector product results in a third vector, pointing into the drawing plane. So it has an opposite direction to that in 2 drawn-in third vector 9 of the left-hand corner of parking box 2. The left-hand and right-hand corners of parking box 2 are therefore easy to distinguish using the vector product. This results in a very simple distinction between the landmarks. In order to recognize these corners as landmarks, it is also not necessary for a line to be completely recorded. Rather, it is sufficient if only part of a line is recognized or recorded at the point of intersection. This is particularly advantageous when the parking bays are occupied by motor vehicles.

In einer weiteren optionalen Stufe des Verfahrens kann eine Extraktion von linienförmigen Pollern erfolgen. Hierzu können linienförmige Poller als Paare paralleler Linien betrachtet werden. Als Deskriptor dient der Abstand der Linien. Der Abstand der Linien kann beispielsweise dadurch gewonnen werden, dass der Poller während einer Fahrt mehrfach analysiert wird. Auf der Basis von zusätzlichen Odometriedaten, die von der Fahrt resultieren, kann schließlich der tatsächliche Abstand der Linien, d.h. die Dicke des Pollers, ermittelt werden. Somit lässt sich ein Poller beispielsweise von der Stange eines Verkehrsschilds unterscheiden.In a further optional stage of the method, linear bollards can be extracted. For this purpose, linear bollards can be viewed as pairs of parallel lines. The distance between the lines serves as a descriptor. The distance between the lines can be obtained, for example, by analyzing the bollard several times during a journey. On the basis of additional odometry data resulting from the journey, the actual distance between the lines, i.e. the thickness of the bollard, can finally be determined. A bollard can thus be distinguished from the pole of a traffic sign, for example.

In einer weiteren optionalen Stufe des Verfahrens kann die Extraktion von geringelten Pollern erfolgen. Dazu ist es notwendig, dass die geringelten Poller bekannte Farben (z.B. rot/weiß) besitzen. Bei waagrechter Betrachtung stellen die einzelnen Ringe des Pollers Rechtecke dar, die wiederum ähnlich den rechteckförmigen Parkboxen identifiziert werden können. Die Rechtecke werden über die bekannten Kameraparameter zu linearen, vertikalen Objekten verknüpft. Diese Objekte stellen die extrahierten Poller dar. Dabei kann die Anzahl der Ringe und die Breite des Objekts als Deskriptor verwendet werden.In a further optional stage of the process, the extraction of ringed bollards can take place. For this it is necessary that the ringed bollards have known colors (e.g. red/white). When viewed horizontally, the individual rings of the bollard represent rectangles, which in turn can be identified in a similar way to the rectangular parking boxes. The rectangles are linked to linear, vertical objects using the known camera parameters. These objects represent the extracted bollards. The number of rings and the width of the object can be used as a descriptor.

3 gibt schematisch ein Fahrzeug (hier ein Kraftfahrzeug) 10 wieder, das eine Vorrichtung zum Bestimmen einer Eigenposition bzw. -pose des Fahrzeugs 10 aufweist. Die Vorrichtung 11 besitzt eine Erfassungseinrichtung 12, die hier symbolisch als Kamera am Seitenspiegel 13 dargestellt ist. Die Erfassungseinrichtung 12 kann aber auch auf anderer Sensorik basieren, wie dies oben bereits erwähnt wurde (zum Beispiel Ultraschall, Radar et cetera). Die Erfassungseinrichtung 12 dient aber auch dazu, einen Datensatz betreffend eine Erfassungsposition des Fahrzeugs zu erfassen. Dies bedeutet, dass die Erfassungseinrichtung 12 in der Lage sein muss, eine Position der Vorrichtung 11 beziehungsweise des Fahrzeugs 10 gegebenenfalls in Bezug auf die Landmarke zu erfassen. Bei dieser Erfassungsposition kann es sich um eine Grobposition beziehungsweise eine geschätzte Position handeln. Vielfach kann nur durch die Grobposition die erfasste Landmarke einer Kartenmarke zugeordnet werden. Gegebenenfalls werden für die Ermittlung der Grobposition Odometrietechniken und/oder andere Positionserfassungstechniken verwendet. 3 FIG. 1 schematically shows a vehicle (here a motor vehicle) 10 which has a device for determining an inherent position or pose of the vehicle 10 . The device 11 has a detection device 12 which is represented here symbolically as a camera on the side mirror 13 . However, the detection device 12 can also be based on other sensors, as has already been mentioned above (for example ultrasound, radar, etc.). However, the detection device 12 also serves to record a data set relating to a detection position of the vehicle. This means that the detection device 12 must be able to detect a position of the device 11 or of the vehicle 10, if necessary, in relation to the landmark. This detection position can be a rough position or an estimated position. In many cases, the recorded landmark can only be assigned to a map mark by the rough position. If necessary, odometry techniques and/or other position detection techniques are used to determine the rough position.

Die Vorrichtung 11 umfasst ferner eine Zuordnungseinrichtung 14 zum Zuordnen der von der Erfassungseinrichtung 12 erfassten Landmarke zu einer Kartenmarke einer Karte. Des Weiteren umfasst die Vorrichtung 11 eine Ermittlungseinrichtung 15 zum Gewinnen der Eigenposition aus dem Datensatz betreffend die Erfassungsposition und einer kartierten Position der Kartenmarke.The device 11 also includes an assignment device 14 for assigning the landmark detected by the detection device 12 to a map mark of a map. Furthermore, the device 11 includes a determination device 15 for obtaining the own position from the data set relating to the detection position and a mapped position of the map mark.

Die Erfassungseinrichtung 12 ist in der Lage, beim Erfassen der Landmarke zumindest zwei Linien eines Rohbilds der Landmarke zu extrahieren und jeder Linie eine Richtung zuzuweisen. Außerdem ist die Erfassungseinrichtung dazu ausgelegt, für jede Linie einen Deskriptor zu erzeugen, der eine Information darüber enthält, welcher Farbübergang oder Helligkeitsübergang senkrecht zu der betreffenden Linie in Bezug auf die jeweilige Richtung vorliegt. Schließlich kann die Erfassungseinrichtung 12 aus den mindestens zwei Linien und den dazugehörigen Deskriptoren die Landmarke ermitteln.When detecting the landmark, the detection device 12 is able to extract at least two lines of a raw image of the landmark and to assign a direction to each line. In addition, the detection device is designed to generate a descriptor for each line, which contains information about which color transition or brightness transition is present perpendicularly to the relevant line in relation to the respective direction. Finally, the detection device 12 can determine the landmark from the at least two lines and the associated descriptors.

In vorteilhafter Weise ermöglichen die Erfindung beziehungsweise die Ausführungsbeispiele das Identifizieren von Landmarken aus z.B. Kamerabildern unabhängig von speziellen Kameramodellen. Daher ist das beschriebene Verfahren auf beliebige Kameramodelle mit bekannten Parametern übertragbar. Außerdem ist das Detektionsverfahren der Landmarken weitgehend unabhängig von Beleuchtungs- und Witterungsbedingungen sowie der Art der betrachteten Szene. Das Verfahren kann zudem ohne manuellen Annotationsaufwand implementiert werden sowie ohne Grafikkarten und mit moderatem CPU-Aufwand. Ferner werden Deskriptoren zur Verfügung gestellt, die einen Abgleich mit einer 3D-Karte ermöglichen. Die 3D-Karte sollte dabei die gleichen Arten von Landmarken enthalten, wie sie aus den Bildern detektiert werden. Die 3D-Karte muss aber nicht notwendigerweise mit Informationen eines Kamerabilds generiert werden.Advantageously, the invention or the exemplary embodiments enable landmarks to be identified from camera images, for example, independently of special camera models. The method described can therefore be transferred to any camera model with known parameters. In addition, the landmark detection method is largely independent of lighting and weather conditions and the type of scene being viewed. The method can also be implemented without manual annotation effort and without graphics cards and with moderate CPU effort. Furthermore, descriptors are provided that allow comparison with a 3D map. The 3D map should contain the same types of landmarks as are detected from the images. However, the 3D map does not necessarily have to be generated with information from a camera image.

In einem bevorzugten Ausführungsbeispiel wird ein fest mit einem Fahrzeug verbautes Kamerasystem mit bekannter Intrinsik und Extrinsik verwendet. Ein im Fahrzeug integrierter Rechner kann Module aufweisen, die die Landmarkendetektion aus den Kamerabildern durchführt. Ein Lokalisierungsmodul des Rechners kann schließlich die extrahierten Landmarken mit der 3D-Karte abgleichen und daraus die Position oder auch die Pose des Fahrzeugs bestimmen.In a preferred exemplary embodiment, a camera system permanently installed in a vehicle with known intrinsic and extrinsic is used. A computer integrated in the vehicle can have modules that carry out the landmark detection from the camera images. Finally, a localization module of the computer can compare the extracted landmarks with the 3D map and use this to determine the position or pose of the vehicle.

Bezugszeichenlistereference list

11
Bodenmarkierungfloor marking
22
Parkboxparking box
33
Fahrbahnroadway
44
erster Markierungsabschnittfirst marking section
55
zweiter Markierungsabschnittsecond marking section
66
erste Liniefirst line
77
zweite Liniesecond line
88th
Schnittpunktintersection
99
dritter Vektorthird vector
1010
Kraftfahrzeugmotor vehicle
1111
Vorrichtung zum Bestimmen einer EigenpositionDevice for determining a self-position
1212
Erfassungseinrichtungdetection device
1313
Außenspiegelexterior mirrors
1414
Zuordnungseinrichtungmapping facility
1515
Ermittlungseinrichtunginvestigation facility
S1-S7S1-S7
Verfahrensschritteprocess steps

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • US 20160305794 A1 [0005]US20160305794A1 [0005]
  • US 20190226853 A1 [0006]US20190226853A1 [0006]

Claims (10)

Verfahren zum Bestimmen einer Eigenposition eines Fahrzeugs (10) durch - Erfassen (S1 bis S5) einer Landmarke und eines Datensatzes betreffend eine Erfassungsposition des Fahrzeugs, - Zuordnen (S6) der erfassten Landmarke zu einer Kartenmarke einer Karte und - Gewinnen (S7) der Eigenposition aus dem Datensatz betreffend die Erfassungsposition und aus einer kartierten Position der Kartenmarke, dadurch gekennzeichnet, dass - das Erfassen der Landmarke eine Extraktion (S2) von mindestens zwei Linien (6, 7) eines Rohbilds der Landmarke umfasst, - jeder Linie eine Richtung zugewiesen (S3) wird, - für jede Linie ein Deskriptor erzeugt (S4) wird, der eine Information darüber enthält, welcher Farbübergang oder Helligkeitsübergang senkrecht zu der betreffenden Linie in Bezug auf die jeweilige Richtung vorliegt, - aus den mindestens zwei Linien (6, 7) und den dazugehörigen Deskriptoren die Landmarke ermittelt wird.Method for determining a vehicle's own position (10) by - detecting (S1 to S5) a landmark and a data set relating to a detected position of the vehicle, - assigning (S6) the detected landmark to a map mark of a map and - obtaining (S7) the own position from the data set relating to the detection position and from a mapped position of the map marker, characterized in that - the detection of the landmark includes an extraction (S2) of at least two lines (6, 7) of a raw image of the landmark, - each line is assigned a direction ( S3) - a descriptor is generated (S4) for each line, which contains information about which color transition or brightness transition is present perpendicularly to the relevant line in relation to the respective direction, - from the at least two lines (6, 7) and the associated descriptors the landmark is determined. Verfahren nach Anspruch 1, wobei unter Verwendung einer vorgegebenen Kameraintrisik und Kameraextrinsik jeder Linie eine Lageinformation darüber zugeordnet wird, ob sie hauptsächlich waagrecht oder senkrecht verläuft, und die Lageinformation zum Ermitteln der Landmarke herangezogen wird.procedure after claim 1 , wherein, using a predetermined camera intrinsic and camera extrinsic, each line is assigned position information about whether it runs mainly horizontally or vertically, and the position information is used to determine the landmark. Verfahren nach Anspruch 1 oder 2, wobei festgestellt wird, ob die zwei Linien einen Schnittpunkt (8) besitzen, und eine diesbezügliche Information zum Ermitteln der Landmarke herangezogen wird.procedure after claim 1 or 2 , wherein it is determined whether the two lines have an intersection (8) and relevant information is used to determine the landmark. Verfahren nach Anspruch 3, wobei ausgehend von dem Schnittpunkt (8) den zwei Linien jeweils eine Richtung zugeordnet wird, woraus sich zwei Vektoren ergeben, und das Vektorprodukt der zwei Vektoren zum Ermitteln der Landmarke herangezogen wird.procedure after claim 3 , starting from the point of intersection (8), a direction is assigned to each of the two lines, resulting in two vectors, and the vector product of the two vectors is used to determine the landmark. Verfahren nach Anspruch 4, wobei eine rechteckförmige Landmarke anhand mindestens zweier Ecken, an denen sich Schnittpunkte (8) von Linien (6, 7) befinden, ermittelt wird, und an einer der mindestens zwei Ecken das Vektorprodukt eine erste Richtung und an der anderen der mindestens zwei Ecken das Vektorprodukt eine der ersten entgegengesetzte zweite Richtung besitzt.procedure after claim 4 , wherein a rectangular landmark is determined on the basis of at least two corners, at which points of intersection (8) of lines (6, 7) are located, and at one of the at least two corners the vector product of a first direction and at the other of the at least two corners that Vector product has a second direction opposite to the first. Verfahren nach Anspruch 1 oder 2, wobei zwei parallele, vertikale Linien ermittelt werden, auf der Basis der Deskriptoren der beiden Linien diesen Linien ein Objekt zugeordnet wird, anhand einer Odometrie eine Veränderung eines Abstands der beiden Linien bei einer Fahrt des Fahrzeugs (10) ermittelt wird, anhand der Veränderung auf eine Breite des Objekts geschlossen wird und aufgrund der Breite das Objekt idenifiziert wird.procedure after claim 1 or 2 , wherein two parallel, vertical lines are determined, an object is assigned to these lines on the basis of the descriptors of the two lines, a change in the distance between the two lines during a journey of the vehicle (10) is determined using odometry, based on the change a width of the object is closed and the object is identified based on the width. Verfahren nach einem der vorhergehenden Ansprüche, wobei bei dem Erfassen der Landmarke extrahierte Linien (6, 7) klassifiziert werden in drei Gruppen: senkrechte Linien, nicht senkrechte Linie unterhalb eines erfassten Horizonts und nicht senkrechte Linien oberhalb des Horizonts.Method according to one of the preceding claims, in which the lines (6, 7) extracted during the detection of the landmark are classified into three groups: vertical lines, non-vertical lines below a detected horizon and non-vertical lines above the horizon. Verfahren nach einem der vorhergehenden Ansprüche, wobei bei dem Erfassen der Landmarke extrahierte Linien (6, 7), die Endpunkte in einem vorgegebenen Höchstabstand besitzen, unter Verwendung einer vorgegebenen Kameraintrisik und Kameraextrinsik.gruppiert werden und die Gruppierung zum Ermitteln der Landmarke herangezogen wird.Method according to one of the preceding claims, in which, during the detection of the landmark, extracted lines (6, 7) which have end points at a predetermined maximum distance are grouped using a predetermined camera intrinsic and camera extrinsic and the grouping is used to determine the landmark. Vorrichtung zum Bestimmen einer Eigenposition mit - einer Erfassungseinrichtung (12) zum Erfassen einer Landmarke und eines Datensatzes betreffend eine Erfassungsposition, - einer Zuordnungseinrichtung (14) zum Zuordnen der erfassten Landmarke zu einer Kartenmarke einer Karte und - einer Ermittlungseinrichtung (15) zum Gewinnen der Eigenposition aus dem Datensatz betreffend die Erfassungsposition und einer kartierten Position der Kartenmarke, dadurch gekennzeichnet, dass - von der Erfassungseinrichtung (12) beim Erfassen der Landmarke mindestens zwei Linien (6, 7) eines Rohbilds der Landmarke extrahierbar sind, - von der Erfassungseinrichtung (12) jeder Linie eine Richtung zuweisbar ist, - von der Erfassungseinrichtung (12) für jede Linie ein Deskriptor erzeugbar ist, der eine Information darüber enthält, welcher Farbübergang oder Helligkeitsübergang senkrecht zu der betreffenden Linie in Bezug auf die jeweilige Richtung vorliegt, - von der Erfassungseinrichtung (12) aus den mindestens zwei Linien und den dazugehörigen Deskriptoren die Landmarke ermittelbar ist.Device for determining a personal position with - a detection device (12) for detecting a landmark and a data set relating to a detection position, - an assignment device (14) for assigning the detected landmark to a map mark on a map and - a determination device (15) for obtaining the personal position from the data set relating to the detection position and a mapped position of the map mark, characterized in that - by the detection device (12) when the landmark is detected, at least two lines (6, 7) of a raw image of the landmark can be extracted, - by the detection device (12) a direction can be assigned to each line, - a descriptor can be generated by the detection device (12) for each line, which contains information about which color transition or brightness transition is present perpendicularly to the relevant line in relation to the respective direction, - by the detection device ( 12) the landmark can be determined from the at least two lines and the associated descriptors. Fahrzeug (10) mit einer Vorrichtung nach Anspruch 7, wobei die Eigenposition diejenige des Fahrzeugs ist.Vehicle (10) with a device claim 7 , where the own position is that of the vehicle.
DE102021126288.7A 2021-10-11 2021-10-11 Method and device for determining a vehicle's own position Pending DE102021126288A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102021126288.7A DE102021126288A1 (en) 2021-10-11 2021-10-11 Method and device for determining a vehicle's own position
PCT/EP2022/078136 WO2023061955A1 (en) 2021-10-11 2022-10-10 Method and device for determining a position of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021126288.7A DE102021126288A1 (en) 2021-10-11 2021-10-11 Method and device for determining a vehicle's own position

Publications (1)

Publication Number Publication Date
DE102021126288A1 true DE102021126288A1 (en) 2023-04-13

Family

ID=84329929

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021126288.7A Pending DE102021126288A1 (en) 2021-10-11 2021-10-11 Method and device for determining a vehicle's own position

Country Status (2)

Country Link
DE (1) DE102021126288A1 (en)
WO (1) WO2023061955A1 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110066303A1 (en) 2009-09-16 2011-03-17 Hitachi, Ltd. Determining system for localization methods combination
US20160305794A1 (en) 2013-12-06 2016-10-20 Hitachi Automotive Systems, Ltd. Vehicle position estimation system, device, method, and camera device
DE102016205964A1 (en) 2016-04-11 2017-10-12 Volkswagen Aktiengesellschaft Method and system for determining a global position of a first landmark
DE102016214028A1 (en) 2016-07-29 2018-02-01 Volkswagen Aktiengesellschaft Method and system for determining a position of a mobile unit
DE102017201663A1 (en) 2017-02-02 2018-08-02 Robert Bosch Gmbh Method for locating a higher automated, e.g. highly automated vehicle (HAF) in a digital localization map
US20190226853A1 (en) 2016-09-28 2019-07-25 Tomtom Global Content B.V. Methods and Systems for Generating and Using Localisation Reference Data
DE102018209607A1 (en) 2018-06-14 2019-12-19 Volkswagen Aktiengesellschaft Method and device for determining a position of a motor vehicle
DE102019216722A1 (en) 2019-10-30 2021-05-06 Zf Friedrichshafen Ag Method for locating a vehicle on a digital map

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111351494A (en) * 2015-02-10 2020-06-30 御眼视觉技术有限公司 Navigation system and computer readable medium
CN110197173B (en) * 2019-06-13 2022-09-23 重庆邮电大学 Road edge detection method based on binocular vision
DE102019210300A1 (en) * 2019-07-11 2021-01-14 Volkswagen Aktiengesellschaft Method and device for the camera-based determination of a distance of a moving object in the vicinity of a motor vehicle

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110066303A1 (en) 2009-09-16 2011-03-17 Hitachi, Ltd. Determining system for localization methods combination
US20160305794A1 (en) 2013-12-06 2016-10-20 Hitachi Automotive Systems, Ltd. Vehicle position estimation system, device, method, and camera device
DE102016205964A1 (en) 2016-04-11 2017-10-12 Volkswagen Aktiengesellschaft Method and system for determining a global position of a first landmark
DE102016214028A1 (en) 2016-07-29 2018-02-01 Volkswagen Aktiengesellschaft Method and system for determining a position of a mobile unit
US20190226853A1 (en) 2016-09-28 2019-07-25 Tomtom Global Content B.V. Methods and Systems for Generating and Using Localisation Reference Data
DE102017201663A1 (en) 2017-02-02 2018-08-02 Robert Bosch Gmbh Method for locating a higher automated, e.g. highly automated vehicle (HAF) in a digital localization map
DE102018209607A1 (en) 2018-06-14 2019-12-19 Volkswagen Aktiengesellschaft Method and device for determining a position of a motor vehicle
DE102019216722A1 (en) 2019-10-30 2021-05-06 Zf Friedrichshafen Ag Method for locating a vehicle on a digital map

Also Published As

Publication number Publication date
WO2023061955A1 (en) 2023-04-20

Similar Documents

Publication Publication Date Title
DE102014223363B4 (en) Method and device for localizing a motor vehicle in a fixed reference map
DE102015203016B4 (en) Method and device for optical self-localization of a motor vehicle in an environment
DE102010006828B4 (en) Method for the automatic creation of a model of the surroundings of a vehicle as well as driver assistance system and vehicle
DE102015209467A1 (en) Method of estimating lanes
WO2015120981A1 (en) Method for determining the absolute position of a mobile unit, and mobile unit
DE102009050501A1 (en) Motor vehicle i.e. car, travel clear path detecting method, involves determining content of traffic infrastructure indication, modifying clear path based upon content, and utilizing modified clear path in navigation of vehicle
DE102009050502A1 (en) Travel's clear path detection method for motor vehicle i.e. car, involves monitoring images, each comprising set of pixels, utilizing texture-less processing scheme to analyze images, and determining clear path based on clear surface
DE102009050505A1 (en) Clear path detecting method for vehicle i.e. motor vehicle such as car, involves modifying clear path based upon analysis of road geometry data, and utilizing clear path in navigation of vehicle
EP3529561B1 (en) System and method for generating digital road models from aerial or satellite images and from data captured by vehicles
DE102011111440A1 (en) Method for representation of environment of vehicle, involves forming segments of same width from image points of equal distance in one of image planes, and modeling objects present outside free space in environment
DE102016210534A1 (en) Method for classifying an environment of a vehicle
DE102011109569A1 (en) Lane detection method using a camera
DE102018129388A1 (en) DETECTION DEVICE FOR THE EXTERNAL ENVIRONMENT OF VEHICLES
DE102014212866A1 (en) Method for determining a parking space from a number of measuring points
WO2017178232A1 (en) Method for operating a driver assistance system of a motor vehicle, computing device, driver assistance system, and motor vehicle
DE102018211368A1 (en) A method of describing an environment of a vehicle through the topology of the busy road
DE102017201664A1 (en) Method for locating a higher automated vehicle in a digital map
DE102018123393A1 (en) Detection of parking areas
DE102016211730A1 (en) Method for predicting a lane course of a roadway
DE102015010514B4 (en) A method of determining map information for a map data set of a navigation environment and computing device
DE102016120066A1 (en) A computer implemented method for controlling an object recognition system
DE102015006569A1 (en) Method for image-based recognition of the road type
DE102020112825A1 (en) Method for detecting relevant static objects within a lane as well as computing device for a driver assistance system of a vehicle
DE102016212774A1 (en) Method and device for generating an environment map and for locating a vehicle
DE102019208507A1 (en) Method for determining the degree of overlap between an object and a lane

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication