DE102021116223A1

DE102021116223A1 - Method and device for determining the position of a motor vehicle and motor vehicle based on vegetation

Info

Publication number: DE102021116223A1
Application number: DE102021116223.8A
Authority: DE
Inventors: Michel Lanz; Vladimir Haltakov
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-06-23
Filing date: 2021-06-23
Publication date: 2022-12-29

Abstract

Die Erfindung betrifft ein Verfahren und eine Positionsbestimmungseinrichtung (20) zur Positionsbestimmung eines Kraftfahrzeugs (12). Die Erfindung betrifft weiter ein entsprechend eingerichtetes Kraftfahrzeug (12). In dem Verfahren wird mittels einer Kamera (18) des Kraftfahrzeugs (12) ein Kamerabild einer Umgebung aufgenommen. Mittels einer Bildverarbeitungseinrichtung (24, 26) des Kraftfahrzeugs (12) wird durch Verarbeiten des Kamerabilds eine Pose wenigstens eines Stammes und/oder wenigstens eines Astes von in dem Kamerabild abgebildeter Vegetation (14), die sich seitlich neben einer von dem Kraftfahrzeug (12) befahrenen Fahrbahn (10) befindet und/oder diese zumindest teilweise überragt, bestimmt. Die so bestimmte Pose wird dann mit einer vorgegebenen Karte, in der entsprechende Vegetationsdeskriptoren mit einer jeweils zugehörigen Position eingetragen sind, abgeglichen, um eine Übereinstimmung zu finden. Bei gefundener Übereinstimmung wird dann anhand der entsprechenden in der Karte angegebenen Position die aktuelle Position des Kraftfahrzeugs (12) bestimmt.The invention relates to a method and a position determination device (20) for determining the position of a motor vehicle (12). The invention further relates to a correspondingly equipped motor vehicle (12). In the method, a camera image of an environment is recorded by means of a camera (18) of the motor vehicle (12). Using an image processing device (24, 26) of the motor vehicle (12), a pose of at least one trunk and/or at least one branch of vegetation (14) depicted in the camera image is processed by processing the camera image and is located laterally next to one of the motor vehicle (12) traffic lane (10) and/or at least partially towers above it. The pose determined in this way is then compared with a given map, in which corresponding vegetation descriptors are entered with a respective associated position, in order to find a match. If a match is found, the current position of the motor vehicle (12) is then determined using the corresponding position indicated on the map.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Positionsbestimmungseinrichtung zur Positionsbestimmung eines Kraftfahrzeugs. Die Erfindung betrifft weiter ein entsprechend eingerichtetes Kraftfahrzeug.The present invention relates to a method and a position determination device for determining the position of a motor vehicle. The invention further relates to a correspondingly equipped motor vehicle.

Beispielsweise für einen zumindest teilweise automatisierten Betrieb eines Kraftfahrzeugs ist die Kenntnis einer genauen Position des Kraftfahrzeugs eine wichtige Grundlage. Bekannte Ansätze zur Positionsbestimmung mittels eines globalen Navigationssatellitensystems bieten jedoch nicht immer eine ausreichende Genauigkeit und Verfügbarkeit, um allen heutigen Anforderungen gerecht zu werden. So kann beispielsweise durch Geländeformationen, Gebäude und dichte Vegetation oder eine ungünstige Satellitenstellung ein Signalempfang derart eingeschränkt sein, dass keine zuverlässige Positionsbestimmung möglich ist. Auch die Verwendung lokaler Verkehrsinfrastruktur zur Positionsbestimmung ist nur lückenhaft möglich, da es dafür nicht überall ausreichend viele oder eindeutig identifizierbare Einrichtungen oder Details gibt.For example, for at least partially automated operation of a motor vehicle, knowledge of the precise position of the motor vehicle is an important basis. However, known approaches to position determination using a global navigation satellite system do not always offer sufficient accuracy and availability to meet all of today's requirements. For example, due to terrain formations, buildings and dense vegetation or an unfavorable satellite position, signal reception can be restricted in such a way that reliable position determination is not possible. The use of local traffic infrastructure for position determination is also only partially possible, since there are not enough or clearly identifiable facilities or details everywhere.

Ein Ansatz zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera ist in der DE 10 2006 062 061 B4 beschrieben. Dort ist ein Hough-Transformator vorgesehen, der ausgelegt ist, um Kreisbögen oder Ellipsenbögen in dem Kamerabild zu identifizieren und eine Mehrzahl von in verschiedenen Richtungen durch das Kamerabild verlaufenden geraden Strecken zu identifizieren. Weiter ist ein Positions-Beschreibungs-Ersteller vorgesehen, der ausgelegt ist, um darauf basierend eine Positionsbeschreibung zu erhalten, die die identifizierten Kreisbögen oder Ellipsenbögen und die identifizierten geraden Strecken durch Parameter beschreibt. Weiter ist ein Datenbank-Vergleicher vorgesehen, der ausgelegt ist, um die Positionsbeschreibung mit einer Mehrzahl von Vergleichs-Positionsbeschreibungen zu vergleichen und als Ergebnis des Vergleichs eine Information über eine Position zu erhalten. Damit soll ein Konzept zur Bestimmung einer Position basierend auf einem Kamerabild geschaffen werden, das eine besonders effiziente bzw. zuverlässige Positionsbestimmung ermöglicht. Um dies zu ermöglichen, können unerwünschte Bildinhalte, beispielsweise Vegetation oder andere unregelmäßige oder gezackte Formen aus dem Kamerabild entfernt werden, um eine gefilterte und um für eine Positionsbestimmung als irrelevant eingestufte Informationen bereinigte Darstellung des Kamerabildes als Grundlage für die Positionsbestimmung zu erzeugen.One approach to determining a position based on a camera image from a camera is in DE 10 2006 062 061 B4 described. A Hough transformer is provided there, which is designed to identify circular arcs or elliptical arcs in the camera image and to identify a plurality of straight lines running through the camera image in different directions. Furthermore, a position description generator is provided, which is designed to obtain a position description based thereon, which describes the identified circular arcs or elliptical arcs and the identified straight stretches by parameters. A database comparator is also provided, which is designed to compare the position description with a plurality of comparison position descriptions and to obtain information about a position as the result of the comparison. This is intended to create a concept for determining a position based on a camera image that enables a particularly efficient and reliable position determination. In order to make this possible, unwanted image content, such as vegetation or other irregular or jagged shapes, can be removed from the camera image in order to generate a filtered representation of the camera image that has been cleaned of information classified as irrelevant for a position determination as the basis for the position determination.

Aufgabe der vorliegenden Erfindung ist es, eine zuverlässige und genaue Positionsbestimmung eines Kraftfahrzeugs zu ermöglichen.The object of the present invention is to enable a reliable and precise determination of the position of a motor vehicle.

Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst und mögliche Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in der Figuren offenbart.This object is achieved according to the invention by the subject matter of the independent patent claims, and possible refinements and developments of the present invention are disclosed in the dependent patent claims, in the description and in the figures.

Das erfindungsgemäße Verfahren dient zur Positionsbestimmung eines Kraftfahrzeugs, die insbesondere lokal in dem Kraftfahrzeug durchgeführt werden kann. In einem Verfahrensschritt des erfindungsgemäßen Verfahrens wird mittels einer Kamera des Kraftfahrzeugs wenigstens ein Kamerabild einer jeweils aktuellen Umgebung des Kraftfahrzeugs aufgenommen. In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird das Kamerabild mittels einer Bildverarbeitungseinrichtung des Kraftfahrzeugs verarbeitet. Dabei wird durch die Bildverarbeitungseinrichtung anhand des Kamerabildes eine Pose wenigstens eines Stammes und/oder wenigstens eines Astes von in dem Kamerabild abgebildeter Vegetation, die sich seitlich neben einer von dem Kraftfahrzeug befahrenen Fahrbahn befindet und/oder die Fahrbahn zumindest teilweise überragt, bestimmt. Mit anderen Worten kann hier also ein Stamm- und/oder Astmuster einer oder mehrerer Pflanzen, insbesondere von einem oder mehreren Bäumen und/oder Sträuchern, bestimmt werden. Die Pose kann beispielsweise durch einen Verlauf, eine Winkelstellung relativ zueinander und/oder beispielsweise relativ zu der Fahrbahn, eine Position relativ zu der Fahrbahn, zu einer Fahrbahnbegrenzung und/oder weiterer in dem Kamerabild identifizierbarer Details und/oder relativ zu der Kamera von Stämmen, Ästen oder auch weiteren Strukturen der Pflanzen bestimmt sein oder beschrieben werden.The method according to the invention serves to determine the position of a motor vehicle, which can in particular be carried out locally in the motor vehicle. In a method step of the method according to the invention, at least one camera image of a respective current environment of the motor vehicle is recorded by means of a camera of the motor vehicle. In a further method step of the method according to the invention, the camera image is processed using an image processing device of the motor vehicle. The image processing device uses the camera image to determine a pose of at least one trunk and/or at least one branch of vegetation depicted in the camera image, which is located to the side of a roadway on which the motor vehicle is driving and/or at least partially protrudes beyond the roadway. In other words, a trunk and/or branch pattern of one or more plants, in particular of one or more trees and/or bushes, can be determined here. The pose can be defined, for example, by a course, an angular position relative to one another and/or, for example, relative to the roadway, a position relative to the roadway, to a roadway boundary and/or other details that can be identified in the camera image and/or relative to the camera of trunks, Branches or other structures of the plants can be determined or described.

In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird die bestimmte Pose mit einer vorgegebenen Karte abgeglichen, um eine Übereinstimmung oder Entsprechung zu finden. In der Karte sind dabei Vegetationsdeskriptoren mit einer jeweils zugehörigen Position, an der durch die Vegetationsdeskriptoren beschriebene Vegetation jeweils lokalisiert ist, eingetragen. Die Vegetationsdeskriptoren können mit einer Positionsangabe versehene Dateneinträge sein, die jeweils wenigstens ein Vegetationsmerkmal einer lokalen Vegetation, beispielsweise ein Vorhandensein, eine relative Anordnung und/oder eine aus einem angegebenen Betrachtungswinkel gegebene Pose einer oder mehrerer Pflanzen oder eines oder mehrerer Teile davon, angeben oder enthalten können. In einem einfachen Beispiel können die Vegetationsdeskriptoren etwa angeben, dass sie sich an einer bestimmten Position ein Baum befindet, der einen von der Fahrbahn senkrecht nach oben ragenden Stamm und einen von diesem in einem bestimmten Winkel in einer bestimmten Richtung weg ragenden Ast, beispielsweise mit einer bestimmten Form, Länge und/oder Verzweigung, aufweist oder dergleichen mehr.In a further method step of the method according to the invention, the pose determined is compared with a predetermined map in order to find a match or correspondence. In this case, vegetation descriptors are entered in the map with a respective associated position at which vegetation described by the vegetation descriptors is located in each case. The vegetation descriptors can be data entries provided with a position indication, each of which specifies or contains at least one vegetation characteristic of a local vegetation, for example a presence, a relative arrangement and/or a given pose of one or more plants or one or more parts thereof from a specified viewing angle can. In a simple example, the vegetation descriptors can indicate that there is a tree at a certain position, which has a trunk that protrudes vertically upwards from the roadway and a branch that protrudes from it at a certain angle in a certain direction, e.g a particular shape, length and/or branching, or the like.

Derartige Details natürlich gewachsener Vegetation können gemäß einer der vorliegenden Erfindung zugrunde liegenden Erkenntnis eindeutige Identifizierungsmerkmale der Vegetation darstellen - anschaulich beispielsweise einem Fingerabdruck entsprechend - und daher in Verbindung mit der Ortsgebundenheit der Vegetation als Basis für die Positionsbestimmung dienen.According to a finding on which the present invention is based, such details of naturally grown vegetation can represent unambiguous identification features of the vegetation—for example corresponding to a fingerprint—and therefore, in connection with the locality of the vegetation, serve as a basis for determining the position.

Anhand des Kamerabildes durch die Bildverarbeitungseinrichtung erkannte Vegetationsmerkmale können zu vorgegebenen Vegetationsdeskriptoren zugeordnet werden oder zur automatischen Erzeugung der Vegetationsdeskriptoren in einem vorgegebenen, auch für die Vegetationsdeskriptoren der vorgegebenen Karte verwendeten Format verwendet werden. Dies ermöglicht einen automatisierten Abgleich der anhand des Kamerabildes bestimmten Pose bzw. von darauf basierend erzeugten, die Pose bzw. die jeweilige Vegetation beschreibenden Vegetationsdeskriptoren mit den in der Karte angegebenen Vegetationsdeskriptoren.Vegetation features recognized by the image processing device on the basis of the camera image can be assigned to predefined vegetation descriptors or used to automatically generate the vegetation descriptors in a predefined format that is also used for the vegetation descriptors of the predefined map. This enables an automated comparison of the pose determined using the camera image or of vegetation descriptors generated based thereon and describing the pose or the respective vegetation with the vegetation descriptors specified in the map.

Für diesen Abgleich kann beispielsweise die anhand des Kamerabildes bestimmte bzw. darin abgebildete Pose der Vegetation in eine sich aus einem vorgegebenen bzw. standardisierten Betrachtungswinkel ergebende Pose der abgebildeten Vegetation bzw. der für die Bestimmung oder Beschreibung der Pose verwendeten Vegetationsteile umgerechnet oder transformiert werden. Dies kann einen besonders einfachen und effizienten Abgleich ermöglichen, da dann in der Karte beispielsweise nur die sich aus dem entsprechenden vorgegebenen oder standardisierten Betrachtungswinkel ergebende Pose eingetragen sein muss und die Vegetationsdeskriptoren der Karte nicht sämtlich an den jeweiligen Betrachtungswinkel, unter dem das jeweilige Kamerabild aufgenommen wurde, angepasst werden müssen.For this comparison, for example, the pose of the vegetation determined using the camera image or depicted therein can be converted or transformed into a pose of the depicted vegetation resulting from a predetermined or standardized viewing angle or the vegetation parts used for determining or describing the pose. This can enable a particularly simple and efficient comparison, since then, for example, only the pose resulting from the corresponding predetermined or standardized viewing angle has to be entered in the map and the vegetation descriptors of the map do not all have to match the respective viewing angle at which the respective camera image was recorded , need to be adjusted.

In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird bei einer gefundenen Übereinstimmung zumindest anhand der entsprechenden in der Karte angegebenen Position die aktuelle Position des Kraftfahrzeugs bestimmt. Dabei können auch weitere Details oder Merkmale, wie etwa geometrische Gegebenheiten oder Eigenschaften, aus dem wenigstens einen Kamerabild bestimmt und berücksichtigt werden. Beispielsweise kann anhand von bekannten oder vorgegebenen Eigenschaften oder Zoomeinstellungen der Kamera eine Entfernung der Kamera bzw. des Kraftfahrzeugs zu der abgebildeten Vegetation bestimmt werden. Zudem kann aus der Pose und/oder der Anordnung oder Ausrichtung der Kamera in dem Kraftfahrzeug ein Betrachtungs- oder Blickwinkel auf die Position bestimmt werden und/oder dergleichen mehr. Insgesamt kann dann damit oder daraus das Kraftfahrzeug lokalisiert werden.In a further method step of the method according to the invention, if a match is found, the current position of the motor vehicle is determined at least on the basis of the corresponding position indicated on the map. Further details or features, such as geometric conditions or properties, can also be determined and taken into account from the at least one camera image. For example, a distance of the camera or the motor vehicle from the vegetation shown can be determined on the basis of known or predetermined properties or zoom settings of the camera. In addition, from the pose and/or the arrangement or orientation of the camera in the motor vehicle, a viewing or perspective on the position can be determined and/or the like. Overall, the motor vehicle can then be localized with or from it.

Beispielsweise abhängig von einer Auflösung und Ausrichtungsgenauigkeit der Kamera sowie einer Genauigkeit der in der Karte zu den Vegetationsdeskriptoren eingetragenen Position kann die Position des Kraftfahrzeugs auf diese Weise beispielsweise mit einer Genauigkeit oder Auflösung im Bereich oder in der Größenordnung einiger Zentimeter bestimmt werden. Daher kann die so bestimmte Position des Kraftfahrzeugs auch als Detailposition bezeichnet werden, beispielsweise im Gegensatz zu einer Grobposition des Kraftfahrzeugs, die mit anderen Methoden ermittelt sein oder ermittelt werden kann und die eine signifikant, beispielsweise um ein Vielfaches größere Ungenauigkeit oder Unsicherheit aufweisen kann.For example, depending on the resolution and alignment accuracy of the camera and the accuracy of the position entered in the map for the vegetation descriptors, the position of the motor vehicle can be determined in this way, for example, with an accuracy or resolution in the range or on the order of a few centimeters. The position of the motor vehicle determined in this way can therefore also be referred to as a detailed position, for example in contrast to a rough position of the motor vehicle which has been or can be determined using other methods and which can have a significantly greater inaccuracy or uncertainty, for example many times greater.

Die vorliegende Erfindung ermöglicht eine im Gegensatz zur Positionsbestimmung mittels eines globalen Navigationssatellitensystems von einem Signalempfang unabhängige Positionsbestimmung des Kraftfahrzeugs, die zudem zumindest potenziell eine größere Genauigkeit oder Auflösung bieten kann. Die vorliegende Erfindung kann beispielsweise zur Positionsbestimmung des Kraftfahrzeugs in Bereichen dienen, in denen kein entsprechender Signalempfang möglich ist und/oder in denen keine künstlichen Landmarken, wie beispielsweise eine eindeutig identifizierbare Straßenausstattung oder dergleichen, vorhanden ist. Damit kann die vorliegende Erfindung allein oder in Kombination mit anderen Positionsbestimmungsmethoden eine verbesserte Zuverlässigkeit oder Verfügbarkeit, Genauigkeit und Integrität der Positionsbestimmung ermöglichen.In contrast to position determination using a global navigation satellite system, the present invention enables a position determination of the motor vehicle that is independent of signal reception and that can also at least potentially offer greater accuracy or resolution. The present invention can be used, for example, to determine the position of the motor vehicle in areas in which no corresponding signal reception is possible and/or in which there are no artificial landmarks, such as clearly identifiable street furniture or the like. Thus, the present invention alone or in combination with other position determination methods can enable improved reliability or availability, accuracy and integrity of the position determination.

Die Positionsbestimmung anhand des wenigstens einen Kamerabildes kann im Betrieb des Kraftfahrzeugs kontinuierlich oder regelmäßig wiederholt durchgeführt werden. Dabei kann es, beispielsweise abhängig von einer Bildaufnahmefrequenz der Kamera, vorgesehen sein, dass nicht jedes Kamerabild, sondern beispielsweise nur jedes n-te Kamerabild zur Positionsbestimmung verwendet wird. So kann beispielsweise bei einer Bildaufnahmefrequenz von 36 Hz jedes zweite Bild, jedes vierte Bild oder jedes sechste Bild oder dergleichen für die Positionsbestimmung verwendet werden. Dadurch kann Datenverarbeitungsaufwand eingespart werden, ohne eine signifikante Beeinträchtigung von die bestimmte Position verwendenden Assistenzeinrichtungen oder Funktionen zu bewirken.The position determination based on the at least one camera image can be carried out continuously or regularly repeated during operation of the motor vehicle. Depending on the image recording frequency of the camera, for example, it can be provided that not every camera image but only every nth camera image is used to determine the position. For example, with an image recording frequency of 36 Hz, every second image, every fourth image or every sixth image or the like can be used to determine the position. As a result, data processing effort can be saved without causing a significant impairment of assistance devices or functions using the specific position.

Kamerabilder, anhand derer erfolgreich eine Pose wenigstens eines Stammes und/oder wenigstens eines Astes der abgebildeten Vegetation bestimmt wurde, entsprechende Vegetationsdeskriptoren oder auch die darauf basierend bestimmte Position des Kraftfahrzeugs können automatisch an eine fahrzeugexterne Servereinrichtung, also etwa ein Backend ein oder einen Cloud-Server, gesendet werden, insbesondere über eine kabellose Datenverbindung, beispielsweise eine Mobilfunk- oder WLAN-Verbindung oder dergleichen. Damit kann die Karte durch die Servereinrichtung erzeugt, gepflegt oder aktualisiert werden. Somit können beispielsweise automatisch im Laufe der Zeit auftretende Veränderungen der Vegetation in die Karte eingebunden oder eingepflegt werden. Da derartige Veränderungen, beispielsweise durch ein Vegetationswachstum, typischerweise kontinuierlich und im Vergleich zu einer Abbildungsfrequenz, mit der die Vegetation durch das Kraftfahrzeug oder mehrere entsprechend eingerichtete Kraftfahrzeuge einer Fahrzeugflotte abgebildet werden, relativ langsam erfolgen, kann das erfindungsgemäße Verfahren nach einem initialen Erzeugen der Karte dauerhaft zumindest im Wesentlichen automatisiert und damit besonders effizient angewendet werden. Dabei können für den Abgleich bzw. die Übereinstimmung zulässige Toleranzwerte vorgegeben sein, um eine zwischenzeitliche, beispielsweise wachstums- oder witterungsbedingte Veränderung der Vegetation zu berücksichtigen. Die Toleranzwerte können dabei fest vorgegebene Werte sein. Ebenso können die Toleranzwerte dynamisch angepasst werden, beispielsweise basierend auf einem jeweiligen Alter der in der Karte angegebenen Vegetationsdeskriptoren. Mit anderen Worten können also beispielsweise größere Toleranzwerte verwendet oder zugelassen werden, je länger zurückliegend ein Erzeugungs- oder Aktualisierungsdatum des jeweiligen in der Karte angegebenen Vegetationsdeskriptors ist. Dies kann eine besonders robuste Positionsbestimmung ermöglichen.Camera images, based on which a pose of at least one trunk and/or at least one branch of the vegetation depicted was successfully determined, corresponding vegetation description Toren or the position of the motor vehicle determined based thereon can be sent automatically to a vehicle-external server device, such as a backend or a cloud server, in particular via a wireless data connection, for example a mobile radio or WLAN connection or the like. The map can thus be generated, maintained or updated by the server device. Thus, for example, changes in the vegetation that occur automatically over time can be integrated or entered into the map. Since such changes, for example due to vegetation growth, typically occur continuously and relatively slowly compared to an imaging frequency with which the vegetation is imaged by the motor vehicle or several correspondingly equipped motor vehicles in a vehicle fleet, the method according to the invention can be permanent after the map has been initially generated be at least essentially automated and thus applied particularly efficiently. Permissible tolerance values can be specified for the comparison or the match, in order to take into account a change in the vegetation that has occurred in the meantime, for example due to growth or the weather. The tolerance values can be fixed values. Likewise, the tolerance values can be adjusted dynamically, for example based on a respective age of the vegetation descriptors specified in the map. In other words, for example, larger tolerance values can be used or allowed the longer ago a generation or update date of the respective vegetation descriptor specified in the map is. This can enable a particularly robust position determination.

In einer möglichen Ausgestaltung der vorliegenden Erfindung wird durch die Bildverarbeitungseinrichtung auch ein Borkenmuster der Vegetation, insbesondere wenigstens eines zumindest als Teil der Vegetation in dem Kamerabild abgebildeten Baumes, bestimmt. Dieses Borkenmuster wird dann ebenfalls mit der Karte wird bzw. mit den darin eingetragenen oder angegebenen Vegetationsdeskriptoren abgeglichen. Als das Borkenmuster kann beispielsweise eine jeweilige allgemeine Art des Borkenmusters bestimmt werden. Mit anderen Worten kann also aus dem Kamerabild durch die Bildverarbeitungseinrichtung ein entsprechender Vegetationsdeskriptor erzeugt werden, der beispielsweise angeben kann, ob die Vegetation bzw. ein bestimmter Baum oder Busch eine Streifenborke, eine Netzborke, eine Schuppenborke oder dergleichen aufweist bzw. ob eine solche erkannt wurde. Zusätzlich oder alternativ können konkrete Details der jeweiligen Borke, wie beispielsweise Abstände, Längen oder Winkel von Furchen oder Unterbrechungen zwischen einzelnen Borkenteilen, vorhandene Verletzungen, Verfärbungen und/oder dergleichen mehr bestimmt bzw. in einem entsprechenden Vegetationsdeskriptor angegeben werden. Die Verwendung auch des Borkenmusters kann eine noch genauere Beschreibung der Vegetation und damit eine noch zuverlässigere Identifizierung und letztliche Positionsbestimmung ermöglichen. Zudem kann das Borkenmuster beispielsweise auch dann für den Abgleich herangezogen werden, wenn das Stamm- und/oder Astmuster, also die Pose des wenigstens einen Stammes und und/oder des wenigstens einen Astes, durch Belaubung oder sonstige Verdeckung nicht oder nur teilweise erkennbar ist.In one possible embodiment of the present invention, the image processing device also determines a bark pattern of the vegetation, in particular at least one tree that is imaged at least as part of the vegetation in the camera image. This bark pattern is then also compared with the map or with the vegetation descriptors entered or specified therein. For example, a respective general type of bark pattern can be determined as the bark pattern. In other words, a corresponding vegetation descriptor can be generated from the camera image by the image processing device, which can indicate, for example, whether the vegetation or a specific tree or bush has striped bark, reticulated bark, scaly bark or the like or whether such a bark was detected . Additionally or alternatively, concrete details of the respective bark, such as distances, lengths or angles of furrows or interruptions between individual parts of the bark, existing injuries, discoloration and/or the like can be determined or specified in a corresponding vegetation descriptor. The use of the bark pattern as well can enable an even more precise description of the vegetation and thus an even more reliable identification and final position determination. In addition, the bark pattern can also be used for the comparison, for example, if the trunk and/or branch pattern, i.e. the pose of the at least one trunk and and/or the at least one branch, is not or only partially recognizable due to foliage or other covering.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird durch die Bildverarbeitungseinrichtung eine Gruppierung mehrerer in dem Kamerabild abgebildeter Pflanzen relativ zueinander charakterisiert, also beispielsweise in einem entsprechenden Vegetationsdeskriptor angegeben. Die Charakterisierung bzw. der entsprechende Vegetationsdeskriptor wird dann mit der Karte bzw. den darin angegebenen oder eingetragenen Vegetationsdeskriptoren abgeglichen, um eine Übereinstimmung zu finden. Mit anderen Worten kann also eine Gruppe oder ein Cluster von - gleichen oder unterschiedlichen - Pflanzen erkannt bzw. charakterisiert werden, beispielsweise hinsichtlich eines oder mehrerer Abstände zwischen den Pflanzen, deren räumlicher Anordnung oder Verteilung, deren räumlicher Dichte, einer Gesamtform oder -silhouette der Gruppierung bzw. des Clusters und/oder dergleichen mehr. Diese übergreifenden Vegetationsmerkmale, die sich für eine Gruppierung mehrerer Pflanzen ergeben, kann eine eindeutige Identifizierung erleichtern und somit eine noch zuverlässigere und robustere Bestimmung der Position des Kraftfahrzeugs ermöglichen.In a further possible embodiment of the present invention, the image processing device characterizes a grouping of several plants imaged in the camera image relative to one another, that is to say, for example, specified in a corresponding vegetation descriptor. The characterization or the corresponding vegetation descriptor is then compared with the map or the vegetation descriptors specified or entered therein in order to find a match. In other words, a group or a cluster of - identical or different - plants can be recognized or characterized, for example with regard to one or more distances between the plants, their spatial arrangement or distribution, their spatial density, an overall shape or silhouette of the grouping or the cluster and/or the like more. These overarching vegetation features, which result from a grouping of several plants, can facilitate unambiguous identification and thus enable the position of the motor vehicle to be determined even more reliably and robustly.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird die in dem Kamerabild abgebildete Vegetation, beispielsweise ebenfalls durch die Bildverarbeitungseinrichtung, automatisch taxonomisch eingeordnet. Es kann also beispielsweise - soweit oder so genau wie dies anhand der jeweils verfügbaren Daten oder in dem Kamerabild erkennbaren Details möglich ist - eine Art oder Gattung der Vegetation bzw. einzelner Pflanzen bestimmt oder eingeschränkt werden. Diese taxonomische Einordnung bzw. ein entsprechender Vegetationsdeskriptor wird dann ebenfalls mit der Karte bzw. den darin angegebenen Vegetationsdeskriptoren abgeglichen, um eine Übereinstimmung zu finden. Durch diese taxonomische Einordnung bzw. deren Berücksichtigung für den Abgleich bzw. bei dem Abgleich kann beispielsweise eine eindeutige Identifizierung auch dann ermöglicht werden, wenn es an unterschiedlichen Positionen strukturell zumindest im Wesentlichen gleiche Pflanzen gibt, die jedoch unterschiedlichen Arten oder Gattungen angehören. Für die hier vorgeschlagene bildbasierte Bestimmung von Pflanzen gibt es bereits bekannte Ansätze und Methoden, die hier verwendet werden können. Es kann hier eine Einzelspezies bzw. eine Einzeleinordnung, also eine taxonomische Einordnung einer einzelnen Pflanze, oder ein Muster, das sich aus einer räumlichen Anordnung oder Verteilung mehrerer Spezies, Gattungen oder Taxa relativ zueinander ergibt, für den Abgleich verwendet werden. Für die taxonomische Einordnung können beispielsweise Wuchshöhen, Blätterformen, Borkenmuster, Farbgebungen und/oder dergleichen mehr automatisch bestimmt oder ausgewertet werden.In a further possible embodiment of the present invention, the vegetation depicted in the camera image is automatically classified taxonomically, for example likewise by the image processing device. A type or genus of vegetation or individual plants can thus be determined or restricted, for example—as far or as precisely as this is possible based on the data available in each case or details recognizable in the camera image. This taxonomic classification or a corresponding vegetation descriptor is then also compared with the map or the vegetation descriptors specified therein in order to find a match. This taxonomic classification or its consideration for the comparison or during the comparison can, for example, enable a clear identification even if there are structurally at least essentially the same plants at different positions, but different species or genera belong. For the image-based determination of plants proposed here, there are already known approaches and methods that can be used here. An individual species or an individual classification, ie a taxonomic classification of an individual plant, or a pattern that results from a spatial arrangement or distribution of several species, genera or taxa relative to one another can be used for the comparison. For the taxonomic classification, for example, growth heights, leaf shapes, bark patterns, colors and/or the like can be automatically determined or evaluated.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird eine Historie mehrerer während einer jeweils aktuellen Fahrt des Kraftfahrzeugs basierend auf mehreren, zu unterschiedlichen Zeitpunkten und an unterschiedlichen Positionen des Kraftfahrzeugs aufgenommener Kamerabilder bestimmter Vegetationsmerkmale und/oder Positionen des Kraftfahrzeugs gespeichert. Vegetationsmerkmale in diesem Sinne können beispielsweise die genannte Pose, das Borkenmuster, die Gruppierung, die taxonomische Einordnung und/oder dergleichen mehr sein oder umfassen. Zum Detektieren, dass die Kamerabilder an unterschiedlichen Positionen aufgenommen wurden, können beispielsweise anhand von Betriebsparametern des Kraftfahrzeugs, wie beispielsweise einer Geschwindigkeit oder einem Lenkwinkel oder dergleichen, erkannte Positionsveränderungen des Kraftfahrzeugs bestimmt oder berücksichtigt werden. Die Historie wird bei dem Abgleich mit der Karte bzw. den darin angegebenen Vegetationsdeskriptoren berücksichtigt. Die Historie kann dabei als zu vergleichendes Detail oder Merkmal verwendet werden. Mit anderen Worten kann der Abgleich dann also durchgeführt werden, um eine Übereinstimmung von Vegetationsmerkmalen oder Vegetationsdeskriptoren über einen räumlichen Bereich hinweg, der größer ist als ein in einem einzelnen Kamerabild abgebildeter räumlicher Bereich, zu finden. Es kann hier beispielsweise eine bestimmte Abfolge von Pflanzen entlang einer zurückliegenden Fahrtroute des Kraftfahrzeugs auch dann für den Abgleich bzw. die Positionsbestimmung berücksichtigt werden, wenn diese Abfolge bzw. der entsprechende räumliche Bereich nicht in einem einzelnen Kamerabild abgebildet oder erfasst werden kann. Der Abgleich oder die Übereinstimmung kann damit auf eine entsprechend größere Daten- oder Merkmalsbasis gestützt sein oder werden. Somit steht hier also für den Abgleich eine entsprechend größere Datenbasis zur Verfügung, wodurch eine zuverlässigere oder robustere Bestimmung der Position ermöglicht werden kann.In a further possible embodiment of the present invention, a history of several during a current journey of the motor vehicle is stored based on several camera images of certain vegetation features and/or positions of the motor vehicle recorded at different times and at different positions of the motor vehicle. Vegetation features in this sense can be or include, for example, the named pose, the bark pattern, the grouping, the taxonomic classification and/or the like. To detect that the camera images were recorded at different positions, changes in the position of the motor vehicle can be determined or taken into account, for example based on operating parameters of the motor vehicle, such as a speed or a steering angle or the like. The history is taken into account when comparing with the map or the vegetation descriptors specified therein. The history can be used as a detail or characteristic to be compared. In other words, the comparison can then be carried out in order to find a match between vegetation features or vegetation descriptors over a spatial area that is larger than a spatial area imaged in a single camera image. For example, a specific sequence of plants along a previous route of the motor vehicle can also be taken into account for the comparison or position determination if this sequence or the corresponding spatial area cannot be imaged or recorded in a single camera image. The comparison or agreement can thus be or will be based on a correspondingly larger database or feature base. A correspondingly larger database is therefore available here for the comparison, as a result of which a more reliable or more robust determination of the position can be made possible.

Zusätzlich oder alternativ kann die Historie für ein initiales Einschränken oder Festlegen eines Abgleich- oder Suchbereichs der Karte, der dann ausschließlich für den jeweiligen Abgleich verwendet wird, verwendet werden. Mit anderen Worten kann anhand der Historie, also anhand der darin angegebenen vorangegangenen bestimmten Positionen und/oder erkannten Vegetationsmerkmale zunächst die Grobposition des Kraftfahrzeugs bestimmt werden. Dadurch kann die nachfolgende Bestimmung der Detailposition anhand des jeweils aktuellen Kamerabildes gegebenenfalls mit weniger Rechen- oder Datenverarbeitungsaufwand durchgeführt werden, da die anhand des aktuellen Kamerabildes bestimmten Vegetationsmerkmale nur gegen einen entsprechend eingeschränkten Teil der Karte abgeglichen werden müssen.Additionally or alternatively, the history can be used for an initial restriction or specification of a comparison or search area of the map, which is then used exclusively for the respective comparison. In other words, the approximate position of the motor vehicle can first be determined based on the history, ie based on the previously determined positions specified therein and/or detected vegetation features. As a result, the subsequent determination of the detailed position using the current camera image can possibly be carried out with less computing or data processing effort, since the vegetation features determined using the current camera image only have to be compared against a correspondingly restricted part of the map.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird das wenigstens eine Kamerabild zumindest zum Bestimmen der Pose des wenigstens einen Stammes und/oder des wenigstens einen Astes - aber gegebenenfalls ebenso zum Bestimmen eines oder mehrerer der an anderer Stelle genannten Vegetationsmerkmale - durch ein vorgegebenes, entsprechend trainiertes tiefes künstliches neuronales Netz verarbeitet. Es hat sich gezeigt, dass derartige für die Bildverarbeitung trainierte künstliche neuronale Netze eine effektive und effiziente Methode dafür die entsprechende bildbasierte Merkmalserkennung oder -extraktion darstellen können. Das künstliche neuronale Netz kann insbesondere eine einzige oder gemeinsame Eingangsschicht und mehrere dieser parallel zueinander nachgeschaltete Klassifizierer, also Ausgangsschichten oder auch diesen vorgeschaltete innere Schichten, aufweisen. Von den mehreren Klassifizierern ist dabei zumindest einer zur Vegetationsklassifizierung, also zum Bestimmen oder Identifizieren bzw. Angeben der beschriebenen Vegetationsmerkmale oder zum Erzeugen entsprechender Vegetationsdeskriptoren, trainiert, während ein anderer der Klassifizierer zur entsprechenden Klassifizierung einer Straßenausstattung trainiert ist.In a further possible embodiment of the present invention, the at least one camera image is used at least to determine the pose of the at least one trunk and/or the at least one branch - but possibly also to determine one or more of the vegetation features mentioned elsewhere - by a predefined, corresponding trained deep artificial neural network. It has been shown that such artificial neural networks trained for image processing can represent an effective and efficient method for the corresponding image-based feature recognition or extraction. The artificial neural network can in particular have a single or common input layer and a plurality of classifiers connected downstream in parallel to one another, ie output layers or also inner layers connected upstream of these. At least one of the several classifiers is trained for vegetation classification, ie for determining or identifying or specifying the described vegetation features or for generating corresponding vegetation descriptors, while another of the classifiers is trained for the corresponding classification of road equipment.

Mit anderen Worten können die Klassifizierer also auf unterschiedliche Arten von Landmarken trainiert sein. Dadurch kann eine entsprechende Spezialisierung der Klassifizierer und somit eine verbesserte Genauigkeit oder Zuverlässigkeit der Klassifikationen erreicht werden. Da in allen Fällen aber Kamerabilder als Eingangsdaten verarbeitet werden, kann die gemeinsame Eingangsschicht verwendet werden, um einen Datenverarbeitungsaufwand bzw. eine Komplexität des neuronalen Netzes zu begrenzen. Ebenso können weitere entsprechende parallelgeschaltete Klassifizierer vorgesehen sein, die beispielsweise zur Klassifizierung von Gebäuden, geographischen Landmarken und/oder dergleichen mehr trainiert sein können. Insgesamt kann somit eine besonders robuste und zuverlässige Positionsbestimmung des Kraftfahrzeugs in vielen unterschiedlichen Umgebungen ermöglicht werden.In other words, the classifiers can be trained on different types of landmarks. As a result, a corresponding specialization of the classifiers and thus an improved accuracy or reliability of the classifications can be achieved. However, since camera images are processed as input data in all cases, the common input layer can be used in order to limit the amount of data processing or the complexity of the neural network. Further corresponding classifiers connected in parallel can also be provided, which can be trained, for example, to classify buildings, geographical landmarks and/or the like. Overall, a particularly robust and reliable determination of the position of the motor vehicle can thus be made possible in many different environments.

Ebenso kann das künstliche neuronale Netz oder ein weiteres künstliches neuronales Netz zum Durchführen des Abgleichs mit der vorgegebenen Karte verwendet werden. Da zur Ausführung künstlicher neuronaler Netze heutzutage spezialisierte Hardware zur Verfügung steht, kann damit eine besonders schnelle und effiziente Durchführung des erfindungsgemäßen Verfahrens ermöglicht werden.Likewise, the artificial neural network or another artificial neural network can be used to perform the matching with the given map. Since specialized hardware is available nowadays for executing artificial neural networks, it is thus possible to carry out the method according to the invention particularly quickly and efficiently.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird jeweils zunächst ein Grobbereich, also beispielsweise die genannte Grobposition bzw. ein geographischer Ausschnitt oder eine geographische Region, bestimmt, wo sich das Kraftfahrzeug befindet. Es wird dann nur ein diesem Grobbereich oder dieser Grobposition entsprechender Teil der Karte für den Abgleich, also zum Bestimmen der Detailposition des Kraftfahrzeugs, verwendet. Der Grobbereich kann beispielsweise ein Bereich mit einer Fläche mehrerer m², mehrere Dutzend m², mehrerer hundert m² oder einiger km² sein. Der Grobbereich kann insbesondere basierend auf einer aktuellen oder geplanten Navigationsroute, mittels eines globalen Navigationssatellitensystems bzw. eines entsprechenden Empfängers des Kraftfahrzeugs, basierend auf Mobilfunksignalen, also beispielsweise anhand einer Identifikation eines oder mehrerer Sendemasten oder Basisstationen, zu denen das Kraftfahrzeug bzw. eine Positionsbestimmungseinrichtung des Kraftfahrzeugs eine Mobilfunkverbindung aufgebaut hat oder aufbauen kann, und/oder basierend auf WLAN-Signalen, beispielsweise anhand von detektierten SSIDs, Zugangspunkt-Standorten und/oder Signalstärken, bestimmt werden. Durch die Bestimmung des Grobbereiches kann der Teil der vorgegebenen Karte, der für den Abgleich berücksichtigt oder verwendet werden muss, signifikant reduziert bzw. eingeschränkt werden. Dadurch kann ein Datenverarbeitungsaufwand für den Abgleich begrenzt und somit eine Ausführungsgeschwindigkeit des erfindungsgemäßen Verfahrens zur Positionsbestimmung reduziert werden. Zudem kann auf diese Weise die Zuverlässigkeit der vegetationsbasierten Positionsbestimmung verbessert werden, da die Wahrscheinlichkeit von Fehlern oder nicht eindeutigen Ergebnissen aufgrund gleicher oder ähnlicher Vegetationsdeskriptoren an unterschiedlichen Positionen reduziert werden kann.In a further possible embodiment of the present invention, first of all a rough area, ie for example the mentioned rough position or a geographic section or a geographic region, is determined where the motor vehicle is located. Only a part of the map corresponding to this rough area or this rough position is then used for the comparison, that is to say for determining the detailed position of the motor vehicle. The rough area can be, for example, an area with an area of several m ² , several tens of m ² , several hundred m ² or several km ² . The rough area can be based in particular on a current or planned navigation route, using a global navigation satellite system or a corresponding receiver in the motor vehicle, based on mobile radio signals, i.e. for example based on an identification of one or more transmission masts or base stations to which the motor vehicle or a position determination device of the motor vehicle has established or may establish a cellular connection and/or based on WLAN signals, for example based on detected SSIDs, access point locations and/or signal strengths. By determining the rough area, the part of the specified map that has to be taken into account or used for the comparison can be significantly reduced or restricted. As a result, the amount of data processing required for the comparison can be limited and the execution speed of the method for position determination according to the invention can thus be reduced. In addition, the reliability of the vegetation-based position determination can be improved in this way, since the probability of errors or ambiguous results due to the same or similar vegetation descriptors at different positions can be reduced.

In einer möglichen Weiterbildung der vorliegenden Erfindung wird basierend auf dem bestimmten Grobbereich der entsprechende Teil der Karte zur Verwendung für den Abgleich automatisch über eine kabellose Datenverbindung aus einer fahrzeugexternen Servereinrichtung, beispielsweise bis also von einem Backend oder einem Cloud-Server, abgerufen. Der so abgerufene Teil der Karte, also entsprechende Kartendaten, können dann beispielsweise in einem Datenspeicher des Kraftfahrzeugs oder der Positionsbestimmungseinrichtung des Kraftfahrzeugs zur Verwendung für den Abgleich abgespeichert werden. Das Abrufen, also Herunterladen des entsprechenden Teils der Karte kann zumindest dann automatisch durchgeführt werden, falls der entsprechende Teil der Karte noch nicht lokal in dem Kraftfahrzeug bzw. dessen Positionsbestimmungseinrichtung vorliegt oder hinterlegt ist. Mit anderen Worten können hier also bedarfsgerecht jeweils benötigte Teile der Karte in das Kraftfahrzeug bzw. dessen Positionsbestimmungseinrichtung geladen werden. Wenn sich das Kraftfahrzeug bewegt, und somit ein anderer Grobbereich bestimmt wird, kann ein entsprechender Teil der Karte für diesen neuen Grobbereich aus der Servereinrichtung abgerufen werden. Mit diesem neuen Teil der Karte kann dann ein älterer, nicht mehr benötigter Teil der Karte, der in dem Kraftfahrzeug bzw. in dessen Positionsbestimmungseinrichtung bis dahin gespeichert war, überschrieben werden. Auf diese Weise kann das erfindungsgemäße Verfahren mit fahrzeugseitig begrenzten Hardwareressourcen angewendet werden. Zudem kann so besonders zuverlässig sichergestellt werden, dass für die Positionsbestimmung stets die aktuellsten verfügbaren Kartendaten verwendet werden. Ein entsprechendes Pflegen oder Verwalten, also ein Halten der Karte auf dem aktuellen Stand, kann also in der oder durch die Servereinrichtung und somit zentralisiert und damit besonders einfach und zuverlässig durchgeführt werden.In one possible development of the present invention, based on the determined rough area, the corresponding part of the map for use in the comparison is automatically retrieved via a wireless data connection from a server device external to the vehicle, for example from a backend or a cloud server. The part of the map retrieved in this way, that is to say the corresponding map data, can then be stored, for example, in a data memory of the motor vehicle or in the position-determining device of the motor vehicle for use in the comparison. The retrieval, ie downloading, of the corresponding part of the map can be carried out automatically at least if the corresponding part of the map is not yet present or stored locally in the motor vehicle or its position determination device. In other words, parts of the map that are required can be loaded into the motor vehicle or its position determination device as needed. If the motor vehicle moves and a different rough area is thus determined, a corresponding part of the map for this new rough area can be retrieved from the server device. This new part of the map can then be used to overwrite an older part of the map that is no longer required and that was previously stored in the motor vehicle or in its position-determining device. In this way, the method according to the invention can be used with limited hardware resources on the vehicle side. In addition, it can be ensured in a particularly reliable manner that the most up-to-date available map data is always used for determining the position. Appropriate maintenance or administration, ie keeping the card up to date, can therefore be carried out in or by the server device and can therefore be centralized and therefore particularly simple and reliable.

Ein weiterer Aspekt der vorliegenden Erfindung ist eine Positionsbestimmungseinrichtung für ein Kraftfahrzeug. Die erfindungsgemäße Positionsbestimmungseinrichtung weist eine Bildverarbeitungseinrichtung mit einer Eingangsschnittstelle zum Erfassen von Kamerabildern einer jeweils aktuellen Umgebung des Kraftfahrzeugs, einer Prozessoreinrichtung und einem Datenspeicher sowie eine Ausgangsschnittstelle zum Ausgeben einer durch die Positionsbestimmungseinrichtung jeweils basierend auf in dem Kamerabild abgebildeter Vegetation bestimmten aktuellen Position des Kraftfahrzeugs auf. Die aktuelle Position bezeichnet diejenige Position, an der sich das Kraftfahrzeug zu dem Zeitpunkt befindet oder befand, an dem das jeweilige Kamerabild aufgenommen wurde. Die erfindungsgemäße Positionsbestimmungseinrichtung ist zum, insbesondere automatischen oder teilautomatischen, Ausführen zumindest einer Variante oder Ausführungsform des erfindungsgemäßen Verfahrens eingerichtet. Die erfindungsgemäße Positionsbestimmungseinrichtung kann also insbesondere die im Zusammenhang mit dem erfindungsgemäßen Verfahren genannteA further aspect of the present invention is a position determination device for a motor vehicle. The position determination device according to the invention has an image processing device with an input interface for capturing camera images of a respective current environment of the motor vehicle, a processor device and a data memory as well as an output interface for outputting a current position of the motor vehicle determined by the position determination device based on vegetation depicted in the camera image. The current position designates the position at which the motor vehicle is or was at the point in time at which the respective camera image was recorded. The position determination device according to the invention is set up to carry out at least one variant or embodiment of the method according to the invention, in particular automatically or semi-automatically. The position determination device according to the invention can therefore in particular be the one mentioned in connection with the method according to the invention

Positionsbestimmungseinrichtung sein und dementsprechend einige oder alle der dort beschriebenen Eigenschaften und/oder Merkmale aufweisen. Die Positionsbestimmungseinrichtung kann zudem eine Kamera zum Aufnehmen der Kamerabilder oder eine entsprechende Schnittstelle oder einen entsprechenden Anschluss zum Verbinden mit der Kamera oder beispielsweise mit einem Bordnetz, an das die Kamera angeschlossen ist, aufweisen. Zum Ausführen des entsprechenden Verfahrens kann beispielsweise in dem Datenspeicher ein dieses Verfahren bzw. dessen Abläufe oder Verfahrensschritte kodierendes oder implementierendes Computerprogramm gespeichert sein, das durch die Prozessoreinrichtung ausführbar ist, um die Ausführung des entsprechenden Verfahrens zu bewirken oder zu veranlassen. Die Prozessoreinrichtung kann beispielsweise ein Mikrochip, ein Mikroprozessor oder Mikrocontroller sein oder einen solchen umfassen.Be position determination device and accordingly have some or all of the properties and / or features described there. The position determination device can also have a camera for recording the camera images or a corresponding interface or a corresponding connection for connecting to the camera or, for example, to an on-board network to which the camera is connected. To execute the corresponding method, a computer program that encodes or implements this method or its sequences or method steps can be stored in the data memory, for example, which can be executed by the processor device in order to cause or cause the corresponding method to be executed. The processor device can be, for example, a microchip, a microprocessor or a microcontroller or can include one.

Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, das wenigstens eine Kamera zum Aufnehmen eines Kamerabildes einer jeweils aktuellen Umgebung des Kraftfahrzeugs sowie eine - damit verbundene oder diese umfassende - erfindungsgemäße Positionsbestimmungseinrichtung aufweist. Zum Aufnehmen der Kamerabilder der Umgebung des Kraftfahrzeugs kann die Kamera insbesondere in eine Umgebung des Kraftfahrzeugs gerichtet sein. Das erfindungsgemäße Kraftfahrzeug kann zur, insbesondere automatischen oder teilautomatischen, Ausführung des erfindungsgemäßen Verfahrens eingerichtet sein. Das erfindungsgemäße Kraftfahrzeug kann also insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder im Zusammenhang mit der erfindungsgemäßen Positionsbestimmungseinrichtung genannte Kraftfahrzeug sein.A further aspect of the present invention is a motor vehicle that has at least one camera for recording a camera image of a current environment of the motor vehicle and a position determination device according to the invention—connected thereto or comprising it. In order to record the camera images of the area surrounding the motor vehicle, the camera can be directed in particular into the area surrounding the motor vehicle. The motor vehicle according to the invention can be set up to carry out the method according to the invention, in particular automatically or semi-automatically. The motor vehicle according to the invention can therefore in particular be the motor vehicle mentioned in connection with the method according to the invention and/or in connection with the position determination device according to the invention.

Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.Further features of the invention can result from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description and the features and feature combinations shown below in the description of the figures and/or in the figures alone can be used not only in the combination specified in each case, but also in other combinations or on their own, without going beyond the scope of the invention to leave.

Die Zeichnung zeigt in der einzigen Figur eine schematische Übersichtsdarstellung zur Veranschaulichung eines Verfahrens zur Bestimmung einer Position eines Kraftfahrzeugs. In the single figure, the drawing shows a schematic overview representation to illustrate a method for determining a position of a motor vehicle.

Ein Bestimmen einer Position eines Fahrzeugs stellt einen wichtigen Schritt bzw. eine wichtige Grundlage für vielerlei unterschiedliche Maßnahmen und Steuerungsprozesse dar. 1 zeigt dazu eine schematische Übersichtsdarstellung einer Straße 10, auf der sich ein Kraftfahrzeug 12 bewegt. An der Straße 10 befindet sich hier Vegetation 14, vorliegend beispielhaft durch einige Bäume repräsentiert. Weiter ist hier eine fahrzeugexterne Servereinrichtung 16 dargestellt.Determining a position of a vehicle represents an important step or an important basis for many different measures and control processes. 1 shows a schematic overview of a road 10 on which a motor vehicle 12 is moving. On the road 10 there is vegetation 14 here, represented by a few trees in the present example. A vehicle-external server device 16 is also shown here.

In der dargestellten Situation soll nun die aktuelle Position des Kraftfahrzeugs 12 automatisch bestimmt werden. Herkömmlich können zur Positionsbestimmung beispielsweise ein globales Navigationssatellitensystem sowie künstliche Landmarken, wie beispielsweise Schilder, Leitpfosten oder Fahrbahnmarkierungen verwendet werden. Es gibt jedoch Bereiche oder Gegenden, in denen weder ein ausreichender Signalempfang für eine satellitengestützte Positionsbestimmung noch ausreichende künstliche Landmarken für eine darauf basierende Positionsbestimmung vorhanden sind. Es wird daher vorliegend vorgeschlagen, die Vegetation 14 oder Vegetationsmerkmale der Vegetation 14 als Landmarke zur Positionsbestimmung zu verwenden. Dies kann insbesondere basierend auf Merkmalen der Vegetation 14, die mithilfe eines Bildverarbeitungsalgorithmus erkannt und klassifiziert werden können, durchgeführt werden. Das hier vorgestellte Verfahren zielt also auf die bildbasierte Merkmalsextraktion der Vegetation 14 ähnlich eines Fingerabdrucks ab. Hierzu sollen Verfahren zur Erkennung von Strukturen bzw. einer Pose, beispielsweise von Stämmen und Ästen, sowie gegebenenfalls Mustern, eines Borkenmusters, anhand von Bilddaten genutzt werden.In the situation shown, the current position of motor vehicle 12 is now to be determined automatically. Conventionally, for example, a global navigation satellite system and artificial landmarks such as signs, delineators or lane markings can be used to determine position. However, there are areas or areas in which there is neither sufficient signal reception for satellite-based position determination nor sufficient artificial landmarks for position determination based thereon. It is therefore proposed here to use the vegetation 14 or vegetation features of the vegetation 14 as a landmark for position determination. In particular, this can be carried out based on features of the vegetation 14 that can be recognized and classified using an image processing algorithm. The method presented here thus aims at the image-based feature extraction of the vegetation 14 similar to a fingerprint. For this purpose, methods for recognizing structures or a pose, for example trunks and branches, and possibly patterns, a bark pattern, are to be used on the basis of image data.

Dazu weist das Kraftfahrzeug 12 vorliegend eine Kamera 18 zum Aufnehmen von Kamerabildern, die eine jeweils aktuelle Umgebung einschließlich der lokalen Vegetation 14 abbilden, auf. Weiter weist das Kraftfahrzeug 12 eine Positionsbestimmungseinrichtung 20 auf. Die Kamera 18 ist dabei, beispielsweise über ein Bordnetz des Kraftfahrzeugs 12, an eine Eingangsschnittstelle 22 der Positionsbestimmungseinrichtung 20 angeschlossen. Über die Eingangsschnittstelle 22 kann die Positionsbestimmungseinrichtung 20 also mittels der Kamera 18 aufgenommene Kamerabilder der jeweiligen Umgebung des Kraftfahrzeugs 12 erfassen. Zum Verarbeiten der erfassten Kamerabilder weist die Positionsbestimmungseinrichtung 20 einen Prozessor 24 und einen Datenspeicher 26, auf dem beispielsweise ein das hier beschriebene Verfahren codierendes oder implementierendes und durch den Prozessor 24 ausführbares Betriebs- oder Computerprogramm gespeichert ist, auf.For this purpose, the motor vehicle 12 in the present case has a camera 18 for recording camera images that depict a current environment including the local vegetation 14 . Motor vehicle 12 also has a position determination device 20 . In this case, the camera 18 is connected to an input interface 22 of the position determination device 20 , for example via an on-board network of the motor vehicle 12 . The position determining device 20 can thus use the input interface 22 to capture camera images of the respective surroundings of the motor vehicle 12 that are recorded by the camera 18 . For processing the captured camera images, the position determination device 20 has a processor 24 and a data memory 26 on which, for example, an operating or computer program that codes or implements the method described here and can be executed by the processor 24 is stored.

Weiter weist das Kraftfahrzeug 12 hier eine Kommunikationseinrichtung 28 auf, beispielsweise als Teil der Positionsbestimmungseinrichtung 20. Über die Kommunikationseinrichtung 28 kann die Positionsbestimmungseinrichtung 20 eine vorgegebene Karte, in der positionsbezogene, also mit einer jeweiligen Positionsangabe versehene Vegetationsdeskriptoren eingetragen sind, von der Servereinrichtung 16 abrufen. Die Vegetationsdeskriptoren beschreiben dabei Pflanzen bzw. Vegetationsmerkmale von Pflanzen an der jeweiligen Position, hier also beispielsweise auch Vegetationsmerkmale der Vegetation 14, die sich in der aktuellen Situation in einem Aufnahme- oder Erfassungsbereich der Kamera 18 befindet.Motor vehicle 12 also has a communication device 28 here, for example as part of position determination device 20. Via communication device 28, position determination device 20 can call up a predefined map from server device 16, in which vegetation descriptors related to the position, i.e. provided with a respective position information, are entered. The vegetation descriptors describe plants or vegetation features of plants at the respective position, here for example also vegetation features of the vegetation 14 that is in a recording or detection range of the camera 18 in the current situation.

Die Positionsbestimmungseinrichtung 20 verarbeitet automatisch die Kamerabilder bzw. des jeweils aktuelle Kamerabild, um Vegetationsmerkmale der darin abgebildeten Vegetation 14 zu bestimmen. Dabei werden beispielsweise eine Stamm- und/oder Astpose, ein Borkenmuster, eine Spezies, eine oder Gruppierung und/oder dergleichen mehr der Vegetation 14 bestimmt. Die so bestimmten Vegetationsmerkmale bzw. daraus automatisch erzeugte Vegetationsdeskriptoren werden dann durch die Positionsbestimmungseinrichtung 20 mit der von der Servereinrichtung 16 abgerufenen oder in dem Datenspeicher 26 hinterlegten Karte bzw. den darin eingetragenen Vegetationsdeskriptoren verglichen. Ergibt der Vergleich eine Übereinstimmung, so wird die zu dem entsprechenden Vegetationsdeskriptor der Karte angegebene Position verwendet, um die aktuelle Position des Kraftfahrzeugs 12 zu bestimmen.The position determination device 20 automatically processes the camera images or the current camera image in each case in order to determine vegetation features of the vegetation 14 depicted therein. For example, a trunk and/or branch pose, a bark pattern, a species, or a grouping and/or the like more of the vegetation 14 are determined. The vegetation features determined in this way or vegetation descriptors automatically generated therefrom are then compared by the position determination device 20 with the map retrieved from the server device 16 or stored in the data memory 26 or the vegetation descriptors entered therein. If the comparison results in a match, then the position specified for the corresponding vegetation descriptor on the map is used to determine the current position of motor vehicle 12 .

Die so bestimmte Position des Kraftfahrzeugs 12 kann dann über eine Ausgangsschnittstelle 30 der Positionsbestimmungseinrichtung 20 ausgegeben oder bereitgestellt werden, beispielsweise an eine Assistenzeinrichtung 32 des Kraftfahrzeugs 12.The position of motor vehicle 12 determined in this way can then be output or made available via an output interface 30 of position determination device 20, for example to an assistance device 32 of motor vehicle 12.

Das hier vorgestellte Verfahren ermöglicht die Erkennung und Registrierung von Landmarken auf Basis der jeweils umgebenden Vegetation 14. Dabei können beispielsweise Stamm- und/oder Astmuster von Bäumen durch eine Vegetations-Posen-Klassifikation erkannt und mit der Karte, also entsprechenden Referenz- oder Vergleichsdaten, abgeglichen werden. Dabei können nicht nur Vegetationsmerkmale einzelner Pflanzen, sondern auch Eigenschaften oder Merkmale von Clustern, also Gruppen oder Gruppierungen von mehreren Pflanzen, zum Bestimmen weiterer Identifikationsmerkmale zur Erkennung und Lokalisierung verwendet werden.The method presented here enables the recognition and registration of landmarks on the basis of the respective surrounding vegetation 14. For example, trunk and/or branch patterns of trees can be recognized by a vegetation pose classification and compared with the map, i.e. corresponding reference or comparison data. be matched. In this case, not only vegetation features of individual plants, but also properties or features of clusters, ie groups or groupings of several plants, can be used to determine further identification features for recognition and localization.

Insgesamt zeigen die beschriebenen Beispiele also wie eine vegetationsbasierte visuelle Landmarkenerkennung oder Landmarkenregistrierung zur Positionsbestimmung eines Fahrzeugs verwendet werden kann.Overall, the examples described show how vegetation-based visual landmark detection or landmark registration can be used to determine the position of a vehicle.

BezugszeichenlisteReference List

1010: Straßeroad
1212: Kraftfahrzeugmotor vehicle
1414: Vegetationvegetation
1616: Servereinrichtungserver setup
1818: Kameracamera
2020: Positionsbestimmungseinrichtungpositioning device
2222: Eingangsschnittstelleinput interface
2424: Prozessorprocessor
2626: Datenspeicherdata storage
2828: Kommunikationseinrichtungcommunication facility
3030: Ausgangsschnittstelleoutput interface
3232: Assistenzeinrichtungassistance facility

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 102006062061 B4 [0003]

Claims

Method for determining the position of a motor vehicle (12), in which - at least one camera image of a respective current environment of the motor vehicle (12) is recorded by means of a camera (18) of the motor vehicle (12), - by means of an image processing device (20; 24, 26) of the motor vehicle (12), by processing the camera image, a pose of at least one trunk and/or at least one branch of vegetation (14) depicted in the camera image, which is located laterally next to one of the motor vehicle ( 12) is located on the roadway (10) traveled on and/or at least partially towers over it, - the determined pose is compared with a given map in which vegetation descriptors are plotted with a respective associated position in order to find a match, and - If a match is found, the current position of the motor vehicle (12) is determined using the corresponding position indicated on the map.

procedure after claim 1 , characterized in that a bark pattern of the vegetation (14) is also determined by the image processing device (20; 24, 26) and this bark pattern is also compared with the map.

Method according to one of the preceding claims, characterized in that the image processing device (20; 24, 26) characterizes a grouping of several plants (14) depicted in the camera image relative to one another and a corresponding characterization is compared with the map.

Method according to one of the preceding claims, characterized in that the vegetation (14) depicted in the camera image is automatically classified taxonomically and this taxonomic classification is also compared with the map.

Method according to one of the preceding claims, characterized in that a history of several vegetation features and/or positions stored during a current trip of the motor vehicle (12) based on several camera images recorded at different times and at different positions and in the comparison with the map is taken into account.

Method according to one of the preceding claims, characterized in that the at least one camera image is processed at least to determine the pose of the at least one trunk and/or the at least one branch by a predetermined appropriately trained deep artificial neural network, in particular by a neural network that a common input layer and several of these parallel downstream classifiers, of which at least one is trained to classify vegetation and another to classify road equipment.

Method according to one of the preceding claims, characterized in that first of all, in particular by means of a global navigation satellite system, based on mobile radio and/or WLAN signals and/or based on a current or planned navigation route of the motor vehicle, a rough area is determined in which the motor vehicle (12) is located, and only a part of the map corresponding to this is used for the comparison.

procedure after claim 7 , characterized in that based on the determined rough area and/or a currently planned navigation route of the motor vehicle (12), the corresponding part of the map for use in the comparison is automatically retrieved from a vehicle-external server device (16) via a wireless data connection.

Position determination device (20) for a motor vehicle (12), having an image processing device with an input interface (22) for capturing a camera image of a current environment of the motor vehicle (12), a processor device (24) and a data memory (26) and an output interface (30) for outputting a current position of the motor vehicle (12) determined by the position determination device (20) based on vegetation (14) depicted in the camera image, the position determination device (20) being set up to carry out a method according to one of the preceding claims.

Motor vehicle (12), having a camera (18) for recording a camera image of a respective current environment of the motor vehicle (12) and a position determination device (20). claim 9 .