DE102022126922A1

DE102022126922A1 - Method for tracking a lane boundary for a vehicle

Info

Publication number: DE102022126922A1
Application number: DE102022126922.1A
Authority: DE
Inventors: Gonzalo Ferrer-Pastor; Lucia Teijeiro; Nagarajan Balmukundan
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2022-10-14
Filing date: 2022-10-14
Publication date: 2024-04-25

Abstract

Die Erfindung betrifft ein Verfahren zum Verfolgen einer Begrenzung (5) einer Fahrspur (3) für ein Fahrzeug (1), umfassend: Bestimmen (S2) mehrerer mathematischer Modelle (15, 16), die die Begrenzung (5) für zwei Einzelbilder beschreiben; Korrigieren (S3) der bestimmten mathematischen Modelle (15) für ein erstes Einzelbild unter Berücksichtigung einer Odometrie-Information (19); Anwenden (S4) eines Angleichalgorithmus (21) auf die korrigierten mathematischen Modelle (20) und die mathematischen Modelle (16) für ein zweites Einzelbild zum Bestimmen einander zugeordneter Paare (22) von mathematischen Modellen (16, 20); Entfernen (S6) des korrigierten mathematischen Modells (20) für das erste Einzelbild, das nicht von einem der bestimmten einander zugeordneter Paare (22) umfasst wird und/oder für das ein Löschzähler (25) außerhalb eines Löschzählerwertbereichs (26) ist; Bereitstellen (S8) der verbliebenen mathematischen Modelle (16, 20); und Verfolgen (S9) der Begrenzung (5) unter Berücksichtigung zumindest eines der bereitgestellten mathematischen Modelle (16, 20).The invention relates to a method for tracking a boundary (5) of a lane (3) for a vehicle (1), comprising: determining (S2) a plurality of mathematical models (15, 16) which describe the boundary (5) for two individual images; correcting (S3) the determined mathematical models (15) for a first individual image taking into account odometry information (19); applying (S4) an adjustment algorithm (21) to the corrected mathematical models (20) and the mathematical models (16) for a second individual image to determine mutually associated pairs (22) of mathematical models (16, 20); removing (S6) the corrected mathematical model (20) for the first individual image which is not included in one of the determined mutually associated pairs (22) and/or for which an erasure counter (25) is outside an erasure counter value range (26); providing (S8) the remaining mathematical models (16, 20); and tracking (S9) the boundary (5) taking into account at least one of the provided mathematical models (16, 20).

Description

Die Erfindung betrifft ein Verfahren zum Verfolgen einer Begrenzung einer Fahrspur für ein Fahrzeug. Die Erfindung betrifft des Weiteren ein Fahrzeug, ein Verarbeitungsgerät sowie ein Computerprogrammprodukt zum Durchführen eines derartigen Verfahrens.The invention relates to a method for tracking a lane boundary for a vehicle. The invention further relates to a vehicle, a processing device and a computer program product for carrying out such a method.

Ein Fahrzeug kann eine Fahrzeugfunktion, zum Beispiel eine Fahrerassistenzfunktion, aufweisen. Die Fahrzeugfunktion kann zumindest teilweise von einem präzisen Verfolgen einer Begrenzung einer Fahrspur abhängen, auf der das Fahrzeug gegenwärtig fährt. Die Begrenzung kann eine Fahrbahnkante einer Fahrbahn sein, die eine Fahrspur aufweist, und/oder Markierungen auf einer Oberfläche der Fahrbahn. Eine Kamera des Fahrzeugs kann eine Kamerainformation erfassen, die die Begrenzung in einer Umgebung des Fahrzeugs beschreibt, und eine Steuereinheit des Fahrzeugs kann die erfasste Kamerainformation analysieren, um die Begrenzung zu detektieren und zu verfolgen.A vehicle may include a vehicle function, for example a driver assistance function. The vehicle function may depend at least in part on precisely tracking a boundary of a lane in which the vehicle is currently traveling. The boundary may be a lane edge of a roadway having a lane and/or markings on a surface of the roadway. A camera of the vehicle may capture camera information describing the boundary in an environment of the vehicle, and a control unit of the vehicle may analyze the captured camera information to detect and track the boundary.

Um sicherzustellen, dass die Fahrzeugfunktion zuverlässig arbeitet, muss das Verfolgen der Begrenzung präzise sein.To ensure that the vehicle functions reliably, boundary tracking must be precise.

Die DE 10 2020 112 958 A1 offenbart ein Verfahren zum Bereitstellen einer Fahrspurbegrenzungsprädiktion zur Verwendung in einem Fahrassistenzsystem eines Ego-Fahrzeugs. Das Verfahren umfasst Bereitstellen einer Umgebungskarte, die eine Fahrspurinformation umfasst, Empfangen von Sensorinformationen von einem Sensor des Ego-Fahrzeugs, Detektieren einer Fahrspur in der Umgebung des Ego-Fahrzeugs basierend auf den Sensorinformationen sowie Kombinieren der Fahrspurinformation und der detektierten Fahrspur zum Bereitstellen eines vereinheitlichten Fahrspurmodells, welches die Fahrspurbegrenzungen enthält.The EN 10 2020 112 958 A1 discloses a method for providing a lane boundary prediction for use in a driver assistance system of an ego vehicle. The method includes providing an environment map that includes lane information, receiving sensor information from a sensor of the ego vehicle, detecting a lane in the environment of the ego vehicle based on the sensor information, and combining the lane information and the detected lane to provide a unified lane model that includes the lane boundaries.

Die US 2010/0054538 A1 offenbart ein Verfahren und System zum Detektieren von Fahrbahnmarkierungen. Das Verfahren umfasst Empfangen eines Bilds einer Fahrbahn vor dem Fahrzeug, Bestimmen eines Bereichs von Interesse auf einer identifizierten Fahrbahn in dem Bild sowie Detektieren von Fahrbahnmarkierungen durch Detektieren von Fahrspurmarkierungen in dem Bereich von Interesse. Können keine Fahrspurmarkierungen detektiert werden, werden Fahrbahnbegrenzungen in dem Bereich von Interesse detektiert.The US 2010/0054538 A1 discloses a method and system for detecting lane markings. The method includes receiving an image of a roadway ahead of the vehicle, determining an area of interest on an identified lane in the image, and detecting lane markings by detecting lane markings in the area of interest. If lane markings cannot be detected, lane boundaries in the area of interest are detected.

Es ist die Aufgabe der Erfindung, ein präzises Verfolgen einer Begrenzung einer Fahrspur bereitzustellen.It is the object of the invention to provide precise tracking of a lane boundary.

Die Aufgabe wird durch die unabhängigen Patentansprüche gelöst.The problem is solved by the independent patent claims.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Verfolgen einer Begrenzung einer Fahrspur für ein Fahrzeug. Das Verfahren wird zum Beispiel von dem Fahrzeug selbst durchgeführt. Das Fahrzeug fährt gegenwärtig auf einer von mehreren Fahrspuren der Fahrbahn. Alternativ fährt das Fahrzeug gegenwärtig auf einer Fahrspur, die der Fahrbahn entspricht. Das bedeutet, dass es sein kann, dass keine Unterteilung der Fahrbahn in mehr als eine Fahrspur vorhanden ist. Die Begrenzung begrenzt die Fahrspur auf gegenüberliegenden Seiten bei Betrachtung in einer Querrichtung zu einer Fahrtrichtung auf der Fahrspur. Die Begrenzung ist vorzugsweise eine Oberflächenmarkierung auf einer Oberfläche der Fahrbahn. Die Begrenzung ist daher zum Beispiel als ein Mittelstreifen und/oder ein Randstreifen der Fahrbahn ausgestaltet, welche die Fahrspur umfasst. Alternativ oder zusätzlich weist die Fahrspur zumindest teilweise keine Begrenzung auf, die speziell auf der Fahrbahnoberfläche markiert ist. In einem solchen Fall ist die Begrenzung als Außenkante der Fahrbahn definiert, die die Fahrbahn von einer umliegenden Umgebung, zum Beispiel von einem Feld, einem Grasstreifen und/oder einem Gehweg, trennt. Eine andere Art von Umgebung, die die Fahrbahn und/oder Fahrspur begrenzt ist möglich.A first aspect of the invention relates to a method for tracking a boundary of a lane for a vehicle. The method is performed, for example, by the vehicle itself. The vehicle is currently driving on one of several lanes of the roadway. Alternatively, the vehicle is currently driving on a lane corresponding to the roadway. This means that there may be no division of the roadway into more than one lane. The boundary delimits the lane on opposite sides when viewed in a transverse direction to a direction of travel on the lane. The boundary is preferably a surface marking on a surface of the roadway. The boundary is therefore, for example, designed as a median strip and/or an edge strip of the roadway comprising the lane. Alternatively or additionally, the lane at least partially has no boundary specifically marked on the roadway surface. In such a case, the boundary is defined as an outer edge of the roadway that separates the roadway from a surrounding environment, for example a field, a grass verge and/or a footpath. Another type of environment delimiting the roadway and/or lane is possible.

Das Verfahren umfasst ein Bereitstellen einer Begrenzungsinformation. Die Begrenzungsinformation beschreibt die Begrenzung der Fahrspur in einem ersten Einzelbild und in einem zweiten Einzelbild. Das erste Einzelbild wurde vor dem zweiten Einzelbild erfasst. Das erste Einzelbild kann alternativ als erste Abbildung bezeichnet werden und das zweite Einzelbild als zweite Abbildung. Das erste und zweite Einzelbild werden vorzugsweise als Kamerainformationen bereitgestellt, die jeweils die Umgebung des Fahrzeugs beschreiben. Vorzugsweise stellt ein Kameragerät des Fahrzeugs, insbesondere eine Frontkamera, das erste und zweite Einzelbild bereit. Alternativ oder zusätzlich kann ein fahrzeugexternes Kameragerät die Kamerainformationen des ersten und zweiten Einzelbilds bereitstellen. Das erste und zweite Kamerabild können sich voneinander unterscheiden, da sie zeitlich eines nach dem anderen erfasst werden. Typischerweise hat sich die Umgebung des Fahrzeugs zumindest teilweise zwischen der Erfassung des ersten Einzelbilds und des zweiten Einzelbilds aufgrund einer Ego-Bewegung des Fahrzeugs verändert. Ein Zeitabstand zwischen Erfassung des ersten Einzelbilds und Erfassung des zweiten Einzelbilds kann weniger als eine Sekunde sein oder alternativ mehr als eine Sekunde, zum Beispiel zwei oder drei Sekunden. Sowohl das erste Einzelbild als auch das zweite Einzelbild beschreiben die Begrenzung der Fahrspur. Das bedeutet, dass es durch Analysieren eines der Einzelbilder möglich ist, zumindest einen Bereich in der Umgebung des Fahrzeugs, in dem sich die Begrenzung der Fahrspur befindet, zu bestimmen. Die Begrenzungsinformationen können durch eine Liste einzelner Punkte, insbesondere von Koordinaten der einzelnen Punkte, beschrieben werden, wobei sich die Punkte auf der Fahrspur befinden.The method includes providing boundary information. The boundary information describes the boundary of the lane in a first frame and in a second frame. The first frame was captured before the second frame. The first frame can alternatively be referred to as the first image and the second frame as the second image. The first and second frames are preferably provided as camera information, each describing the surroundings of the vehicle. Preferably, a camera device of the vehicle, in particular a front camera, provides the first and second frames. Alternatively or additionally, a camera device external to the vehicle can provide the camera information of the first and second frames. The first and second camera images can differ from one another in time because they are captured one after the other. Typically, the surroundings of the vehicle have changed at least partially between the capture of the first frame and the second frame due to an ego movement of the vehicle. A time interval between the capture of the first frame and the capture of the second frame can be less than one second or alternatively more than one second, for example two or three seconds. Both the first frame and the second frame describe the boundary of the lane. This means that by analyzing one of the individual images, it is possible to identify at least one area in the vehicle's surroundings where the boundary of the lane. The boundary information can be described by a list of individual points, in particular coordinates of the individual points, where the points are located on the lane.

Das Verfahren umfasst ein Bestimmen mehrerer mathematischer Modelle, die die Begrenzung beschreiben. Die mathematischen Modelle beschreiben die Begrenzung sowohl für das erste Einzelbild als auch für das zweite Einzelbild. Das bedeutet, dass nach Bestimmen der mehreren mathematischen Modelle mehrere mathematische Modelle für das erste Einzelbild und mehrere mathematische Modelle für das zweite Einzelbild vorliegen. Das Bestimmen wird durch Anwenden eines Bestimmungsalgorithmus für ein mathematisches Modell auf die bereitgestellte Begrenzungsinformation für das erste Einzelbild beziehungsweise das zweite Einzelbild durchgeführt. Mit anderen Worten umfasst das Verfahren ein Anwenden des Bestimmungsalgorithmus für ein mathematisches Modell auf die Begrenzungsinformation für das erste Einzelbild, um die mehreren mathematischen Modelle für das erste Einzelbild zu bestimmen. Des Weiteren umfasst das Verfahren ein Anwenden des Bestimmungsalgorithmus für ein mathematisches Modell auf die Begrenzungsinformation für das zweite Einzelbild, um die mehreren mathematischen Modelle für das zweite Einzelbild zu bestimmen. Die mehreren mathematischen Modelle können jeweils eine spezifische mathematische Funktion aufweisen, die einen Verlauf der Begrenzung geometrisch beschreibt. Die mathematische Funktion ist zum Beispiel eine Polynomfunktion. Das mathematische Modell passt jeweils zumindest teilweise und/oder zumindest annähernd zu den Punkten auf der Begrenzung gemäß den Begrenzungsinformationen. Eine Abweichung des jeweiligen mathematischen Modells und der Begrenzung voneinander kann anhand eines Fehlerwerts quantifiziert werden. Typischerweise unterscheiden sich die für das erste Einzelbild und das zweite Einzelbild bestimmten mathematischen Modelle voneinander.The method includes determining a plurality of mathematical models that describe the boundary. The mathematical models describe the boundary for both the first single image and the second single image. This means that after determining the plurality of mathematical models, there are a plurality of mathematical models for the first single image and a plurality of mathematical models for the second single image. The determination is carried out by applying a mathematical model determination algorithm to the boundary information provided for the first single image or the second single image. In other words, the method includes applying the mathematical model determination algorithm to the boundary information for the first single image to determine the plurality of mathematical models for the first single image. Furthermore, the method includes applying the mathematical model determination algorithm to the boundary information for the second single image to determine the plurality of mathematical models for the second single image. The plurality of mathematical models can each have a specific mathematical function that geometrically describes a course of the boundary. The mathematical function is, for example, a polynomial function. The mathematical model fits at least partially and/or at least approximately to the points on the boundary according to the boundary information. A deviation of the respective mathematical model and the boundary from each other can be quantified using an error value. Typically, the mathematical models determined for the first frame and the second frame differ from each other.

Das Verfahren umfasst ein Korrigieren der bestimmten mathematischen Modelle für das erste Einzelbild unter Berücksichtigung einer Odometrie-Information. Die Odometrie-Information beschreibt eine Positions- und/oder Orientierungsänderung des Fahrzeugs zwischen Erfassung des ersten Einzelbilds und Erfassung des zweiten Einzelbilds. Durch Korrigieren der bestimmten mathematischen Modelle für das erste Einzelbild wird eine Bewegung des Fahrzeugs zwischen Erfassung des ersten Einzelbilds und Erfassung des zweiten Einzelbilds berücksichtigt. Die korrigierten mathematischen Modelle für das erste Einzelbild beschreiben jeweils eine prädizierte Begrenzung für das zweite Einzelbild basierend auf der Begrenzung gemäß dem ersten Einzelbild und unter Berücksichtigung der Positions- und/oder Orientierungsänderung, die seit Erfassung des ersten Einzelbilds erfolgt ist. Ist zumindest eine Form der Begrenzung zwischen Erfassung des ersten und zweiten Einzelbilds weitgehend unverändert geblieben, so sollten die korrigierten mathematischen Modelle für das erste Einzelbild und die mathematischen Modelle für das zweite Einzelbild zusammenpassen.The method comprises correcting the specific mathematical models for the first individual image taking into account odometry information. The odometry information describes a change in position and/or orientation of the vehicle between capturing the first individual image and capturing the second individual image. By correcting the specific mathematical models for the first individual image, a movement of the vehicle between capturing the first individual image and capturing the second individual image is taken into account. The corrected mathematical models for the first individual image each describe a predicted boundary for the second individual image based on the boundary according to the first individual image and taking into account the change in position and/or orientation that has occurred since the first individual image was captured. If at least one form of the boundary has remained largely unchanged between capturing the first and second individual images, the corrected mathematical models for the first individual image and the mathematical models for the second individual image should match.

Die Odometrie-Information wird zum Beispiel basierend auf einer Radgeschwindigkeit und/oder einem Lenkwinkel des Fahrzeugs bestimmt. Ein Sensorgerät des Fahrzeugs kann die Radgeschwindigkeit und/oder den Lenkwinkel erfassen. Alternativ oder zusätzlich kann ein Positionieren des Fahrzeugs zum Beispiel basierend auf Daten eines globalen Navigationssatellitensystems (GNSS für global navigation satellite system), die zum Beispiel von einem globalen Positionsbestimmungssystem (GPS für global positioning system) bereitgestellt werden, durchgeführt werden. Alternativ oder zusätzlich kann ein externes Gerät die Odometrie-Information über eine vorzugsweise drahtlose Kommunikationsverbindung bereitstellen. Das externe Gerät kann ein anderes Fahrzeug, eine Straßenüberwachungskamera und/oder ein externes Verarbeitungsgerät, wie etwa ein Server sein, der die Odometrie-Information zu dem Fahrzeug, zum Beispiel von dem anderen Fahrzeug oder der Straßenüberwachungskamera empfängt.The odometry information is determined, for example, based on a wheel speed and/or a steering angle of the vehicle. A sensor device of the vehicle may detect the wheel speed and/or the steering angle. Alternatively or additionally, positioning of the vehicle may be performed, for example, based on global navigation satellite system (GNSS) data provided, for example, by a global positioning system (GPS). Alternatively or additionally, an external device may provide the odometry information via a preferably wireless communication connection. The external device may be another vehicle, a road surveillance camera and/or an external processing device, such as a server, which receives the odometry information about the vehicle, for example from the other vehicle or the road surveillance camera.

Das Verfahren umfasst ein Anwenden eines Angleichalgorithmus auf die korrigierten mathematischen Modelle für das erste Einzelbild und die mathematischen Modelle für das zweite Einzelbild, um einander zugeordnete Paare von mathematischen Modellen zu bestimmen. Jedes Paar umfasst eines der korrigierten mathematischen Modelle für das erste Einzelbild und eines der mathematischen Modelle für das zweite Einzelbild. Mit anderen Worten umfasst das Verfahren ein Feststellen von Zuordnungen zwischen den mathematischen Modellen für das erste Einzelbild und den mathematischen Modellen für das zweite Einzelbild. Ein einander zugeordnetes Paar kann als zwei mathematische Modelle definiert sein, die einen Abstand voneinander aufweisen, der kleiner ist als ein Abstandsgrenzwert. Die mathematischen Modelle sind dann zumindest teilweise und/oder zumindest annähernd gleich. Mit anderen Worten werden einander zugeordnete Paare festgestellt, falls das jeweilige korrigierte mathematische Modell für das erste Einzelbild und das jeweilige mathematische Modell für das zweite Einzelbild jeweilige mathematische Funktionen beschreiben, die einen Versatz zueinander haben, der kleiner ist als ein spezifischer Grenzwertversatz. Vorzugsweise weist ein einander zugeordnetes Paar zwei mathematische Modelle auf, die identisch sind.The method comprises applying a matching algorithm to the corrected mathematical models for the first frame and the mathematical models for the second frame to determine associated pairs of mathematical models. Each pair comprises one of the corrected mathematical models for the first frame and one of the mathematical models for the second frame. In other words, the method comprises determining associations between the mathematical models for the first frame and the mathematical models for the second frame. An associated pair can be defined as two mathematical models that are spaced apart from one another by less than a distance threshold. The mathematical models are then at least partially and/or at least approximately equal. In other words, associated pairs are determined if the respective corrected mathematical model for the first frame and the respective mathematical model for the second frame describe respective mathematical functions that are spaced apart from one another by less than a specific threshold offset. Preferably, an associated pair comprises two mathematical models that are identical.

Das Verfahren umfasst ein Entfernen des korrigierten mathematischen Modells für das erste Einzelbild, das nicht von einem der bestimmten einander zugeordneten Paare umfasst wird und/oder für das ein Löschzähler außerhalb eines Löschzählerwertbereichs liegt. Mit anderen Worten werden die gegenwärtigen mathematischen Modelle aktualisiert. Entfernen bedeutet, dass zum Beispiel das jeweilige mathematische Modell von einer Liste aller mathematischen Modelle für beide Einzelbilder, die gegenwärtig von dem Verfahren berücksichtigt werden, gelöscht wird. Ist der Abstand zwischen einem der korrigierten mathematischen Modelle und irgendeinem der mathematischen Modelle für das zweite Einzelbild größer oder gleich dem Abstandsgrenzwert, so wird das jeweilige korrigierte mathematische Modell nicht von einem der einander zugeordneten Paare umfasst. Dieses korrigierte mathematische Modell für das erste Einzelbild wird dann aus der Liste entfernt. Ein solcher Fall tritt beispielsweise dann ein, wenn sich die Form der Begrenzung zwischen den Einzelbildern deutlich verändert, so dass die mathematischen Modelle für die beiden Einzelbilder nicht zusammenpassen und einander daher nicht zugeordnet sind. In diesem Fall wird zum Beispiel nur das mathematische Modell für das zweite Einzelbild auf der Liste belassen, während das korrigierte mathematische Modell, das nicht von einem einander zugeordneten Paar umfasst ist, aus der Liste gelöscht wird.The method comprises removing the corrected mathematical model for the first frame that is not included in one of the specific associated pairs and/or for which an erasure counter is outside an erasure counter value range. In other words, the current mathematical models are updated. Removing means that, for example, the respective mathematical model is deleted from a list of all mathematical models for both frames that are currently taken into account by the method. If the distance between one of the corrected mathematical models and any of the mathematical models for the second frame is greater than or equal to the distance threshold, the respective corrected mathematical model is not included in one of the associated pairs. This corrected mathematical model for the first frame is then removed from the list. Such a case occurs, for example, if the shape of the boundary between the frames changes significantly, so that the mathematical models for the two frames do not match and are therefore not associated with each other. In this case, for example, only the mathematical model for the second frame is left on the list, while the corrected mathematical model that is not included in a matching pair is deleted from the list.

Der gelöschte Zähler ist zum Beispiel eine Zusatzinformation, die von dem jeweiligen korrigierten mathematischen Modell umfasst ist. Falls die beiden mathematischen Modelle des einander zugeordneten Paars mit einem kleinen Fehler zusammenpassen, so kann der Löschzähler innerhalb des Löschzählerwertbereichs sein. Falls jedoch die beiden mathematischen Modelle des einander zugeordneten Paars mit einem größeren Fehler zusammenpassen, so kann der Löschzähler außerhalb des Löschzählerwertbereichs sein. Das korrigierte mathematische Modell mit dem Löschzähler innerhalb des Löschzählerwertbereichs wird auf der Liste belassen. Das korrigierte mathematische Modell mit dem Löschzähler außerhalb des Löschzählerwertbereichs wird aus der Liste gelöscht, was bedeutet, dass dieses korrigierte mathematische Modell entfernt wird.The deleted counter is, for example, additional information included in the respective corrected mathematical model. If the two mathematical models of the matched pair match with a small error, the deletion counter may be within the deletion counter value range. However, if the two mathematical models of the matched pair match with a larger error, the deletion counter may be outside the deletion counter value range. The corrected mathematical model with the deletion counter within the deletion counter value range is left on the list. The corrected mathematical model with the deletion counter outside the deletion counter value range is deleted from the list, which means that this corrected mathematical model is removed.

Das Verfahren umfasst ein Bereitstellen der verbliebenen mathematischen Modelle, zum Beispiel für eine Fahrzeugfunktion. Das Verfahren umfasst des Weiteren Verfolgen der Begrenzung unter Berücksichtigung zumindest eines der bereitgestellten mathematischen Modelle. Vorzugsweise führt die Fahrzeugfunktion das Verfolgen durch. Die Fahrzeugfunktion kann eine Fahrerassistenzfunktion sein, die von einem präzisen Verfolgen der Begrenzung abhängt. Zum Beispiel können alle verbliebenen mathematischen Modelle in einer Speichereinheit des Fahrzeugs gespeichert werden. Das Bereitstellen der verbliebenen mathematischen Modelle kann alternativ als Befüllen eines Ausgabepufferspeichers bezeichnet werden. Das Fahrzeug oder die Fahrzeugfunktion kann das Verfolgen basierend auf einem einzelnen ausgewählten bereitgestellten mathematischen Modell oder basierend auf mehreren oder sogar allen der bereitgestellten mathematischen Modelle durchführen. Es werden jedoch nur die verbliebenen mathematischen Modelle bereitgestellt. Das Verfahren führt somit eine Qualitätsprüfung der bestimmten mathematischen Modelle durch, bevor irgendwelche mathematischen Modelle bereitgestellt werden. Alle bereitgestellten mathematischen Modelle können somit als besonders präzise betrachtet werden. Das Verfahren führt somit zu einer besonders präzisen und somit sehr zuverlässigen Verfolgung der Begrenzung der Fahrspur, auf der das Fahrzeug fährt.The method comprises providing the remaining mathematical models, for example for a vehicle function. The method further comprises tracking the boundary taking into account at least one of the provided mathematical models. Preferably, the vehicle function performs the tracking. The vehicle function may be a driver assistance function that depends on precise tracking of the boundary. For example, all remaining mathematical models may be stored in a memory unit of the vehicle. Providing the remaining mathematical models may alternatively be referred to as filling an output buffer. The vehicle or the vehicle function may perform the tracking based on a single selected provided mathematical model or based on several or even all of the provided mathematical models. However, only the remaining mathematical models are provided. The method thus performs a quality check of the specific mathematical models before any mathematical models are provided. All provided mathematical models can thus be considered particularly precise. The method thus leads to a particularly precise and thus very reliable tracking of the boundary of the lane on which the vehicle is traveling.

Die beschriebenen Schritte werden vorzugsweise von einem Verarbeitungsgerät des Fahrzeugs durchgeführt. Das Verarbeitungsgerät kann alternativ als Rechenvorrichtung oder Steuergerät des Fahrzeugs bezeichnet werden. Das Verarbeitungsgerät kann die Speichereinheit umfassen. Durch Anwenden des Verfahrens wird die Begrenzung der Fahrspur durch mehrere mathematische Modelle modelliert. Detektionen der Begrenzung in vorherigen Einzelbildern (erstes Einzelbild) werden unter Verwendung von Odometrie zu Bestimmung der korrigierten mathematischen Modelle aktualisiert. Begrenzungsdetektionen in dem gegenwärtigen Einzelbild (zweites Einzelbild) werden durch Anwenden des Angleichalgorithmus mit den verfolgten Detektionen in den vorherigen Einzelbildern (Einzelbild 1) angeglichen. Sowohl für das Angleichen als auch für das Verfolgen werden Funktionen gemäß den mathematischen Modellen vorzugsweise in eine gemeinsame geometrische Basis konvertiert.The described steps are preferably carried out by a processing device of the vehicle. The processing device may alternatively be referred to as a computing device or control device of the vehicle. The processing device may comprise the storage unit. By applying the method, the boundary of the lane is modelled by several mathematical models. Detections of the boundary in previous frames (first frame) are updated using odometry to determine the corrected mathematical models. Boundary detections in the current frame (second frame) are aligned with the tracked detections in the previous frames (frame 1) by applying the alignment algorithm. For both alignment and tracking, functions according to the mathematical models are preferably converted to a common geometric basis.

Eine Ausführungsform umfasst ein Bestimmen eines Vertrauenswerts für jedes verbliebene mathematische Modell. Zum Beispiel werden alle korrigierten mathematischen Modelle, die nicht entfernt worden sind, sowie die mathematischen Modelle für das zweite Einzelbild auf der Liste belassen und in diesem Schritt des Verfahrens berücksichtigt. Für jedes der beibehaltenen mathematischen Modelle wird bestimmt, wie wahrscheinlich es ist, dass es die Begrenzungsinformation beschreibt. Die Wahrscheinlichkeit wird von dem bestimmten Vertrauenswert beschrieben. Der Vertrauenswert beschreibt zum Beispiel, wie jedes verbliebene mathematische Modell sich von der tatsächlichen Begrenzung gemäß der Begrenzungsinformation unterscheidet. Der Vertrauenswert kann von einer Fehlergröße eines bestimmten Fehlers des jeweiligen mathematischen Modells abhängen.One embodiment includes determining a confidence value for each remaining mathematical model. For example, all corrected mathematical models that have not been removed as well as the mathematical models for the second frame are left on the list and considered in this step of the method. For each of the retained mathematical models, it is determined how likely it is that it describes the boundary information. The probability is described by the determined confidence value. The confidence value describes, for example, how each remaining mathematical model differs from the actual boundary according to the boundary information. The confidence value may depend on an error size of a certain error of the respective mathematical model.

Danach wird das verbliebene mathematische Modell mit dem höchsten Vertrauenswert bereitgestellt. Das bedeutet, dass ein einziges mathematisches Modell aus allen verbliebenen mathematischen Modellen ausgewählt wird. Das einzige ausgewählte mathematische Modell wird zum Beispiel für die Fahrzeugfunktion, wie etwa die Fahrerassistenzfunktion, die von der Verfolgung der Begrenzung abhängt, bereitgestellt. Nach Bereitstellen des verbliebenen mathematischen Modells umfasst das Verfahren ein Verfolgen der Begrenzung unter Berücksichtigung des einzigen bereitgestellten mathematischen Modells. Mit anderen Worten wird genau ein mathematisches Modell ausgewählt, das als am besten passend für die tatsächliche Begrenzung betrachtet wird. Das ist das mathematische Modell, dessen Vertrauenswert höher ist als die Vertrauenswerte aller anderen mathematischen Modelle. In der Folge kann das Verfahren das exakteste mathematische Modell für die Begrenzung und somit die präzise Verfolgung der Begrenzung bereitstellen.Thereafter, the remaining mathematical model with the highest confidence value is provided. This means that a single mathematical model is selected from all remaining mathematical models. The only selected mathematical model is provided, for example, for the vehicle function, such as the driver assistance function, that depends on tracking the boundary. After providing the remaining mathematical model, the method comprises tracking the boundary taking into account the only provided mathematical model. In other words, exactly one mathematical model is selected that is considered to best fit the actual boundary. This is the mathematical model whose confidence value is higher than the confidence values of all other mathematical models. As a result, the method can provide the most accurate mathematical model for the boundary and thus precise tracking of the boundary.

Eine weitere Ausführungsform des Verfahrens umfasst ein Konvergieren des korrigierten mathematischen Modells für das erste Einzelbild mit dem zugeordneten mathematischen Modell für das zweite Einzelbild durch Anwenden eines Filters auf das korrigierte mathematische Modell. Der Filter ist vorzugsweise ein Kalman-Filter. Ein Kalman-Filter ist ein Algorithmus zum Erstellen von Schätzungen von unbekannten Variablen. Der Kalman-Filter wird als besonders exakt angesehen. Der Kalman-Filter ist ein relativ einfacher und leicht zu implementierender Filter. Alternativ kann der Kalman-Filter als Kalman-Algorithmus bezeichnet werden. Zusammengefasst wird durch Anwenden des Filters ein jeweiliges mathematisches Modell für das erste Einzelbild modifiziert um näher an das zugeordnete mathematische Modell für das zweite Einzelbild angenähert zu werden. Das Konvergieren wird nach dem Anwenden des Angleichalgorithmus durchgeführt. Die mathematischen Modelle, auf die der Kalman-Filter angewendet wird, sind in Legendre-Basis formuliert. Typischerweise umfasst das Verfahren daher einen Algorithmus zum Hin- und Her-Transformieren zwischen kanonischer Basis und Legendre-Basis. Das Durchführen der beschriebenen Kalman-Aktualisierung durch Anwenden des Kalman-Filters führt zu besonders präziser Kompatibilität zwischen den mathematischen Modellen jedes einander zugeordneten Paares.A further embodiment of the method comprises converging the corrected mathematical model for the first frame with the associated mathematical model for the second frame by applying a filter to the corrected mathematical model. The filter is preferably a Kalman filter. A Kalman filter is an algorithm for creating estimates of unknown variables. The Kalman filter is considered to be particularly accurate. The Kalman filter is a relatively simple and easy-to-implement filter. Alternatively, the Kalman filter can be referred to as a Kalman algorithm. In summary, by applying the filter, a respective mathematical model for the first frame is modified to be more closely approximated to the associated mathematical model for the second frame. The convergence is carried out after applying the adjustment algorithm. The mathematical models to which the Kalman filter is applied are formulated in Legendre basis. Typically, the method therefore comprises an algorithm for transforming back and forth between canonical basis and Legendre basis. Performing the described Kalman update by applying the Kalman filter results in particularly precise compatibility between the mathematical models of each associated pair.

Gegebenenfalls erfolgt das Bestimmen des Vertrauenswerts für die konvergierten mathematischen Modelle, falls das jeweilige konvergierte Modell eines der verbliebenen mathematischen Modelle ist.Where appropriate, the confidence value is determined for the converged mathematical models if the respective converged model is one of the remaining mathematical models.

Eine weitere Ausführungsform umfasst ein Bestimmen der Begrenzungsinformationen durch Anwenden eines Bestimmungsalgorithmus für eine Begrenzung auf eine Kamerainformation, die eine Umgebung des Fahrzeugs beschreibt. Es ist daher vorzugsweise beabsichtigt, dass das Fahrzeug die Begrenzungsinformation selbst bereitstellt. In diesem Fall wird die Kamerainformation von dem Fahrzeug, genauer gesagt von einem Kameragerät des Fahrzeugs, das zumindest eine Kamera aufweist, erfasst. Die Begrenzungsinformationen für das erste Einzelbild und das zweite Einzelbild zeigen jeweils eine aktuelle Umgebung des Fahrzeugs und somit die aktuelle Begrenzung der Fahrspur, auf der das Fahrzeug fährt. Das Verfahren ist somit besonders vorteilhaft für eine Fahrzeugfunktion, die auf Echtzeit-Kamerainformationen der Umgebung des Fahrzeugs basiert.A further embodiment comprises determining the boundary information by applying a boundary determination algorithm to camera information describing an environment of the vehicle. It is therefore preferably intended that the vehicle itself provides the boundary information. In this case, the camera information is captured by the vehicle, more precisely by a camera device of the vehicle that has at least one camera. The boundary information for the first single image and the second single image each show a current environment of the vehicle and thus the current boundary of the lane in which the vehicle is traveling. The method is thus particularly advantageous for a vehicle function that is based on real-time camera information of the environment of the vehicle.

Des Weiteren umfasst eine Ausführungsform, dass die Begrenzungsinformation mehrere zumindest zweidimensionale Punktkoordinaten von Punkten auf der Begrenzung umfasst. Abhängig von einem Wert einer horizontalen Koordinate der jeweiligen Punktkoordinate ist jeder Punkt entweder der Begrenzung zugeordnet, die sich in Fahrtrichtung links von dem Fahrzeug befindet, oder der Begrenzung, die sich auf einer gegenüberliegenden rechten Seite befindet. Um die Begrenzung für jede Seite des Fahrzeugs individuell zu modellieren, werden alle die Begrenzung betreffenden Punkte, die von der Begrenzungsinformation umfasst sind, in zwei unterschiedliche Punktanordnungen aufgeteilt. Die Punkte sind abhängig davon, auf welcher Seite des Fahrzeugs sie sich befinden, einer der Punktanordnungen zugewiesen. Nach dem Aufteilen sind vorzugsweise zwei Begrenzungsinformationen vorhanden, eine für die Begrenzung auf der linken Seite und eine für die Begrenzung auf der rechten Seite. Es kann daher zwei verschiedene Listen von Punktkoordinaten als jeweilige Begrenzungsinformation geben, eine für die Begrenzung auf der linken Seite und eine für die Begrenzung auf der rechten Seite. Es ist möglich, dass eine Höchstanzahl von Punkten für jede Begrenzungsinformation festgelegt wird, um zum Beispiel die Rechenzeit möglichst gering zu halten.Furthermore, an embodiment comprises that the boundary information comprises a plurality of at least two-dimensional point coordinates of points on the boundary. Depending on a value of a horizontal coordinate of the respective point coordinate, each point is assigned either to the boundary that is located to the left of the vehicle in the direction of travel or to the boundary that is located on an opposite right side. In order to model the boundary individually for each side of the vehicle, all points relating to the boundary that are included in the boundary information are divided into two different point arrangements. The points are assigned to one of the point arrangements depending on which side of the vehicle they are on. After division, two boundary information items are preferably present, one for the boundary on the left side and one for the boundary on the right side. There can therefore be two different lists of point coordinates as respective boundary information, one for the boundary on the left side and one for the boundary on the right side. It is possible that a maximum number of points is specified for each boundary information item, for example to keep the computing time as short as possible.

Das Aufteilen berücksichtigt nur die horizontale Koordinate. Die horizontale Koordinate kann alternativ als Querkoordinate oder y-Koordinate jedes Punkts bezeichnet werden. Die horizontale Koordinate ist senkrecht zu einer vertikalen Koordinate orientiert, die alternativ als Längs- oder x-Koordinate bezeichnet werden kann. Die vertikale Koordinate kann parallel zu der Fahrtrichtung des Fahrzeugs sein. Ein Nullpunkt der horizontalen Koordinate befindet sich an einer Position des Fahrzeugs, insbesondere an einer Mittelpunktskoordinate des Fahrzeugs. Das erklärt, wie es möglich ist, lediglich basierend auf der horizontalen Koordinate von Punkten auf der jeweiligen Begrenzung zwischen der linken und rechten Begrenzung im Verhältnis zum Fahrzeug zu unterscheiden.The splitting only takes into account the horizontal coordinate. The horizontal coordinate can alternatively be called the transverse coordinate or y-coordinate of each point. The horizontal coordinate is oriented perpendicular to a vertical coordinate, which can alternatively be called the longitudinal or x-coordinate. The vertical coordinate can be parallel to the direction of travel of the vehicle. A zero point of the horizontal coordinate is located at a position of the vehicle, in particular at a center coordinate of the vehicle. This explains how it is possible to only to distinguish between the left and right boundaries in relation to the vehicle based on the horizontal coordinate of points on the respective boundary.

Vorzugsweise wird das erfindungsgemäße Verfahren sowohl für die Begrenzung auf der linken Seite als auch die Begrenzung auf der rechten Seite des Fahrzeugs angewendet. Vorzugsweise beschreibt kein mathematisches Modell beide Begrenzungen der Fahrspur zusammen. Die bestimmten mathematischen Modelle können daher besonders präzise sein.Preferably, the method according to the invention is applied both to the boundary on the left side and to the boundary on the right side of the vehicle. Preferably, no mathematical model describes both boundaries of the lane together. The mathematical models determined can therefore be particularly precise.

Gemäß einer weiteren Ausführungsform wird durch Anwenden des Bestimmungsalgorithmus für ein mathematisches Modell eine Polynomfunktion dritten Grades bestimmt, die mit der jeweiligen Begrenzungsinformation mit einem Fehler, der kleiner ist als ein Fehlergrenzwert, zusammenpasst. Für alle Punktkoordinaten der Begrenzung versucht der beschriebene Algorithmus, eine Polynomfunktion dritten Grades zu formulieren, die mit den Punkten zusammenpasst. Die Größe des Fehlergrenzwerts kann individuell definiert sein. Der Grenzwert kann einen maximalen Abstand zwischen der Polynomfunktion dritten Grades und der Begrenzung beschreiben. Der Versatz zwischen der Funktion gemäß dem mathematischen Modell und den Punktkoordinaten der Punkte auf der Begrenzung ist daher kleiner als der Fehlergrenzwert. Der Grenzwert kann weniger als 50 Zentimeter, 30 Zentimeter, 20 Zentimeter, 10 Zentimeter, 5 Zentimeter, 3 Zentimeter, 2 Zentimeter oder insbesondere 1 Zentimeter sein. Andere Fehlergrenzwerte sind möglich. Durch Wahl einer Polynomfunktion dritten Grades wird ein relativ präzises mathematisches Modell bereitgestellt, das immer noch relativ leicht zu berechnen ist, da keine weiteren Ordnungen berücksichtigt werden.According to a further embodiment, by applying the mathematical model determination algorithm, a third degree polynomial function is determined that matches the respective boundary information with an error that is smaller than an error limit. For all point coordinates of the boundary, the described algorithm tries to formulate a third degree polynomial function that matches the points. The size of the error limit can be individually defined. The limit can describe a maximum distance between the third degree polynomial function and the boundary. The offset between the function according to the mathematical model and the point coordinates of the points on the boundary is therefore smaller than the error limit. The limit can be less than 50 centimeters, 30 centimeters, 20 centimeters, 10 centimeters, 5 centimeters, 3 centimeters, 2 centimeters or in particular 1 centimeter. Other error limits are possible. By choosing a third degree polynomial function, a relatively precise mathematical model is provided that is still relatively easy to calculate since no further orders are taken into account.

Gemäß einer weiteren Ausführungsform umfasst das Anwenden des Bestimmungsalgorithmus für ein mathematisches Modell ein Lösen eines Regressionsproblems. Regression in diesem Sinne kann alternativ als Polynomregression bezeichnet werden. Insbesondere umfasst das Verfahren ein Anwenden eines Singulärwertzerlegungsverfahrens zur Lösung des Regressionsproblems. Das Singulärwertzerlegungsverfahren wird wegen seiner bekanntermaßen hohen Robustheit eingesetzt. Robustheit ist nötig, da beteiligte Vandermonde-Matrizen dazu neigen, das zum Bereitstellen des mathematischen Modells zu lösende mathematische Problem instabil zu machen. Das Regressionsproblem soll gelöst werden, um tatsächlich alle mathematischen Modelle zu finden, die ausreichend gut mit den Punkten zusammenpassen, damit der Fehler kleiner ist als die Fehlergrenzwerte. Alternativ oder zusätzlich zu dem Singulärwertzerlegungsverfahren kann eine Methode der diagonalen Zerlegung oder eine Methode der Cramerschen Regel angewendet werden.According to a further embodiment, applying the mathematical model determination algorithm comprises solving a regression problem. Regression in this sense can alternatively be referred to as polynomial regression. In particular, the method comprises applying a singular value decomposition method to solve the regression problem. The singular value decomposition method is used because of its known high robustness. Robustness is necessary because Vandermonde matrices involved tend to make the mathematical problem to be solved to provide the mathematical model unstable. The regression problem is to be solved to actually find all mathematical models that fit the points sufficiently well so that the error is smaller than the error limits. Alternatively or in addition to the singular value decomposition method, a diagonal decomposition method or a Cramer's rule method can be applied.

Des Weiteren beinhaltet es eine Ausführungsform, dass das Anwenden des Bestimmungsalgorithmus für ein mathematisches Modell ein Anwenden eines Übereinstimmung-mit-einer-zufälligen-Stichprobe-Algorithmus (RANSAC-Algorithmus für random sample consensus algorithm) umfasst. Dies erfolgt, um zumindest einen Teil aller bestimmten mehreren mathematischen Modelle als die mathematischen Modelle auszuwählen, auf die der Angleichalgorithmus angewendet wird. Der RANSAC-Algorithmus wird somit benutzt, um eine eindeutige Anzahl mathematischer festzustellen, die jeweils im Vergleich zu allen anderen nicht ausgewählten mathematischen Modellen relativ gut mit den Punkten zusammenpassen. Es kann zum Beispiel vorab festgelegt sein, dass nur fünf mathematische Modelle als bestimmte mathematische Modelle für die weiteren Verfahrensschritte gewählt werden. Insbesondere wird jedes der mathematischen Modelle vorab getestet, so dass die Koeffizienten der Polynomfunktionen dritten Grades keine hohen absoluten Werte haben. Mit anderen Worten wird der RANSAC-Algorithmus als ein Maß für die Robustheit zusätzlich zu der zuvor beschriebenen Polynomregression benutzt, um eine Überanpassung der mathematischen Modelle zu vermeiden.Furthermore, an embodiment includes that applying the mathematical model determination algorithm comprises applying a random sample consensus algorithm (RANSAC algorithm). This is done to select at least a portion of all of the determined multiple mathematical models as the mathematical models to which the matching algorithm is applied. The RANSAC algorithm is thus used to determine a unique number of mathematical models that each match the points relatively well compared to all other non-selected mathematical models. For example, it may be predetermined that only five mathematical models are selected as the determined mathematical models for the further method steps. In particular, each of the mathematical models is pre-tested so that the coefficients of the third-order polynomial functions do not have high absolute values. In other words, the RANSAC algorithm is used as a measure of robustness in addition to the polynomial regression described above to avoid overfitting of the mathematical models.

Außerdem ist es durch Berücksichtigen des Fehlergrenzwerts möglich, festzustellen, ob die einzelnen Punkte der Begrenzung variieren, so dass das ermittelte mathematische Modell mit großer Wahrscheinlichkeit die Begrenzung nicht präzise beschreibt. In einem solchen Fall ist der bestimmte Fehler für die Polynomfunktion dritten Grades größer als der Fehlergrenzwert, was bedeutet, dass ein derartiges mathematisches Modell verworfen werden kann.In addition, by taking the error limit into account, it is possible to determine whether the individual points of the boundary vary, so that the mathematical model obtained is very likely not to describe the boundary precisely. In such a case, the determined error for the third-order polynomial function is larger than the error limit, which means that such a mathematical model can be rejected.

Eine bevorzugte Ausführungsform umfasst, dass der Angleichalgorithmus auf einer Ungarischen Methode basiert. Die Ungarische Methode wird alternativ als Munkres-Algorithmus bezeichnet. Um Zuordnungen zwischen den mathematischen Modellen für das erste Einzelbild und das zweite Einzelbild zu ermitteln, wird die Ungarische Methode beim Durchführung des Verfahrens angewendet. Insbesondere betrachtet die Methode die mathematischen Modelle für das zweite Einzelbild als aktuelle Detektionen der Begrenzung und die korrigierten und/oder konvergierten mathematischen Modelle für das erste Einzelbild als Tracker aus dem vorherigen Einzelbild. Ausführlicher beschrieben umfasst der auf der Ungarischen Methode basierende Angleichalgorithmus ein Erfassen einer Kostenmatrix, die bewertet, wie gut oder schlecht jede Tracker-Detektion-Kombination ist. Tracker-Detektion-Kombination bezieht sich auf die Kombination des korrigierten oder konvergierten mathematischen Modells für das erste Einzelbild mit dem zugeordneten mathematischen Modell für das zweite Einzelbild. Um zu entscheiden, ob eine Tracker-Detektion-Kombination gut oder schlecht ist, wird der mathematische Abstand zwischen jedem Paar von mathematischen Modellen und somit Polynomfunktionen dritten Grades berechnet und mit einem vorab festgelegten Abstandsgrenzwert oder Abstandswertebereich verglichen. Das ermöglicht ein sehr präzises Feststellen von Zuordnungen zwischen den mathematischen Modellen für das erste und zweite Einzelbild.A preferred embodiment includes that the alignment algorithm is based on a Hungarian method. The Hungarian method is alternatively referred to as Munkres algorithm. To determine associations between the mathematical models for the first frame and the second frame, the Hungarian method is applied when performing the method. In particular, the method considers the mathematical models for the second frame as current detections of the boundary and the corrected and/or converged mathematical models for the first frame as trackers from the previous frame. Described in more detail, the alignment algorithm based on the Hungarian method includes collecting a cost matrix that evaluates how good or bad each tracker-detection combination is. Tracker-detection combination refers to the combination of the corrected or converged associated mathematical model for the first frame with the associated mathematical model for the second frame. To decide whether a tracker-detection combination is good or bad, the mathematical distance between each pair of mathematical models and thus third-order polynomial functions is calculated and compared with a predefined distance threshold or distance range. This allows for very precise determination of associations between the mathematical models for the first and second frames.

Ausführlicher beschrieben umfasst eine Ausführungsform, dass der Angleichalgorithmus ein Bestimmen eines Abstands zwischen den jeweiligen mathematischen Modellen für das erste Einzelbild und dem jeweiligen mathematischen Modell des zweiten Einzelbilds umfasst. Das umfasst insbesondere Berechnen einer quadratischen Norm einer Differenz zwischen Vektoren von Koeffizienten von Funktionen in Legendre-Basis, wobei die Funktion das jeweilige mathematische Modell beschreibt. Hier ist die quadratische Norm das Skalarprodukt. Genauer gesagt umfasst das Verfahren ein Bestimmen der quadratischen Norm der Differenz zwischen den Vektoren von Koeffizienten von zwei Polynomfunktionen in der Legendre-Basis. Die Transformation in eine orthogonale Basis (kanonische Basis) ist notwendig und wird durchgeführt. Das mathematische Modell ist hier eine Polynomfunktion dritten Grades y(x) mit Koeffizienten c₀, c₁ und c₂: y = c₀ + c₁x + c₂x² + c₃x³ Described in more detail, one embodiment comprises that the adjustment algorithm comprises determining a distance between the respective mathematical models for the first frame and the respective mathematical model of the second frame. This comprises in particular calculating a quadratic norm of a difference between vectors of coefficients of functions in Legendre basis, wherein the function describes the respective mathematical model. Here, the quadratic norm is the scalar product. More precisely, the method comprises determining the quadratic norm of the difference between the vectors of coefficients of two polynomial functions in the Legendre basis. The transformation into an orthogonal basis (canonical basis) is necessary and is carried out. The mathematical model here is a third degree polynomial function y(x) with coefficients c ₀ , c ₁ and c ₂ : y = c ₀ + c ₁ x + c ₂ x ² + c ₃ x ³

Der durch das Skalarprodukt der Differenz berechnete Abstand ist nicht perfekt mit der tatsächlichen Ähnlichkeit korreliert. Ansonsten ist: $D_{i j} = {(p_{i} - p_{j})}^{T} (p_{i} - p_{j})$

The distance calculated by the dot product of the difference is not perfectly correlated with the actual similarity. Otherwise:

D_{i j} = {(p_{i} - p_{j})}^{T} (p_{i} - p_{j})

Hier ist p_i der Spaltenvektor mit den Koeffizienten in Legendre-Basis des i-ten Modells. D ist der Abstand. Die Transformation von kanonischer Basis in Legendre-Basis I_i erfolgt mit: $[\begin{matrix} l_{0} \\ l_{1} \\ l_{2} \\ l_{3} \end{matrix}] = [\begin{matrix} 1 & 0 & 1 / 3 & 0 \\ 0 & 1 & 0 & 3 / 5 \\ 0 & 0 & 2 / 3 & 0 \\ 0 & 0 & 0 & 2 / 5 \end{matrix}] [\begin{matrix} c_{0} \\ c_{1} \\ c_{2} \\ c_{3} \end{matrix}]$

Here p _i is the column vector with the coefficients in the Legendre basis of the i-th model. D is the distance. The transformation from canonical basis to Legendre basis I _i is done with:

[\begin{matrix} l_{0} \\ l_{1} \\ l_{2} \\ l_{3} \end{matrix}] = [\begin{matrix} 1 & 0 & 1 / 3 & 0 \\ 0 & 1 & 0 & 3 / 5 \\ 0 & 0 & 2 / 3 & 0 \\ 0 & 0 & 0 & 2 / 5 \end{matrix}] [\begin{matrix} c_{0} \\ c_{1} \\ c_{2} \\ c_{3} \end{matrix}]

Weitere Normalisierung ist erforderlich: $[\begin{matrix} l_{0}' \\ l_{1}' \\ l_{2}' \\ l_{3}' \end{matrix}] = [\begin{matrix} l_{0} w_{0} \\ l_{1} w_{1} \\ l_{2} w_{2} \\ l_{3} w_{3} \end{matrix}]$

Further normalization is required:

[\begin{matrix} l_{0}' \\ l_{1}' \\ l_{2}' \\ l_{3}' \end{matrix}] = [\begin{matrix} l_{0} w_{0} \\ l_{1} w_{1} \\ l_{2} w_{2} \\ l_{3} w_{3} \end{matrix}]

Hier ist w_i die Norm des i-ten Legendre-Polynoms I_i in dem Intervall von Interesse.Here w _i is the norm of the i-th Legendre polynomial I _i in the interval of interest.

Daraus folgt: $w_{i} = ‖ L_{i} (x) ‖ = \sqrt{\int_{a}^{b} L_{i}^{2} (t) d t}$

It follows:

w_{i} = ‖ L_{i} (x) ‖ = \sqrt{\int_{a}^{b} L_{i}^{2} (t) d t}

Zusammengefasst ist basierend auf den beschriebenen Gleichungen das Ermitteln von Zuordnungen zwischen den mathematischen Modellen für das erste Einzelbild und das zweite Einzelbild besonders genau.In summary, based on the described equations, determining associations between the mathematical models for the first frame and the second frame is particularly accurate.

Des Weiteren umfasst eine Ausführungsform, dass der Löschzähler um einen spezifischen Faktor und/oder Menge reduziert wird, falls keines der bestimmten einander zugeordneten Paare das korrigierte mathematische Modell für das erste Einzelbild umfasst. Der Löschspeicher jedes mathematischen Modells für das erste Einzelbild, also jedes Trackers, ist somit inkrementiert, wenn keine Zuordnung zwischen einer Messung und einem Tracker, also zwischen einem mathematischen Modell für das erste Einzelbild und einem mathematischen Modell für das zweite Einzelbild, bestimmt worden ist. Für ein einander zugeordnetes Paar ist der Löschzähler typischerweise hoch und liegt somit über einem Grenzwert. Gibt es jedoch zum Beispiel mit der Zeit kein zugeordnetes Gegenstück für eines der mathematischen Modelle für das erste Einzelbild mehr, so kann der Löschzähler für dieses mathematische Modell für das erste Einzelbild abnehmen, so dass es zu einem Zeitpunkt möglich ist, dass das jeweilige mathematische Modell für das erste Einzelbild entfernt wird. Falls Detektionen vorhanden sind, die keinem Tracker zugeordnet sind, gibt es also kein mathematisches Modell für das erste Einzelbild, das mit einem mathematischen Modell für das zweite Einzelbild zusammenpasst, so wird das mathematische Modell für das zweite Einzelbild als neuer Tracker betrachtet. Der neue Tracker kann für den Vergleich mit einem weiteren zweiten Einzelbild berücksichtigt werden. In diesem Fall wird der neue Tracker geschaffen, während alte Tracker vom ersten Einzelbild (also das mathematische Modelle für das erste Einzelbild) entfernt und nicht weiter berücksichtigt werden. Ein mathematisches Modell für das erste Einzelbild mit einem Löschzähler mit einem Wert von 0 wird typischerweise entfernt. Der Löschspeicher gibt an, für wie viele Einzelbilder der Tracker, also das mathematische Modell für das erste Einzelbild, prädiziert werden konnte, falls er keine ihm zugeordneten Messungen hat. Falls er also 0 erreicht, sollte der Tracker nicht mehr prädiziert werden. Hat ein Tracker eine ihm zugeordnete Messung, so kann er nicht gelöscht werden, um die Löschung gültiger Daten zu verhindern. In einem solchen Fall ist der Löschzähler höher als der jeweilige Grenzwert, so dass das jeweilige mathematische Modell für das erste Einzelbild bestehen bleibt. Alternativ oder zusätzlich zu dem Löschzähler kann ein Live-Zähler berücksichtigt werden.Furthermore, an embodiment comprises that the deletion counter is reduced by a specific factor and/or amount if none of the determined pairs associated with each other includes the corrected mathematical model for the first frame. The deletion memory of each mathematical model for the first frame, i.e. of each tracker, is thus incremented if no association has been determined between a measurement and a tracker, i.e. between a mathematical model for the first frame and a mathematical model for the second frame. For a pair associated with each other, the deletion counter is typically high and thus lies above a limit. However, if, for example, over time there is no longer an associated counterpart for one of the mathematical models for the first frame, the deletion counter for this mathematical model for the first frame can decrease, so that at some point it is possible that the respective mathematical model for the first frame is removed. If there are detections that are not associated with a tracker, i.e. there is no mathematical model for the first frame that matches a mathematical model for the second frame, the mathematical model for the second frame is considered to be a new tracker. The new tracker can be considered for comparison with another second frame. In this case, the new tracker is created, while old trackers from the first frame (i.e. the mathematical model for the first frame) are removed and no longer considered. A mathematical model for the first frame with a deletion counter with a value of 0 is typically removed. The deletion buffer indicates for how many frames the tracker, i.e. the mathematical model for the first frame, could be predicted if it has no measurements associated with it. So if it reaches 0, the tracker should no longer be predicted. If a tracker has a measurement associated with it, it cannot be deleted to prevent the deletion of valid data. In such a case, the deletion counter is higher than the respective limit, so that the respective mathematical model for the first frame remains. Alternatively or in addition to the deletion counter, a live counter can be taken into account.

Außerdem umfasst eine Ausführungsform, dass mehrere zweite Einzelbilder berücksichtigt werden, die eines nach dem anderen erfasst werden. Vorzugsweise werden Kamerainformationen kontinuierlich bereitgestellt, so dass kontinuierlich ein zuvor erfasstes Einzelbild als erstes Einzelbild berücksichtigt wird und ein zuletzt erfasstes Einzelbild als zweites Einzelbild berücksichtigt wird.Furthermore, an embodiment includes considering a plurality of second frames that are captured one after the other. Preferably, camera information is continuously provided such that a previously captured frame is continuously considered as a first frame and a most recently captured frame is continuously considered as a second frame.

Insbesondere umfasst das Bestimmen des Vertrauenswerts ein Berücksichtigen zumindest einer der folgenden Informationen: eine Anzahl von Einzelbildern, für die das mathematische Modell von einem der bestimmten einander zugeordneten Paare umfasst worden ist. Das bedeutet, dass zum Beispiel, falls das mathematische Modell für mehrere Einzelbilder korrekt gewesen ist, es wahrscheinlicher ist, dass es ein sinnvolles mathematisches Modell für die Begrenzung ist. Der Grund hierfür ist zum Beispiel, dass nur kleine Veränderungen in der Begrenzungsgestaltung beispielsweise entlang einer geraden Fahrspur erwartet werden. In einem solchen Fall führt eine relativ große Menge von Bestimmungen eines spezifischen mathematischen Modells zu hohem Vertrauen in das jeweilige mathematische Modell. Eine weitere Information kann eine Fehlergröße eines bestimmten Fehlers des jeweiligen mathematischen Modells sein. Wenn ein Fehler für ein mathematisches Modell besonders gering ist, kann es als besonders zuverlässig betrachtet werden und wird somit mit einem entsprechenden Vertrauenswert versehen. Eine weitere mögliche Information ist, dass das mathematische Modell von einem der einander zugeordneten Paare umfasst ist, welches auch eines der mathematischen Modelle für das zuletzt erfasste zweite Einzelbild umfasst. Ist zum Beispiel für mehrere Einzelbilder das spezifische mathematische Modell ermittelt worden, jedoch nicht in dem zuletzt erfassten zweiten Einzelbild, so ist es wahrscheinlich, dass der Verlauf der Begrenzung sich geändert hat und somit das mathematische Modell für die zuvor detektierte Begrenzung nicht mehr gültig ist. In einem solchen Fall wird das nunmehr alte mathematische Modell zugunsten des zuletzt bestimmten mathematischen Modells für das zuletzt erfasste Einzelbild entfernt. Weitere Informationen sind möglich, auf deren Basis die Wertberechnung möglich ist. Somit ist das Verfahren besonders vielseitig und anpassungsfähig.In particular, determining the confidence value comprises taking into account at least one of the following information: a number of frames for which the mathematical model has been included in one of the specific associated pairs. This means that, for example, if the mathematical model has been correct for several frames, it is more likely that it is a reasonable mathematical model for the boundary. The reason for this is, for example, that only small changes in the boundary design are expected, for example along a straight lane. In such a case, a relatively large amount of determinations of a specific mathematical model leads to high confidence in the respective mathematical model. Another piece of information can be an error size of a specific error of the respective mathematical model. If an error for a mathematical model is particularly small, it can be considered particularly reliable and is thus provided with a corresponding confidence value. Another possible piece of information is that the mathematical model is included in one of the associated pairs, which also includes one of the mathematical models for the last captured second frame. If, for example, the specific mathematical model has been determined for several individual images, but not in the last captured second individual image, it is likely that the course of the boundary has changed and thus the mathematical model for the previously detected boundary is no longer valid. In such a case, the now old mathematical model is removed in favor of the last determined mathematical model for the last captured individual image. Further information is possible on the basis of which the value can be calculated. This makes the method particularly versatile and adaptable.

In Bezug auf die Korrektur der mathematischen Modelle für das erste Einzelbild: Verfolgte Modelle (mathematische Modelle für das erste Einzelbild) werden mit der Odometrie-Information aktualisiert. Ausgehend von einem Modell des vorherigen Einzelbilds (erstes Einzelbild) und den Positions- und/oder Orientierungsänderungen des Fahrzeugs (Odometrie), liefert das Verfahren hier ein mathematisches Modell, das in dem aktuellen Einzelbild (zweites Einzelbild) zu erwarten wäre. Polynome als Funktionen der jeweiligen mathematischen Modelle für das erste Einzelbild können translatorisch bewegt werden und dennoch mathematisch dasselbe Objekt bleiben. Im Fall einer Rotation ist dies jedoch anders. Die Rotation aller Punkte eines Polynoms führt in den meisten Fällen nicht zu einem weiteren Polynom. Bei einer Rotation wird nur ein Steigungsparameter aktualisiert, als ob die Rotation an einer geraden Linie erfolgen würde. Zum Beispiel ist das mathematische Modell eine Polynomfunktion y(x) mit Koeffizienten c₀, c₁ und c₂: y = c₀ + c₁x + c₂x² + c₃x³ In dieser Gleichung entspricht dies dem Ermitteln des Winkels aus c₁ unter Hinzufügung der Orientierungsänderung und der Rückführung auf den c₁ Koeffizienten. Für geringe Krümmungen und Neigungswinkel, ist dies eine sinnvolle Annäherung.Regarding the correction of the mathematical models for the first frame: Tracked models (mathematical models for the first frame) are updated with the odometry information. Starting from a model of the previous frame (first frame) and the position and/or orientation changes of the vehicle (odometry), the method here provides a mathematical model that would be expected in the current frame (second frame). Polynomials as functions of the respective mathematical models for the first frame can be moved translationally and still remain mathematically the same object. In the case of a rotation, however, this is different. Rotating all points of a polynomial does not result in another polynomial in most cases. In a rotation, only a slope parameter is updated, as if the rotation were done along a straight line. For example, the mathematical model is a polynomial function y(x) with coefficients c ₀ , c ₁ and c ₂ : y = c ₀ + c ₁ x + c ₂ x ² + c ₃ x ³ In this equation, this corresponds to determining the angle from c ₁ , adding the change in orientation and returning to the c ₁ coefficient. For small curvatures and inclination angles, this is a reasonable approximation.

Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug, das dazu eingerichtet ist, ein Verfahren wie oben beschrieben durchzuführen. Das Fahrzeug ist vorzugsweise ein Kraftfahrzeug, wie etwa ein Personenkraftwagen, ein Lastwagen, ein Bus oder ein Motorrad. Das Fahrzeug kann ein Verarbeitungsgerät zur Durchführung des Verfahrens aufweisen.A further aspect of the invention relates to a vehicle which is designed to carry out a method as described above. The vehicle is preferably a motor vehicle, such as a passenger car, a truck, a bus or a motorcycle. The vehicle can have a processing device for carrying out the method.

Ein weiterer Aspekt betrifft ein Verarbeitungsgerät für ein Fahrzeug. Das Verarbeitungsgerät ist zum Beispiel ein fahrzeugseitiger Computer des Fahrzeugs. Das Verarbeitungsgerät ist dazu eingerichtet, das oben beschriebene Verfahren durchzuführen. Das Verarbeitungsgerät führt das Verfahren durch. Das Verarbeitungsgerät kann einen oder zwei Mikroprozessoren und/oder einen oder mehrere Mikrocontroller und/oder eines oder mehrere ASIC (englisch: application specific integrated circuit) aufweisen. Des Weiteren kann es ein Computerprogrammprodukt (also Programmcode) aufweisen, das dazu ausgelegt ist, das Verfahren durchzuführen. Das Computerprogrammprodukt kann in einer Speichereinheit des Verarbeitungsgeräts gespeichert sein.A further aspect relates to a processing device for a vehicle. The processing device is, for example, a vehicle-mounted computer of the vehicle. The processing device is set up to carry out the method described above. The processing device carries out the method. The processing device can have one or two microprocessors and/or one or more microcontrollers and/or one or more ASICs (application specific integrated circuits). Furthermore, it can have a computer program product (i.e. program code) that is designed to carry out the method. The computer program product can be stored in a memory unit of the processing device.

Die Erfindung betrifft des Weiteren ein Computerprogrammprodukt, welches Befehle beinhaltet, die, wenn das Programm von einem Computer, wie etwa dem Verarbeitungsgerät des Fahrzeugs, ausgeführt werden, den Computer dazu veranlassen, das oben beschriebene Verfahren durchzuführen. Das Computerprogrammprodukt kann als ein Computerprogramm bezeichnet werden.The invention further relates to a computer program product which includes instructions which, when the program is executed by a computer, such as the processing device of the vehicle, cause the computer to carry out the method described above. The computer program product can be referred to as a computer program.

Eine Information im Sinne der Erfindung kann durch jeweilige Daten beschrieben werden. Zum Beispiel können die Begrenzungsinformationen durch Begrenzungsdaten beschrieben werden. Das gilt analog für alle in der Anmeldung erwähnten Informationen.Information within the meaning of the invention can be described by respective data. For example, the delimitation information can be described by delimitation data. This applies analogously to all information mentioned in the application.

Die Erfindung umfasst Kombinationen der beschriebenen Ausführungsformen. Sie umfasst auch Ausführungsformen des Fahrzeugs, des Verarbeitungsgeräts und des Computerprogrammprodukts gemäß einer der Ausführungsformen oder einer Kombination von Ausführungsformen des erfindungsgemäßen Verfahrens.The invention includes combinations of the described embodiments. It also includes embodiments of the vehicle, the processing device and the computer program product according to one of the embodiments or a combination of embodiments of the method according to the invention.

Es ist gezeigt in:

1 eine schematische Darstellung eines Fahrzeugs, das auf einer Straße fährt,
2 eine schematische Darstellung eines Einzelbildes, das eine Begrenzung Fahrspur für das Fahrzeug beschreibt, und
3 eine schematische Darstellung eines Verfahrens zum Verfolgen einer Begrenzung einer Fahrspur für ein Fahrzeug.

It is shown in:

1 a schematic representation of a vehicle driving on a road,
2 a schematic representation of a single image describing a lane boundary for the vehicle, and
3 a schematic representation of a method for tracking a lane boundary for a vehicle.

1 zeigt ein Fahrzeug 1, das gegenwärtig auf einer Fahrbahn 2 fährt. Genau gesagt fährt das Fahrzeug 1 auf einer Fahrspur 3 der Fahrbahn 2. Das Fahrzeug 1 fährt in einer Fahrtrichtung 4. Die Fahrspur 3 weist zwei Begrenzungen 5, einen Mittelstreifen 6 in Fahrtrichtung 4 links (linke Seite 32) und einen Randstreifen 7 in Fahrtrichtung 4 rechts (rechte Seite 33) auf. 1 shows a vehicle 1 that is currently traveling on a roadway 2. To be precise, the vehicle 1 is traveling on a lane 3 of the roadway 2. The vehicle 1 is traveling in a direction of travel 4. The lane 3 has two boundaries 5, a central reservation 6 in the direction of travel 4 on the left (left side 32) and an edge reservation 7 in the direction of travel 4 on the right (right side 33).

Das Fahrzeug 1 weist ein Verarbeitungsgerät 8 auf. Das Verarbeitungsgerät 8 kann alternativ als Computervorrichtung oder Steuergerät des Fahrzeugs 1 bezeichnet werden. Das Fahrzeug 1 weist des Weiteren eine Sensorvorrichtung 9 auf, wie etwa eine Kameravorrichtung. Die Kameravorrichtung weist vorzugsweise zumindest eine Frontkamera des Fahrzeugs 1 auf. Alternativ oder zusätzlich weist das Fahrzeug 1 eine weitere Sensorvorrichtung 9 auf, die dazu eingerichtet ist, eine Radgeschwindigkeit und/oder einen Lenkwinkel des Fahrzeugs 1 zu bestimmen.The vehicle 1 has a processing device 8. The processing device 8 can alternatively be referred to as a computer device or control device of the vehicle 1. The vehicle 1 further has a sensor device 9, such as a camera device. The camera device preferably has at least one front camera of the vehicle 1. Alternatively or additionally, the vehicle 1 has a further sensor device 9 which is designed to determine a wheel speed and/or a steering angle of the vehicle 1.

2 zeigt eine Kamerainformation 10. Die Kamerainformation 10 ist zum Beispiel eine Abbildung einer Umgebung des Fahrzeugs 1, die von der Frontkamera als Sensorvorrichtung 9 erfasst wird. Die Abbildung wird im Folgenden als ein Einzelbild bezeichnet. In dem Einzelbild sind die Begrenzungen 5 der Fahrspur 3 gezeigt. Mit anderen Worten zeigt die Begrenzung 5 Fahrbahnoberflächenmarkierungen der Fahrbahn 2. In dem Einzelbild setzt sich jede Begrenzung 5 aus einzelnen Punkten 30 zusammen. Für jeden Punkt 30 sind x- und y-Koordinate in dem Einzelbild bekannt. In 2 markiert ein Kreuz eine Fahrzeugposition 31 des Fahrzeugs 1. 2 shows a camera information 10. The camera information 10 is, for example, an image of the surroundings of the vehicle 1, which is captured by the front camera as a sensor device 9. The image is referred to below as a single image. In the single image, the boundaries 5 of the lane 3 are shown. In other words, the boundary 5 shows road surface markings of the road 2. In the single image, each boundary 5 is made up of individual points 30. For each point 30, the x and y coordinates in the single image are known. In 2 a cross marks a vehicle position 31 of vehicle 1.

3 zeigt Schritte des Verfahrens zum Verfolgen der Begrenzung 5 der Fahrspur 3 für das Fahrzeug 1. Ein Schritt S1 umfasst ein Bestimmen einer Begrenzungsinformation 12, 13, 14. Die Begrenzungsinformation 12 beschreibt die Begrenzung 5 der Fahrspur 3 in einem ersten Einzelbild und die Begrenzungsinformation 13 beschreibt die Begrenzung 5 der Fahrspur 3 in einem zweiten Einzelbild. Das erste Einzelbild wurde vor dem zweiten Einzelbild erfasst. Als Beispiel gibt es hier auch die Begrenzungsinformation 14 für ein weiteres zweites Einzelbild oder ein drittes Einzelbild. Zusammengefasst werden die Begrenzungsinformationen 12, 13, 14 für mehrere Einzelbilder bereitgestellt. 3 shows steps of the method for tracking the boundary 5 of the lane 3 for the vehicle 1. A step S1 comprises determining boundary information 12, 13, 14. The boundary information 12 describes the boundary 5 of the lane 3 in a first individual image and the boundary information 13 describes the boundary 5 of the lane 3 in a second individual image. The first individual image was captured before the second individual image. As an example, there is also boundary information 14 for a further second individual image or a third individual image. In summary, the boundary information 12, 13, 14 is provided for several individual images.

Die jeweilige Begrenzungsinformation 12, 13, 14 wird durch Anwenden eines Begrenzungsbestimmungsalgorithmus 11 auf die Kamerainformation 10 bestimmt. Die Begrenzungsinformation 12, 13, 14 weist mehrere zumindest zweidimensionale Punktkoordinaten (x, y) der Punkte 30 auf, wie es in 2 gezeigt ist. Die Punkte 30 sind Punkte 30 auf der Begrenzung 5. Abhängig von einem Wert einer horizontalen Koordinate (y-Koordinate) der jeweiligen Punktkoordinate wird jeder Punkt 30 einer Begrenzung zugeordnet, die sich auf der linken Seite 32 des Fahrzeugs 1 befindet, oder einer Begrenzung 5, die sich auf der gegenüberliegenden rechten Seite 33 befindet. Die unterschiedlichen Seiten 32, 33 sind in Fahrtrichtung 4 betrachtet.The respective boundary information 12, 13, 14 is determined by applying a boundary determination algorithm 11 to the camera information 10. The boundary information 12, 13, 14 has several at least two-dimensional point coordinates (x, y) of the points 30, as shown in 2 is shown. The points 30 are points 30 on the boundary 5. Depending on a value of a horizontal coordinate (y-coordinate) of the respective point coordinate, each point 30 is assigned to a boundary located on the left side 32 of the vehicle 1 or to a boundary 5 located on the opposite right side 33. The different sides 32, 33 are viewed in the direction of travel 4.

Ein Schritt S2 umfasst ein Bestimmen mehrerer mathematischer Modelle 15, 16, 17, die die Begrenzung 5 beschreiben. Sie beschreiben die Begrenzung 5 für das erste Einzelbild im Fall der mathematischen Modelle 15 und die Begrenzung 5 für das zweite Einzelbild im Fall der mathematischen Modelle 16. Die mathematischen Modelle 17 beschreiben die Begrenzung 5 für das weitere zweite Einzelbild oder dritte Einzelbild basierend auf der Begrenzungsinformation 14. Die mathematischen Modelle 15, 16, 17 werden durch Anwenden eines Bestimmungsalgorithmus für ein mathematisches Modell 18 auf die jeweils bereitgestellte Begrenzungsinformation 12, 13, 14 bestimmt.A step S2 comprises determining a plurality of mathematical models 15, 16, 17 that describe the boundary 5. They describe the boundary 5 for the first frame in the case of the mathematical models 15 and the boundary 5 for the second frame in the case of the mathematical models 16. The mathematical models 17 describe the boundary 5 for the further second frame or third frame based on the boundary information 14. The mathematical models 15, 16, 17 are determined by applying a determination algorithm for a mathematical model 18 to the boundary information 12, 13, 14 provided in each case.

Der Einfachheit halber werden im Folgenden nur die Begrenzungsinformationen 12, 13 und die mathematischen Modelle 15, 16 betrachtet.For simplicity, only the boundary information 12, 13 and the mathematical models 15, 16 are considered below.

Durch Anwenden des Bestimmungsalgorithmus für ein mathematisches Modell 18 wird eine Polynomfunktion dritten Grades bestimmt, die mit der jeweiligen Begrenzungsinformation 12, 13 mit einem Fehler zusammenpasst, der kleiner ist als ein Fehlergrenzwert. Das Anwenden des Bestimmungsalgorithmus für ein mathematisches Modell 18 umfasst des Weiteren ein Lösen eines Regressionsproblems, insbesondere durch Anwenden eines Singulärwertzerlegungsverfahrens. Außerdem kann das Anwenden des Bestimmungsalgorithmus für ein mathematisches Modell 18 ein Anwenden eines Konsensalgorithmus für zufällige Stichproben umfassen, um zumindest einen Teil aller bestimmten mehreren mathematischen Modelle 15, 16 als die mathematischen Modelle 15, 16 auszuwählen, an denen weitere Schritte durchgeführt werden.By applying the mathematical model determination algorithm 18, a third degree polynomial function is determined which matches the respective boundary information 12, 13 with an error that is smaller than an error limit. Applying the mathematical model determination algorithm 18 further comprises solving a regression problem, in particular by applying a singular value decomposition method. In addition, applying the mathematical model determination algorithm 18 can comprise applying a consensus algorithm for random samples in order to determine at least a portion of all determined multiple to select the mathematical models 15, 16 which are to be used for further steps.

Ein Schritt S3 umfasst ein Korrigieren der bestimmten mathematischen Modelle 15 für das erste Einzelbild unter Berücksichtigung einer Odometrie-Information 19. Die Odometrie-Information 19 beschreibt eine Positions- und/oder Orientierungsänderung des Fahrzeugs 1 zwischen Erfassung des ersten Einzelbilds und Erfassung des zweiten Einzelbilds. Die Odometrie-Information 19 kann die Radgeschwindigkeit und/oder den Lenkwinkel des Fahrzeugs 1 umfassen oder beschreiben. Als Ergebnis von Schritt S3 werden die korrigierten mathematischen Modelle 20 für das erste Einzelbild bestimmt.A step S3 includes correcting the determined mathematical models 15 for the first individual image, taking into account odometry information 19. The odometry information 19 describes a change in position and/or orientation of the vehicle 1 between the capture of the first individual image and the capture of the second individual image. The odometry information 19 can include or describe the wheel speed and/or the steering angle of the vehicle 1. As a result of step S3, the corrected mathematical models 20 for the first individual image are determined.

Ein Schritt S4 umfasst ein Anwenden eines Angleichalgorithmus 21 auf die korrigierten mathematischen Modelle 20 für das erste Einzelbild und die mathematischen Modelle 16 für das zweite Einzelbild, um einander zugeordnete Paare 22 von mathematischen Modellen 16, 20 zu bestimmen. Jedes Paar 22 umfasst eines der korrigierten mathematischen Modelle 20 für das erste Einzelbild und eines der mathematischen Modelle 16 für das zweite Einzelbild. Alternativ oder zusätzlich kann der Angleichalgorithmus 21 auf die mathematischen Modelle 17 für das weitere zweite Einzelbild sowie die korrigierten mathematischen Modelle 16 für das zweite Einzelbild, die unter Berücksichtigung der Odometrie-Information 19 bestimmt werden, angewendet werden. Die Odometrie-Information 19 beschreibt dann die Positions- und/oder Orientierungsänderung des Fahrzeugs 1 zwischen Erfassung des zweiten Einzelbilds und Erfassung des weiteren zweiten Einzelbilds.A step S4 comprises applying an adjustment algorithm 21 to the corrected mathematical models 20 for the first individual image and the mathematical models 16 for the second individual image in order to determine pairs 22 of mathematical models 16, 20 associated with one another. Each pair 22 comprises one of the corrected mathematical models 20 for the first individual image and one of the mathematical models 16 for the second individual image. Alternatively or additionally, the adjustment algorithm 21 can be applied to the mathematical models 17 for the further second individual image and the corrected mathematical models 16 for the second individual image, which are determined taking into account the odometry information 19. The odometry information 19 then describes the change in position and/or orientation of the vehicle 1 between the capture of the second individual image and the capture of the further second individual image.

Der Angleichalgorithmus 21 basiert zum Beispiel auf einer Ungarischen Methode, die ein bekanntes mathematisches Verfahren ist. Der Angleichalgorithmus 21 umfasst somit ein Bestimmen eines Abstands zwischen dem jeweiligen korrigierten mathematischen Modell 20 für das erste Einzelbild und dem jeweiligen mathematischen Modell 16 für das zweite Einzelbild. Insbesondere umfasst dies Berechnen einer quadratischen Norm der Differenz zwischen Vektoren von Koeffizienten von Funktionen in Legendre-Basis, wobei die Funktionen das jeweilige mathematische Modell 20, 16 beschreiben.The adjustment algorithm 21 is based, for example, on a Hungarian method, which is a known mathematical method. The adjustment algorithm 21 thus comprises determining a distance between the respective corrected mathematical model 20 for the first individual image and the respective mathematical model 16 for the second individual image. In particular, this comprises calculating a quadratic norm of the difference between vectors of coefficients of functions in Legendre basis, wherein the functions describe the respective mathematical model 20, 16.

Ein Schritt S5 kann ein Konvergieren des korrigierten mathematischen Modells 20 für das erste Einzelbild mit dem zugeordneten mathematischen Modell 16 für das zweite Einzelbild durch Anwenden eines Filters 23 auf das korrigierte mathematische Modell 20 umfassen. Der Filter 23 ist insbesondere ein Kalman-Filter. Schritt S5 folgt auf Schritt S4. Als Ergebnis von Schritt S5 werden konvergierte mathematische Modelle 24 für das erste Einzelbild bestimmt.A step S5 may comprise converging the corrected mathematical model 20 for the first frame with the associated mathematical model 16 for the second frame by applying a filter 23 to the corrected mathematical model 20. The filter 23 is in particular a Kalman filter. Step S5 follows step S4. As a result of step S5, converged mathematical models 24 for the first frame are determined.

Ein Schritt S6 umfasst ein Entfernen des korrigierten mathematischen Modells 20 und/oder des konvergierten mathematischen Modells 24 für das erste Einzelbild, das nicht von einem der bestimmten einander zugeordneten Paare 22 umfasst ist. Alternativ oder zusätzlich wird das korrigierte mathematische Modell 20 und/oder das konvergierte mathematische Modell 24 für das erste Einzelbild, für das ein Löschzähler 25 außerhalb eines Löschzählerwertbereichs 26 ist, entfernt. Der Löschzähler 25 wird um einen spezifischen Faktor und/oder Menge reduziert, wenn das korrigierte mathematische Modell 20 für das erste Einzelbild und/oder das konvergierte mathematische Modell 24 für das erste Einzelbild nicht von einem der bestimmten einander zugeordneten Paare 22 umfasst ist.A step S6 comprises removing the corrected mathematical model 20 and/or the converged mathematical model 24 for the first frame that is not included in one of the determined associated pairs 22. Alternatively or additionally, the corrected mathematical model 20 and/or the converged mathematical model 24 for the first frame for which an erase counter 25 is outside an erase counter value range 26 is removed. The erase counter 25 is reduced by a specific factor and/or amount if the corrected mathematical model 20 for the first frame and/or the converged mathematical model 24 for the first frame is not included in one of the determined associated pairs 22.

Ein Schritt S7 kann ein Bestimmen eines Vertrauenswerts 27 für jedes verbliebene mathematische Modell 20, 24, 16 umfassen. Ist das konvergierte mathematische Modell 24 bestimmt worden, so wird der Vertrauenswert 27 für das konvergierte mathematische Modell 24 für das erste Einzelbild bestimmt. Der Vertrauenswert 27 wird unter Berücksichtigung zumindest einer der folgenden Informationen bestimmt: eine Anzahl von Einzelbildern, für welche das mathematische Modell 16, 20, 24 von einem der bestimmten einander zugeordneten Paare 22 umfasst worden ist; eine Fehlergröße eines bestimmten Fehlers des jeweiligen mathematischen Modells 16, 20, 24; und/oder die Information, dass das mathematische Modell 20, 24 von einem der einander zugeordneten Paare 22 umfasst wird, das auch eines der mathematischen Modelle 16 für das zuletzt erfasste zweite Einzelbild umfasst. Schritt S7 geht davon aus, dass mehrere zweite Einzelbilder eines nach dem anderen erfasst werden.A step S7 may include determining a confidence value 27 for each remaining mathematical model 20, 24, 16. Once the converged mathematical model 24 has been determined, the confidence value 27 for the converged mathematical model 24 for the first individual image is determined. The confidence value 27 is determined taking into account at least one of the following information: a number of individual images for which the mathematical model 16, 20, 24 has been included in one of the specific associated pairs 22; an error size of a specific error of the respective mathematical model 16, 20, 24; and/or the information that the mathematical model 20, 24 is included in one of the specific associated pairs 22 that also includes one of the mathematical models 16 for the last acquired second individual image. Step S7 assumes that several second individual images are acquired one after the other.

Des Weiteren umfasst das Verfahren einen Schritt S8, der ein Bereitstellen aller mathematischen Modelle 16, 20, 24 oder insbesondere des einzigen verbliebenen mathematischen Modells 16, 20, 24 mit dem höchsten Vertrauenswert 27 umfasst. Ein Schritt S9 umfasst ein Verfolgen der Begrenzung 5 unter Berücksichtigung zumindest eines der bereitgestellten mathematischen Modelle 16, 20, 24, insbesondere unter Berücksichtigung des einzigen verbliebenen mathematischen Modells 16, 20, 24 mit dem höchsten Vertrauenswert 27. Das verbliebene mathematische Modell 16, 20, 24 kann für eine Fahrzeugfunktion des Fahrzeugs 1, wie etwa eine Fahrerassistenzfunktion, bereitgestellt werden.Furthermore, the method comprises a step S8, which comprises providing all mathematical models 16, 20, 24 or in particular the only remaining mathematical model 16, 20, 24 with the highest confidence value 27. A step S9 comprises tracking the boundary 5 taking into account at least one of the provided mathematical models 16, 20, 24, in particular taking into account the only remaining mathematical model 16, 20, 24 with the highest confidence value 27. The remaining mathematical model 16, 20, 24 can be provided for a vehicle function of the vehicle 1, such as a driver assistance function.

Die beschriebenen Schritte werden vorzugsweise von dem Verarbeitungsgerät 8 des Fahrzeugs 1 durchgeführt.The described steps are preferably carried out by the processing device 8 of the vehicle 1.

Zusammengefasst wurde die Detektion und Verfolgung von Begrenzungen 5 aus Kamerabildern, also Kamerainformationen 10, beschrieben. Die Begrenzungskonturen werden als Polynome dritten Grades modelliert. Detektionen aus vorherigen Einzelbildern werden unter Verwendung von Odometrie aktualisiert. Begrenzungsdetektionen aus dem gegenwärtigen Einzelbild werden mit Verfolgungsdetektionen aus vorherigen Einzelbildern unter Verwendung des Munkres-Algorithmus (Ungarische Methode) angeglichen. Die Verfolgung erfolgt mit einem Kalman-Filter. Sowohl für das Angleichen als auch das Verfolgen werden Polynome in die orthogonale Legendre-Basis konvertiert.In summary, the detection and tracking of boundaries 5 from camera images, i.e. camera information 10, has been described. The boundary contours are modeled as third-order polynomials. Detections from previous frames are updated using odometry. Boundary detections from the current frame are aligned with tracking detections from previous frames using the Munkres algorithm (Hungarian method). Tracking is performed using a Kalman filter. For both alignment and tracking, polynomials are converted to the orthogonal Legendre basis.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102020112958 A1 [0004]
US 20100054538 A1 [0005]

Claims

Method for tracking a boundary (5) of a lane (3) for a vehicle (1), comprising: - providing (S1) boundary information (12, 13) describing the boundary (5) of the lane (3) in a first single image and in a second single image, the first single image having been captured before the second single image; - determining (S2) a plurality of mathematical models (15, 16) describing the boundary (5), both for the first single image and for the second single image, by applying a determination algorithm for a mathematical model (18) to the boundary information (12, 13) provided for the first single image and the second single image, respectively; - correcting (S3) the determined mathematical models (15) for the first single image, taking into account odometry information (19) describing a position and/or orientation change of the vehicle (1) between capture of the first single image and capture of the second single image; - applying (S4) an adjustment algorithm (21) to the corrected mathematical models (20) for the first single image and the mathematical models (16) for the second single image to determine associated pairs (22) of mathematical models (16, 20), each pair (22) comprising one of the corrected mathematical models (20) for the first single image and one of the mathematical models (16) for the second single image; - removing (S6) the corrected mathematical model (20) for the first single image that is not comprised by one of the determined associated pairs (22) and/or for which an erase counter (25) is outside an erase counter value range (26); - providing (S8) the remaining mathematical models (16, 20); - tracking (S9) the boundary (5) taking into account at least one of the provided mathematical models (16, 20).

Procedure according to Claim 1 , characterized by determining (S7) a confidence value (27) for each remaining mathematical model (16, 20); providing (S8) the remaining mathematical model (16, 20) with the highest confidence value (27); and tracking (S9) the boundary (5) taking into account the only provided mathematical model (16, 20).

Method according to one of the preceding claims, characterized by converging (S5) the corrected mathematical model (20) for the first individual image with the associated mathematical model (16) for the second individual image by applying a filter (23) to the corrected mathematical model (20), in particular a Kalman filter, after applying the adjustment algorithm (21).

Method according to one of the preceding claims, characterized by determining the boundary information (12, 13) by applying a boundary determination algorithm (11) to camera information (10) describing an environment of the vehicle (1).

Procedure according to Claim 4 , characterized in that the boundary information (12, 13) comprises a plurality of at least two-dimensional point coordinates of points (30) on the boundary (5) and, depending on a value of a horizontal coordinate (y) of the respective point coordinate, each point (30) is assigned either to the boundary (5) which is located on a left-hand side (32) of the vehicle (1) when viewed in the direction of travel (4) of the vehicle (1), or to the boundary (5) which is located on an opposite right-hand side (33).

Method according to one of the preceding claims, characterized in that by applying the determination algorithm for a mathematical model (18) a third degree polynomial function is determined which matches the respective limitation information (12, 13) with an error which is smaller than an error limit value.

Method according to one of the preceding claims, characterized in that applying the determination algorithm for a mathematical model (18) comprises solving a regression problem, in particular by carrying out a singular value decomposition method.

Method according to one of the preceding claims, characterized in that applying the mathematical model determination algorithm (18) comprises applying a random sampling consensus algorithm to select at least a portion of all of the determined plurality of mathematical models (16, 20) as the mathematical models (16, 20) to which the adjustment algorithm (21) is applied.

Method according to one of the preceding claims, characterized in that the adjustment algorithm (21) is based on a Hungarian method.

Method according to one of the preceding claims, characterized in that the Alignment algorithm (21) comprises determining a distance between the respective mathematical model (20, 24) for the first individual image and the respective mathematical model (16) for the second individual image, in particular by calculating a quadratic norm of a difference between vectors of coefficients of functions in Legendre basis, wherein the functions describe the respective mathematical model (16, 20, 24).

Method according to one of the preceding claims, characterized in that the deletion counter (25) is reduced by a specific factor and/or amount if the corrected mathematical model (20) for the first individual image is not included in one of the specific pairs (22) assigned to one another.

Method according to one of the preceding claims in its references to Claim 2 , characterized in that a plurality of second individual images are taken into account which were captured one after the other, wherein in particular the determination of the confidence value (27) comprises taking into account at least one of the following information: - a number of individual images for which the mathematical model (16, 20, 24) has been included in one of the specific pairs (22) assigned to one another; - an error size of a specific error of the respective mathematical model (16, 20, 24); and/or - the information that the mathematical model (20, 24) is included in one of the pairs (22) assigned to one another which also includes one of the mathematical models (16) for the last captured second individual image.

Vehicle (1) which is adapted to carry out a method according to one of the preceding claims.

Processing device (8) for a vehicle (1), which is designed to carry out a method according to one of the Claims 1 until 12 to carry out.

A computer program product which contains instructions which, when executed by a computer, cause the computer to perform a method according to any of the Claims 1 until 12 to carry out.