DE102022127693A1 - Method and system for evaluating a device for on-board camera-based detection of road markings - Google Patents

Method and system for evaluating a device for on-board camera-based detection of road markings Download PDF

Info

Publication number
DE102022127693A1
DE102022127693A1 DE102022127693.7A DE102022127693A DE102022127693A1 DE 102022127693 A1 DE102022127693 A1 DE 102022127693A1 DE 102022127693 A DE102022127693 A DE 102022127693A DE 102022127693 A1 DE102022127693 A1 DE 102022127693A1
Authority
DE
Germany
Prior art keywords
road
orthophoto
board camera
marking data
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022127693.7A
Other languages
German (de)
Inventor
Julian Bock
Athanasia Sapountzi
Andreas Puetz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Priority to DE102022127693.7A priority Critical patent/DE102022127693A1/en
Publication of DE102022127693A1 publication Critical patent/DE102022127693A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es wird ein Verfahren (100) zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen bereitgestellt, mit den Schritten: Bereitstellen (102) eines Orthofotos, das auf einer mit einer Aufnahmeeinrichtung an Bord eines Fluggeräts erfassten Fernerkundungsaufnahme von einem Gebiet basiert, das einen als Teststrecke für ein Fahrzeug ausgewählten Fahrbahnverlauf enthält, wobei das Fahrzeug die zu evaluierende Vorrichtung aufweist; Annotieren (103) des Orthofotos mit orthofotobasierten Fahrbahnmarkierungsdaten zu dem ausgewählten Fahrbahnverlauf; während einer Testfahrt (104) des Fahrzeugs entlang dem ausgewählten Fahrbahnverlauf, fortlaufendes Erfassen von einer jeweilig aktuellen Position mit einer Sensoreinrichtung zur Positionsermittlung des Fahrzeugs (105), und von bordkamerabasierten Fahrbahnmarkierungsdaten in einer jeweilig aktuellen Umgebung um die ermittelte jeweilig aktuelle Position (106) mit der Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen; jeweils Ermitteln (107) von orthofotobasierten Fahrbahnmarkierungsdaten in einem zu dieser jeweilig aktuellen Umgebung korrespondierenden Bereich um eine zu dieser jeweilig ermittelten aktuellen Position des Fahrzeugs korrespondierenden Position im annotierten Orthofoto; Konvertieren (108) der ermittelten orthofotobasierten Fahrbahnmarkierungsdaten in ein Format der bordkamerabasierten Fahrbahnmarkierungsdaten; Verifizieren (109) der bordkamerabasierten Fahrbahnmarkierungsdaten in Abhängigkeit von den konvertierten orthofotobasierten Fahrbahnmarkierungsdaten; und Evaluieren (110) der Vorrichtung.A method (100) is provided for evaluating a device for on-board camera-based detection of road markings, comprising the steps of: providing (102) an orthophoto based on a remote sensing image of an area containing a road course selected as a test route for a vehicle, captured by a recording device on board an aircraft, the vehicle having the device to be evaluated; annotating (103) the orthophoto with orthophoto-based road marking data for the selected road course; during a test drive (104) of the vehicle along the selected road course, continuously capturing a respective current position with a sensor device for determining the position of the vehicle (105), and on-board camera-based road marking data in a respective current environment around the determined respective current position (106) with the device for on-board camera-based detection of road markings; determining (107) orthophoto-based lane marking data in an area corresponding to this respective current environment around a position in the annotated orthophoto corresponding to this respective determined current position of the vehicle; converting (108) the determined orthophoto-based lane marking data into a format of the on-board camera-based lane marking data; verifying (109) the on-board camera-based lane marking data depending on the converted orthophoto-based lane marking data; and evaluating (110) the device.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen, ein System zum Ausführen des Verfahrens sowie ein Computerprogrammprodukt und einen computerlesbaren Datenträger.The present invention relates to a method for evaluating a device for on-board camera-based detection of road markings, a system for carrying out the method, a computer program product, and a computer-readable data carrier.

Systeme zum Steuern von autonom fahrenden Fahrzeugen sowie viele Fahrassistenzsysteme basieren darauf, Fahrbahnmarkierungen einer Fahrbahn, d. h. Fahrspur, beispielsweise auf einer Straße oder Autobahn, genau zu erkennen, insbesondere auf die Fahrbahn aufgebrachte Markierungen, um anhand dieser Informationen einen geeigneten Bewegungspfad für das Fahrzeug zu ermitteln, um dem Fahrbahnverlauf folgen zu können. Dabei werden die vom Fahrzeug zu befahrende Fahrbahn mit einer Bordkamera gefilmt und in den erzeugten Live-Videoaufnahmen mithilfe von Bild- und Videoanalyseverfahren sichtbare Fahrbahnmarkierungen detektiert. Bei auf die Fahrbahn aufgebrachten Fahrbahnmarkierungen ist es dabei insbesondere wichtig, Kanten, d. h. den Rand zwischen Fahrbahnmarkierung und dem unmarkierten Bereich der Fahrbahn, z. B. dem unmarkierten Asphalt bzw. Straßenboden, zu erkennen. Bei Kraftfahrzeugen kann die Bordkamera für die Vorwärtsfahrt beispielsweise häufig hinter der Windschutzscheibe im Fahrzeuginnenraum angeordnet sein. Bei Fahrzeugfunktionen, die das Fahrzeug kurzfristig oder auch über einen längeren Zeitraum während der Fahrt automatisch steuern, muss die zugrunde liegende Detektion der Fahrbahnmarkierungen höchst zuverlässig funktionieren, und die verwendete Detektionsvorrichtung, die sowohl die Bordkamera als auch eine programmierbare Einrichtung umfasst, die so programmiert ist, die Detektion in den Videoaufnahmen durchzuführen, muss vor einem Verkauf dahingehend evaluiert sein, dass sie korrekte Ergebnisse liefert. Die Evaluierung wird häufig mithilfe von visueller Überprüfung der Detektionsergebnisse durch Menschen durchgeführt.Systems for controlling autonomous vehicles and many driver assistance systems are based on accurately detecting lane markings on a road, i.e. lane, for example on a street or motorway, in particular markings applied to the road, in order to use this information to determine a suitable path of movement for the vehicle in order to be able to follow the course of the road. The road on which the vehicle is to travel is filmed with an on-board camera and visible lane markings are detected in the live video recordings generated using image and video analysis methods. In the case of lane markings applied to the road, it is particularly important to detect edges, i.e. the edge between the lane marking and the unmarked area of the road, e.g. the unmarked asphalt or road surface. In motor vehicles, for example, the on-board camera for forward travel can often be arranged behind the windshield in the vehicle interior. For vehicle functions that automatically control the vehicle for a short period of time or for a longer period of time while driving, the underlying detection of the lane markings must function with the utmost reliability, and the detection device used, which includes both the on-board camera and a programmable device that is programmed to perform the detection in the video recordings, must be evaluated before sale to ensure that it delivers correct results. The evaluation is often carried out using visual inspection of the detection results by humans.

Um diese Evaluierung der Detektionsvorrichtung automatisieren zu können, werden Grundwahrheitsdaten für die Fahrbahnverläufe, d. h. die Fahrtrouten, auf denen die Vorrichtung getestet werden soll, benötigt. Diese Daten ermöglichen, die Ermittlung der Fahrbahnmarkierungen durch die Detektionsvorrichtung anhand der als wahr angenommenen, tatsächlich vorhandene Fahrbahnmarkierungen beschreibenden, Grundwahrheitsdaten verifizieren zu können.In order to automate this evaluation of the detection device, ground truth data for the lane courses, i.e. the routes on which the device is to be tested, are required. This data makes it possible to verify the detection of the lane markings by the detection device using the ground truth data, which is assumed to be true and describes the actually existing lane markings.

Allerdings kann das Erzeugen von Grundwahrheitsdaten aufwendig und teuer sein. Werden die Grundwahrheitsdaten mithilfe von manueller Annotation von Bordkamerabildern erzeugt, müssen, da für eine ausreichende Datenbasis viele Fahrbahnkilometer, beispielsweise 1000 km oder mehr, erfasst werden, sehr viele Bordkamerabilder gesichtet und annotiert werden, so dass leicht sehr hohe Kosten anfallen. Dies gilt insbesondere auch für Detektionsvorrichtungen für autonom fahrende Fahrzeuge, für die gegebenenfalls mehrere 100.000 km oder sogar Millionen Fahrbahnkilometer ausgewertet werden müssen.However, generating ground truth data can be complex and expensive. If the ground truth data is generated using manual annotation of on-board camera images, a large number of on-board camera images must be viewed and annotated, as many kilometers of road, for example 1,000 km or more, are recorded to create a sufficient database, which can easily result in very high costs. This is particularly true for detection devices for autonomous vehicles, for which several hundred thousand kilometers or even millions of kilometers of road may have to be evaluated.

In der WO 2012/089261 A1 wird ein Verfahren zum automatischen Extrahieren von Fahrbahnmarkierungen aus Fahrbahnaufnahmen beschrieben, mit dem vermieden wird, Abschnitte der Fahrbahnoberfläche bisher ohne Fahrbahnmarkierungen manuell überprüfen zu müssen, und wobei den extrahierten Fahrbahnmarkierungen geographische Positionen zugeordnet werden.In the WO 2012/089261 A1 describes a method for automatically extracting road markings from road surface images, which avoids having to manually check sections of the road surface previously without road markings, and wherein geographical positions are assigned to the extracted road markings.

In der JP 2009 237 901 A wird ein Verfahren zum Extrahieren von Fahrbahnmarkierungen auf einer Fahrbahnoberfläche in Form von verbundenen Polygonen beschrieben. Dabei werden mit einer Videokamera an Bord eines Fahrzeugs Aufnahmen von der Fahrbahnoberfläche gemacht und die Fahrzeugposition erfasst und diese Aufnahmen in ein Orthofoto transformiert, das eine Ansicht der Fahrbahn unmittelbar von oben zeigt.In the JP 2009 237 901 A describes a method for extracting road markings on a road surface in the form of connected polygons. A video camera on board a vehicle takes pictures of the road surface and records the vehicle position, and these pictures are transformed into an orthophoto that shows a view of the road directly from above.

In der US 2021/0148722 A1 wird ein Verfahren zum Erzeugen einer hochauflösenden Karte beschrieben, bei dem aus Luftaufnahmen gewonnene 2D-Koordinaten von Objekten auf eine mit beispielsweise einem Kartierungssystem auf einem Fahrzeug zum Erfassen von raumbezogenen Daten erzeugte Punktwolke projiziert werden.In the US 2021/0148722 A1 describes a method for generating a high-resolution map in which 2D coordinates of objects obtained from aerial photographs are projected onto a point cloud generated, for example, with a mapping system on a vehicle for capturing spatial data.

Mit einer Bordkamera aufgenommene Fahrbahnbilder und damit die darin identifizierten Daten der darin erkannten Fahrbahnmarkierungen sind abhängig von der Position der Bordkamera relativ zur Fahrbahn, so dass sich die erforderlichen Grundwahrheitsdaten beispielsweise je nach Fahrzeugtyp und Position der Bordkamera unterscheiden können. Beispielsweise kann sich die Perspektive der Bordkamera eines Kleinwagens erheblich von der eines Lastwagens unterscheiden, wodurch sich für einen Hersteller, der seine Detektionsvorrichtung für eine Mehrzahl von Fahrzeugtypen vertreiben möchte, die Evaluierungskosten weiter erhöhen können, da ggf. für jeden gewünschten Fahrzeugtyp oder sogar für jedes Fahrzeugmodell eigene Grundwahrheitsdaten erzeugt werden müssen. Ebenso kann es für einen Fahrzeugtyp oder ein Fahrzeugmodell mehrere zulässige Positionen der Bordkamera am bzw. im Fahrzeug geben.Road images taken with an on-board camera and thus the data identified therein of the road markings detected therein depend on the position of the on-board camera relative to the road, so that the required ground truth data can differ, for example, depending on the vehicle type and position of the on-board camera. For example, the perspective of the on-board camera of a small car can differ considerably from that of a truck, which can further increase the evaluation costs for a manufacturer who wants to sell its detection device for a plurality of vehicle types, since separate ground truth data may have to be generated for each desired vehicle type or even for each vehicle model. Likewise, there may be several permissible positions of the on-board camera on or in the vehicle for a vehicle type or model.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine einfache, zuverlässige und dennoch kostengünstige Möglichkeit bereitzustellen, eine Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen zu evaluieren.The present invention is based on the object of providing a simple, reliable and yet cost-effective way to direction for on-board camera-based detection of road markings.

Diese Aufgabe wird erfindungsgemäß mit einem Verfahren zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen gemäß Anspruch 1 sowie einem System zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen gemäß Anspruch 13, einem Computerprogrammprodukt gemäß Anspruch 14 und einem computerlesbaren Datenträger gemäß Anspruch 15 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.This object is achieved according to the invention with a method for evaluating a device for on-board camera-based detection of road markings according to claim 1 and a system for evaluating a device for on-board camera-based detection of road markings according to claim 13, a computer program product according to claim 14 and a computer-readable data carrier according to claim 15. Advantageous developments of the invention are specified in the subclaims.

Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen einen Schritt des Bereitstellens von mindestens einem Orthofoto, das auf mindestens einer mit einer Aufnahmeeinrichtung an Bord eines Fluggeräts erfassten Fernerkundungsaufnahme von einem Gebiet basiert, in dem ein Fahrbahnnetz mindestens einen als Teststrecke für ein Fahrzeug ausgewählten Fahrbahnverlauf aufweist, wobei das Fahrzeug eine zu evaluierende Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen aufweist.According to a first aspect of the invention, a method for evaluating a device for on-board camera-based detection of road markings comprises a step of providing at least one orthophoto based on at least one remote sensing image captured by a recording device on board an aircraft of an area in which a road network has at least one road course selected as a test route for a vehicle, wherein the vehicle has a device to be evaluated for on-board camera-based detection of road markings.

In einem weiteren Schritt erfolgt ein Annotieren des mindestens einen Orthofotos mit orthofotobasierten Fahrbahnmarkierungsdaten zumindest zu dem als Teststrecke ausgewählten Fahrbahnverlauf.In a further step, at least one orthophoto is annotated with orthophoto-based road marking data at least for the road course selected as the test route.

In einem weiteren Schritt erfolgt während einer Testfahrt des Fahrzeugs entlang dem als Teststrecke ausgewählten Fahrbahnverlauf ein fortlaufendes Erfassen von einer jeweilig aktuellen Position mit einer Sensoreinrichtung zur Positionsermittlung des Fahrzeugs, und von bordkamerabasierten Fahrbahnmarkierungsdaten in einer jeweilig aktuellen Umgebung um die ermittelte jeweilig aktuelle Position mit der Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen.In a further step, during a test drive of the vehicle along the road course selected as the test route, a current position is continuously recorded using a sensor device for determining the position of the vehicle, and on-board camera-based road marking data in a current environment around the determined current position is continuously recorded using the device for on-board camera-based detection of road markings.

Das Verfahren umfasst außerdem, jeweils orthofotobasierte Fahrbahnmarkierungsdaten zumindest in einem zu dieser jeweilig aktuellen Umgebung korrespondierenden Bereich um eine zu dieser jeweilig ermittelten aktuellen Position des Fahrzeugs korrespondierende Position im annotierten mindestens einen Orthofoto zu ermitteln.The method also includes determining orthophoto-based lane marking data at least in an area corresponding to this respective current environment around a position in the annotated at least one orthophoto corresponding to this respective current position of the vehicle.

In einem weiteren Schritt erfolgt ein Konvertieren der ermittelten orthofotobasierten Fahrbahnmarkierungsdaten in ein Format der bordkamerabasierten Fahrbahnmarkierungsdaten.In a further step, the determined orthophoto-based road marking data are converted into a format of the on-board camera-based road marking data.

Außerdem erfolgt ein Verifizieren der bordkamerabasierten Fahrbahnmarkierungsdaten in Abhängigkeit von den konvertierten orthofotobasierten Fahrbahnmarkierungsdaten und ein Evaluieren der Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen. Je nachdem, inwieweit sich die bordkamerabasierten Fahrbahnmarkierungsdaten anhand von angepassten Grundwahrheitsdaten, d. h. den konvertierten orthofotobasierten Fahrbahnmarkierungsdaten, verifizieren lassen, d. h. abhängig vom Umfang eventueller Abweichungen, wird die Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen bewertet, d. h. evaluiert. Dabei können weitere Parameter berücksichtigt werden, unter denen die bordkamerabasierte Detektion erfolgt ist, beispielsweise Umfeldbedingungen wie Straßenkategorie, Wetter, Lichtverhältnisse, Verkehrsdichte usw. In einer Ausführungsform werden automatisch Leistungskennzahlen (KPI - Key Performance Indicator) ermittelt, die auf vergleichbare, ggf. standardisierte, Weise die Qualität und Zuverlässigkeit bzw. Leistungsfähigkeit des evaluierten Systems beschreiben und so einen vereinfachten Vergleich mit anderen Systemkonfigurationen oder anderen Systemen ermöglichen.In addition, the on-board camera-based road marking data is verified depending on the converted orthophoto-based road marking data and the device for on-board camera-based detection of road markings is evaluated. Depending on the extent to which the on-board camera-based road marking data can be verified using adapted ground truth data, i.e. the converted orthophoto-based road marking data, i.e. depending on the extent of any deviations, the device for on-board camera-based detection of road markings is assessed, i.e. evaluated. In doing so, other parameters under which the on-board camera-based detection was carried out can be taken into account, for example environmental conditions such as road category, weather, lighting conditions, traffic density, etc. In one embodiment, key performance indicators (KPIs) are automatically determined that describe the quality and reliability or performance of the evaluated system in a comparable, possibly standardized, manner and thus enable a simplified comparison with other system configurations or other systems.

Das Verfahren ist ein computerimplementiertes Verfahren, bei dem zumindest ein Teil der Schritte durch eine programmierbare Einrichtung mit Prozessor und Speicher ausgeführt werden, wobei im Speicher ein Computerprogrammprodukt zum Durchführen des Verfahrens gespeichert ist.The method is a computer-implemented method in which at least some of the steps are carried out by a programmable device with a processor and memory, wherein a computer program product for carrying out the method is stored in the memory.

Die bordkamerabasierte Detektion von Fahrbahnmarkierungsdaten betrifft die Detektion, d. h. Erkennung, von Fahrbahnmarkierungsdaten basierend auf einer Auswertung von Videobildern von mindestens einer Bordkamera, d. h. einer Kamera an Bord des Fahrzeugs.The on-board camera-based detection of lane marking data concerns the detection, i.e. recognition, of lane marking data based on an evaluation of video images from at least one on-board camera, i.e. a camera on board the vehicle.

Fahrbahnmarkierungsdaten umfassen beispielsweise insbesondere Polynome zur räumlichen Beschreibung von Fahrbahnmarkierungen, können aber beispielsweise auch einen Fahrbahnmarkierungstyp, eine Farbe der Fahrbahnmarkierungen, einen Typ einer Fahrbahnbegrenzung, Markierungen von Fahrbahnzusammenführungen und -aufteilungen (beispielsweise von Fahrbahneinmündungen und Fahrbahnausfahrten oder -abzweigungen) umfassen. Insbesondere sind Fahrbahnmarkierungen auch innere und äußere Markierungsstreifen einer Fahrbahn bzw. Fahrspur, zum Beispiel Mittelstreifen und Fahrbahnrandmarkierungen.Road marking data includes, for example, in particular polynomials for the spatial description of road markings, but can also include, for example, a road marking type, a color of the road markings, a type of road boundary, markings of road junctions and divisions (for example, road junctions and road exits or junctions). In particular, road markings also include inner and outer marking strips of a roadway or lane, for example median strips and road edge markings.

Die orthofotobasierte Detektion von Fahrbahnmarkierungsdaten betrifft die Detektion von Fahrbahnmarkierungsdaten basierend auf einer Auswertung des mindestens einen Orthofotos, in dem das Gebiet, in dem der als Teststrecke für das Fahrzeug ausgewählte Fahrbahnverlauf mindestens teilweise abgebildet ist. Die Teststrecke kann dabei in einem einzigen Orthofoto abgebildet sein oder in mehreren, aus denen sich ein größeres Orthofoto generieren ließe, in dem dann die gesamte Teststrecke abgebildet ist. Ein Orthofoto ist eine, ggf. durch geometrische Korrektur bzw. photogrammetrische Verfahren aus einer anderen Aufnahme erzeugte, verzerrungsfreie und maßstabsgetreue Abbildung eines Gebiets der Erdoberfläche. Bei den verfahrensgemäß verwendeten Orthofotos handelt es sich um aus Fernerkundungsaufnahmen, die mit einer Aufnahmeeinrichtung, d. h. Kamera, an Bord eines Fluggeräts aufgenommen wurden, erzeugte Orthofotos. Bei den Fernerkundungsaufnahmen handelt es sich beispielsweise um Luftaufnahmen aus einem Flugzeug oder einer Drohne oder um Satellitenaufnahmen. Es handelt sich beispielsweise nicht um Kameraaufnahmen eines mobilen Kartographierungssystems an Bord eines Bodenfahrzeugs, für die dann ein Perspektivenwechsel zu einer Draufsicht berechnet wurde.The orthophoto-based detection of road marking data relates to the detection of road marking data based on an evaluation of at least one orthophoto in which the area in which the road course selected as the test route for the vehicle is at least partially depicted. The test route can be depicted in a single orthophoto or in several, from which a larger orthophoto could be generated, in which the entire test track is then depicted. An orthophoto is a distortion-free and true-to-scale image of an area of the earth's surface, possibly generated from another image by geometric correction or photogrammetric methods. The orthophotos used in the process are orthophotos generated from remote sensing images taken with a recording device, i.e. a camera, on board an aircraft. The remote sensing images are, for example, aerial photographs from an aircraft or a drone, or satellite images. They are not, for example, camera images from a mobile mapping system on board a ground vehicle, for which a change of perspective to a top view was then calculated.

Das Annotieren des mindestens einen Orthofotos mit orthofotobasierten Fahrbahnmarkierungsdaten zumindest zu dem als Teststrecke ausgewählten Fahrbahnverlauf erfolgt vorzugsweise automatisch. In einer weiteren Ausführungsform, in der das Annotieren manuell oder semiautomatisch erfolgt, ist vorgesehen, dass der Schritt des Bereitstellens von mindestens einem Orthofoto umfassen kann, dass bereits mit orthofotobasierten Fahrbahnmarkierungsdaten annotierte Orthofotos bereitgestellt werden, das Annotieren also vor dem Schritt des Bereitstellens erfolgt.The annotation of the at least one orthophoto with orthophoto-based road marking data at least for the road course selected as the test route is preferably carried out automatically. In a further embodiment in which the annotation is carried out manually or semi-automatically, it is provided that the step of providing at least one orthophoto can include providing orthophotos already annotated with orthophoto-based road marking data, i.e. the annotation takes place before the step of providing.

Das Erfassen von bordkamerabasierten Fahrbahnmarkierungsdaten in einer jeweilig aktuellen Umgebung um eine von einer Sensoreinrichtung zur Positionsermittlung des Fahrzeugs ermittelten aktuellen Position während der Testfahrt des Fahrzeugs umfasst sowohl, dass das Erfassen kontinuierlich erfolgt, als auch dass das Erfassen zu bestimmten Zeitpunkten, beispielsweise in regelmäßigen Abständen, erfolgt, insbesondere zu Zeitpunkten, an denen Aufnahmen der Umgebung erfolgen, um daraus bordkamerabasierte Fahrbahnmarkierungsdaten zu gewinnen. Auf diese Weise ist sichergestellt, dass sich den aufgenommenen Fahrbahnmarkierungen Positionen zuordnen lassen, die sich aus der Fahrzeugposition und den Kameraeinstellungen ermitteln lassen. Dabei umfasst die Umgebung des Fahrzeugs insbesondere zumindest auch den Fahrbahnabschnitt im Sichtfeld der Kamera in der aktuellen Fahrtrichtung. Es wird nicht nur die Position, sondern auch die Ausrichtung des Fahrzeugs erfasst, beispielsweise auch anhand des Bewegungspfades des Fahrzeugs und ggf. dessen Neigung. Idealerweise wird die jeweils aktuelle Orientierung, d. h. die Drehlage, des Fahrzeugs im dreidimensionalen Raum vollständig erfasst, z. B. im dreidimensionalen euklidischen Raum beschrieben durch vollständige Sätze von Eulerwinkeln.The recording of on-board camera-based lane marking data in a current environment around a current position determined by a sensor device for determining the position of the vehicle during the test drive of the vehicle includes both that the recording takes place continuously and that the recording takes place at certain times, for example at regular intervals, in particular at times when recordings of the environment are made in order to obtain on-board camera-based lane marking data from them. In this way, it is ensured that the recorded lane markings can be assigned positions that can be determined from the vehicle position and the camera settings. The vehicle's environment in particular also includes at least the section of the road in the camera's field of view in the current direction of travel. Not only the position but also the orientation of the vehicle is recorded, for example based on the vehicle's path of movement and, if applicable, its inclination. Ideally, the current orientation, i.e. the rotational position, of the vehicle is fully recorded in three-dimensional space, e.g. described in three-dimensional Euclidean space by complete sets of Euler angles.

Verfahrensgemäß wird zu jeder dieser aktuellen Umgebungen zu der jeweils aktuellen Position in dem mindestens einen annotierten Orthofoto ein korrespondierender Bereich um eine korrespondierende Position ermittelt, um dort jeweils zugehörige orthofotobasierte Fahrbahnmarkierungsdaten zu ermitteln. Mit anderen Worten, es erfolgt ein Extrahieren der orthofotobasierten Fahrbahnmarkierungsdaten aus dem annotierten Orthofoto in dem jeweilig zur Umgebung der Fahrzeugposition korrespondierenden Bereich. Diese extrahierten orthofotobasierten Fahrbahnmarkierungsdaten werden dann in ein Format der bordkamerabasierten Fahrbahnmarkierungsdaten konvertiert, so dass die konvertierten orthofotobasierten Fahrbahnmarkierungsdaten mit den bordkamerabasierten Fahrbahnmarkierungsdaten korrespondieren, wenn die zu evaluierende Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen fehlerfrei funktioniert. Dabei umfasst das Konvertieren insbesondere, die Position und Perspektive der Kamera an Bord des Fahrzeugs zu berücksichtigen.According to the method, for each of these current environments, a corresponding area around a corresponding position is determined for the respective current position in the at least one annotated orthophoto in order to determine the respective associated orthophoto-based lane marking data there. In other words, the orthophoto-based lane marking data is extracted from the annotated orthophoto in the respective area corresponding to the environment of the vehicle position. These extracted orthophoto-based lane marking data are then converted into a format of the on-board camera-based lane marking data, so that the converted orthophoto-based lane marking data correspond to the on-board camera-based lane marking data if the device to be evaluated for on-board camera-based detection of lane markings functions correctly. The conversion includes in particular taking into account the position and perspective of the camera on board the vehicle.

Das hier beschriebene Verfahren basiert darauf, eine automatische Verifikation und Evaluation von Vorrichtungen zur bordkamerabasierten Detektion von Fahrbahnmarkierungen durchzuführen, wobei als Grundwahrheit Daten aus Orthofotos von Fahrbahnverläufen zugrunde gelegt werden, auf denen Fahrzeuge mit der zu evaluierenden Vorrichtung getestet werden. Bei dem beschriebenen Verfahren dienen Fahrbahnmarkierungsdaten aus annotierten Orthofotos nicht zum Bereitstellen von Fahrspurinformationen für Fahrerassistenzsysteme und autonom fahrende Fahrzeuge, sondern dienen als Grundwahrheitsdaten für die genaue Evaluierung von bordkamerabasierten Fahrbahnmarkierungsdetektionsvorrichtungen, die für Fahrerassistenzsysteme oder autonom fahrende Fahrzeuge verwendet werden.The method described here is based on carrying out an automatic verification and evaluation of devices for on-board camera-based detection of lane markings, using as ground truth data from orthophotos of lane courses on which vehicles with the device to be evaluated are tested. In the method described, lane marking data from annotated orthophotos are not used to provide lane information for driver assistance systems and autonomous vehicles, but serve as ground truth data for the precise evaluation of on-board camera-based lane marking detection devices that are used for driver assistance systems or autonomous vehicles.

Die Grundwahrheitsdaten zur Erkennung von Fahrbahnmarkierungen werden aus Orthofotos extrahiert, die auf Fernerkundungsaufnahmen, d. h. Satellitenaufnahmen oder Luftaufnahmen aus großer Höhe, d. h. aus einer „Vogelperspektive“, anstatt auf Videobildern basieren, die mit Kameras an Bord von Fahrzeugen aufgenommen wurden. Die Annotation von Orthofotos ist wesentlich effizienter als die Annotation von Bordkameravideobildern, da beispielsweise viel weniger Aufnahmen annotiert werden müssen.The ground truth data for detecting lane markings is extracted from orthophotos based on remote sensing imagery, i.e. satellite imagery or aerial photography taken from high altitude, i.e. from a “bird’s eye view”, rather than on video images captured by cameras on board vehicles. Annotating orthophotos is much more efficient than annotating on-board camera video images, for example, because far fewer images need to be annotated.

Darüber hinaus müssen orthofotobasierte Grundwahrheitsdaten im Gegensatz zu Grundwahrheitsdaten, die auf der Basis von Bordkameraaufnahmen erzeugt werden, nicht individuell für jede Testfahrt und für jede Kameraausrichtung erzeugt werden, sondern können auch für spätere Testfahrten auf derselben Teststrecke verwendet werden, sofern sich die Fahrbahnmarkierungen zwischenzeitlich nicht geändert haben, was in der Regel zutrifft. Ansonsten muss nur der betroffene Bereich, in dem sich die Fahrbahnmarkierungen geändert haben, aktualisiert werden. Dieselben Grundwahrheitsdaten können somit für eine Vielzahl von Testfahrten auf der Teststrecke oder eines Teils davon verwendet werden. Es müssen nicht für unterschiedliche Kamerapositionen und -ausrichtungen unterschiedliche Grundwahrheitsdaten erzeugt werden, sondern die gegebenenfalls bereits gespeichert vorliegenden orthofotobasierten Grundwahrheitsdaten werden nur in entsprechend angepasste Grundwahrheitsdaten konvertiert, sodass für unterschiedliche Fahrzeugmodelle, Fahrzeugplattformen und Fahrzeugtypen dieselben Grundwahrheitsdaten verwendet werden können.In addition, in contrast to ground truth data generated based on on-board camera recordings, orthophoto-based ground truth data does not have to be generated individually for each test drive and for each camera orientation, but can also be used for subsequent test drives on the same test track, provided that the lane markings have not changed in the meantime, which is usually the case. Otherwise, only the affected area in which the lane markings have changed needs to be updated. The same ground truth data can thus be used for a large number of test drives on the test track or part of it. Different ground truth data do not have to be generated for different camera positions and orientations; instead, the orthophoto-based ground truth data that may already be stored are simply converted into appropriately adapted ground truth data so that the same ground truth data can be used for different vehicle models, vehicle platforms and vehicle types.

In einer Ausführungsform ist das Fluggerät ein Satellit. Somit wird das mindestens eine Orthofoto basierend auf mindestens einer Satellitenaufnahme erzeugt. Satellitenaufnahmen sind in hohen Auflösungen verfügbar und können in regelmäßigen zeitlichen Abständen mehrfach am Tag immer von exakt derselben Position aus aktualisiert werden. Dies bietet beispielsweise den Vorteil, dass temporäre Abschattungen zum Beispiel durch Wolken oder temporäre Verdeckungen von Fahrbahnmarkierungen durch Fahrzeuge oder andere Objekte leicht durch Abgleich mehrerer Aufnahmen erkannt und entfernt werden können. Zudem können zeitnah vorgenommene Änderungen an den Fahrbahnmarkierungen detektiert und in einem aktualisierten Orthofoto berücksichtigt werden. Auf diese Weise kann sichergestellt werden, dass die Evaluierung auf der Basis von korrekten und aktuellen Grundwahrheitsdaten erfolgt.In one embodiment, the aircraft is a satellite. Thus, the at least one orthophoto is generated based on at least one satellite image. Satellite images are available in high resolutions and can be updated at regular intervals several times a day from exactly the same position. This offers the advantage, for example, that temporary shadows, for example caused by clouds or temporary obscuring of road markings by vehicles or other objects, can be easily detected and removed by comparing several images. In addition, changes to the road markings made in a timely manner can be detected and taken into account in an updated orthophoto. In this way, it can be ensured that the evaluation is based on correct and current ground truth data.

In einer Ausführungsform umfassen die Fahrbahnmarkierungsdaten Daten, die Fahrbahnbegrenzungsmarkierungen betreffen. Fahrbahnbegrenzungsmarkierungen sind die zur Navigation eines Fahrzeugs wichtigsten Fahrbahnmarkierungen. Für die Navigation ist es bei auf die Fahrbahn aufgebrachten Fahrbahnbegrenzungsmarkierungen, d. h. Fahrbahnmarkierungen, die Grenzen der zu befahrenden Fahrbahn definieren, vorteilhaft, dass die Fahrbahnmarkierungsdaten einen Rand zwischen Fahrbahnmarkierung und dem unmarkierten Bereich der Fahrbahn, z. B. dem unmarkierten Asphalt bzw. Straßenboden, beschreiben. Darüber hinaus können Fahrbahnmarkierungen auch andere auf die Fahrbahn aufgebrachte Markierungen sein, beispielsweise Verkehrszeichen, Haltelinien, Busspurkennzeichnungen usw.In one embodiment, the lane marking data includes data relating to lane boundary markings. Lane boundary markings are the most important lane markings for the navigation of a vehicle. For navigation, in the case of lane boundary markings applied to the lane, i.e. lane markings that define the boundaries of the lane to be traveled, it is advantageous for the lane marking data to describe a border between the lane marking and the unmarked area of the lane, e.g. the unmarked asphalt or road surface. In addition, lane markings can also be other markings applied to the lane, for example traffic signs, stop lines, bus lane markings, etc.

In einer beispielhaften Ausführungsform betreffen die Fahrbahnbegrenzungsmarkierungen innere und/oder äußere Fahrbahnbegrenzungsmarkierungen. Das Erkennen von inneren Fahrbahnbegrenzungsmarkierungen, die eine Fahrspur von einer anderen Fahrspur trennen, beispielsweise einer Fahrspur des Gegenverkehrs, sowie das Erkennen von äußeren Fahrbahnbegrenzungsmarkierungen ist für die Evaluierung einer Vorrichtung zur Fahrbahnmarkierungserkennung von großer Bedeutung.In an exemplary embodiment, the lane boundary markings relate to inner and/or outer lane boundary markings. The detection of inner lane boundary markings that separate one lane from another lane, for example a lane of oncoming traffic, as well as the detection of outer lane boundary markings is of great importance for the evaluation of a device for lane marking detection.

In einer weiteren Ausführungsform umfassen die Fahrbahnmarkierungsdaten Daten, die eine Fahrbahnmarkierungsfarbe und/oder einen Fahrbahnmarkierungstyp betreffen. Das Erkennen der Fahrbahnmarkierungsfarbe bietet beispielsweise den Vorteil, dass, wenn Fahrbahnmarkierungen unterschiedlicher Farbe vorhanden sind, erkannt werden kann, welche Fahrbahnmarkierungen zusammengehören und gegebenenfalls, welche Fahrbahnmarkierungen zurzeit Gültigkeit besitzen. Beispielsweise können temporäre gelbe Fahrbahnmarkierungen Vorrang vor noch vorhandenen bisherigen weißen Fahrbahnmarkierungen haben, zum Beispiel bei einer geänderten Verkehrsführung aufgrund einer Baustelle. Ebenso können unterschiedliche Typen von Fahrbahnmarkierungen vorhanden sein, beispielsweise aufgestellte Objekte und Schilder zur temporären Fahrbahnmarkierung, die aktuell Vorrang vor auf der Fahrbahn vorhandenen Strichen haben sollen. Auch unterschiedliche Typen von auf die Fahrbahn aufgebrachten Fahrbahnmarkierungen sollen unterschieden werden, beispielsweise durchbrochene und durchgezogene Linien.In a further embodiment, the road marking data includes data relating to a road marking color and/or a road marking type. Recognizing the road marking color offers the advantage, for example, that if road markings of different colors are present, it can be recognized which road markings belong together and, if applicable, which road markings are currently valid. For example, temporary yellow road markings can have priority over existing white road markings, for example if traffic routing has changed due to a construction site. Likewise, different types of road markings can be present, for example erected objects and signs for temporary road markings, which should currently have priority over lines on the road. Different types of road markings applied to the road should also be differentiated, for example broken and solid lines.

In einer Ausführungsform des Verfahrens umfasst das fortlaufende Erfassen von einer jeweilig aktuellen Position mit einer Sensoreinrichtung zur Positionsermittlung des Fahrzeugs ein Verwenden einer Empfangseinheit eines globalen Navigationssatellitensystems (GNSS), beispielsweise des Globalen Positionsbestimmungssystem (GPS).In one embodiment of the method, the continuous detection of a respective current position with a sensor device for determining the position of the vehicle comprises using a receiving unit of a global navigation satellite system (GNSS), for example the Global Positioning System (GPS).

In einer beispielhaften Ausführungsform wendet die Empfangseinheit ein Verfahren zur Genauigkeitsverbesserung der Positionsermittlung an, beispielsweise differentielles GPS, Echtzeitkinematik-GNSS (Real Time Kinematic Positioning (RTK) GNSS) bzw. CPGPS (Carrier-Phase Enhancement GPS). Auf diese Weise können beispielsweise auch atmosphärisch bedingte Signalvariationen berücksichtigt werden, sodass sich die Genauigkeit der ermittelten aktuellen Position erhöhen lässt.In an exemplary embodiment, the receiving unit uses a method for improving the accuracy of position determination, for example differential GPS, real-time kinematic GNSS (Real Time Kinematic Positioning (RTK) GNSS) or CPGPS (Carrier-Phase Enhancement GPS). In this way, for example, atmospheric signal variations can also be taken into account, so that the accuracy of the determined current position can be increased.

Zusätzlich oder alternativ wird in einer Ausführungsform die jeweilig aktuelle Position unter Berücksichtigung eines Abgleichs von einem oder mehreren in Bordkameraaufnahmen detektierbaren Merkmalen mit einem oder mehreren korrespondierenden Merkmalen in dem mindestens einen Orthofoto korrigiert. Dies kann zu einer weiteren Genauigkeitsverbesserung beitragen.Additionally or alternatively, in one embodiment, the respective current position is corrected taking into account a comparison of one or more features detectable in on-board camera images with one or more corresponding features in the at least one orthophoto. This can contribute to a further improvement in accuracy.

In einer Ausführungsform umfasst das Konvertieren der ermittelten orthofotobasierten Fahrbahnmarkierungsdaten in ein Format der bordkamerabasierten Fahrbahnmarkierungsdaten, Positionen von durch die orthofotobasierten Fahrbahnmarkierungsdaten beschriebenen Fahrbahnmarkierungen relativ zu dem Fahrzeug in Abhängigkeit von der jeweils erfassten Position des Fahrzeugs und seiner Ausrichtung zu ermitteln. Auf diese Weise können die Positionen der Fahrbahnmarkierungen relativ zum Fahrzeug ermittelt werden. Dabei können die Positionen beispielsweise mit Eulerwinkeln beschrieben werden.In one embodiment, converting the determined orthophoto-based lane marking data into a format of the on-board camera-based lane marking data includes determining positions of lane markings described by the orthophoto-based lane marking data relative to the vehicle depending on the respectively detected position of the vehicle and its orientation. In this way, the positions of the lane markings relative to the vehicle can be determined. The positions can be described using Euler angles, for example.

In einer Ausführungsform erfolgt das Konvertieren der ermittelten orthofotobasierten Fahrbahnmarkierungsdaten in ein Format der bordkamerabasierten Fahrbahnmarkierungsdaten in Abhängigkeit von einem digitalen Höhenmodell zumindest von dem als Teststrecke ausgewählten Fahrbahnverlauf. So können die Daten eines zweidimensionalen Orthofotos genauer an die Perspektive der Bordkamera angepasst werden, deren räumliche Ausrichtung mit dem Neigungswinkel der Fahrbahn variiert.In one embodiment, the determined orthophoto-based road marking data are converted into a format of the on-board camera-based road marking data depending on a digital elevation model of at least the road course selected as the test route. In this way, the data of a two-dimensional orthophoto can be adapted more precisely to the perspective of the on-board camera, the spatial orientation of which varies with the inclination angle of the road.

In einer weiteren Ausführungsform werden mit der Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen auch Objekte in der Umgebung des Fahrzeugs detektiert. Insbesondere kann es sich dabei auch um Objekte an und auf der Fahrbahn handeln, die die Sichtbarkeit und damit die Detektierbarkeit der Fahrbahnmarkierungen beeinflussen, beispielsweise andere Fahrzeuge, die Fahrbahnmarkierungen ganz oder teilweise verdecken.In a further embodiment, the device for on-board camera-based detection of lane markings is also used to detect objects in the vicinity of the vehicle. In particular, these can also be objects on and in the road that affect the visibility and thus the detectability of the lane markings, for example other vehicles that completely or partially cover the lane markings.

In einer beispielhaften Ausführungsform umfasst dabei das Konvertieren der ermittelten orthofotobasierten Fahrbahnmarkierungsdaten in ein Format der bordkamerabasierten Fahrbahnmarkierungsdaten, bei den in der jeweilig aktuellen Umgebung um die ermittelte jeweilig aktuelle Position erfassten bordkamerabasierten Fahrbahnmarkierungsdaten eine durch in der Umgebung detektierte Objekte vorgegebene maximale Reichweite zu ermitteln. So kann berücksichtigt werden, dass die in der aktuellen Verkehrssituation mögliche maximale Reichweite beispielsweise durch vorausfahrende oder geparkte Fahrzeuge, Personen, Gegenstände, Pflanzen usw. auf der Fahrbahn bzw. am Rand beeinflusst wird, die Fahrbahnmarkierungen ganz oder teilweise verdecken oder durch Beschattung schwieriger detektierbar machen können. So kann beispielsweise berücksichtigt werden, eine nicht detektierte verdeckte Markierung bei der Beurteilung aber nicht als Fehldetektion zu werten. Ebenso kann beispielsweise berücksichtigt werden, dass eine teilweise verdeckte Markierung möglicherweise als kürzere Markierung detektiert wird, die aber bei der Auswertung nicht als eine andere Markierung fehlinterpretiert werden soll.In an exemplary embodiment, converting the determined orthophoto-based road marking data into a format of the on-board camera-based road marking data involves determining a maximum range specified by objects detected in the environment for the on-board camera-based road marking data recorded in the respective current environment around the determined respective current position. In this way, it can be taken into account that the maximum range possible in the current traffic situation is influenced, for example, by vehicles driving ahead or parked, people, objects, plants, etc. on the road or at the edge, which can completely or partially cover the road markings or make them more difficult to detect due to shading. In this way, it can be taken into account, for example, that an undetected hidden marking is not to be classified as a false detection during the assessment. It can also be taken into account, for example, that a partially hidden marking may be detected as a shorter marking, but should not be misinterpreted as a different marking during the evaluation.

Gemäß einem zweiten Aspekt der Erfindung umfasst ein System zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen eine erste Datenschnittstelle zu einem Fahrzeug mit einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen, eine zweite Datenschnittstelle zum Empfangen von mindestens einem Orthofoto, das auf mindestens einer mit einer Aufnahmeeinrichtung an Bord eines Fluggeräts erfassten Fernerkundungsaufnahme von einem Gebiet basiert, in dem ein Fahrbahnnetz mindestens einen als Teststrecke für das Fahrzeug ausgewählten Fahrbahnverlauf aufweist, und eine programmierbare Einrichtung mit zumindest einem Prozessor und einem Speicher, wobei der Speicher Codeanteile eines Computerprogrammprodukts umfasst, die, wenn sie von dem Prozessor geladen und ausgeführt werden, das System veranlassen, ein Verfahren gemäß dem ersten Aspekt der Erfindung durchzuführen.According to a second aspect of the invention, a system for evaluating a device for on-board camera-based detection of road markings comprises a first data interface to a vehicle with a device for on-board camera-based detection of road markings, a second data interface for receiving at least one orthophoto based on at least one remote sensing image captured by a recording device on board an aircraft of an area in which a road network has at least one road course selected as a test route for the vehicle, and a programmable device with at least one processor and a memory, wherein the memory comprises code portions of a computer program product which, when loaded and executed by the processor, cause the system to carry out a method according to the first aspect of the invention.

Gemäß einem dritten Aspekt der Erfindung umfasst ein Computerprogrammprodukt Codeanteile, die, wenn sie von einem Prozessor einer programmierbaren Einrichtung eines Systems zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen gemäß dem zweiten Aspekt der Erfindung ausgeführt werden, das System veranlassen, ein Verfahren gemäß dem ersten Aspekt der Erfindung durchzuführen. Dabei entsprechen die Codeanteile, d. h. der Programmcode, des Computerprogrammprodukts einem Computerprogramm, das Befehle umfasst, mit denen das System veranlasst wird, Schritte des Verfahrens durchzuführen. Die programmierbare Einrichtung umfasst dabei zumindest einen Prozessor und einen Speicher.According to a third aspect of the invention, a computer program product comprises code portions which, when executed by a processor of a programmable device of a system for evaluating a device for on-board camera-based detection of lane markings according to the second aspect of the invention, cause the system to carry out a method according to the first aspect of the invention. The code portions, i.e. the program code, of the computer program product correspond to a computer program which comprises instructions with which the system is caused to carry out steps of the method. The programmable device comprises at least one processor and one memory.

Gemäß einem vierten Aspekt der Erfindung weist ein computerlesbarer Datenträger ein Computerprogramprodukt gemäß dem dritten Aspekt der Erfindung auf. Ein computerlesbarer Datenträger kann sowohl ein computerlesbares Speichermedium als auch ein Datenträgersignal sein. Ein computerlesbares Speichermedium ist ein zum Speichern von Software geeignetes Medium, beispielsweise eine CD-ROM, eine DVD, eine Blu-Ray-Disk, ein USB-Stick, eine Festplatte usw. Ein Datenträgersignal ermöglicht eine kabelgebundene oder drahtlose Übertragung der Codeanteile.According to a fourth aspect of the invention, a computer-readable data carrier comprises a computer program product according to the third aspect of the invention. A computer-readable data carrier can be both a computer-readable storage medium and a data carrier signal. A computer-readable storage medium is a medium suitable for storing software, for example a CD-ROM, a DVD, a Blu-ray disk, a USB stick, a hard disk, etc. A data carrier signal enables wired or wireless transmission of the code components.

Somit werden die Vorteile und Besonderheiten des erfindungsgemäßen Verfahrens zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen, einschließlich seiner Ausführungsformen, auch im Rahmen eines Systems zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen sowie eines Computerprogrammprodukts und eines computerlesbaren Datenträgers umgesetzt.Thus, the advantages and special features of the method according to the invention for evaluating a device for on-board camera-based detection of road markings, including its embodiments, are also used in the context of a system for evaluating a device for on-board camera-based detection of road markings and a computer program pro product and a computer-readable data carrier.

Weitere Vorteile der vorliegenden Erfindung sind aus der detaillierten Beschreibung und den Abbildungen ersichtlich. Die Erfindung wird nachstehend auch im Zusammenhang mit der folgenden Beschreibung von Ausführungsbeispielen mit Bezug auf die begleitenden Abbildungen näher erläutert. Es zeigen:

  • 1 eine schematische Darstellung eines ersten Beispiels eines Verfahrens zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen gemäß einer Ausführungsform der Erfindung;
  • 2 eine schematische Darstellung eines zweiten Beispiels eines Verfahrens zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen gemäß einer weiteren Ausführungsform der Erfindung; und
  • 3 eine schematische Darstellung eines Beispiels eines Systems zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen gemäß noch einer weiteren Ausführungsform der Erfindung.
Further advantages of the present invention are apparent from the detailed description and the figures. The invention is also explained in more detail below in connection with the following description of embodiments with reference to the accompanying figures. They show:
  • 1 a schematic representation of a first example of a method for evaluating a device for on-board camera-based detection of road markings according to an embodiment of the invention;
  • 2 a schematic representation of a second example of a method for evaluating a device for on-board camera-based detection of road markings according to a further embodiment of the invention; and
  • 3 a schematic representation of an example of a system for evaluating a device for on-board camera-based detection of lane markings according to yet another embodiment of the invention.

Es versteht sich, dass andere Ausführungsformen benutzt und strukturelle oder logische Änderungen vorgenommen werden können, ohne von dem Schutzumfang der vorliegenden Erfindung abzuweichen. Es versteht sich, dass die Merkmale der vorstehend und nachstehend beschriebenen verschiedenen beispielhaften Ausführungsformen miteinander kombiniert werden können, sofern nicht spezifisch anders angegeben. Die Beschreibung ist deshalb nicht in einschränkendem Sinne aufzufassen, und der Schutzumfang der vorliegenden Erfindung wird durch die angefügten Ansprüche definiert.It is to be understood that other embodiments may be utilized and structural or logical changes may be made without departing from the scope of the present invention. It is to be understood that the features of the various exemplary embodiments described above and below may be combined with one another unless specifically stated otherwise. The description is therefore not to be taken in a limiting sense, and the scope of the present invention is defined by the appended claims.

In 1 wird eine schematische Darstellung eines ersten Beispiels eines Verfahrens zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen gemäß einer Ausführungsform der Erfindung illustriert. Das dargestellte Verfahren 100 beginnt in einem Startzustand 101, in dem das System zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen eingerichtet wird, Schritte des Verfahrens auszuführen.In 1 a schematic representation of a first example of a method for evaluating a device for on-board camera-based detection of road markings according to an embodiment of the invention is illustrated. The method 100 shown begins in a start state 101 in which the system for evaluating a device for on-board camera-based detection of road markings is set up to carry out steps of the method.

In einem ersten Schritt erfolgt ein Bereitstellen 102 von mindestens einem Orthofoto, das auf mindestens einer mit einer Aufnahmeeinrichtung an Bord eines Fluggeräts, beispielsweise eines Satelliten, erfassten Fernerkundungsaufnahme von einem Gebiet basiert, in dem ein Fahrbahnnetz mindestens einen als Teststrecke für ein Fahrzeug ausgewählten Fahrbahnverlauf aufweist. Das Fahrzeug weist dabei die zu evaluierende Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen auf.In a first step, at least one orthophoto is provided 102, which is based on at least one remote sensing image of an area in which a road network has at least one road course selected as a test route for a vehicle, captured by a recording device on board an aircraft, for example a satellite. The vehicle has the device to be evaluated for on-board camera-based detection of road markings.

In einem weiteren Schritt erfolgt ein Annotieren 103 des mindestens einen Orthofotos mit orthofotobasierten Fahrbahnmarkierungsdaten zumindest zu dem als Teststrecke ausgewählten Fahrbahnverlauf. Auch wenn in der in 1 dargestellten Ausführungsform das Annotieren 103 nach dem Bereitstellen 102 erfolgt, können die Schritte auch in anderer Reihenfolge oder gleichzeitig erfolgen.In a further step, an annotation 103 of the at least one orthophoto with orthophoto-based road marking data is carried out at least for the road course selected as the test route. Even if in the 1 In the embodiment shown, the annotation 103 takes place after the provision 102, the steps can also be carried out in a different order or simultaneously.

In einem weiteren Schritt erfolgt während des Durchführens 104 einer Testfahrt des Fahrzeugs entlang dem als Teststrecke ausgewählten Fahrbahnverlauf ein fortlaufendes Erfassen 105 von einer jeweilig aktuellen Position mit einer Sensoreinrichtung zur Positionsermittlung des Fahrzeugs, beispielsweise einer Empfangseinheit eines globalen Navigationssatellitensystems, wobei die Positionsermittlung vorzugsweise durch ein Verfahren zur Genauigkeitsverbesserung zusätzlich verbessert wird. Neben dem fortlaufenden Erfassen 105 der jeweilig aktuellen Position erfolgt mit der Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen ein fortlaufendes Erfassen 106 von bordkamerabasierten Fahrbahnmarkierungsdaten in einer jeweilig aktuellen Umgebung um die ermittelte jeweilig aktuelle Position. Das fortlaufende Erfassen erfolgt dabei entweder kontinuierlich oder zu bestimmten Zeitpunkten, beispielsweise in regelmäßigen zeitlichen Abständen.In a further step, while the vehicle is being tested 104 along the roadway selected as the test route, a current position is continuously recorded 105 using a sensor device for determining the position of the vehicle, for example a receiving unit of a global navigation satellite system, the position determination preferably being further improved by a method for improving accuracy. In addition to the current position being continuously recorded 105, the device for on-board camera-based detection of road markings is used to continuously record 106 on-board camera-based road marking data in the current environment around the determined current position. The continuous recording takes place either continuously or at specific times, for example at regular intervals.

In einem nächsten Schritt werden jeweils orthofotobasierte Fahrbahnmarkierungsdaten zumindest in einem zu dieser jeweilig aktuellen Umgebung korrespondierenden Bereich um eine zu dieser jeweilig ermittelten aktuellen Position des Fahrzeugs korrespondierende Position im annotierten mindestens einen Orthofoto ermittelt 107.In a next step, orthophoto-based lane marking data are determined in at least one annotated orthophoto 107, at least in an area corresponding to this respective current environment around a position corresponding to this respective current position of the vehicle.

In einem weiteren Schritt erfolgt ein Konvertieren 108 der ermittelten orthofotobasierten Fahrbahnmarkierungsdaten in ein Format der bordkamerabasierten Fahrbahnmarkierungsdaten. So können die bordkamerabasierten Fahrbahnmarkierungsdaten mit den als Grundwahrheitsdaten dienenden angepassten orthofotobasierten Fahrbahnmarkierungsdaten verglichen werden.In a further step, the determined orthophoto-based road marking data is converted 108 into a format of the on-board camera-based road marking data. In this way, the on-board camera-based road marking data can be compared with the adapted orthophoto-based road marking data serving as ground truth data.

Wenn die orthofotobasierten Fahrbahnmarkierungsdaten in ein Format der bordkamerabasierten Fahrbahnmarkierungsdaten konvertiert wurden, erfolgt ein Verifizieren 109 der bordkamerabasierten Fahrbahnmarkierungsdaten in Abhängigkeit von den konvertierten orthofotobasierten Fahrbahnmarkierungsdaten und basierend darauf ein Evaluieren 110 der Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen. Das Evaluieren kann beispielsweise beinhalten automatisch Leistungskennzahlen zu ermitteln, nach denen die Qualität der bordkamerabasierten Fahrbahnmarkierungserkennung beurteilt werden kann.If the orthophoto-based road marking data have been converted into a format of the on-board camera-based road marking data, a verification 109 of the on-board camera-based road marking data takes place depending on the converted orthophoto-based road marking data and, based thereon, an evaluation 110 of the device for on-board camera-based detection of road markings takes place. The evaluation can, for example, include automatically performing to determine performance indicators by which the quality of on-board camera-based lane marking detection can be assessed.

Das Verfahren endet in einem Endzustand 111, in dem ein Ergebnis der Evaluation ausgegeben wird. Das Verfahren kann auch mehrfach wiederholt werden, beispielsweise mit unterschiedlichen Testfahrzeugen, Teststrecken, unterschiedlichen Umgebungsparametern, beispielsweise unterschiedlichen Wetterverhältnissen, Lichtverhältnissen etc.The process ends in a final state 111 in which a result of the evaluation is output. The process can also be repeated several times, for example with different test vehicles, test tracks, different environmental parameters, for example different weather conditions, lighting conditions, etc.

Die Schritte des Verfahrens sind in 1 in einer sequentiellen Reihenfolge angegeben. Es versteht sich, dass Verfahrensschritte, insbesondere in 1 die Schritte 102 und 103 sowie die Schritte 105, 106 und 107, obwohl gemäß einer gewissen geordneten Reihenfolge beschrieben, zum Teil in einer anderen als der hier beschriebenen Reihenfolge ausgeführt werden, beispielsweise auch gleichzeitig in einer anderen Reihenfolge. Zudem können Schritte des Verfahrens einfach, aber auch mehrfach ausgeführt werden.The steps of the procedure are in 1 in a sequential order. It is understood that process steps, in particular in 1 Steps 102 and 103 and steps 105, 106 and 107, although described in a certain orderly sequence, are partly carried out in a different order to that described here, for example simultaneously in a different order. In addition, steps of the method can be carried out once or multiple times.

In 2 wird eine schematische Darstellung eines zweiten Beispiels eines Verfahrens 200 zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen gemäß einer weiteren Ausführungsform der Erfindung dargestellt.In 2 a schematic representation of a second example of a method 200 for evaluating a device for on-board camera-based detection of lane markings according to another embodiment of the invention is shown.

Um die Vorrichtung evaluieren zu können, werden zum einen Fahrbahnmarkierungsdaten mit der Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen ermittelt („bordkamerabasierte Fahrbahnmarkierungsdaten“, d. h. „bordkamerabasiert ermittelte Fahrbahnmarkierungsdaten“) 201, während ein Fahrzeug mit der Vorrichtung einen als Teststrecke ausgewählten Fahrbahnverlauf abfährt. Dabei wird fortlaufend eine aktuelle Position des Fahrzeugs erfasst 202, wobei in der gezeigten Ausführungsform Einstellungen der Bordkamera berücksichtigt werden 203 und differenzielles GPS verwendet wird 204, um die Genauigkeit der Positionserfassung zu erhöhen.In order to be able to evaluate the device, on the one hand, road marking data is determined using the device for on-board camera-based detection of road markings (“on-board camera-based road marking data”, i.e. “on-board camera-based determined road marking data”) 201, while a vehicle with the device drives along a road course selected as a test route. In the process, a current position of the vehicle is continuously recorded 202, whereby in the embodiment shown, settings of the on-board camera are taken into account 203 and differential GPS is used 204 in order to increase the accuracy of the position detection.

Zum anderen wird ein Orthofoto bereitgestellt 205, das zum Beispiel auf der Basis von Satellitenaufnahmen 206 oder auf der Basis von Kamerabildern eines unbemannten Flugobjekts 207, d. h. einer Drohne, erzeugt wird, wobei das Orthofoto zumindest den als Teststrecke ausgewählten Fahrbahnverlauf zeigt. In der gezeigten Ausführungsform werden Daten zu detektierbaren Fahrbahnmarkierungen im Orthofoto extrahiert 208, je nach Ausführungsform beispielsweise Fahrbahnmarkierungsdaten zu allen detektierbaren Fahrbahnen im Orthofoto oder zumindest zu dem als Teststrecke ausgewählten Fahrbahnverlauf. Dies kann automatisch erfolgen 209 oder manuell 210. Das Orthofoto wird annotiert mit diesen extrahierten orthofotobasiert ermittelten Fahrbahnmarkierungsdaten als Grundwahrheitsdaten gespeichert 211.On the other hand, an orthophoto is provided 205, which is generated, for example, on the basis of satellite images 206 or on the basis of camera images from an unmanned aerial vehicle 207, i.e. a drone, wherein the orthophoto shows at least the course of the road selected as the test route. In the embodiment shown, data on detectable road markings are extracted 208 in the orthophoto, depending on the embodiment, for example road marking data on all detectable roads in the orthophoto or at least on the course of the road selected as the test route. This can be done automatically 209 or manually 210. The orthophoto is annotated with these extracted orthophoto-based determined road marking data and stored as ground truth data 211.

Um die bordkamerabasiert ermittelten Fahrbahnmarkierungsdaten anhand der orthofotobasiert ermittelten Fahrbahnmarkierungsdaten, d. h. orthofotobasierten Fahrbahnmarkierungsdaten, zu verifizieren 212, werden die ermittelten Positionen des Fahrzeugs 202 korrespondierenden Positionen im annotierten Orthofoto zugeordnet 213, d. h. der Fahrtverlauf der Testfahrt des Fahrzeugs wird „auf das Orthofoto projiziert“, und die in der jeweiligen Umgebung orthofotobasiert ermittelten Fahrbahnmarkierungsdaten erfasst und in das Format der bordkamerabasiert ermittelten Fahrbahnmarkierungsdaten konvertiert 214. Hierzu ist eine Ausrichtung des Fahrzeugs mit der bordbasierten Kamera möglichst exakt zu berücksichtigen. Daher wird ein Abgleich mit detektierten Objekten in der Umgebung vorgenommen 215 und es wird ein digitales Höhenmodell zumindest von der Teststrecke berücksichtigt 216, insbesondere um Neigungen der Fahrbahn berücksichtigen zu können.In order to verify the road marking data determined using the on-board camera based on the road marking data determined using the orthophoto-based, i.e. orthophoto-based road marking data 212, the determined positions of the vehicle 202 are assigned to corresponding positions in the annotated orthophoto 213, i.e. the course of the test drive of the vehicle is "projected onto the orthophoto", and the road marking data determined using the orthophoto in the respective environment is recorded and converted into the format of the road marking data determined using the on-board camera 214. To do this, the alignment of the vehicle with the on-board camera must be taken into account as precisely as possible. Therefore, a comparison is made with detected objects in the environment 215 and a digital elevation model of at least the test route is taken into account 216, in particular in order to be able to take inclinations of the road into account.

Die so konvertierten orthofotobasiert ermittelten Fahrbahnmarkierungsdaten bilden angepasste Grundwahrheitsdaten, mit denen die bordkamerabasiert ermittelten Fahrbahnmarkierungsdaten verifiziert werden 212 und die Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen evaluiert wird 217. Hierzu werden in der gezeigten Ausführungsform geeignete Leistungskennzahlen (KPls) ermittelt.The orthophoto-based lane marking data thus converted form adapted ground truth data with which the lane marking data determined using the on-board camera are verified 212 and the device for on-board camera-based detection of lane markings is evaluated 217. For this purpose, suitable key performance indicators (KPIs) are determined in the embodiment shown.

Die gespeicherten mit Fahrbahnmarkierungsdaten annotierten Orthofotos 211 können wiederverwendet werden, beispielsweise um bordkamerabasiert ermittelte Fahrbahnmarkierungsdaten zu verifizieren, die ermittelt werden, wenn der Fahrbahnverlauf der Teststrecke mit einem Fahrzeug mit einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen abgefahren wird, die eine andere Bordkamera bzw. andere Einstellungen der Bordkamera verwendet oder die beispielsweise bei anderen Witterungsverhältnissen oder Lichtverhältnissen getestet wird. Zusätzlich können auch alle anderen Fahrbahnverläufe, für die in dem Orthofoto Fahrbahnmarkierungsdaten ermittelt werden können, als Teststrecken dienen. The stored orthophotos 211 annotated with lane marking data can be reused, for example to verify lane marking data determined using an on-board camera, which is determined when the lane of the test route is driven along with a vehicle with a device for on-board camera-based detection of lane markings, which uses a different on-board camera or different settings of the on-board camera or which is tested, for example, under different weather conditions or lighting conditions. In addition, all other lane courses for which lane marking data can be determined in the orthophoto can also serve as test routes.

In 3 wird eine schematische Darstellung eines Beispiels eines Systems 300 zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen gemäß noch einer weiteren Ausführungsform der Erfindung gezeigt. Das System 300 weist eine erste Datenschnittstelle 301 zu einem Fahrzeug mit einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen sowie eine zweite Datenschnittstelle 302 zum Empfangen von mindestens einem Orthofoto auf, das auf mindestens einer mit einer Aufnahmeeinrichtung an Bord eines Fluggeräts erfassten Fernerkundungsaufnahme von einem Gebiet basiert, in dem ein Fahrbahnnetz mindestens einen als Teststrecke für das Fahrzeug ausgewählten Fahrbahnverlauf aufweist. Außerdem umfasst das System 300 eine programmierbare Einrichtung 303 mit zumindest einem Prozessor 304 und einem Speicher 305, wobei der Speicher 305 Codeanteile eines Computerprogrammprodukts umfasst, die, wenn sie von dem Prozessor 304 ausgeführt werden, das System 300 veranlassen, ein erfindungsgemäßes Verfahren 100 durchzuführen, wie es beispielhaft in 1 gezeigt ist.In 3 a schematic representation of an example of a system 300 for evaluating a device for on-board camera-based detection of lane markings according to yet another embodiment of the invention is shown. The system 300 has a first data interface 301 to a vehicle with a device for on-board camera-based detection of lane markings and a second data interface 302 for receiving at least one orthophoto based on at least one remote sensing image of an area in which a road network has at least one road course selected as a test route for the vehicle, captured by a recording device on board an aircraft. In addition, the system 300 comprises a programmable device 303 with at least one processor 304 and a memory 305, wherein the memory 305 comprises code portions of a computer program product which, when executed by the processor 304, cause the system 300 to carry out a method 100 according to the invention, as is exemplified in 1 is shown.

Dabei wird ein Orthofoto 306 über die zweite Datenschnittstelle 302 empfangen, zum Beispiel von einer Datenbank (nicht gezeigt), in der Orthofotos zumindest von geeigneten Teststrecken gespeichert sind, wobei das Orthofoto 306 auf einer mit einer Aufnahmeeinrichtung an Bord eines Fluggeräts, z. B. eines Satelliten oder einer Drohne, erfassten Fernerkundungsaufnahme von einem Gebiet basiert, in dem ein Fahrbahnnetz mindestens einen als Teststrecke für ein Fahrzeug ausgewählten Fahrbahnverlauf aufweist. Das Fahrzeug ist dabei ein Fahrzeug mit der zu evaluierenden Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen an Bord. In der gezeigten Ausführungsform führt die programmierbare Einrichtung automatisch ein Annotieren des Orthofotos mit orthofotobasierten Fahrbahnmarkierungsdaten zumindest zu dem als Teststrecke ausgewählten Fahrbahnverlauf aus. In einer anderen Ausführungsform wird das Orthofoto 306 bereits annotiert über die Datenschnittstelle 302 bereitgestellt.In this case, an orthophoto 306 is received via the second data interface 302, for example from a database (not shown) in which orthophotos of at least suitable test routes are stored, wherein the orthophoto 306 is based on a remote sensing image of an area in which a road network has at least one road course selected as a test route for a vehicle, captured with a recording device on board an aircraft, e.g. a satellite or a drone. The vehicle is a vehicle with the device to be evaluated for on-board camera-based detection of road markings on board. In the embodiment shown, the programmable device automatically annotates the orthophoto with orthophoto-based road marking data at least for the road course selected as the test route. In another embodiment, the orthophoto 306 is provided already annotated via the data interface 302.

Während einer Testfahrt des Fahrzeugs entlang dem als Teststrecke ausgewählten Fahrbahnverlauf erfolgt ein fortlaufendes Erfassen von einer jeweilig aktuellen Position mit einer Sensoreinrichtung zur Positionsermittlung des Fahrzeugs und von bordkamerabasierten Fahrbahnmarkierungsdaten in einer jeweilig aktuellen Umgebung um die ermittelte jeweilig aktuelle Position mit der Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen. Die so ermittelten Positionsdaten 307 und zugehörigen bordkamerabasierten Fahrbahnmarkierungsdaten 308 werden über die erste Datenschnittstelle 301 an die programmierbare Einrichtung 303 übergeben.During a test drive of the vehicle along the roadway selected as the test route, a current position is continuously recorded using a sensor device for determining the position of the vehicle and on-board camera-based road marking data in a current environment around the determined current position using the device for on-board camera-based detection of road markings. The position data 307 determined in this way and the associated on-board camera-based road marking data 308 are transferred to the programmable device 303 via the first data interface 301.

Die programmierbare Einrichtung 303 ermittelt dann orthofotobasierte Fahrbahnmarkierungsdaten jeweils in einem zu dieser jeweilig aktuellen Umgebung korrespondierenden Bereich um eine zu dieser jeweilig ermittelten aktuellen Position des Fahrzeugs korrespondierenden Position im annotierten Orthofoto und konvertiert die ermittelten orthofotobasierten Fahrbahnmarkierungsdaten in ein Format der bordkamerabasierten Fahrbahnmarkierungsdaten, um dann die bordkamerabasierten Fahrbahnmarkierungsdaten in Abhängigkeit von den konvertierten orthofotobasierten Fahrbahnmarkierungsdaten zu verifizieren und die Vorrichtung an Bord des Fahrzeugs zur bordkamerabasierten Detektion von Fahrbahnmarkierungen zu evaluieren. In der gezeigten Ausführungsform ist es vorgesehen, für die evaluierte Vorrichtung geeignete Leistungskennzahlen zu berechnen und über eine dritte Datenschnittstelle 309 auszugeben, beispielsweise an eine Bildschirmanzeige und/oder einen Ergebnisspeicher.The programmable device 303 then determines orthophoto-based lane marking data in an area corresponding to this respective current environment around a position in the annotated orthophoto corresponding to this respective current position of the vehicle and converts the determined orthophoto-based lane marking data into a format of the on-board camera-based lane marking data in order to then verify the on-board camera-based lane marking data depending on the converted orthophoto-based lane marking data and to evaluate the device on board the vehicle for on-board camera-based detection of lane markings. In the embodiment shown, it is provided to calculate suitable performance indicators for the evaluated device and to output them via a third data interface 309, for example to a screen display and/or a results memory.

Der in der Beschreibung verwendete Ausdruck „und/oder“, wenn er in einer Reihe von zwei oder mehreren Elementen benutzt wird, bedeutet, dass jedes der aufgeführten Elemente alleine verwendet werden kann, oder es kann jede Kombination von zwei oder mehr der aufgeführten Elemente verwendet werden. Wird beispielsweise eine Zusammensetzung beschrieben, welche die Komponenten A, B und/oder C, enthält, kann die Zusammensetzung A alleine; B alleine; C alleine; A und B in Kombination; A und C in Kombination; B und C in Kombination; oder A, B, und C in Kombination enthalten.The term "and/or" as used in the description, when used in a series of two or more elements, means that any of the listed elements may be used alone, or any combination of two or more of the listed elements may be used. For example, if a composition is described which contains components A, B, and/or C, the composition may contain A alone; B alone; C alone; A and B in combination; A and C in combination; B and C in combination; or A, B, and C in combination.

BezugszeichenlisteList of reference symbols

100100
Verfahren zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von FahrbahnmarkierungenMethod for evaluating a device for on-board camera-based detection of road markings
101101
StartzustandStart state
102102
Bereitstellen von mindestens einem OrthofotoProviding at least one orthophoto
103103
Annotieren mit orthofotobasierten FahrbahnmarkierungsdatenAnnotating with orthophoto-based road marking data
104104
Durchführen einer TestfahrtConducting a test drive
105105
Erfassen von einer aktuellen Position des FahrzeugsRecording a current position of the vehicle
106106
Erfassen von bordkamerabasierten FahrbahnmarkierungsdatenCollecting on-board camera-based lane marking data
107107
Ermitteln von orthofotobasierten FahrbahnmarkierungsdatenDetermining orthophoto-based road marking data
108108
Konvertieren der orthofotobasierten FahrbahnmarkierungsdatenConverting orthophoto-based road marking data
109109
Verifizieren der bordkamerabasierten FahrbahnmarkierungsdatenVerifying on-board camera-based lane marking data
110110
Evaluieren der VorrichtungEvaluating the device
111111
EndzustandFinal state
200200
Verfahren zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von FahrbahnmarkierungenMethod for evaluating a device for on-board camera-based detection of road markings
201201
bordkamerabasiert ermittelte FahrbahnmarkierungsdatenRoad marking data determined using on-board cameras
202202
fortlaufend ermittelte aktuelle Position des Fahrzeugscontinuously determined current position of the vehicle
203203
Berücksichtigen von Einstellungen der BordkameraTaking into account on-board camera settings
204204
Verwendung von differenziellem GPSUsing differential GPS
205205
Bereitstellen eines OrthofotosProviding an orthophoto
206206
SatellitenaufnahmenSatellite images
207207
Kamerabilder einer DrohneCamera images from a drone
208208
Extrahierte Daten zu detektierbaren Fahrbahnmarkierungen im OrthofotoExtracted data on detectable road markings in the orthophoto
209209
automatisches Extrahierenautomatic extraction
210210
manuelles Extrahierenmanual extraction
211211
mit extrahierten Fahrbahnmarkierungsdaten annotiertes OrthofotoOrthophoto annotated with extracted road marking data
212212
Verifizieren der bordkamerabasierten FahrbahnmarkierungsdatenVerifying on-board camera-based lane marking data
213213
Zuordnen der Positionen des Fahrzeugs zu korrespondierenden Positionen im annotierten OrthofotoAssigning the positions of the vehicle to corresponding positions in the annotated orthophoto
214214
Konvertieren der orthofotobasierten FahrbahnmarkierungsdatenConverting orthophoto-based road marking data
215215
Abgleich mit detektierten Objekten in der UmgebungComparison with detected objects in the environment
216216
digitales Höhenmodell berücksichtigentake digital elevation model into account
217217
Evaluieren der VorrichtungEvaluating the device
300300
System zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von FahrbahnmarkierungenSystem for evaluating a device for on-board camera-based detection of road markings
301301
erste Datenschnittstellefirst data interface
302302
zweite Datenschnittstellesecond data interface
303303
programmierbare Einrichtungprogrammable device
304304
Prozessorprocessor
305305
SpeicherStorage
306306
OrthofotoOrthophoto
307307
ermittelte Positionsdatendetermined position data
308308
zugehörige bordkamerabasierte Fahrbahnmarkierungsdatenassociated on-board camera-based lane marking data
309309
dritte Datenschnittstellethird data interface

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • WO 2012089261 A1 [0005]WO 2012089261 A1 [0005]
  • JP 2009237901 A [0006]JP 2009237901 A [0006]
  • US 20210148722 A1 [0007]US 20210148722 A1 [0007]

Claims (15)

Verfahren (100) zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen, umfassend - Bereitstellen (102) von mindestens einem Orthofoto, das auf mindestens einer mit einer Aufnahmeeinrichtung an Bord eines Fluggeräts erfassten Fernerkundungsaufnahme von einem Gebiet basiert, in dem ein Fahrbahnnetz mindestens einen als Teststrecke für ein Fahrzeug ausgewählten Fahrbahnverlauf aufweist, wobei das Fahrzeug eine zu evaluierende Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen aufweist; - Annotieren (103) des mindestens einen Orthofotos mit orthofotobasierten Fahrbahnmarkierungsdaten zumindest zu dem als Teststrecke ausgewählten Fahrbahnverlauf; - während einer Testfahrt (104) des Fahrzeugs entlang dem als Teststrecke ausgewählten Fahrbahnverlauf, fortlaufendes Erfassen von einer jeweilig aktuellen Position mit einer Sensoreinrichtung zur Positionsermittlung des Fahrzeugs (105), und von bordkamerabasierten Fahrbahnmarkierungsdaten in einer jeweilig aktuellen Umgebung um die ermittelte jeweilig aktuelle Position (106) mit der Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen; - jeweils Ermitteln (107) von orthofotobasierten Fahrbahnmarkierungsdaten zumindest in einem zu dieser jeweilig aktuellen Umgebung korrespondierenden Bereich um eine zu dieser jeweilig ermittelten aktuellen Position des Fahrzeugs korrespondierenden Position im annotierten mindestens einen Orthofoto; - Konvertieren (108) der ermittelten orthofotobasierten Fahrbahnmarkierungsdaten in ein Format der bordkamerabasierten Fahrbahnmarkierungsdaten; - Verifizieren (109) der bordkamerabasierten Fahrbahnmarkierungsdaten in Abhängigkeit von den konvertierten orthofotobasierten Fahrbahnmarkierungsdaten; und - Evaluieren (110) der Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen. Method (100) for evaluating a device for on-board camera-based detection of road markings, comprising - providing (102) at least one orthophoto based on at least one remote sensing image captured by a recording device on board an aircraft of an area in which a road network has at least one road course selected as a test route for a vehicle, wherein the vehicle has a device to be evaluated for on-board camera-based detection of road markings; - annotating (103) the at least one orthophoto with orthophoto-based road marking data at least for the road course selected as a test route; - during a test drive (104) of the vehicle along the road course selected as the test route, continuous detection of a respective current position with a sensor device for determining the position of the vehicle (105), and of on-board camera-based road marking data in a respective current environment around the determined respective current position (106) with the device for on-board camera-based detection of road markings; - determining (107) orthophoto-based road marking data at least in an area corresponding to this respective current environment around a position corresponding to this respective determined current position of the vehicle in the annotated at least one orthophoto; - converting (108) the determined orthophoto-based road marking data into a format of the on-board camera-based road marking data; - verifying (109) the on-board camera-based road marking data depending on the converted orthophoto-based road marking data; and - evaluating (110) the device for on-board camera-based detection of lane markings. Verfahren nach Anspruch 1, wobei das Fluggerät ein Satellit ist.Procedure according to Claim 1 , where the aircraft is a satellite. Verfahren nach Anspruch 1 oder Anspruch 2, wobei die Fahrbahnmarkierungsdaten Daten umfassen, die Fahrbahnbegrenzungsmarkierungen betreffen.Procedure according to Claim 1 or Claim 2 , wherein the lane marking data comprises data relating to lane boundary markings. Verfahren nach Anspruch 3, wobei die Fahrbahnbegrenzungsmarkierungen innere und/oder äußere Fahrbahnbegrenzungsmarkierungen betreffen.Procedure according to Claim 3 , whereby the lane boundary markings concern inner and/or outer lane boundary markings. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Fahrbahnmarkierungsdaten Daten umfassen, die eine Fahrbahnmarkierungsfarbe und/oder einen Fahrbahnmarkierungstyp betreffen.Method according to one of the preceding claims, wherein the road marking data comprises data relating to a road marking colour and/or a road marking type. Verfahren nach einem der vorhergehenden Ansprüche, wobei das fortlaufende Erfassen von einer jeweilig aktuellen Position mit einer Sensoreinrichtung zur Positionsermittlung des Fahrzeugs (105) ein Verwenden einer Empfangseinheit eines globalen Navigationssatellitensystems umfasst.Method according to one of the preceding claims, wherein the continuous detection of a respective current position with a sensor device for determining the position of the vehicle (105) comprises using a receiving unit of a global navigation satellite system. Verfahren nach Anspruch 6, wobei die Empfangseinheit ein Verfahren zur Genauigkeitsverbesserung der Positionsermittlung anwendet.Procedure according to Claim 6 , wherein the receiving unit applies a method for improving the accuracy of the position determination. Verfahren nach Anspruch 6 oder Anspruch 7, wobei die jeweilig aktuelle Position unter Berücksichtigung eines Abgleichs von einem oder mehreren in Bordkameraaufnahmen detektierbaren Merkmalen mit einem oder mehreren korrespondierenden Merkmalen in dem mindestens einen Orthofoto korrigiert wird.Procedure according to Claim 6 or Claim 7 , wherein the respective current position is corrected taking into account a comparison of one or more features detectable in on-board camera images with one or more corresponding features in the at least one orthophoto. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Konvertieren (109) der ermittelten orthofotobasierten Fahrbahnmarkierungsdaten in ein Format der bordkamerabasierten Fahrbahnmarkierungsdaten umfasst, Positionen von durch die orthofotobasierten Fahrbahnmarkierungsdaten beschriebenen Fahrbahnmarkierungen relativ zu dem Fahrzeug in Abhängigkeit von der jeweils erfassten Position des Fahrzeugs und seiner Ausrichtung zu ermitteln.Method according to one of the preceding claims, wherein converting (109) the determined orthophoto-based lane marking data into a format of the on-board camera-based lane marking data comprises determining positions of lane markings described by the orthophoto-based lane marking data relative to the vehicle as a function of the respectively detected position of the vehicle and its orientation. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Konvertieren (109) der ermittelten orthofotobasierten Fahrbahnmarkierungsdaten in ein Format der bordkamerabasierten Fahrbahnmarkierungsdaten in Abhängigkeit von einem digitalen Höhenmodell zumindest von dem als Teststrecke ausgewählten Fahrbahnverlauf erfolgt.Method according to one of the preceding claims, wherein the conversion (109) of the determined orthophoto-based road marking data into a format of the on-board camera-based road marking data takes place as a function of a digital elevation model of at least the road course selected as the test route. Verfahren nach einem der vorhergehenden Ansprüche, wobei mit der Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen auch Objekte in der Umgebung des Fahrzeugs detektiert werden.Method according to one of the preceding claims, wherein the device for on-board camera-based detection of lane markings also detects objects in the surroundings of the vehicle. Verfahren nach Anspruch 11, wobei das Konvertieren (109) der ermittelten orthofotobasierten Fahrbahnmarkierungsdaten in ein Format der bordkamerabasierten Fahrbahnmarkierungsdaten umfasst, bei den in der jeweilig aktuellen Umgebung um die ermittelte jeweilig aktuelle Position erfassten bordkamerabasierten Fahrbahnmarkierungsdaten eine durch in der Umgebung detektierte Objekte vorgegebene maximale Reichweite zu ermitteln.Procedure according to Claim 11 , wherein converting (109) the determined orthophoto-based lane marking data into a format of the on-board camera-based lane marking data comprises determining a maximum range predetermined by objects detected in the environment for the on-board camera-based lane marking data recorded in the respective current environment around the determined respective current position. System (300) zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen, umfassend eine erste Datenschnittstelle (301) zu einem Fahrzeug mit einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen; eine zweite Datenschnittstelle (302) zum Empfangen von mindestens einem Orthofoto (306), das auf mindestens einer mit einer Aufnahmeeinrichtung an Bord eines Fluggeräts erfassten Fernerkundungsaufnahme von einem Gebiet basiert, in dem ein Fahrbahnnetz mindestens einen als Teststrecke für das Fahrzeug ausgewählten Fahrbahnverlauf aufweist; und eine programmierbare Einrichtung (303) mit zumindest einem Prozessor (304) und einem Speicher (305), wobei der Speicher (305) Codeanteile eines Computerprogrammprodukts umfasst, die, wenn sie von dem Prozessor (304) ausgeführt werden, das System (300) veranlassen, ein Verfahren (100) nach einem der Ansprüche 1 bis 12 durchzuführen.System (300) for evaluating a device for on-board camera-based detection of driving lane markings, comprising a first data interface (301) to a vehicle with a device for on-board camera-based detection of lane markings; a second data interface (302) for receiving at least one orthophoto (306) which is based on at least one remote sensing image of an area in which a lane network has at least one lane selected as a test route for the vehicle, captured by a recording device on board an aircraft; and a programmable device (303) with at least one processor (304) and a memory (305), wherein the memory (305) comprises code portions of a computer program product which, when executed by the processor (304), cause the system (300) to carry out a method (100) according to one of the Claims 1 until 12 to carry out. Computerprogrammprodukt, das Codeanteile umfasst, die, wenn sie von einem Prozessor (304) einer programmierbaren Einrichtung (303) eines Systems (300) zum Evaluieren einer Vorrichtung zur bordkamerabasierten Detektion von Fahrbahnmarkierungen nach Anspruch 13 ausgeführt werden, das System (300) veranlassen, ein Verfahren (100) nach einem der Ansprüche 1 bis 12 durchzuführen.Computer program product comprising code portions which, when executed by a processor (304) of a programmable device (303) of a system (300) for evaluating a device for on-board camera-based detection of lane markings according to Claim 13 are executed, cause the system (300) to carry out a method (100) according to one of the Claims 1 until 12 to carry out. Computerlesbarer Datenträger, der ein Computerprogramprodukt nach Anspruch 14 aufweist.Computer-readable medium containing a computer program product according to Claim 14 having.
DE102022127693.7A 2022-10-20 2022-10-20 Method and system for evaluating a device for on-board camera-based detection of road markings Pending DE102022127693A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022127693.7A DE102022127693A1 (en) 2022-10-20 2022-10-20 Method and system for evaluating a device for on-board camera-based detection of road markings

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022127693.7A DE102022127693A1 (en) 2022-10-20 2022-10-20 Method and system for evaluating a device for on-board camera-based detection of road markings

Publications (1)

Publication Number Publication Date
DE102022127693A1 true DE102022127693A1 (en) 2024-04-25

Family

ID=90572744

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022127693.7A Pending DE102022127693A1 (en) 2022-10-20 2022-10-20 Method and system for evaluating a device for on-board camera-based detection of road markings

Country Status (1)

Country Link
DE (1) DE102022127693A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237901A (en) 2008-03-27 2009-10-15 Zenrin Co Ltd Method of creating road marker map
WO2012089261A1 (en) 2010-12-29 2012-07-05 Tomtom Belgium Nv Method of automatically extracting lane markings from road imagery
US20210132612A1 (en) 2019-03-08 2021-05-06 SZ DJI Technology Co., Ltd. Techniques for sharing mapping data between an unmanned aerial vehicle and a ground vehicle
US20210148722A1 (en) 2019-11-20 2021-05-20 Thinkware Corporation Method, apparatus, computer program, and computer-readable recording medium for producing high-definition map
CN114694111A (en) 2020-12-28 2022-07-01 哲晰公司 Vehicle positioning
CN114757999A (en) 2022-04-18 2022-07-15 四川翼空智控科技有限公司 Ground-space based cross-view geographic positioning method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237901A (en) 2008-03-27 2009-10-15 Zenrin Co Ltd Method of creating road marker map
WO2012089261A1 (en) 2010-12-29 2012-07-05 Tomtom Belgium Nv Method of automatically extracting lane markings from road imagery
US20210132612A1 (en) 2019-03-08 2021-05-06 SZ DJI Technology Co., Ltd. Techniques for sharing mapping data between an unmanned aerial vehicle and a ground vehicle
US20210148722A1 (en) 2019-11-20 2021-05-20 Thinkware Corporation Method, apparatus, computer program, and computer-readable recording medium for producing high-definition map
CN114694111A (en) 2020-12-28 2022-07-01 哲晰公司 Vehicle positioning
CN114757999A (en) 2022-04-18 2022-07-15 四川翼空智控科技有限公司 Ground-space based cross-view geographic positioning method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JO, K., et al.: Precise localization of an autonomous car based on probabilistic noise models of road surface marker features using multiple cameras. In: IEEE Transactions on Intelligent Transportation Systems, 2015, 16. Jg., Nr. 6, S. 3377-3392. doi: 10.1109/TITS.2015.2450738
SEO, Y.-W., Urmson, C., Wettergreen, D.: Ortho-image analysis for producing lane-level highway maps. In: Proceedings of the 20th International Conference on Advances in Geographic Information Systems. 2012. S. 506-509. doi: 10.1145/2424321.2424401

Similar Documents

Publication Publication Date Title
EP3443301B1 (en) Method and system for determining a global position of a first landmark
EP2313741B1 (en) Method for updating a geographic database for a vehicle navigation system
EP3649519B1 (en) Method for verifying a digital map in a more highly automated vehicle, corresponding device and computer program
DE102013216892A1 (en) Locate an object using visual data
DE102014201238A1 (en) Method and system for creating a vector map
DE102011081614A1 (en) Method and device for analyzing a road section to be traveled by a vehicle
DE102012024873A1 (en) Method and control device for providing a road ahead
DE102017207257A1 (en) Method and apparatus for creating and providing a high accuracy card
DE102011112404A1 (en) Method for determining the position of a motor vehicle
DE102016210534A1 (en) Method for classifying an environment of a vehicle
DE102018210765A1 (en) Localization system and method for operating the same
DE102013101493A1 (en) Method for operating navigation system of vehicle, involves connecting environment entity to evaluation unit, and specifying current position of vehicle by satellite-based positioning system based on position data of landmarks
DE102019101405A1 (en) Method for evaluating position information of a landmark in the surroundings of a motor vehicle, evaluation system, driver assistance system and motor vehicle
DE102014207694A1 (en) Method for evaluating the calculation of environment models by vehicles
DE102021106900A1 (en) VEHICLE UNSAFETY REPLACEMENT
DE102021111325A1 (en) Method and assistance device for supporting driving operation of a motor vehicle and motor vehicle
EP3721371B1 (en) Method for position determination for a vehicle, controller and vehicle
DE102017122440A1 (en) A method for locating and further developing a digital map by a motor vehicle; localization device
DE102018127468A1 (en) Method for updating a digital environment map, electronic computing device, computer program product, driver assistance system, motor vehicle and environment map update system
DE102010021383A1 (en) Method for automatic detection of e.g. tree, via van, involves storing moving image that is provided with corrected position data and distance profile, and determining spatial position and dimensions of detected object
DE102018206067A1 (en) Method and device for determining a highly accurate position of a vehicle
DE102016209242B4 (en) UNIT SETTING DEVICE AND UNIT SETTING PROCEDURE
DE102018121274B4 (en) Process for visualizing a driving intention, computer program product and visualization system
DE102016212146A1 (en) Method for locating a motor vehicle and motor vehicle
DE102019005480A1 (en) Procedure for detecting and evaluating a condition of lane markings

Legal Events

Date Code Title Description
R163 Identified publications notified