EP4706021A1

EP4706021A1 - Verfahren, verkehrsüberwachungsanlage sowie computerprogrammprodukt

Info

Publication number: EP4706021A1
Application number: EP24723825.6A
Authority: EP
Inventors: Michael Trummer; Jan Thommes; Henryk MÜLLER
Original assignee: Jenoptik Robot GmbH
Current assignee: Jenoptik Robot GmbH
Priority date: 2023-05-03
Filing date: 2024-05-02
Publication date: 2026-03-11
Also published as: AU2024265761A1; DE102023111443A1; WO2024227870A1

Abstract

Die Erfindung betrifft ein Verfahren (100) zum Betreiben einer Verkehrsüberwachungsanlage (10) für die Aufnahme einer Verkehrsszene (11) auf einer Fahrbahn (12), wobei die Fahrbahn (12) von zumindest einem Fahrzeug (13) befahrbar ist, wobei das Verfahren (100) folgende Schritte aufweist: - Einlesen (110) der Verkehrsszene (11) auf der Fahrbahn (12) als Lidar-Daten (14) mittels zumindest einem Lidarsensor (15) zumindest einer optischen Erfassungseinheit (16), - Erkennen (120) vordefinierter Kontrollpunkte (17) aus Umgebungsdaten (18) in den erfassten Lidar-Daten (14) mittels einer Verarbeitungseinheit (19), wobei die Kontrollpunkte (17) an festgelegten Orten entlang und/oder auf der Fahrbahn (12) in den Umgebungsdaten (18) positioniert sind, - Umwandeln (130) der Kontrollpunkte (17) zu Ebenen-Daten (20) einer Ebene (21) mittels der Verarbeitungseinheit (19), wobei die Ebene (21) der Fahrbahn (12) entspricht, - Umwandeln (140) der erfassten Lidar-Daten (14) und der Ebenen-Daten (20) unter Nutzung eines Transformationsalgorithmus zu Birds-Eye-View-Daten (22) einer Vogelperspektive zur Aufnahme der Verkehrsszene (11) auf der Fahrbahn (12) mittels der Verarbeitungseinheit (19), - Auswerten (150) der Birds-Eye-View-Daten (22) der Aufnahme der Verkehrsszene (11) auf einer Fahrbahn (12) zu Auswerte-Daten mittels einer Auswerteeinheit (23) zum Betreiben einer Verkehrsüberwachungsanlage (10).

Description

Verfahren, Verkehrsüberwachungsanlage sowie Computerprogrammprodukt

Beschreibung

Die Erfindung betrifft ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 , eine Verkehrsüberwachungsanlage mit den Merkmalen des unabhängigen Patentanspruchs 12 sowie ein Computerprogrammprodukt mit den Merkmalen des unabhängigen Patentanspruchs 15.

Bei der Durchsetzung von Gesetzen zur Verkehrssicherheit ist ein großes Problem, die zu hohe Geschwindigkeit von Fahrzeugen. Ein weiterer Grund von Unfällen auf Autobahnen und Schnellstraßen ist jedoch auf einen zu geringen Abstand von Fahrzeugen zu einem vorausfahrenden Fahrzeug zurückzuführen. Die Straßenverkehrsordnungen in den europäischen Ländern (Niederlande, Deutschland und Österreich) und den USA haben unterschiedliche Gesetzeslagen und daraus abgeleitete Messverfahren zur Ahndung von Verstößen zur Abstandskontrolle in Abhängigkeit von den Geschwindigkeiten und/oder bei hohen Geschwindigkeiten. Die üblichen Messverfahren unterscheiden sich dabei in der verwendeten Sensorik, dem Blickwinkel der Sensorik und der Aufstellungs-ZAnwendungsart. In der Regel wird eine punktuelle Messung nicht als aussagekräftig angesehen, daher sollte ein Fehlverhalten über eine längere Strecke gemessen und gerichtsfest dokumentiert werden.

Die Gerichts- bzw. Gutachterfeste, automatisierte Messung, Dokumentation und Ticket- /Strafzettelerstellung bei Abstandsverstößen im Straßenverkehr erfordert darüber hinaus auch in Ländern mit Fahrerhaftung den Nachweis mit einem Fahrerfoto. Es besteht die rechtliche Notwendigkeit, mindestens über 250 m Fahrtweg den Abstandsverstoß nachweisen zu müssen. Dafür eignet sich eine punktuelle Messung mittels Radar/Kamera nicht oder nur mit Einschränkungen. Allerdings hat sich bei den bestehenden Systemen und Verfahren zur Ahndung von Verkehrsverstößen herausgestellt, dass die erzeugten Daten bzw. Bilder aufgrund der Perspektive die Geschwindigkeit und vor allem den Abstand zwischen zwei Fahrzeugen nur ungenau darstellen können, sodass der Toleranzbereich und damit auch die Ungenauigkeit sehr hoch sind. Es existieren Lidar- und Kamera- Anordnungen, welche von oben in einem Winkel von ca. 90° (Grad) über der Fahrbahn bereits durch diese Anordnung eine Vogelperspektive bieten. Somit muss keine Umrechnung von Bild-Daten oder Sensor-Daten erfolgen. Nachteilig ist dann jedoch, dass weder ein Nummernschild noch ein Fahrer erkannt werden kann, ohne dass man einen zusätzlichen Sensor in geeigneter Winkellage zusätzlich betreiben muss. Auch die Geschwindigkeitsmessenden Sensoren wie z.B. Radarsensoren können nicht in einem Winkel von 90° zur Fahrbahn positioniert werden. Somit müsste man zwei unterschiedliche Sensoren für unterschiedliche Blickwinkel kostenintensiv einplanen und positionieren.

Es ist daher eine Aufgabe der vorliegenden Erfindung, wenigstens einen der voranstehend beschriebenen Nachteile bei Messverfahren zur Ahndung von Verkehrsverstößen im Straßenverkehr zumindest teilweise zu überwinden. Insbesondere ist es Aufgabe der Erfindung, ein Verfahren und eine Verkehrsüberwachungsanlage zur Ahndung von Verkehrsverstößen im Straßenverkehr zur Verfügung zu stellen, die Perspektivbilder von gemessenen Fahrzeugen erzeugen, die ein verbessertes Beurteilen der Abstände zwischen Fahrzeugen und eine genauere Geschwindigkeitsmessung zulassen.

Für eine wirtschaftliche und effiziente Anordnung von Verkehrsüberwachungssensoren ist es von Vorteil, so wenig wie nötige Sensoren einzusetzen. Bevorzugt ist hier eine Winkelanordnung zwischen 0° und 70° (Grad) und eine algorithmische Transformation in die Vogelperspektive mit einem theoretischen Winkel von 90° zur Fahrbahnebene.

Die voranstehende Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 , durch eine Verkehrsüberwachungsanlage mit den Merkmalen des unabhängigen Patentanspruchs 12 sowie durch ein Computerprogrammprodukt mit den Merkmalen des unabhängigen Patentanspruchs 15. Weitere Merkmale und Details der Erfindung ergeben sich aus den Unteransprüchen, der Beschreibung und den Zeichnungen. Dabei gelten Merkmale und Details, die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben sind, selbstverständlich auch im Zusammenhang mit der erfindungsgemäßen Verkehrsüberwachungsanlage und/oder im Zusammenhang mit dem erfindungsgemäßen Computerprogrammprodukt und jeweils umgekehrt, sodass bezüglich der Offenbarung zu den einzelnen Erfindungsaspekten stets wechselseitig Bezug genommen wird bzw. werden kann.

Gemäß einem ersten Aspekt der Erfindung ist ein Verfahren zum Betreiben einer Verkehrsüberwachungsanlage für die Aufnahme einer Verkehrsszene auf einer Fahrbahn vorgesehen, wobei die Fahrbahn von zumindest einem Fahrzeug befahrbar ist, wobei das Verfahren folgende Schritte aufweist:

- Einlesen der Verkehrsszene auf der Fahrbahn als Lidar-Daten mittels zumindest einem Lidarsensor zumindest einer optischen Erfassungseinheit,

- Erkennen vordefinierter Kontrollpunkte aus Umgebungsdaten in den erfassten Lidar-Daten mittels einer Verarbeitungseinheit, wobei die Kontrollpunkte an festgelegten Orten entlang und/oder auf der Fahrbahn in den Umgebungsdaten positioniert sind,

- Umwandeln der Kontrollpunkte zu Ebenen-Daten einer Ebene mittels der Verarbeitungseinheit, wobei die Ebene der Fahrbahn entspricht,

- Umwandeln der erfassten Lidar-Daten und der Ebenen-Daten unter Nutzung eines Transformationsalgorithmus zu Birds-Eye-View-Daten einer Vogelperspektive zur Aufnahme der Verkehrsszene auf der Fahrbahn mittels der Verarbeitungseinheit,

- Auswerten der Birds-Eye-View-Daten der Aufnahme der Verkehrsszene auf einer Fahrbahn zu Auswerte-Daten mittels einer Auswerteeinheit zum Betreiben der Verkehrsüberwachungsanlage. Eine Verkehrsüberwachungsanlage ist eine Überwachungsanlage von Objekten aller Art und insbesondere von Verkehr im Allgemeinen bzw. von einer Verkehrsszene.

Als Verkehrsszene wird vorliegend ein überwachter Bereich des Straßenverkehrs verstanden. Die Verkehrsszene kann dabei ein Kreuzungsbereich sein, der überwacht wird, um beispielsweise einen Rotlichtverstoß an einer Ampel in dem besagten Kreuzungsbereich festzustellen, aber auch um generell den Verkehr in diesem Kreuzungsbereich zu überwachen, um eventuell die Ampelschaltung dem Verkehr anpassen zu können. Allerdings kann eine Verkehrsszene auch eine mehrspurige Straße, wie beispielsweise eine Autobahn oder eine Landstraße oder Ähnliches sein, bei der es vor allem um die Stauüberwachung oder Geschwindigkeitsverstöße oder Abstandsverstöße geht. Die Verkehrsszene kann auch unabhängig von der Straßenverkehrsordnung zu verstehen sein, indem allgemein Objekte überwacht werden (z.B. Fußgänger, Passanten, Veranstaltungsteilnehmer - auch in Innenräumen) und diese Objekte in der (Verkehrs-)szene getrackt werden und resultierende Daten erfindungsgemäß verarbeitet werden. Dieses insbesondere vor dem Hintergrund der zivilen Sicherheit (Civil Security).

Bei der Fahrbahn handelt es sich um den Teil der Straße, auf dem die Fahrzeuge fahren. Dabei werden sowohl Kraftfahrzeuge, also beispielsweise Personenkraftwagen, Lastkraftwagen, Landfahrzeuge, Roller, Motorräder, als auch Fahrräder vorliegend als Fahrzeug verstanden.

Die mit dem Lidarsensor aufgenommenen Lidar-Daten können 2D und 3D-Daten sein. Dies ermöglicht eine verbesserte Genauigkeit der Daten zur Auswertung der jeweiligen Verkehrsszene. Auch sind Aufnahmen mit einem Lidarsensor witterungsunabhängig und liefern somit durchgehend und unabhängig vom Wetter gute und genaue Daten über das Geschehen in einer Verkehrsszene.

Die Kontrollpunkte sind an festgelegten Orten entlang und/oder auf der Fahrbahn positioniert. Dabei wird entlang der Fahrbahn als seitlich der Fahrbahn, also parallel zu einer Fahrbahnbegrenzung, verstanden. Eine Fahrbahnbegrenzung begrenzt die Fahrbahn von einem Bereich, auf dem sich keine Fahrzeuge bewegen. Eine Fahrbahnbegrenzung kann eine Bordsteinkante zu einem Fußweg oder eine Begrenzung zu einem Autobahnmittelstreifen oder eine Leitplanke oder eine Rasenkante sein. Die Kontrollpunkte können allerdings auch auf den Fahrstreifenmarkierungen, welche zum Unterteilen der Fahrbahn in mehrere Fahrstreifen dienen, positioniert sein.

Als Vogelperspektive - Birds-Eye-View (auch „Obersicht“ oder Vogelschau) bezeichnet man in der Darstellenden Geometrie Perspektiven, die einen Gegenstand von oben oder schräg oben zeigen. Der Betrachter sieht dadurch den Gegenstand so wie ein hoch über ihm fliegender Vogel.

Im Unterschied dazu bezeichnet die Normalperspektive die Betrachtung aus normaler Augenhöhe eines stehenden Betrachters und die Froschperspektive die Betrachtung von einem unter der normalen Augenhöhe liegendem Augenpunkt. Alle drei Arten bezeichnen aber eigentlich nicht die Lage und Orientierung von Objekten zum Betrachter, sondern vielmehr die jeweilige Lage der Horizontlinie (Augenhöhe des Betrachters) im Vergleich zur Bildmitte (vgl. Wikipedia.org).

Bei dem Auswerten der Birds-Eye-View-Daten werden die sich in der Verkehrsszene befindlichen Fahrzeuge und ihre Eigenschaften zueinander ausgewertet. Dabei kann es sich um Daten über das jeweilige Fahrzeug, wie beispielsweise Fahrzeugtyp oder Fahrzeuggeschwindigkeit, oder den Fahrzeughalter handeln. Denkbar wäre hier, dass es sich bei den Daten um Einzelaufnahmen oder Sequenzen handelt. Weiterhin ist es möglich, dass die Auswertung der Birds-Eye-View-Daten als Bild oder Video visualisiert werden können.

Dabei ist es denkbar, dass die Auswerte-Daten mehrere Auswertungen einzelner Verkehrsszenen zu einer gesamten Auswertung zusammengefügt werden.

Beispielsweise können mehrere Verkehrsüberwachungsanlagen mit zumindest einer optischen Erfassungseinheit in einem unübersichtlichen Kreuzungsbereich vorgesehen werden. Dabei ist jede einzelne Verkehrsüberwachungsanlage einer Fahrspur jeweils einer Fahrtrichtung zugeordnet. Dabei können die Verkehrsüberwachungsanlagen so miteinander verknüpft sein, dass sie synchron das Verfahren ausführen. Es erfolgt eine Zeitstempelung von allen erfassten Sensordaten. Die jeweiligen Auswertungen der einzelnen Fahrspuren können zu einer Auswertung des gesamten Kreuzungsbereichs zusammengefügt werden.

Das Verfahren ermöglicht es, dass eine Verkehrsszene mit den sich darauf befindenden Fahrzeugen in der Vogelperspektive (Birds-Eye-View) dargestellt werden kann. Durch diese Vogelperspektive lassen sich die Abstände zwischen den Fahrzeugen oder die Abstände eines Fahrzeuges zu einer Fahrbahnbegrenzung, beispielsweise zu einer Halte- oder Parkverbotszone, besser darstellen und messen. Dies erlaubt eine genauere Einschätzung der Situation in der Verkehrsszene und führt zu genaueren, plausibleren und somit gerichtsfesten Aufnahmen bzw. Auswertungen einer Verkehrsszene z.B. auf einer Fahrbahn.

Unabhängig von den getrackten Objekten kann eine Darstellung in Vogelperspektive zeitlich synchronisiert und zeitgleich dargestellt werden mit Bild- und/oder Lidar-Daten ohne Transformation in Birds-Eye-View Daten. Somit können etwaige potentiellen Transformationsfehler überprüft werden durch die zeitgleiche und synchrone (zeitgestempelte) Darstellung im Ursprungsdatenformat. Dieses kann zum Beispiel durch eine Teilung eines Monitors zur Darstellung einer Verkehrsszene erfolgen, wobei synchron auf der linken Hälfte des Monitors die Birds-Eye-View Darstellung als Video erfolgt und auf der rechten Hälfte des Monitors die Darstellung ohne Birds-Eye- View erfolgt.

Im Rahmen der Erfindung kann es von Vorteil sein, dass Bilder der Verkehrsszene auf der Fahrbahn als Bild-Daten mittels zumindest einer Kameraeinheit der zumindest einen optischen Erfassungseinheit eingelesen werden, wobei nach dem Umwandeln in die Ebenen-Daten und vor oder nach dem Umwandeln in die Birds-Eye-View-Daten ein Überlagern der Bild-Daten und der Lidar-Daten zu Überlagerungsdaten durchgeführt wird. Eine zusätzliche Darstellung der Verkehrsszene mit Bild-Daten erhöht die Genauigkeit und ist besonders für die gerichtsfeste Darstellung eines Verstoßes in der Verkehrsszene hilfreich, da nicht nur die Lidar-Daten (Laser-Daten), sondern auch die bildliche Darstellung zur Verfügung gestellt werden können. Auch die Bild-Daten können dabei als 2D- oder 3D-Daten zur Verfügung gestellt werden.

In der Kameraeinheit kann beispielsweise eine Stereokamera oder eine 360-Grad- Kamera vorgesehen sein.

Dabei ist es denkbar, dass die Bild-Daten und die Lidar-Daten unterschiedliche Perspektiven darstellen, so können die Lidar-Daten in Vogelperspektive und die Bild- Daten in der Aufnahmeperspektive überlagert werden. Dies ermöglicht beispielsweise die Darstellung des Fahrers und die Abstandsmessung in einer Auswertung und ermöglicht somit eine verbesserte Identifikation bzw. Zuordnung des Fahrzeugs und somit eine plausible Präsentationsmöglichkeit als Videodarstellung z.B. vor Gericht. Die Bild-Daten können insbesondere auch durch eine Stereokamera oder eine 360- Grad-Kamera erzeugt werden. Ferner können Bild-Daten aus unterschiedlichen Spektralbereichen geliefert werden, sowohl im sichtbaren als auch unsichtbaren Bereich. Eine besonders bevorzugte Variante ist eine Infrarot (IR)-Kamera, welche spezielle Wärmebilder liefert.

Im Rahmen der Erfindung ist es denkbar, dass die Überlagerungsdaten unter Nutzung des Transformationsalgorithmus in die Birds-Eye-View-Daten der Vogelperspektive umgewandelt werden.

Durch die Überlagerung der Lidar-Daten und der Bild-Daten und deren gemeinsame Umwandlung in Birds-Eye-View-Daten lässt sich bei der Auswertung zu den Auswerte-Daten eine genauere Darstellung der Verkehrsszene ermöglichen.

Es kann im Rahmen der Erfindung bei einem Verfahren vorgesehen sein, dass bei dem Einlesen der Verkehrsszene auf einer Fahrbahn ein Objekt an dem Fahrzeug in den Lidar-Daten mittels der Verarbeitungseinheit erkannt wird, wobei das erkannte Objekt zur Identifikation des Fahrzeugtyps und/oder des Fahrzeughalters dient. Zusätzlich oder alternativ wird ein Fahrer in den Lidar-Daten und/oder Bild-Daten des Fahrzeugs mittels der Verarbeitungseinheit erkannt. Dabei wird das Objekt mit der Verkehrsszene auf einer Fahrbahn als Objekt-Daten und/oder der Fahrer mit der Verkehrsszene auf einer Fahrbahn als Fahrer-Daten eingelesen. Die Objekt-Daten und/oder die Fahrer-Daten werden mit den Lidar-Daten und den Ebenen-Daten unter Nutzung eines Transformationsalgorithmus zu den Birds-Eye-View-Daten einer Vogelperspektive zur Aufnahme der Verkehrsszene auf der Fahrbahn mittels der Verarbeitungseinheit umgewandelt, wobei die Objekt-Daten und/oder die Fahrer- Daten dem Fahrzeug in den Birds-Eye-View-Daten zugeordnet werden.

Als Objekt an einem Fahrzeug werden vorliegend Kennzeichen zur Halter- Identifikation oder spezifische Merkmale zur Identifikation des Fahrzeugtyps, beispielsweise ein bestimmter Aufkleber zur Identifikation eines Lastkraftwagens, verstanden. Dies kann beispielsweise sinnvoll sein, wenn es abhängig vom Tag oder der Tageszeit unterschiedliche Vorgaben einer Geschwindigkeit für einen Fahrzeugtyp gibt, sodass ein Verstoß gegen eine fahrzeugtypspezifische Vorgabe nachvollzogen und geahndet werden kann.

Durch die Umwandlung der Objekt-Daten und/oder der Fahrer-Daten in Birds-Eye- View-Daten kann während des Auswertens der Verkehrsszene dem jeweiligen Fahrzeug das erkannte Objekt und/oder der Fahrer zugeordnet und dargestellt werden. Dies ist besonders bei der sequenziellen Aufnahme der Verkehrsszene vorteilhaft, da wie gesagt, eine Zuordnung von Identifikationsdaten, also der Objekt- Daten und/oder Fahrer-Daten, stattfindet.

Denkbar ist hier auch, dass das Objekt und/oder der Fahrer beim Einlesen der Bild- Daten mittels der Erfassungseinheit erkannt wird.

Es kann ferner bei einem Verfahren vorgesehen sein, dass eine extrinsische Kalibrierung zur Ausrichtung der optischen Erfassungseinheit zu der Fahrbahn durchgeführt wird, wobei die extrinsische Kalibrierung einmalig oder zyklisch durchgeführt wird und/oder wobei die extrinsische Kalibrierung automatisch, zumindest teilweise automatisch, oder manuell durchgeführt wird, insbesondere wobei die Daten aus der extrinsischen Kalibrierung zum positionsgenauen Umwandeln in die Ebenen-Daten der Ebene verwendet wird.

Die extrinsische Kalibrierung dient vor allem dazu, dass aus den Lidar-Daten bzw. den Bild-Daten zuverlässige und genaue Informationen abgeleitet werden können. Die extrinsische Kalibrierung dient sozusagen dazu, dass die innere und äußere Orientierung übereinstimmen, also, dass die ausgewerteten Lidar-Daten bzw. die Bild- Daten der Verkehrsszene mit der tatsächlichen Umgebung übereinstimmt. Bei der Kalibrierung werden zunächst die Verkehrsszene und dabei vor allem die Ebenen- Daten der Ebene bzw. der Fahrbahn auf die Umgebungsdaten orientiert.

Dabei wird zur extrinsischen Kalibrierung die Verkehrsszene als Lidar-Daten eingelesen, die Kontrollpunkte erkannt und zu Ebenen-Daten der Ebene, also der Fahrbahn, umgewandelt. Anschließend werden die Ebenen-Daten und die Lidar- Daten zu Birds-Eye-View Daten umgewandelt und ausgewertet. Bei der Auswertung werden die Birds-Eye-View-Daten mit den echten Umgebungsdaten verglichen und darauf geachtet, dass die Markierungen, beispielsweise Fahrstreifenmarkierungen oder Fahrbahnrandmarkierungen, der Birds-Eye-View-Daten mit den jeweiligen Markierungen der echten Umgebungsdaten übereinstimmen. Ist dies nicht der Fall, wird die Ausrichtung der optischen Einheit manuell oder automatisch verstellt, und die genannten Schritte wiederholt, bis die Markierungen der Birds-Eye-View-Daten auf den Markierungen der echten Umgebungsdaten liegen.

Dies ist beispielsweise bei leichten Kurvenverläufen in der zu betrachtenden Verkehrsszene vorteilhaft. Auf einfache Art und Weise kann die Position der optischen Erfassungseinheit eingestellt werden, da der Verlauf der Ebene, respektive der Fahrbahn, aus dem Verfahren an den Verlauf der Fahrbahn in der echten Umgebung angepasst werden kann. Durch die extrinsische Kalibrierung kann eine fehlerhafte Auswertung einer Verkehrsszene vermieden werden.

Es kann zusätzlich bei einem Verfahren vorgesehen sein, dass die zumindest eine optische Erfassungseinheit der Verkehrsüberwachungsanlage und/oder das Verfahren mittels eines 2D-oder 3D-Codes, insbesondere eines QR-Codes, an einer spezifischen Position an einer Haltelinie auf der Fahrbahn in der Verkehrsszene auf der Fahrbahn kalibriert und/oder ausgerichtet wird.

Der Code kann dabei so positioniert sein, dass er einfach erfasst werden kann. Er kann dabei als Bezugspunkt zur Kalibrierung und dabei vor allem zu einer Neu- Kalibrierung der optischen Erfassungseinheit verwendet werden. Dies ist besonders vorteilhaft, wenn aufgrund von Umwelteinflüssen eine Positionsveränderung der optischen Erfassungseinheit stattgefunden hat. Beispielsweise kann für die Neu- Kalibrierung die ursprüngliche Position des Codes hinterlegt sein, sodass eine Abweichung der Soll-Position der optischen Erfassungseinheit von der hinterlegten Ist-Position bestimmt werden kann. Der Code kann bei jedem Einlesen der Verkehrsszene auf der Fahrbahn mit eingelesen werden, denkbar ist aber ein zyklisches Einlesen und Auswerten des Codes, um eine Veränderung der Position in den ausgewerteten Birds-Eye-View-Daten festzustellen.

Auch kann bei einem Verfahren vorgesehen sein, dass die Verkehrsszene auf der Fahrbahn mittels der optischen Erfassungseinheit aus einer Höhe von 1 ,5 m bis 10 m, vorzugsweise 2 m bis 2,8 m, weiter vorzugsweise 2,3 m bis 2,7 m, eingelesen wird.

Dies ermöglicht die Aufnahme aus einer fixierten Position, sodass das Einlesen der Verkehrsszene aus einer vorher festgelegten Position durchgeführt wird. Dies ist besonders vorteilhaft für die gerichtsfeste Messung bzw. Aufnahme der Verkehrsszene.

Auch ist bei einem Verfahren realisierbar, dass in Abhängigkeit der zu überwachenden Verkehrsszene auf der Fahrbahn zumindest eine Messlinie in Referenz-Daten, die in der Auswerteeinheit gespeichert sind, hinterlegt ist, wobei die zumindest eine Messlinie orthogonal oder im Wesentlichen orthogonal zu einer Fahrbahnbegrenzung und/oder orthogonal oder im Wesentlichen orthogonal zu einer Fahrbahnrichtung der Fahrbahn und/oder parallel oder im Wesentlichen parallel zu einer Front- und/oder Heckstoßstange eines in den Lidar-Daten und/oder Bild-Daten ermittelnden Fahrzeugs ausgerichtet ist oder wird. Dabei wird die Messlinie bei der Auswertung der Auswerte-Daten der Verkehrsszene verwendet.

Die Referenz-Daten sind an die jeweilige Verkehrsszene angepasst und spiegeln die jeweiligen zu beobachtenden Begebenheiten bzw. zu ahndenden Verstöße wider. Dabei wird die Messlinie bzw. werden die Messlinien an die Referenz-Daten angepasst. Beispielsweise werden auf einer Autobahn die Referenz-Daten auf Abstandsverstöße, Verkehrsbeobachtungen und Geschwindigkeitsverstöße angepasst, sodass die Messlinie über die Breite der Fahrbahn verläuft und für die Messung einer Geschwindigkeit eines Fahrzeugs oder der Beschleunigung eines Fahrzeugs ausgelegt ist.

Hierfür können auch mehrere Messlinien parallel zueinander entlang der gesamten Verkehrsszene vorgesehen sein, um die Geschwindigkeit und/oder die Beschleunigung und/oder den Abstand zu einem anderen Fahrzeug über eine bestimmte Strecke einlesen und auswerten zu können. Einen Parkverstoß findet man hingegen in den Referenz-Daten zur Beobachtung eines Kreuzungsbereichs. Allerdings können in einem Kreuzungsbereich diverse Messlinien vorhanden sein. Auch hier können zur Geschwindigkeits- oder Beschleunigungsmessung mehrere Messlinien parallel zueinander angeordnet sein. Alternativ oder zusätzlich können die kürzeren Messlinien einen Bereich einer Halteverbotszone oder einer

Parkverbotszone auf der Fahrbahn eingrenzen, um ein Parkvergehen feststellen zu können. Die Messlinien können auch Stopplinien, Ampelhaltelinien und Yellowboxlinien sein.

Alternativ oder zusätzlich kann bei einem Verfahren vorgesehen sein, dass die Messlinie orthogonal oder im Wesentlichen orthogonal zu einer Fahrstreifenbegrenzung, insbesondere einer Fahrstreifenbegrenzung zur Begrenzung des Teils, der für den Gegenverkehr bestimmt ist.

Als Fahrbahnbegrenzung werden vorliegend Markierungen verstanden, welche die Fahrbahn begrenzen beziehungsweise den Fahrbahnrand erkennbar machen und die Fahrbahn von Seitenstreifen oder Sonderwegen trennt. Eine Fahrbahnbegrenzung im Sinne der Erfindung kann auch ein Grünstreifen oder eine Leitplanke sein.

Im Rahmen der Erfindung ist es optional möglich, dass das Verfahren zu verschiedenen Zeitpunkten, insbesondere zyklisch, und/oder bei einem Auslöseereignis, insbesondere eines Übertritts eines in den Lidar-Daten ermittelnden Fahrzeug, über die zumindest eine Messlinie, durchgeführt wird.

Ein zyklisches Einlesen der Lidar-Daten oder der Lidar-Daten und der Bild-Daten erlaubt eine genauere Überwachung der Verkehrsszene. Allerdings kann ein Einlesen dieser Daten bei einem Auslöseereignis vorteilhaft sein, da dies weniger Speicherkapazität benötigt. Als ein Auslöseereignis wird vorliegend ein Überschreiten eines Vorgabewertes verstanden. Beispielsweise kann eine definierte Geschwindigkeit als Vorgabewert hinterlegt werden, sodass das Verfahren ausgelöst wird, wenn ein Fahrzeug mit einer höheren Geschwindigkeit als der im Vorgabewert vorgegebenen Geschwindigkeit über die Messlinie fährt. Denkbar ist auch, dass ein Objekt zur Identifikation eines Fahrzeugtyps hinterlegt wird, um fahrzeugtypspezifische Geschwindigkeitsvorgaben und deren Überschreitung feststellen zu können.

Weiterhin ist bei einem Verfahren denkbar, dass für das Einlesen der Verkehrsszene auf der Fahrbahn mehrere voneinander beabstandete optische Erfassungseinheiten zur Erfassung der Verkehrsszene aus unterschiedlichen Winkeln vorgesehen werden.

Mehrere optische Erfassungseinheiten ermöglichen die Erfassung aus unterschiedlichen Winkeln und Perspektiven, sodass ein „blinder Fleck“ bei der Beobachtung einer Verkehrsszene vermieden werden kann. Dies eignet sich beispielsweise für schlecht einsehbare oder unübersichtliche Kreuzungsbereiche. Demnach wird ein genaueres Einlesen einer Verkehrsszene erzeugt.

Dabei kann bei einem Verfahren vorgesehen sein, dass die Lidar-Daten oder die Überlagerungsdaten zu unterschiedlichen Zeitpunkten und/oder aus unterschiedlichen Winkeln aufgenommen und überlagert werden.

Dies erhöht die Genauigkeit der Auswertung der Verkehrsszene.

Ferner kann es im Rahmen der Erfindung bei einem Verfahren vorgesehen sein, dass aus den Birds-Eye-View-Daten zu einem Zeitpunkt oder zu mehreren Zeitpunkten eine Fahrzeuggeschwindigkeit und/oder Fahrzeugbeschleunigung zumindest eines Fahrzeugs auf der Fahrbahn und/oder ein Halteverstoß, insbesondere ein Halteverstoß in einem Kreuzungsbereich oder einem Ampelbereich der Verkehrsszene, und/oder einen Abstandsverstoß eines Fahrzeugs zu einem vorherfahrenden Fahrzeug zu den Auswerte-Daten ausgewertet wird.

Mittels der Auswerte-Daten lässt sich auf einfache Art und Weise die Verkehrsszene vor allem in Hinblick auf die Verstöße auswerten und visualisieren, um gerichtsfeste Daten zu erhalten. Die Auswerte-Daten können dabei zu einem Einzelbild oder einer Bildsequenz bzw. einem Video umgewandelt werden.

Ferner kann es im Rahmen der Erfindung bei einem Verfahren vorgesehen sein, dass die Auswerte-Daten mittels einer Daten-Schnittstelle oder eines Senders der Auswerteeinheit an eine externe Datenspeicherung oder externe Weiterverarbeitungseinheit übertragen werden.

Dabei können die externe Datenspeicherung oder die externe Weiterverarbeitungseinheit beispielsweise bereits in einer Behörde sein, sodass schnell und einfach die Zuordnung und endgültige Auswertung zur Ahndung der Verstöße durchgeführt werden kann. Dies verkürzt die Zeit und erhöht die Effizienz der Verkehrsüberwachung. Denkbar wäre auch, dass die externe Weiterverarbeitungseinheit direkt einem ausführenden Organ zur Ahndung des jeweiligen Vergehens zur Verfügung steht, sodass eine direkte Ausführung der Ahndung durchgeführt werden kann. Beispielsweise könnte die externe Weiterverarbeitungseinheit in einem Polizeiwagen vorgesehen sein, der gerade die Verkehrsszene überwacht, sodass ein Hinweis einer Geschwindigkeitsüberschreitung oder eines Abstandverstoßes mit den jeweiligen Identifikationsdaten ausgegeben wird, sodass der Polizeiwagen dem Verstoßenden direkt folgen und den Verstoß ahnden kann.

Ferner ist es bei einem Verfahren möglich, dass bei dem Überlagern zumindest eine Position und/oder zumindest eine Koordinate zumindest eines Datenpunktes der Lidar-Daten mit einem dem Datenpunkt entsprechenden Pixel der Bild-Daten verglichen wird. Dabei wird ein Alarm und/oder ein Verwerfen des Messwertes ausgelöst, wenn eine Abweichung zwischen dem Datenpunkt und dem Pixel festgestellt wird. Dies kann insbesondere eine extrinsische Kalibrierung auslösen.

Dies ermöglicht eine einfache Überprüfung, ob die Lidar-Daten und die Bild-Daten zusammengehören. Dadurch wird ausgeschlossen, dass Lidar-Daten und Bild-Daten aus unterschiedlichen Zeitpunkten überlagert werden. Dabei ist es auch möglich, die Lidar-Daten und die Bild-Daten eines Ist-Zustandes mit dem Soll-Zustand aus der ersten extrinsischen Kalibrierung zu vergleichen, um festzustellen, ob die optische Erfassungseinheit aufgrund von Umwelteinflüssen ihre Position verändert hat. Wird eine Veränderung festgestellt, wird eine Kalibrierung ausgelöst.

Im Rahmen der Erfindung kann es bei einem Verfahren von Vorteil sein, dass Radar- Daten mittels zumindest eines Radarsensors der zumindest einen optischen Erfassungseinheit und/oder Ultraschall-Daten mittels zumindest eines Ultraschallsensors der zumindest einen optischen Erfassungseinheit erfasst werden. Dabei werden die Radar-Daten und/oder die Ultraschall-Daten zum Umwandeln zu den Ebenen-Daten und/oder zum Umwandeln zu den Birds-Eye-View-Daten und/oder zum Auswerten der Birds-Eye-View-Daten zu den Auswerte-Daten und/oder zum Überlagern zu den Überlagerungsdaten hinzugezogen. Durch das Hinzufügen zumindest einer weiteren Sensorik in die optische Erfassungseinheit wird die Genauigkeit der eingelesenen Daten für die Auswertung der Verkehrsszene erhöht. Dies wirkt sich positiv auf die gerichtsfeste Auswertung der jeweiligen Verkehrsszene aus.

Die obenstehende Aufgabe wird ferner gemäß einem zweiten Aspekt der Erfindung gelöst durch eine Verkehrsüberwachungsanlage zum Ausführen des oben beschriebenen Verfahrens, mit zumindest einer optischen Erfassungseinheit mit zumindest einem Lidarsensor zum Einlesen der Verkehrsszene auf einer Fahrbahn als Lidar-Daten, und mit einer Verarbeitungseinheit zum Erkennen vordefinierter Kontrollpunkte aus Umgebungsdaten in den Lidar-Daten, zum Umwandeln der Kontrollpunkte zu Ebenen-Daten der Ebene, wobei die Ebene der Fahrbahn entspricht, und zum Umwandeln der erfassten Lidar-Daten und der Ebenen-Daten unter Nutzung eines Transformationsalgorithmus zu Birds-Eye-View-Daten der Vogelperspektive, und mit einer Auswerteeinheit zum Auswerten der Verkehrsszene auf einer Fahrbahn zu den Auswerte-Daten.

Dabei können die vordefinierten Kontrollpunkte manuell vom Benutzer (z.B. Messbeamter) vorgegeben werden oder durch eine Automatik (Computerprogrammprodukt), welche geeignete Begrenzungspunkte, Straßenränder und/oder Fahrspurlinien erkennt und diese in Deckung mit den Kontrollpunkten bringt und somit (vor)definiert. Die Kontrollpunkte dienen in erster Linie zur Definition einer Ebene, wobei der Benutzer in der Regel so wenig wie notwendig Kontrollpunkte in der Normal-Perspektive (nicht: Birds-Eye-View) setzen soll. Die nachträgliche Eingabe durch Hinzufügen oder Verschieben von Kontrollpunkten in der Birds-Eye-View stellt eine einfachere und somit fehlerresistentere Methode für den Benutzer (oder dem Computerprogrammprodukt) dar.

Im Allgemeinen können Verkehrsüberwachungsanlagen für diverse Aufgaben im Straßenverkehr eingesetzt werden. Beispielsweise haben sie sich für die Analyse von Verkehrsströmen, das Steuern von Verkehrsleitsystemen oder insbesondere für die Erfassung und Verfolgung von Verkehrsverstößen bewährt.

Für die Verfolgung von Verkehrsverstößen weist die Verkehrsüberwachungsanlagen die optische Erfassungseinheit auf, da eine anschließende Verfolgung des Verkehrsverstoßes, gegebenenfalls bis vor Gericht, wesentlich leichter durchführbar ist. Als Verkehrsverstöße werden beispielsweise Übertretung der zulässigen Höchstgeschwindigkeit, Missachten der Rotlichtphase an Lichtzeichenanlagen, Unterschreitung des Mindestabstandes usw. verstanden.

Im Rahmen der Erfindung kann bei einer Verkehrsüberwachungsanlage vorgesehen sein, dass die zumindest eine optische Erfassungseinheit zumindest eine Kameraeinheit zum Erfassen von Bild-Daten aus Bildern aufweist.

Die mit der Kameraeinheit gemachten Bilder erhöhen die Genauigkeit und sind besonders für die gerichtsfeste Darstellung eines Verstoßes in der Verkehrsszene.

Es kann im Rahmen der Erfindung bei einer Verkehrsüberwachungsanlage vorgesehen sein, dass mehrere optische Erfassungseinheiten zum Einlesen der Verkehrsszene auf der Fahrbahn vorgesehen sind, wobei die optischen Erfassungseinheiten voneinander beabstandet angeordnet sind.

Mehrere optische Erfassungseinheiten ermöglichen die Erfassung aus unterschiedlichen Winkeln und Perspektiven, sodass ein „blinder Fleck“ bei der Beobachtung einer Verkehrsszene vermieden werden kann. Dies eignet sich beispielsweise für schlecht einsehbare oder unübersichtliche Kreuzungsbereiche.

Ferner kann es im Rahmen der Erfindung bei einer Verkehrsüberwachungsanlage vorgesehen sein, dass die Auswerteeinheit die Daten-Schnittstelle oder den Sender zum Übertragen der ausgewerteten Daten an eine externe Datenspeicherung oder externe Weiterverarbeitungseinheit aufweist. Dabei können die externe Datenspeicherung oder die externe Weiterverarbeitungseinheit beispielsweise bereits in einer Behörde sein, sodass schnell und einfach die Zuordnung und endgültige Auswertung zur Ahndung der Verstöße durchgeführt werden kann. Dies verkürzt die Zeit und erhöht die Effizienz der Verkehrsüberwachung.

Im Rahmen der Erfindung kann zusätzlich bei einer Verkehrsüberwachungsanlage vorgesehen sein, dass die zumindest eine optische Erfassungseinheit neben der Fahrbahn und/oder über der Fahrbahn angeordnet ist.

Dabei wird unter Anordnung der optischen Erfassungseinheit neben der Fahrbahn verstanden, dass die optische Erfassungseinheit neben der Fahrbahn also hinter einer Fahrbahnbegrenzung angeordnet ist und die Verkehrsszene aus einer seitlichen Perspektive aufnimmt. Dabei kann die optische Erfassungseinheit an einem Mast befestigt sein.

Ist die optische Erfassungseinheit über der Fahrbahn angeordnet, ist sie zwischen einer ersten Fahrbahnbegrenzung und einer zweiten Fahrbahnbegrenzung angeordnet. Dabei kann die optische Erfassungseinheit beispielsweise an einem Gate oder einer Tunnelwand oder einem Tunnelbogen befestigt sein.

Sowohl die Anordnung neben der Fahrspur als auch die Anordnung über der Fahrspur kann mittels einer One-Pole-Solution durchgeführt werden. Unter einer One-Pole- Solution wird verstanden, dass eine optische Erfassungseinheit so angeordnet ist, dass eine Aufnahme der Verkehrsszene von einem festen Punkt aus einem einzigen festen Winkel zwischen der optischen Erfassungseinheit und dem Fahrzeug mit Sicht auf den Fahrer und das Kennzeichen durchgeführt wird. Hierbei ist nur ein einziger Stromanschluss notwendig.

Dabei ist es im Rahmen der Erfindung denkbar, dass die optische Erfassungseinheit auf einer Höhe von 1 ,5 m bis 10 m, vorzugsweise 2 m bis 2,8 m, weiter vorzugsweise 2,3 m bis 2,7 m, angeordnet ist. Ferner ist bei einer Verkehrsüberwachungsanlage möglich, dass die zumindest eine optische Erfassungseinheit zumindest eine Radareinheit zum Erfassen von Radar- Daten und/oder zumindest einen Ultraschallsensor zur Erfassung von Ultraschall- Daten aufweist. Demnach können hier Lidar-Daten mit Bild-Daten oder beliebigen Sensordaten (z.B. Radardaten, Ultraschallsensor-Daten) kombiniert oder fusioniert werden.

Durch das Hinzufügen zumindest einer weiteren Sensorik in die optische Erfassungseinheit wird die Genauigkeit der eingelesenen Daten für die Auswertung der Verkehrsszene erhöht. Dies wirkt sich positiv auf die gerichtsfeste Auswertung der jeweiligen Verkehrsszene aus.

Die obenstehende Aufgabe wird gemäß einem dritten Aspekt der Erfindung ferner gelöst durch ein erfindungsgemäßes Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das oben beschriebene Verfahren mittels einer oben beschriebenen Verkehrsüberwachungsanlage auszuführen.

Vorteile, die ausführlich zu dem Verfahren zum Betreiben einer Verkehrsüberwachungsanlage für die Aufnahme einer Verkehrsszene auf einer Fahrbahn gemäß dem ersten Aspekt der Erfindung beschrieben werden, gelten gleichermaßen bei einer Verkehrsüberwachungsanlage gemäß dem zweiten Aspekt der Erfindung sowie bei einem Computerprogrammprodukt gemäß dem dritten Aspekt der Erfindung.

Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen mehrere Ausführungsbeispiele der Erfindung im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein. Anhand der beigefügten Zeichnungen wird die Erfindung nachfolgend näher erläutert. Dabei zeigt:

Fig. 1 eine schematische Darstellung eines erfindungsgemäßen Verfahrens,

Fig. 2 eine schematische Darstellung einer visualisierten Auswertung des erfindungsgemäßen Verfahrens mit Bezug auf eine Fahrbahn vor einer extrinsischen Kalibrierung,

Fig. 3 eine schematische Darstellung einer visualisierten Auswertung des erfindungsgemäßen Verfahrens mit Bezug auf eine Fahrbahn nach einer extrinsischen Kalibrierung,

Fig. 4 eine schematische Darstellung einer Sicht auf eine Verkehrsszene auf eine Fahrbahn vor der Umwandlung in die Vogelperspektive,

Fig. 5 eine schematische Darstellung einer Auswertung des erfindungsgemäßen Verfahrens mit Bezug auf einen Kreuzungsbereich, und

Fig. 6 eine schematische Darstellung einer erfindungsgemäßen Verkehrsüberwachungsanlage.

In Fig. 1 ist eine schematische Darstellung des Verfahrens 100 zum Betreiben einer Verkehrsüberwachungsanlage 10 für die Aufnahme einer Verkehrsszene 11 auf einer Fahrbahn 12. Dabei ist die Fahrbahn 12 von zumindest einem Fahrzeug 13 befahrbar. Das Verfahren 100 weist die folgenden Schritte auf:

- Einlesen 110 der Verkehrsszene 11 auf der Fahrbahn 12 als Lidar-Daten 14 mittels zumindest einem Lidarsensor 15 zumindest einer optischen Erfassungseinheit 16,

- Erkennen 120 vordefinierter Kontrollpunkte 17 aus Umgebungsdaten 18 in den erfassten Lidar-Daten 14 mittels einer Verarbeitungseinheit 19, wobei die Kontrollpunkte 17 an festgelegten Orten entlang und/oder auf der Fahrbahn 12 in den Umgebungsdaten 18 positioniert sind, siehe Fig. 2 und 3,

- Umwandeln 130 der Kontrollpunkte 17 zu Ebenen-Daten 20 einer Ebene 21 mittels der Verarbeitungseinheit 19, wobei die Ebene 21 der Fahrbahn 12 entspricht, siehe Fig. 2 und 3, - Umwandeln 140 der erfassten Lidar-Daten 14 und der Ebenen-Daten 20 unter Nutzung eines Transformationsalgorithmus zu Birds-Eye-View-Daten 22 einer Vogelperspektive zur Aufnahme der Verkehrsszene 11 auf der Fahrbahn 12 mittels der Verarbeitungseinheit 19,

- Auswerten 150 der Birds-Eye-View-Daten 22 der Aufnahme der Verkehrsszene 11 auf einer Fahrbahn 12 zu den Auswerte-Daten 35 mittels einer Auswerteeinheit 23 zum Betreiben einer Verkehrsüberwachungsanlage 10.

In der Fig. 2 bis Fig. 4 wurden 3D-Lidar-Daten 14 und in Fig. 5 wurden 2D-Lidar-Daten 14 durch den Lidarsensor 15 der optischen Erfassungseinheit 16 eingelesen und weiterverarbeitet.

Des Weiteren sieht das Verfahren 100 vor, dass Bilder der Verkehrsszene 11 auf der Fahrbahn 12 als Bild-Daten 24 mittels zumindest einer Kameraeinheit 25 der zumindest einen optischen Erfassungseinheit 16 eingelesen werden, dies ist in Fig. 1 und Fig. 4 zu erkennen, 120. Dabei wird nach dem Umwandeln 130 in die Ebenen- Daten 20 und vor dem Umwandeln 140 in die Birds-Eye-View-Daten 22 ein Überlagern 160 der Bild-Daten 24 und der Lidar-Daten 14 zu Überlagerungsdaten 26 durchgeführt.

Dabei werden auch die Überlagerungsdaten 26 unter Nutzung des Transformationsalgorithmus in die Birds-Eye-View-Daten 22 der Vogelperspektive umgewandelt, 140. Dies erzeugt eine genaue Darstellung der Verkehrsszene 11 in einer Vogelperspektive.

Zusätzlich wird bei dem Einlesen 110 der Verkehrsszene 11 auf einer Fahrbahn 12 ein Objekt 27 an dem Fahrzeug 13 in den Lidar-Daten 14 mittels der Verarbeitungseinheit 19 erkannt. Dabei handelt es sich, wie in Fig. 5 zu erkennen, 120, bei dem erkannten Objekt 27 um ein Kennzeichen (Nummernschild), also um ein Objekt 27 zur Identifikation des Fahrzeughalters. Denkbar wäre hier auch die Erkennung eines Objektes 27 zur Identifikation des Fahrzeugtyps. Zusätzlich wurde bei zumindest einem der sich in der Verkehrsszene 11 befindlichen Fahrzeugen 13 ein Fahrer 28 durch die Verarbeitungseinheit 19 in den Lidar-Daten 14 erkannt, da hier ein Rotlichtverstoß vorliegt.

Dabei wird das Objekt 27 bzw. die Objekte 27 und der Fahrer 28 mit der Verkehrsszene 11 auf einer Fahrbahn 12 als Objekt-Daten 29 und der Fahrer 28 mit der Verkehrsszene 11 auf einer Fahrbahn 12 als Fahrer-Daten 30 eingelesen. Sowohl die Objekt-Daten 29 als auch die Fahrer-Daten 30 werden mit den Lidar-Daten 14 und den Ebenen-Daten 20 unter Nutzung eines Transformationsalgorithmus zu den Birds- Eye-View-Daten 22 einer Vogelperspektive zur Aufnahme der Verkehrsszene 11 auf der Fahrbahn 12 mittels der Verarbeitungseinheit 19 umgewandelt 140. In der Auswertung und dabei vor allem in der Visualisierung der Auswertung werden die Objekt-Daten 29 und die Fahrer-Daten 30 dem Fahrzeug 13 in den Birds-Eye-View- Daten 22 zugeordnet, wie in Fig. 5 dargestellt. Optional können hier Lidar-Daten mit Bild-Daten oder beliebigen Sensordaten (z.B. Radardaten, Ultraschallsensor-Daten) kombiniert werden.

Fig. 2 zeigt eine Darstellung der Fahrbahn 12 vor einer extrinsischen Kalibrierung der optischen Erfassungseinheit 16. Dabei ist zu erkennen, 120, dass die zur Auswertung hinterlegten Fahrstreifenmarkierungen 44 (gestrichelt dargestellt), nicht mit den Fahrstreifen 45 der Fahrspur der Umgebung übereinstimmen, in diesem Fall kann es zu einer fehlerhaften Auswertung der Verkehrsszene 11 kommen.

Das Kalibieren und Ausrichten 180 der optischen Erfassungseinheit 16 zu der Fahrbahn 12 mit einer extrinsischen Kalibrierung 170 wird vorliegend zunächst einmalig durchgeführt und/oder optional automatisch durchgeführt. Denkbar ist, diese Kalibrierung zu wiederholen, sofern eine Abweichung der Ist-Position von der Soll- Position der optischen Erfassungseinheit 16 festgestellt wird. Dabei werden vorliegend die Daten aus der extrinsischen Kalibrierung zum positionsgenauen Umwandeln in die Ebenen-Daten 20 der Ebene 21 verwendet. Die Kalibrierung gilt erst dann als abgeschlossen, wenn die zur Auswertung hinterlegten Fahrstreifenmarkierungen 44 mit den Fahrstreifenmarkierungen 45 der Fahrspur der Umgebung in Übereinstimmung gebracht wurden, wie in Fig. 3 dargestellt.

Für die Kalibrierung, vor allem für eine Neu-Kalibrierung der optischen Erfassungseinheit 16 der Verkehrsüberwachungsanlage 10 oder des Verfahrens 100 selbst, ist ein 2D-Code 31 , insbesondere ein QR-Code, an einer spezifischen Position an einer Haltelinie 32 auf der Fahrbahn 12 in der Verkehrsszene 11 auf der Fahrbahn 12 vorgesehen. Dieser Schritt ist als optionaler Schritt in der Fig. 1 gestrichelt dargestellt. Ein derartiger 2D-Code 31 kann beispielsweise an einer Haltelinie 32 angebracht sein, wie schematisch in Fig. 5 gezeigt.

In Abhängigkeit von der zu überwachenden Verkehrsszene 11 auf der Fahrbahn 12 ist zumindest eine Messlinie 33 in Referenz-Daten 34, die in der Auswerteeinheit 23 gespeichert sind, hinterlegt.

Dabei kann die zumindest eine Messlinie 33 orthogonal oder im Wesentlichen orthogonal zu einer Fahrbahnbegrenzung und/oder orthogonal oder im Wesentlichen orthogonal zu einer Fahrbahnrichtung der Fahrbahn 12 und/oder parallel oder im Wesentlichen parallel zu einer Front- und/oder Heckstoßstange eines in den Lidar- Daten 14 und/oder Bild-Daten 24 ermittelnden Fahrzeugs 13 ausgerichtet sein oder werden, und wobei die Messlinie 33 bei der Auswertung der Auswerte-Daten 35 der Verkehrsszene 11 verwendet wird.

In Fig. 3 sind zwei Messlinien 33 in den Referenz-Daten 34 hinterlegt. Diese verlaufen orthogonal bzw. im Wesentlichen orthogonal zu einer Fahrbahnbegrenzung und dienen der Geschwindigkeitsmessung bzw. Abstandsmessung, um Verstöße in diesem Bezug festzustellen. In Fig. 5 sind gleich mehrere Messlinien 33 hinterlegt, dabei verlaufen diese Messlinien 33 jeweils entlang der Ampelhaltelinie, und somit teilweise über die Fahrbahn 12, aber orthogonal zur Fahrbahnbegrenzung. Eine weitere Messlinie 33 kennzeichnet eine Parkverbotszone und verläuft parallel zu einer Fahrbahnbegrenzung. Das Verfahren 100 wird zu verschiedenen Zeitpunkten oder bei einem Auslöseereignis, also bei einem Übertritt eines in den Lidar-Daten 14 ermittelnden Fahrzeug 13 über die zumindest eine Messlinie 33, wie ein Rotlichtverstoß in Fig. 5, durchgeführt.

Für das Einlesen 110 der Verkehrsszene 11 auf der Fahrbahn 12 können mehrere voneinander beabstandete optische Erfassungseinheiten 16 vorgesehen werden, sodass die Verkehrsszene 11 aus unterschiedlichen Winkeln dargestellt werden kann. Dies erlaubt, dass die Lidar-Daten 14 oder die Überlagerungsdaten zu unterschiedlichen Zeitpunkten und/oder aus unterschiedlichen Winkeln aufgenommen und überlagert werden.

Aus den Birds-Eye-View-Daten 22 zu dem einen Zeitpunkt oder zu mehreren Zeitpunkten kann die Fahrzeuggeschwindigkeit und/oder die Fahrzeugbeschleunigung des zumindest eines Fahrzeugs 13 auf der Fahrbahn 12, ausgewertet werden. Zusätzlich oder alternativ wird ein Halteverstoß ausgewertet. Beispielsweise in Fig. 5 wird ein Halteverstoß im Ampelbereich, also ein Rotlichtverstoß, und ein Parkvergehen mittel der Birds-Eye-View-Daten 22 ausgewertet. Die Verkehrsszenen 11 der Fig. 2 bis 4 werden jeweils zu Auswerte-Daten 35 ausgewertet.

Wobei diese Auswerte-Daten 35 mittels einer Daten-Schnittstelle 36 oder eines Senders 37 der Auswerteeinheit 23 an eine externe Datenspeicherung 38 oder externe Weiterverarbeitungseinheit 39 übertragen, 210, werden.

Um immer genau und vor allem gerichtssichere Auswertungen und Auswerte-Daten 35 zu haben, werden bei dem Überlagern 160 zumindest eine Position und zumindest eine Koordinate zumindest eines Datenpunktes der Lidar-Daten 14 mit einem dem Datenpunkt entsprechenden Pixel der Bild-Daten 24 verglichen, 220. Dabei wird ein Alarm und/oder ein Verwerfen 190 des Messwertes ausgelöst, wenn eine Abweichung zwischen dem Datenpunkt und dem Pixel festgestellt wird. Gleichzeitig wird bei der Feststellung der Abweichung eine erneute extrinsische Kalibrierung ausgelöst. Zusätzlich zu den Lidar-Daten 14 und den Bild-Daten 24 werden Radar-Daten 40 mittels zumindest eines Radarsensors 41 der zumindest einen optischen Erfassungseinheit 16 und Ultraschall-Daten 42 mittels zumindest eines Ultraschallsensors 43 der zumindest einen optischen Erfassungseinheit 16 erfasst. Dabei werden die Radar-Daten 40 und die Ultraschall-Daten 42 zum Umwandeln zu den Ebenen-Daten 20 und zum Umwandeln zu den Birds-Eye-View-Daten 22 und zum Auswerten 150 der Birds-Eye-View-Daten 22 und/oder zum Überlagern 160 zu den Überlagerungsdaten 26 hinzugezogen.

In Fig. 6 ist eine Verkehrsüberwachungsanlage 10 zum Ausführen des Verfahrens 100 gemäß der Fig. 1 bis 5 dargestellt. Diese weist zumindest eine optischen Erfassungseinheit 16 mit zumindest einem Lidarsensor 15 zum Einlesen 110 der Verkehrsszene 11 auf einer Fahrbahn 12 als Lidar-Daten 14, und eine Verarbeitungseinheit 19 zum Erkennen 120 vordefinierter Kontrollpunkte 17 aus Umgebungsdaten 18 in den Lidar-Daten 14, zum Umwandeln der Kontrollpunkte 130 zu Ebenen-Daten 20 der Ebene 21 , wobei die Ebene 21 der Fahrbahn 12 entspricht, und zum Umwandeln der erfassten Lidar-Daten 14 und der Ebenen-Daten 20 unter Nutzung eines Transformationsalgorithmus zu Birds-Eye-View-Daten 22 der Vogelperspektive, und eine Auswerteeinheit 23 zum Auswerten 150 der Verkehrsszene 11 auf einer Fahrbahn 12 auf.

Dabei weist die Auswerteeinheit 23 die Daten-Schnittstelle 36 bzw. den Sender 37 zum Übertragen 210 der ausgewerteten Daten an eine externe Datenspeicherung 38 oder externe Weiterverarbeitungseinheit 39 auf.

Zusätzlich weist die zumindest eine optische Erfassungseinheit 16 zumindest eine Kameraeinheit 25 zum Erfassen von Bild-Daten 24 aus Bildern, zumindest einen Radarsensor 41 zum Erfassen von Radar-Daten 40 und zumindest einen Ultraschallsensor 43 zur Erfassung von Ultraschall-Daten 42 auf.

Im speziellen Fall der Fig. 6 sind zwei optische Erfassungseinheiten 16 vorgesehen, dabei weisen beide jeweils einen Lidarsensor 15 und eine Kameraeinheit 25 auf. Eine der beiden weist zusätzlich einen Ultraschallsensor 43 und die andere einen Radarsensor 41 auf.

Die Verkehrsüberwachungsanlage gemäß Fig. 5 ist an einem Gate zwischen 2,3 m und 2,7 m bzw. optional bis 10 m befestigt, somit über der Fahrbahn 12 anordenbar und sieht mehrere optische Erfassungseinheiten zum Einlesen 110 der Verkehrsszene 11 auf der Fahrbahn 12 vor. Diese optischen Erfassungseinheiten sind voneinander beabstandet angeordnet, um verschiedene Winkel der Verkehrsszene 11 aufnehmen zu können.

Denkbar ist auch, dass die Verkehrsüberwachungsanlage 10 neben der Fahrbahn 12 an einem Mast auf einer Höhe zwischen 2,3 und 2,7m bzw. optional bis 10 m befestigt ist.

Bezugszeichenliste

10 Verkehrsüberwachungsanlage

11 Verkehrsszene

12 Fahrbahn

13 Fahrzeug

14 Lidar-Daten

15 Lidarsensor

16 optischen Erfassungseinheit

17 Kontrollpunkte

18 Umgebungsdaten

19 Verarbeitungseinheit

20 Ebenen-Daten

21 Ebene

22 Birds-Eye-View-Daten

23 Auswerteeinheit

24 Bild-Daten

25 Kameraeinheit

26 Überlagerungsdaten

27 Objekt

28 Fahrer

29 Objekt-Daten

30 Fahrer-Daten

31 2D-Code

32 Haltelinie

33 Messlinie

34 Referenz-Daten

35 Auswerte-Daten

36 Daten-Schnittstelle

37 Sender

38 externe Datenspeicherung

39 externe Weiterverarbeitungseinheit Radar-Daten

Radarsensor

Ultraschall-Daten

Ultraschallsensor hinterlegten Fahrstreifenmarkierungen

Fahrstreifen

Verfahren

Einlesen

Erkennen

Umwandeln der Kontrollpunkte

Umwandeln in Birds Eye-View-Daten

Auswerten

Überlagern

Kalibrieren

Ausrichten

Verwerfen

Auslösen

Übertragen

Vergleichen

Claims

Patentansprüche

1 . Verfahren (100) zum Betreiben einer Verkehrsüberwachungsanlage (10) für die Aufnahme einer Verkehrsszene (11 ) auf einer Fahrbahn (12), wobei die Fahrbahn (12) von zumindest einem Fahrzeug (13) befahrbar ist, wobei das Verfahren (100) folgende Schritte aufweist:

- Einlesen (110) der Verkehrsszene (11) auf der Fahrbahn (12) als Lidar-Daten (14) mittels zumindest einem Lidarsensor (15) zumindest einer optischen Erfassungseinheit (16),

- Erkennen (120) vordefinierter Kontrollpunkte (17) aus Umgebungsdaten (18) in den erfassten Lidar-Daten (14) mittels einer Verarbeitungseinheit (19), wobei die Kontrollpunkte (17) an festgelegten Orten entlang und/oder auf der Fahrbahn (12) in den Umgebungsdaten (18) positioniert sind,

- Umwandeln (130) der Kontrollpunkte (17) zu Ebenen-Daten (20) einer Ebene (21 ) mittels der Verarbeitungseinheit (19), wobei die Ebene (21 ) der Fahrbahn (12) entspricht,

- Umwandeln (140) der erfassten Lidar-Daten (14) und der Ebenen- Daten (20) unter Nutzung eines Transformationsalgorithmus zu Birds-Eye-View-Daten (22) einer Vogelperspektive zur Aufnahme der Verkehrsszene (11 ) auf der Fahrbahn (12) mittels der Verarbeitungseinheit (19),

- Auswerten (150) der Birds-Eye-View-Daten (22) der Aufnahme der Verkehrsszene (11 ) auf einer Fahrbahn (12) zu Auswerte-Daten mittels einer Auswerteeinheit (23) zum Betreiben der Verkehrsüberwachungsanlage (10).

2. Verfahren (100) nach Anspruch 1 , dadurch gekennzeichnet, dass Bilder der Verkehrsszene (11 ) auf der Fahrbahn (12) als Bild-Daten (24) mittels zumindest einer Kameraeinheit (25) der zumindest einen optischen Erfassungseinheit (16) eingelesen werden, wobei nach dem Umwandeln (130) in die Ebenen-Daten (20) und vor oder nach dem Umwandeln (140) in die Birds-Eye-View-Daten (22) ein Überlagern (160) der Bild-Daten (24) und der Lidar-Daten (14) zu Überlagerungsdaten (26) durchgeführt wird.

3. Verfahren (100) nach Anspruch 2, dadurch gekennzeichnet, dass die Überlagerungsdaten (26) unter Nutzung des Transformationsalgorithmus in die Birds-Eye-View-Daten (22) der Vogelperspektive umgewandelt (140) werden.

4. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Einlesen (110) der Verkehrsszene (11 ) auf einer Fahrbahn (12) ein Objekt (27) an dem Fahrzeug (13) in den Lidar-Daten (14) mittels der Verarbeitungseinheit (19) erkannt wird, wobei das erkannte Objekt (27) zur Identifikation des Fahrzeugtyps und/oder des Fahrzeughalters dient, und/oder dass ein Fahrer (28) des Fahrzeugs (13) in den Lidar-Daten (14) und/oder Bild-Daten (24) mittels der Verarbeitungseinheit (19) erkannt wird, wobei das Objekt (27) mit der Verkehrsszene (11 ) auf einer Fahrbahn (12) als Objekt-Daten (29) und/oder der Fahrer (28) mit der Verkehrsszene (11 ) auf einer Fahrbahn (12) als Fahrer-Daten (30) eingelesen werden, und wobei die Objekt-Daten (29) und/oder die Fahrer-Daten (30) mit den Lidar- Daten (14) und/oder Bild-Daten (24) und den Ebenen-Daten (20) unter Nutzung eines Transformationsalgorithmus zu den Birds-Eye-View-Daten (22) einer Vogelperspektive zur Aufnahme der Verkehrsszene (11 ) auf der Fahrbahn (12) mittels der Verarbeitungseinheit (19) umgewandelt (140) werden, und wobei die Objekt-Daten (29) und/oder die Fahrer-Daten (30) dem Fahrzeug (13) in den Birds-Eye-View-Daten (22) zugeordnet werden.

5. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine extrinsische Kalibrierung (170) zur Ausrichtung (180) der optischen Erfassungseinheit (16) zu der Fahrbahn (12) durchgeführt wird, wobei die extrinsische Kalibrierung einmalig oder zyklisch durchgeführt wird und/oder wobei die extrinsische Kalibrierung (170) automatisch, zumindest teilweise automatisch, oder manuell durchgeführt wird, insbesondere wobei die Daten aus der extrinsischen Kalibrierung zum positionsgenauen Umwandeln in die Ebenen-Daten (20) der Ebene (21 ) verwendet wird.

6. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit der zu überwachenden Verkehrsszene (11) auf der Fahrbahn (12) zumindest eine Messlinie (33) in Referenz-Daten (34), die in der Auswerteeinheit (23) gespeichert sind, hinterlegt ist, wobei die zumindest eine Messlinie (33) orthogonal oder im Wesentlichen orthogonal zu einer Fahrbahnbegrenzung und/oder orthogonal oder im Wesentlichen orthogonal zu einer Fahrbahnrichtung der Fahrbahn (12) und/oder parallel oder im Wesentlichen parallel zu einer Front- und/oder Heckstoßstange eines in den Lidar-Daten (14) und/oder Bild-Daten (24) ermittelnden Fahrzeugs (13) ausgerichtet ist oder wird, und wobei die Messlinie (33) bei der Auswertung der Auswerte-Daten (35) der Verkehrsszene (11 ) verwendet wird.

7. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren (100) zu verschiedenen Zeitpunkten, insbesondere zyklisch, und/oder bei einem Auslöseereignis, insbesondere eines Übertritts eines in den Lidar-Daten (14) ermittelnden Fahrzeug (13), über die zumindest eine Messlinie (33), durchgeführt wird.

8. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus den Birds-Eye-View-Daten (22) zu einem Zeitpunkt oder zu mehreren Zeitpunkten eine Fahrzeuggeschwindigkeit und/oder Fahrzeugbeschleunigung zumindest eines Fahrzeugs (13) auf der Fahrbahn (12), und/oder ein Halteverstoß, insbesondere ein Halteverstoß in einem Kreuzungsbereich oder einem Ampelbereich der Verkehrsszene (11 ), und/oder einen Abstandsverstoß eines Fahrzeugs (13) zu einem vorherfahrenden Fahrzeug (13) zu den Auswerte-Daten (35) ausgewertet wird.

9. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerte-Daten (35) mittels einer Daten-Schnittstelle (36) oder eines Senders (37) der Auswerteeinheit (23) an eine externe Datenspeicherung (38) oder externe Weiterverarbeitungseinheit (39) übertragen (210) werden.

10. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Überlagern (160) zumindest eine Position und/oder zumindest eine Koordinate zumindest eines Datenpunktes der Lidar-Daten (14) mit einem dem Datenpunkt entsprechenden Pixel der Bild-Daten (24) verglichen (220) wird, wobei ein Alarm und/oder ein Verwerfen (190) des Messwertes ausgelöst wird, wenn eine Abweichung zwischen dem Datenpunkt und dem Pixel festgestellt wird, wobei insbesondere eine extrinsische Kalibrierung ausgelöst wird.

11 . Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Radar-Daten (40) mittels zumindest eines Radarsensors (41 ) der zumindest einen optischen Erfassungseinheit (16) und/oder Ultraschall- Daten (42) mittels zumindest eines Ultraschallsensors (43) der zumindest einen optischen Erfassungseinheit (16) erfasst werden, wobei die Radar- Daten (40) und/oder die Ultraschall-Daten (42) zum Umwandeln zu den Ebenen-Daten (20) und/oder zum Umwandeln zu den Birds-Eye-View- Daten (22) und/oder zum Auswerten (150) der Birds-Eye-View-Daten (22) zu dem Auswerte-Daten (35) und/oder zum Überlagern (160) zu den Überlagerungsdaten (26) hinzugezogen werden.

12. Verkehrsüberwachungsanlage (10) zum Ausführen des Verfahrens (100) gemäß einem der vorhergehenden Ansprüche,

- mit zumindest einer optischen Erfassungseinheit (16) mit zumindest einem Lidarsensor (15) zum Einlesen (110) der Verkehrsszene (11 ) auf einer Fahrbahn (12) als Lidar-Daten (14), und

- mit einer Verarbeitungseinheit (19) zum Erkennen (120) vordefinierter Kontrollpunkte (17) aus Umgebungsdaten (18) in den Lidar-Daten (14), zum Umwandeln der Kontrollpunkte (130) zu Ebenen-Daten (20) der Ebene (21 ), wobei die Ebene (21 ) der Fahrbahn (12) entspricht, und zum Umwandeln der erfassten Lidar- Daten (14) und der Ebenen-Daten (20) unter Nutzung eines Transformationsalgorithmus zu Birds-Eye-View-Daten (22) der Vogelperspektive, und

- mit einer Auswerteeinheit (23) zum Auswerten (150) der Verkehrsszene (11 ) auf einer Fahrbahn (12) zu den Auswerte-Daten (35).

13. Verkehrsüberwachungsanlage (10) nach Anspruch 12, dadurch gekennzeichnet, dass die zumindest eine optische Erfassungseinheit (16) zumindest eine Kameraeinheit (25) zum Erfassen von Bild-Daten (24) aus Bildern aufweist.

14. Verkehrsüberwachungsanlage (10) nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass mehrere optische Erfassungseinheiten zum Einlesen (110) der Verkehrsszene (11 ) auf der Fahrbahn (12) vorgesehen sind, wobei die optischen Erfassungseinheiten voneinander beabstandet angeordnet sind.

15. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren (100) nach einem der Ansprüche 1 bis 11 mittels einer Verkehrsüberwachungsanlage (10) gemäß einem der Ansprüche 12 bis 14 auszuführen.