EP4706022A1

EP4706022A1 - Verfahren, verkehrsüberwachungsanlage sowie computerprogrammprodukt

Info

Publication number: EP4706022A1
Application number: EP24724945.1A
Authority: EP
Inventors: Michael Trummer; Jan Thommes; Henryk MÜLLER
Original assignee: Jenoptik Robot GmbH
Current assignee: Jenoptik Robot GmbH
Priority date: 2023-05-03
Filing date: 2024-05-02
Publication date: 2026-03-11
Also published as: DE102023111450A1; WO2024227874A1; AU2024265032A1

Abstract

Die Erfindung betrifft ein Verfahren (100) zum Betreiben einer Verkehrsüberwachungsanlage (10) für die Aufnahme einer Verkehrsszene (11) auf einer Fahrbahn (12), wobei die Fahrbahn (12) von zumindest einem Fahrzeug (13) befahrbar ist, wobei das Verfahren (100) folgende Schritte aufweist: - Einlesen (110) der Verkehrsszene (11) auf der Fahrbahn (12) als Bild-Daten (24) mittels zumindest einer Kameraeinheit (25), insbesondere positionsfesten Kameraeinheit (25), zumindest einer optischen Erfassungseinheit (16), - Erkennen (120) zumindest eines Objektes (27) an dem Fahrzeug (13) aus den Bild-Daten (24) mittels einer Verarbeitungseinheit (19), wobei das erkannte Objekt (27) zur Identifikation des Fahrzeugtyps und/oder des Fahrzeughalters dient, und/oder Erkennen (120) eines Fahrers (28) in dem Fahrzeug (13) aus den Bild-Daten (24) mittels der Verarbeitungseinheit (19) bei dem Einlesen (110), - Erkennen (120) vordefinierter Kontrollpunkte (17) aus Umgebungsdaten (18) in den erfassten Bild-Daten (24) mittels einer Verarbeitungseinheit (19), - Umwandeln der Kontrollpunkte (130) zu Ebenen-Daten (20) einer Ebene (21) mittels der Verarbeitungseinheit (19), - Umwandeln der erfassten Bild-Daten (24), der Ebenen-Daten (20), und der Objekt-Daten (29) und/oder Fahrer-Daten (30) unter Nutzung eines Transformationsalgorithmus zu Birds-Eye-View-Daten (22) einer Vogelperspektive zur Aufnahme der Verkehrsszene (11) auf der Fahrbahn (12) mittels der Verarbeitungseinheit (19), - Auswerten (150) der Birds-Eye-View-Daten (22) der Aufnahme der Verkehrsszene (11) auf einer Fahrbahn (12) zu Auswerte-Daten (35) mittels einer Auswerteeinheit (23) zum Betreiben einer Verkehrsüberwachungsanlage (10).

Description

Verfahren, Verkehrsüberwachungsanlage sowie Computerprogrammprodukt

Beschreibung

Die Erfindung betrifft ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 , eine Verkehrsüberwachungsanlage mit den Merkmalen des unabhängigen Patentanspruchs 10 sowie ein Computerprogrammprodukt mit den Merkmalen des unabhängigen Patentanspruchs 14.

Bei der Durchsetzung von Gesetzen zur Verkehrssicherheit ist ein großes Problem die zu hohe Geschwindigkeit von Fahrzeugen. Ein weiterer Grund von Unfällen auf Autobahnen und Schnellstraßen ist jedoch auf einen zu geringen Abstand von Fahrzeugen zu einem vorausfahrenden Fahrzeug zurückzuführen. Die Straßenverkehrsordnungen in den europäischen Ländern (Niederlande, Deutschland und Österreich) und den USA haben unterschiedliche Gesetzeslagen und daraus abgeleitete Messverfahren zur Ahndung von Verstößen zur Abstandskontrolle in Abhängigkeit von den Geschwindigkeiten und/oder bei hohen Geschwindigkeiten. Die üblichen Messverfahren unterscheiden sich dabei in der verwendeten Sensorik, dem Blickwinkel der Sensorik und der Aufstellungs- und/oder Anwendungsart. In der Regel wird eine punktuelle Messung nicht als aussagekräftig angesehen, daher sollte ein Fehlverhalten über eine längere Strecke gemessen und gerichtsfest dokumentiert werden.

Die Gerichts- und/oder Gutachterfeste, automatisierte Messung, Dokumentation und Ticket- /Strafzettelerstellung bei Abstandsverstößen im Straßenverkehr erfordert darüber hinaus auch in Ländern mit Fahrerhaftung den Nachweis mit einem Fahrerfoto. Es besteht die rechtliche Notwendigkeit, mindestens über 250 m Fahrtweg den Abstandsverstoß nachweisen zu müssen. Dafür eignet sich eine punktuelle Messung mittels Radar/Kamera nicht oder nur mit Einschränkungen.

Allerdings hat sich bei den bestehenden Systemen und Verfahren zur Ahndung von Verkehrsverstößen herausgestellt, dass die erzeugten Daten bzw. Bilder aufgrund der Perspektive die Geschwindigkeit und vor allem den Abstand zwischen zwei Fahrzeugen nur ungenau darstellen können, sodass der Toleranzbereich und damit auch die Ungenauigkeit sehr hoch sind. Es existieren Kamera-Anordnungen, welche von oben in einem Winkel von ca. 90° (Grad) über der Fahrbahn bereits durch diese Anordnung eine Vogelperspektive bieten. Somit muss keine Umrechnung von Bild- Daten oder Sensor-Daten erfolgen. Nachteilig ist dann jedoch, dass weder ein Nummernschild noch ein Fahrer erkannt werden kann, ohne dass man einen zusätzlichen Sensor in geeigneter Winkellage zusätzlich betreiben muss. Auch die Geschwindigkeitsmessenden Sensoren wie z.B. Radarsensoren können nicht in einem Winkel von 90° zur Fahrbahn positioniert werden. Somit müsste man zwei unterschiedliche Sensoren für unterschiedliche Blickwinkel kostenintensiv einplanen und positionieren.

Es ist daher eine Aufgabe der vorliegenden Erfindung, wenigstens einen der voranstehend beschriebenen Nachteile bei Messverfahren zur Ahndung von Verkehrsverstößen im Straßenverkehr zumindest teilweise zu überwinden. Insbesondere ist es Aufgabe der Erfindung, ein Verfahren und eine Verkehrsüberwachungsanlage zur Ahndung von Verkehrsverstößen im Straßenverkehr zur Verfügung zu stellen, die Perspektivbilder erzeugen, die ein verbessertes Beurteilen der Abstände zwischen Fahrzeugen und eine genauere Geschwindigkeitsmessung zulassen.

Für eine wirtschaftliche und effiziente Anordnung von Verkehrsüberwachungssensoren ist es von Vorteil, so wenig wie nötige Sensoren einzusetzen. Bevorzugt ist hier eine erfindungswesentliche Winkelanordnung zwischen 0° und 70° (Grad) und eine algorithmische Transformation in die Vogelperspektive mit einem theoretischen Winkel von 90° zur Fahrbahnebene.

Die voranstehende Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 , durch eine Verkehrsüberwachungsanlage mit den Merkmalen des unabhängigen Patentanspruchs 10 sowie durch ein Computerprogrammprodukt mit den Merkmalen des unabhängigen Patentanspruchs 14. Weitere Merkmale und Details der Erfindung ergeben sich aus den Unteransprüchen, der Beschreibung und den Zeichnungen. Dabei gelten Merkmale und Details, die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben sind, selbstverständlich auch im Zusammenhang mit der erfindungsgemäßen Verkehrsüberwachungsanlage und/oder im Zusammenhang mit dem erfindungsgemäßen Computerprogrammprodukt und jeweils umgekehrt, sodass bezüglich der Offenbarung zu den einzelnen Erfindungsaspekten stets wechselseitig Bezug genommen wird bzw. werden kann.

Gemäß einem ersten Aspekt der Erfindung ist ein Verfahren zum Betreiben einer Verkehrsüberwachungsanlage für die Aufnahme einer Verkehrsszene auf einer Fahrbahn vorgesehen, wobei die Fahrbahn von zumindest einem Fahrzeug befahrbar ist, wobei das Verfahren folgende Schritte aufweist:

- Einlesen der Verkehrsszene auf der Fahrbahn als Bild-Daten mittels zumindest einer Kameraeinheit, insbesondere positionsfesten Kameraeinheit, zumindest einer optischen Erfassungseinheit, wobei die Kameraeinheit in einem Winkel von 0° bis 70°, vorzugsweise 10° bis 70°, weiter vorzugsweise 15° bis 70°, zur Fahrbahn ausgerichtet ist,

- Erkennen zumindest eines Objektes an dem Fahrzeug aus den Bild-Daten mittels einer Verarbeitungseinheit, wobei das erkannte Objekt zur Identifikation des Fahrzeugtyps und/oder des Fahrzeughalters dient, und/oder Erkennen eines Fahrers in dem Fahrzeug aus den Bild-Daten mittels der Verarbeitungseinheit bei dem Einlesen, wobei das Objekt und/oder der Fahrer mit der Verkehrsszene auf einer Fahrbahn als Objekt-Daten und/oder Fahrer- Daten eingelesen werden,

- Erkennen vordefinierter Kontrollpunkte aus Umgebungsdaten in den erfassten Bild-Daten mittels einer Verarbeitungseinheit, wobei die Kontrollpunkte an festgelegten Orten entlang und/oder auf der Fahrbahn in den Umgebungsdaten positioniert sind,

- Umwandeln der Kontrollpunkte zu Ebenen-Daten einer Ebene mittels der Verarbeitungseinheit, wobei die Ebene der Fahrbahn entspricht, - Umwandeln der erfassten Bild-Daten, der Ebenen-Daten, und der Objekt-Daten und/oder Fahrer-Daten unter Nutzung eines Transformationsalgorithmus zu Birds-Eye-View-Daten einer Vogelperspektive zur Aufnahme der Verkehrsszene auf der Fahrbahn mittels der Verarbeitungseinheit, wobei die Objekt-Daten und/oder die Fahrer-Daten dem Fahrzeug in den Birds-Eye-View- Daten zugeordnet werden.

- Auswerten der Birds-Eye-View-Daten der Aufnahme der Verkehrsszene auf einer Fahrbahn zu Auswerte-Daten mittels einer Auswerteeinheit zum Betreiben der Verkehrsüberwachungsanlage.

Eine Verkehrsüberwachungsanlage ist eine Überwachungsanlage von Objekten aller Art und insbesondere von Verkehr im Allgemeinen bzw. von einer Verkehrsszene.

Als Verkehrsszene wird vorliegend ein überwachter Bereich des Straßenverkehrs verstanden. Die Verkehrsszene kann dabei ein Kreuzungsbereich sein, der überwacht wird, um beispielsweise einen Rotlichtverstoß an einer Ampel in dem besagten Kreuzungsbereich festzustellen, aber auch um generell den Verkehr in diesem Kreuzungsbereich zu überwachen, um eventuell die Ampelschaltung dem Verkehr anpassen zu können. Allerdings kann eine Verkehrsszene auch eine mehrspurige Straße, wie beispielsweise eine Autobahn oder eine Landstraße oder Ähnliches sein, bei der es vor allem um die Stauüberwachung oder Geschwindigkeitsverstöße oder Abstandsverstöße geht. Die Verkehrsszene kann auch unabhängig von der Straßenverkehrsordnung zu verstehen sein, indem allgemein Objekte überwacht werden (z.B. Fußgänger, Passanten, Veranstaltungsteilnehmer - auch in Innenräumen) und diese Objekte in der (Verkehrs-)szene getrackt werden und resultierende Daten erfindungsgemäß verarbeitet werden. Dieses insbesondere vor dem Hintergrund der zivilen Sicherheit (Civil Security).

Bei der Fahrbahn handelt es sich um den Teil der Straße, auf dem die Fahrzeuge fahren. Dabei werden sowohl Kraftfahrzeuge, also beispielsweise Personenkraftwagen, Lastkraftwagen, Landfahrzeuge, Roller, Motorräder, als auch Fahrräder vorliegend als Fahrzeug verstanden. Die mit der Kameraeinheit aufgenommenen Bild-Daten können 2D und 3D-Daten sein. Dies ermöglicht eine verbesserte Genauigkeit und Darstellung der Daten zur Auswertung der jeweiligen Verkehrsszene.

Die Kontrollpunkte sind an festgelegten Orten entlang und/oder auf der Fahrbahn positioniert. Dabei wird entlang der Fahrbahn als seitlich der Fahrbahn, also parallel zu einer Fahrbahnbegrenzung, verstanden. Eine Fahrbahnbegrenzung begrenzt die Fahrbahn von einem Bereich, auf dem sich keine Fahrzeuge bewegen. Eine Fahrbahnbegrenzung kann eine Bordsteinkante zu einem Fußweg oder eine Begrenzung zu einem Autobahnmittelstreifen oder eine Leitplanke oder eine Rasenkante sein. Die Kontrollpunkte können allerdings auch auf den Fahrstreifenmarkierungen, welche zum Unterteilen der Fahrbahn in mehrere Fahrstreifen dienen, positioniert sein.

Als Vogelperspektive - Birds-Eye-View (auch „Obersicht“ oder Vogelschau) bezeichnet man in der Darstellenden Geometrie Perspektiven, die einen Gegenstand von oben oder schräg oben zeigen. Der Betrachter sieht dadurch den Gegenstand so wie ein hoch über ihm fliegender Vogel.

Im Unterschied dazu bezeichnet die Normalperspektive die Betrachtung aus normaler Augenhöhe eines stehenden Betrachters und die Froschperspektive die Betrachtung von einem unter der normalen Augenhöhe liegendem Augenpunkt. Alle drei Arten bezeichnen aber eigentlich nicht die Lage und Orientierung von Objekten zum Betrachter, sondern vielmehr die jeweilige Lage der Horizontlinie (Augenhöhe des Betrachters) im Vergleich zur Bildmitte (vgl. Wikipedia.org).

Bei dem Auswerten der Birds-Eye-View-Daten werden die sich in der Verkehrsszene befindlichen Fahrzeuge und ihre Eigenschaften zueinander ausgewertet. Dabei kann es sich um Daten über das jeweilige Fahrzeug, wie beispielsweise Fahrzeugtyp oder Fahrzeuggeschwindigkeit oder den Fahrzeughalter handeln. Denkbar wäre hier, dass es sich bei den Daten um Einzelaufnahmen oder Sequenzen handelt. Weiterhin ist es möglich, dass die Auswertung der Birds-Eye-View-Daten als Bild oder Video visualisiert werden können.

Dabei ist es denkbar, dass die Auswerte-Daten der Auswertung einzelner Verkehrsszenen zu einer gesamten Auswertung zusammengefügt werden. Beispielsweise können mehrere Verkehrsüberwachungsanlagen mit zumindest einer optischen Erfassungseinheit in einem unübersichtlichen Kreuzungsbereich vorgesehen werden. Dabei ist jede einzelne Verkehrsüberwachungsanlage einer Fahrspur jeweils einer Fahrtrichtung zugeordnet. Dabei können die Verkehrsüberwachungsanlagen so miteinander verknüpft sein, dass sie synchron das Verfahren ausführen. Es erfolgt eine Zeitstempelung von allen erfassten Sensordaten. Die jeweiligen Auswertungen der einzelnen Fahrspuren können zu einer Auswertung des gesamten Kreuzungsbereichs zusammengefügt werden.

Das Verfahren ermöglicht es, dass eine Verkehrsszene mit den sich darauf befindenden Fahrzeugen in der Vogelperspektive (Birds-Eye-View) dargestellt werden kann. Durch diese Vogelperspektive lassen sich die Abstände zwischen den Fahrzeugen oder die Abstände eines Fahrzeuges zu einer Fahrbahnbegrenzung, beispielsweise zu einer Halte- oder Parkverbotszone, besser darstellen und messen. Dies erlaubt eine genauere Einschätzung der Situation in der Verkehrsszene und führt zu genaueren, plausibleren und somit gerichtsfesten Aufnahmen einer Verkehrsszene.

Unabhängig von den getreckten Objekten kann eine Darstellung in Vogelperspektive zeitlich synchronisiert und zeitgleich dargestellt werden mit Bild- und/oder Lidar-Daten ohne Transformation in Birds-Eye-View Daten. Somit können etwaige potentiellen Transformationsfehler überprüft werden durch die zeitgleiche und synchrone (zeitgestempelte) Darstellung im Ursprungsdatenformat. Dieses kann zum Beispiel durch eine Teilung eines Monitors zur Darstellung einer Verkehrsszene erfolgen, wobei synchron auf der linken Hälfte des Monitors die Birds-Eye-View Darstellung als Video erfolgt und auf der rechten Hälfte des Monitors die Darstellung ohne Birds-Eye- View erfolgt. Im Rahmen der Erfindung kann es von Vorteil sein, dass die Verkehrsszene auf der Fahrbahn als Lidar-Daten (Laser-Daten) mittels zumindest einem Lidarsensor der zumindest einen optischen Erfassungseinheit eingelesen werden, wobei nach dem Umwandeln in die Ebenen-Daten und vor dem Umwandeln in die Birds-Eye-View- Daten ein Überlagern (160) der Bild-Daten und der Lidar-Daten zu Überlagerungsdaten durchgeführt wird. Dabei ist die Lidareinheit vorteilhafterweise auch in einem Winkel von 0° bis 70°, vorzugsweise 10° bis 70°, weiter vorzugsweise 15° bis 70°, zur Fahrbahn ausgerichtet.

Eine zusätzliche Darstellung der Verkehrsszene mit Lidar-Daten erhöht die Genauigkeit und ist besonders für die gerichtsfeste Darstellung eines Verstoßes in der Verkehrsszene hilfreich, da nicht nur die bildliche Darstellung, sondern auch die Lidar- Daten zur Verfügung gestellt werden können. Auch die Lidar-Daten können dabei als 2D- oder 3D-Daten zur Verfügung gestellt werden.

Dabei ist es denkbar, dass die Bild-Daten und die Lidar-Daten unterschiedliche Perspektiven darstellen, so können die Bild-Daten in Vogelperspektive und die Lidar- Daten in der Aufnahmeperspektive überlagert werden. Dies ermöglicht beispielsweise die Darstellung des Fahrers und die Abstandsmessung in einer Auswertung und ermöglicht somit eine verbesserte Identifikation bzw. Zuordnung des Fahrzeugs und somit eine plausible Präsentationsmöglichkeit als Videodarstellung z.B. vor Gericht. Die Bild-Daten können insbesondere auch durch eine Stereokamera oder eine 360- Grad-Kamera erzeugt werden. Ferner können Bild-Daten aus unterschiedlichen Spektralbereichen geliefert werden, sowohl im sichtbaren als auch unsichtbaren Bereich. Eine besonders bevorzugte Variante ist eine Infrarot (IR)-Kamera, welche spezielle Wärmebilder liefert.

Im Rahmen der Erfindung kann bei einem Verfahren vorgesehen sein, dass die Überlagerungsdaten unter Nutzung des Transformationsalgorithmus in die Birds-Eye- View-Daten der Vogelperspektive umgewandelt werden. Durch die Überlagerung der Bild-Daten und der Lidar-Daten und deren gemeinsame Umwandlung in Birds-Eye-View-Daten lässt sich bei der Auswertung eine genauere Darstellung der Verkehrsszene ermöglichen.

Die extrinsische Kalibrierung dient vor allem dazu, dass aus den Bild-Daten bzw. den Lidar-Daten zuverlässige und genaue Informationen abgeleitet werden können. Die extrinsische Kalibrierung dient sozusagen dazu, dass die innere und äußere Orientierung übereinstimmen, also, dass die ausgewerteten Bild-Daten bzw. die Lidar- Daten der Verkehrsszene mit der tatsächlichen Umgebung übereinstimmt. Bei der Kalibrierung werden zunächst die Verkehrsszene und dabei vor allem die Ebenen- Daten der Ebene bzw. der Fahrbahn auf die Umgebungsdaten orientiert.

Dabei wird zur extrinsischen Kalibrierung die Verkehrsszene als Bild-Daten bzw. den Lidar-Daten eingelesen, die Kontrollpunkte erkannt und zu Ebenen-Daten der Ebene, also der Fahrbahn, umgewandelt, anschließend werden die Ebenen-Daten und die Bild-Daten bzw. den Lidar-Daten zu Birds-Eye-View Daten umgewandelt und ausgewertet. Bei der Auswertung werden die Birds-Eye-View-Daten mit den echten Umgebungsdaten verglichen und darauf geachtet, dass die Markierungen, beispielsweise Fahrstreifenmarkierungen oder Fahrbahnrandmarkierungen, der Birds- Eye-View-Daten mit den jeweiligen Markierungen der echten Umgebungsdaten übereinstimmen. Ist dies nicht der Fall, wird die Ausrichtung der optischen Einheit manuell oder automatisch verstellt und die genannten Schritte wiederholt, bis die Markierungen der Birds-Eye-View-Daten auf den Markierungen der echten Umgebungsdaten liegen.

Dies ist beispielsweise bei leichten Kurvenverläufen in der zu betrachtenden Verkehrsszene vorteilhaft. Auf einfache Art und Weise kann die Position der optischen Erfassungseinheit eingestellt werden, da der Verlauf der Ebene respektive der Fahrbahn aus dem Verfahren an den Verlauf der Fahrbahn in der echten Umgebung angepasst werden kann. Durch die extrinsische Kalibrierung kann eine fehlerhafte Auswertung einer Verkehrsszene vermieden werden.

Es kann bei einem Verfahren ferner vorgesehen sein, dass die zumindest eine optische Erfassungseinheit der Verkehrsüberwachungsanlage und/oder das Verfahren mittels eines 2D-oder 3D-Codes, insbesondere eines QR-Codes, an einer spezifischen Position an einer Haltelinie auf der Fahrbahn in der Verkehrsszene auf der Fahrbahn kalibriert und/oder ausgerichtet wird.

Der Code kann dabei so positioniert sein, dass er einfach erfasst werden kann. Er kann dabei als Bezugspunkt zur Kalibrierung und dabei vor allem zu einer Neu- Kalibrierung der optischen Erfassungseinheit verwendet werden. Dies ist besonders vorteilhaft, wenn aufgrund von Umwelteinflüssen eine Positionsveränderung der optischen Erfassungseinheit stattgefunden hat. Beispielsweise kann für die Neu- Kalibrierung die ursprüngliche Position des Codes hinterlegt sein, sodass eine Abweichung der Soll-Position der optischen Erfassungseinheit von der hinterlegten Ist-Position bestimmt werden kann. Der Code kann bei jedem Einlesen der Verkehrsszene auf der Fahrbahn mit eingelesen werden, denkbar ist aber ein zyklisches Einlesen und Auswerten des Codes, um eine Veränderung der Position in den ausgewerteten Birds-Eye-View-Daten festzustellen.

Zusätzlich kann es im Rahmen der Erfindung vorgesehen sein, dass bei dem Einlesen der Verkehrsszene auf einer Fahrbahn ein Objekt an dem Fahrzeug in den Bild- und/oder Lidar-Daten mittels der Verarbeitungseinheit erkannt wird, wobei das erkannte Objekt zur Identifikation des Fahrzeugtyps und/oder des Fahrzeughalters dient. Zusätzlich oder alternativ wird ein Fahrer in den Bild-Daten und/oder Lidar- Daten des Fahrzeugs mittels der Verarbeitungseinheit erkannt. Dabei werden das Objekt und/oder der Fahrer mit der Verkehrsszene auf einer Fahrbahn als Objekt- Daten und/oder der Fahrer mit der Verkehrsszene auf einer Fahrbahn als Fahrer- Daten eingelesen, wobei die Objekt-Daten und/oder die Fahrer-Daten mit den Lidar- Daten und den Ebenen-Daten unter Nutzung eines Transformationsalgorithmus zu den Birds-Eye-View-Daten einer Vogelperspektive zur Aufnahme der Verkehrsszene auf der Fahrbahn mittels der Verarbeitungseinheit umgewandelt werden, und wobei die Objekt-Daten und/oder die Fahrer-Daten dem Fahrzeug in den Birds-Eye-View- Daten zugeordnet werden.

Als Objekt an einem Fahrzeug werden vorliegend Kennzeichen (Nummernschilder) zur Halter-Identifikation oder spezifische Merkmale zur Identifikation des Fahrzeugtyps, beispielsweise ein bestimmter Aufkleber zur Identifikation eines Lastkraftwagens, verstanden. Dies kann beispielsweise sinnvoll sein, wenn es abhängig vom Tag oder der Tageszeit unterschiedliche Vorgaben einer Geschwindigkeit für einen Fahrzeugtyp gibt, sodass ein Verstoß gegen eine fahrzeugtypspezifische Vorgabe nachvollzogen und geahndet werden kann.

Durch die Umwandlung der Objekt-Daten und/oder der Fahrer-Daten in Birds-Eye- View-Daten kann während des Auswertens der Verkehrsszene dem jeweiligen Fahrzeug das erkannte Objekt und/oder der Fahrer zugeordnet und dargestellt werden. Dies ist besonders bei der sequenziellen Aufnahme der Verkehrsszene vorteilhaft, da wie gesagt, eine Zuordnung von Identifikationsdaten, also der Objekt- Daten und/oder Fahrer-Daten, stattfindet.

Es kann bei einem Verfahren vorgesehen sein, dass eine extrinsische Kalibrierung zur Ausrichtung der optischen Erfassungseinheit zu der Fahrbahn durchgeführt wird, wobei die extrinsische Kalibrierung einmalig oder zyklisch durchgeführt wird und/oder wobei die extrinsische Kalibrierung automatisch, zumindest teilweise automatisch, oder manuell durchgeführt wird, insbesondere wobei die Daten aus der extrinsischen Kalibrierung zum positionsgenauen Umwandeln in die Ebenen-Daten der Ebene verwendet wird.

Ferner kann bei einem Verfahren vorgesehen sein, dass bei dem Überlagern zumindest eine Position und/oder zumindest eine Koordinate zumindest eines Pixels der Bild-Daten mit einem dem Pixel entsprechenden Datenpunktes der Lidar-Daten verglichen wird, wobei ein Alarm und/oder ein Verwerfen des Messwertes ausgelöst wird, wenn eine Abweichung zwischen dem Datenpunkt und dem Pixel festgestellt wird, wobei insbesondere eine extrinsische Kalibrierung ausgelöst wird.

Dies ermöglicht eine einfache Überprüfung, ob die Bild-Daten und die Lidar-Daten zusammengehören. Dadurch wird ausgeschlossen, dass Lidar-Daten und Bild-Daten aus unterschiedlichen Zeitpunkten überlagert werden. Dabei ist es auch möglich, die Lidar-Daten und die Bild-Daten eines Ist-Zustandes mit dem Soll-Zustand aus der ersten extrinsischen Kalibrierung zu vergleichen, um festzustellen, ob die optische Erfassungseinheit aufgrund von Umwelteinflüssen ihre Position verändert hat. Wird eine Veränderung festgestellt, wird eine Kalibrierung ausgelöst.

Im Rahmen der Erfindung ist es bei einem Verfahren möglich, dass die Verkehrsszene auf der Fahrbahn mittels der optischen Erfassungseinheit aus einer Höhe von 1 ,5 m bis 10 m, vorzugsweise 2 m bis 2,8 m, weiter vorzugsweise 2,3 m bis 2,5 m, eingelesen wird.

Ein Einlesen aus dieser Höhe vereinfacht die Aufnahme einer Verkehrsszene bei einem Winkel der Kameraeinheit von 0° bis 70° und stellt die Vermeidung eines „blinden Flecks“ sicher.

Auch kann bei einem Verfahren vorgesehen sein, dass in Abhängigkeit der zu überwachenden Verkehrsszene auf der Fahrbahn zumindest eine Messlinie in Referenz-Daten, die in der Auswerteeinheit gespeichert sind, hinterlegt ist, wobei die zumindest eine Messlinie orthogonal oder im Wesentlichen orthogonal zu einer Fahrbahnbegrenzung und/oder orthogonal oder im Wesentlichen orthogonal zu einer Fahrbahnrichtung der Fahrbahn und/oder parallel oder im Wesentlichen parallel zu einer Front- und/oder Heckstoßstange eines in den Bild-Daten und/oder Lidar-Daten ermittelnden Fahrzeugs ausgerichtet ist oder wird und wobei die Messlinie bei der Auswertung der Auswerte-Daten der Verkehrsszene verwendet wird.

Die Referenz-Daten sind an die jeweilige Verkehrsszene angepasst und spiegeln die jeweiligen zu beobachtenden Begebenheiten bzw. zu ahndenden Verstöße wider. Dabei wird die Messlinie bzw. werden die Messlinien an die Referenz-Daten angepasst. Beispielsweise werden auf einer Autobahn die Referenz-Daten auf Abstandsverstöße, Verkehrsbeobachtungen und Geschwindigkeitsverstöße angepasst, sodass die Messlinie über die Breite der Fahrbahn verläuft und für die Messung einer Geschwindigkeit eines Fahrzeugs oder der Beschleunigung eines Fahrzeugs ausgelegt ist.

Hierfür können auch mehrere Messlinien parallel zueinander entlang der gesamten Verkehrsszene vorgesehen sein, um die Geschwindigkeit und/oder die Beschleunigung und/oder den Abstand zu einem anderen Fahrzeug über eine bestimmte Strecke einlesen und auswerten zu können. Einen Parkverstoß findet man hingegen in den Referenz-Daten zur Beobachtung eines Kreuzungsbereichs.

Allerdings können in einem Kreuzungsbereich diverse Messlinien vorhanden sein, auch hier können zur Geschwindigkeits- oder Beschleunigungsmessung mehrere Messlinien parallel zueinander angeordnet sein. Alternativ oder zusätzlich können die kürzeren Messlinien einen Bereich einer Halteverbotszone oder einer Parkverbotszone auf der Fahrbahn eingrenzen, um beispielsweise ein Parkvergehen feststellen zu können. Die Messlinien können auch Stopplinien, Ampelhaltelinien und Yellowboxlinien sein.

Alternativ oder zusätzlich ist es auch denkbar, dass die Messlinie orthogonal oder im Wesentlichen orthogonal zu einer Fahrstreifenbegrenzung, insbesondere einer Fahrstreifenbegrenzung zur Begrenzung des Teils, der für den Gegenverkehr bestimmt ist.

Als Fahrbahnbegrenzung werden vorliegend Markierungen verstanden, welche die Fahrbahn begrenzen beziehungsweise den Fahrbahnrand erkennbar machen und die Fahrbahn von Seitenstreifen oder Sonderwegen trennt. Eine Fahrbahnbegrenzung im Sinne der Erfindung kann auch ein Grünstreifen oder eine Leitplanke sein.

Im Rahmen der Erfindung ist bei einem Verfahren ferner möglich, dass das Verfahren zu verschiedenen Zeitpunkten, insbesondere zyklisch, und/oder bei einem Auslöseereignis, insbesondere eines Übertritts eines in den Bild-Daten ermittelnden Fahrzeug, über die zumindest eine Messlinie, durchgeführt wird.

Ein zyklisches Einlesen der Bild-Daten bzw. der Bild-Daten und der Lidar-Daten erlaubt eine genauere Überwachung der Verkehrsszene. Allerdings kann ein Einlesen dieser Daten bei einem Auslöseereignis vorteilhaft sein, da dies weniger Speicherkapazität benötigt. Als ein Auslöseereignis wird vorliegend ein Überschreiten eines Vorgabewertes verstanden. Beispielsweise kann eine definierte Geschwindigkeit als Vorgabewert hinterlegt werden, sodass das Verfahren ausgelöst wird, wenn ein Fahrzeug mit einer höheren Geschwindigkeit als der im Vorgabewert vorgegebenen Geschwindigkeit über die Messlinie fährt. Denkbar ist auch, dass ein Objekt zur Identifikation eines Fahrzeugtyps hinterlegt wird, um fahrzeugtypspezifische Geschwindigkeitsvorgaben und deren Überschreitung feststellen zu können.

Weiterhin kann bei einem Verfahren vorgesehen sein, dass für das Einlesen der Verkehrsszene auf der Fahrbahn mehrere optische voneinander beabstandete optische Erfassungseinheiten vorgesehen werden, zur Erfassung der Verkehrsszene aus unterschiedlichen Winkeln.

Mehrere optische Erfassungseinheiten ermöglichen die Erfassung aus unterschiedlichen Winkeln und Perspektiven, sodass ein „blinder Fleck“ bei der Beobachtung einer Verkehrsszene vermieden werden kann. Dies eignet sich beispielsweise für schlecht einsehbare oder unübersichtliche Kreuzungsbereiche. Demnach wird ein genaueres Einlesen einer Verkehrsszene erzeugt.

Dabei ist es denkbar, dass die Bild-Daten oder die Überlagerungs-Daten zu unterschiedlichen Zeitpunkten und/oder aus unterschiedlichen Winkeln aufgenommen und überlagert werden.

Dies erhöht die Genauigkeit der Auswertung der Verkehrsszene. Und ist besonders vorteilhaft für eine gerichtsfeste Darstellung der Verkehrsszene auf der Fahrbahn. Ferner kann es im Rahmen der Erfindung bei einem Verfahren vorgesehen sein, dass aus den Birds-Eye-View-Daten zu einem Zeitpunkt oder zu mehreren Zeitpunkten eine Fahrzeuggeschwindigkeit und/oder Fahrzeugbeschleunigung zumindest eines Fahrzeugs auf der Fahrbahn und/oder ein Halteverstoß, insbesondere ein Halteverstoß in einem Kreuzungsbereich oder einem Ampelbereich der Verkehrsszene und/oder einen Abstandsverstoß eines Fahrzeugs zu einem vorherfahrenden Fahrzeug zu den Auswerte-Daten ausgewertet wird.

Mittels der Auswerte-Daten lässt sich auf einfache Art und Weise die Verkehrsszene und vor allem die Verstöße auswerten und visualisieren, um gerichtsfeste Daten zu erhalten. Die Auswerte-Daten können dabei zu einem Einzelbild oder bei einem zyklischen bzw. kontinuierlichen Einlesen der Verkehrsszene zu einer Bildsequenz bzw. einem Video umgewandelt werden.

Ferner kann es im Rahmen der Erfindung bei einem Verfahren vorgesehen sein, dass die Auswerte-Daten mittels einer Daten-Schnittstelle oder eines Senders der Auswerteeinheit an eine externe Datenspeicherung oder externe Weiterverarbeitungseinheit übertragen werden.

Dabei können die externe Datenspeicherung oder die externe Weiterverarbeitungseinheit beispielsweise bereits in einer Behörde sein, sodass schnell und einfach die Zuordnung und endgültige Auswertung zur Ahndung der Verstöße durchgeführt werden kann. Dies verkürzt die Zeit und erhöht die Effizienz der Verkehrsüberwachung. Denkbar wäre auch, dass die externe Weiterverarbeitungseinheit direkt einem ausführenden Organ zur Ahndung des jeweiligen Vergehens zur Verfügung steht, sodass eine direkte Ausführung der Ahndung durchgeführt werden kann. Beispielsweise könnte die externe Weiterverarbeitungseinheit in einem Polizeiwagen vorgesehen sein, der gerade die Verkehrsszene überwacht, sodass ein Hinweis einer Geschwindigkeitsüberschreitung oder eines Abstandverstoßes mit den jeweiligen Identifikationsdaten ausgegeben wird, sodass der Polizeiwagen dem Verstoßenden direkt folgen und den Verstoß ahnden kann.

Im Rahmen der Erfindung kann bei einem Verfahren ferner vorgesehen sein, dass Radar-Daten mittels zumindest eines Radarsensors der zumindest einen optischen Erfassungseinheit und/oder Ultraschall-Daten mittels zumindest eines Ultraschallsensors der zumindest einen optischen Erfassungseinheit erfasst werden, wobei die Radar-Daten und/oder die Ultraschall-Daten zum Umwandeln zu den Ebenen-Daten und/oder zum Umwandeln zu den Birds-Eye-View-Daten und/oder zum Auswerten der Birds-Eye-View-Daten zu den Auswerte-Daten und/oder zum Überlagern zu den Überlagerungsdaten hinzugezogen werden.

Durch das Hinzufügen zumindest einer weiteren Sensorik in die optische Erfassungseinheit, wird die Genauigkeit der eingelesenen Daten für die Auswertung der Verkehrsszene erhöht. Dies wirkt sich positiv auf die gerichtsfeste Auswertung der jeweiligen Verkehrsszene aus.

Die obenstehende Aufgabe wird ferner gemäß einem zweiten Aspekt der Erfindung gelöst durch eine Verkehrsüberwachungsanlage zum Ausführen des oben beschriebenen Verfahrens, mit zumindest einer optischen Erfassungseinheit mit zumindest einer Kameraeinheit zum Einlesen der Verkehrsszene auf einer Fahrbahn als Bild-Daten, wobei die Kameraeinheit in einem Winkel (a) von 0° bis 70°, vorzugsweise 10° bis 70°, weiter vorzugsweise 15° bis 70°, zur Fahrbahn ausgerichtet ist, und mit einer Verarbeitungseinheit zum Erkennen eines Objektes an dem Fahrzeug und/oder eines Fahrers in dem Fahrzeug und zum Erkennen vordefinierter Kontrollpunkte aus Umgebungsdaten in den Bild-Daten, zum Umwandeln der Kontrollpunkte zu Ebenen-Daten der Ebene, wobei die Ebene der Fahrbahn entspricht, und zum Umwandeln der erfassten Bild-Daten und der Ebenen-Daten unter Nutzung eines Transformationsalgorithmus zu Birds-Eye-View-Daten der Vogelperspektive, und mit einer Auswerteeinheit zum Auswerten der Verkehrsszene auf einer Fahrbahn zu den Auswerte-Daten. Dabei können die vordefinierten Kontrollpunkte manuell vom Benutzer (z.B. Messbeamter) vorgegeben werden oder durch eine Automatik (Computerprogrammprodukt), welche geeignete Begrenzungspunkte, Straßenränder und/oder Fahrspurlinien erkennt und diese in Deckung mit den Kontrollpunkten bringt und somit (vor)definiert. Die Kontrollpunkte dienen in erster Linie zur Definition einer Ebene, wobei der Benutzer in der Regel so wenig wie notwendig Kontrollpunkte in der Normal-Perspektive (nicht: Birds-Eye-View) setzen soll. Die nachträgliche Eingabe durch Hinzufügen oder Verschieben von Kontrollpunkten in der Birds-Eye-View stellt eine einfachere und somit fehlerresistentere Methode für den Benutzer (oder dem Computerprogrammprodukt) dar.

Im Allgemeinen können Verkehrsüberwachungsanlagen für diverse Aufgaben im Straßenverkehr eingesetzt werden. Beispielsweise haben sie sich für die Analyse von Verkehrsströmen, das Steuern von Verkehrsleitsystemen oder insbesondere für die Erfassung und Verfolgung von Verkehrsverstößen bewährt.

Für die Verfolgung von Verkehrsverstößen weist die Verkehrsüberwachungsanlagen die optische Erfassungseinheit auf, da eine anschließende Verfolgung des Verkehrsverstoßes, gegebenenfalls bis vor Gericht, wesentlich leichter durchführbar ist. Als Verkehrsverstöße werden beispielsweise Übertretung der zulässigen Höchstgeschwindigkeit, Missachten der Rotlichtphase an Lichtzeichenanlagen, Unterschreitung des Mindestabstandes usw. verstanden.

Im Rahmen der Erfindung kann bei einer Verkehrsüberwachungsanlage vorgesehen sein, dass die zumindest eine optische Erfassungseinheit zumindest einen Lidarsensor zum Erfassen von Lidar-Daten aufweist.

Die mit dem Lidarsensor gemachten Aufnahmen erhöhen die Genauigkeit und sind besonders für die gerichtsfeste Darstellung eines Verstoßes in der Verkehrsszene. Mittels des Lidarsensors können Aufnahmen unabhängig von den Witterungsverhältnissen durchgeführt werden. Es kann im Rahmen der Erfindung ferner bei einer Verkehrsüberwachungsanlage vorgesehen sein, dass mehrere optische Erfassungseinheiten zum Einlesen der Verkehrsszene auf der Fahrbahn vorgesehen sind, wobei die optischen Erfassungseinheiten voneinander beabstandet angeordnet sind.

Mehrere optische Erfassungseinheiten ermöglichen die Erfassung aus unterschiedlichen Winkeln und Perspektiven, sodass ein „blinder Fleck“ bei der Beobachtung einer Verkehrsszene vermieden werden kann. Dies eignet sich beispielsweise für schlecht einsehbare oder unübersichtliche Kreuzungsbereiche.

Ferner kann es im Rahmen der Erfindung bei einer Verkehrsüberwachungsanlage vorgesehen sein, dass die Auswerteeinheit die Daten-Schnittstelle oder den Sender zum Übertragen der Auswerte-Daten an eine externe Datenspeicherung oder externe Weiterverarbeitungseinheit aufweist.

Dabei können die externe Datenspeicherung oder die externe Weiterverarbeitungseinheit beispielsweise bereits in einer Behörde sein, sodass schnell und einfach die Zuordnung und endgültige Auswertung zur Ahndung der Verstöße durchgeführt werden kann. Dies verkürzt die Zeit und erhöht die Effizienz der Verkehrsüberwachung.

Im Rahmen der Erfindung ist es bei einer Verkehrsüberwachungsanlage möglich, dass die zumindest eine optische Erfassungseinheit neben der Fahrbahn und/oder über der Fahrbahn angeordnet ist.

Dabei wird unter Anordnung der optischen Erfassungseinheit neben der Fahrbahn verstanden, dass die optische Erfassungseinheit neben der Fahrbahn also hinter einer Fahrbahnbegrenzung angeordnet ist und die Verkehrsszene aus einer seitlichen Perspektive aufnimmt. Dabei kann die optische Erfassungseinheit an einem Mast befestigt sein. Ist die optische Erfassungseinheit über der Fahrbahn angeordnet, ist sie zwischen einer ersten Fahrbahnbegrenzung und einer zweiten Fahrbahnbegrenzung angeordnet. Dabei kann die optische Erfassungseinheit beispielsweise an einem Gate oder einer Tunnelwand oder einem Tunnelbogen befestigt sein.

Sowohl die Anordnung neben der Fahrspur als auch die Anordnung über der Fahrspur kann mittels einer One-Pole-Solution durchgeführt werden. Unter einer One-Pole- Solution wird verstanden, dass eine optische Erfassungseinheit so angeordnet ist, dass eine Aufnahme der Verkehrsszene von einem festen Punkt aus einem einzigen, festen Winkel zwischen der optischen Erfassungseinheit und dem Fahrzeug mit Sicht auf den Fahrer und das Kennzeichen durchgeführt wird. Hierbei ist nur ein einziger Stromanschluss notwendig.

Ferner kann bei einer Verkehrsüberwachungsanlage vorgesehen sein, dass die optische Erfassungseinheit auf einer Höhe von 1 ,5 m bis 10 m, vorzugsweise 2 m bis 2,8 m, weiter vorzugsweise 2,3 m bis 2,7 m, angeordnet ist.

Auch kann bei einer Verkehrsüberwachungsanlage vorgesehen sein, dass die zumindest eine optische Erfassungseinheit zumindest eine Radareinheit zum Erfassen von Radar-Daten und/oder zumindest einen Ultraschallsensor zur Erfassung von Ultraschall-Daten aufweist. Demnach können hier Lidar-Daten mit Bild-Daten oder beliebigen Sensordaten (z.B. Radardaten, Ultraschallsensor-Daten) kombiniert oder fusioniert werden.

Die obenstehende Aufgabe wird ferner gemäß einem dritten Aspekt der Erfindung gelöst durch ein erfindungsgemäßes Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das oben beschriebene Verfahren mittels einer oben beschriebenen Verkehrsüberwachungsanlage auszuführen.

Vorteile, die ausführlich zu dem Verfahren zum Betreiben einer Verkehrsüberwachungsanlage für die Aufnahme einer Verkehrsszene auf einer Fahrbahn gemäß dem ersten Aspekt der Erfindung beschrieben werden, gelten gleichermaßen bei einer Verkehrsüberwachungsanlage gemäß dem zweiten Aspekt der Erfindung sowie bei einem Computerprogrammprodukt gemäß dem dritten Aspekt der Erfindung.

Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen mehrere Ausführungsbeispiele der Erfindung im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein.

Anhand der beigefügten Zeichnungen wird die Erfindung nachfolgend näher erläutert. Dabei zeigt:

Fig. 1 eine schematische Darstellung eines erfindungsgemäßen Verfahrens,

Fig. 2 eine schematische Darstellung einer visualisierten Auswertung des erfindungsgemäßen Verfahrens mit Bezug auf eine Fahrbahn vor einer extrinsischen Kalibrierung,

Fig. 3 eine schematische Darstellung einer visualisierten Auswertung des erfindungsgemäßen Verfahrens mit Bezug auf eine Fahrbahn nach einer extrinsischen Kalibrierung,

Fig. 4 eine schematische Darstellung einer Sicht auf eine Verkehrsszene auf einer Fahrbahn vor der Umwandlung in die Vogelperspektive,

Fig. 5 eine schematische Darstellung einer Auswertung des erfindungsgemäßen Verfahrens mit Bezug auf einen Kreuzungsbereich,

Fig. 6 eine schematische Darstellung einer ersten erfindungsgemäßen Verkehrsüberwachungsanlage in einer Frontansicht, und Fig. 7 eine schematische Darstellung einer zweiten erfindungsgemäßen Verkehrsüberwachungsanlage in einer Seitenansicht.

In Fig. 1 ist eine schematische Darstellung des Verfahrens 100 zum Betreiben einer Verkehrsüberwachungsanlage 10 für die Aufnahme einer Verkehrsszene 11 auf einer Fahrbahn 12 dargestellt. Dabei ist die Fahrbahn 12 von zumindest einem Fahrzeug 13 befahrbar. Das Verfahren 100 weist die folgenden Schritte auf:

- Einlesen 110 der Verkehrsszene 11 auf der Fahrbahn 12 als Bild-Daten 24 mittels zumindest einer Kameraeinheit 25, insbesondere positionsfesten Kameraeinheit 25, zumindest einer optischen Erfassungseinheit 16, wobei die Kameraeinheit 25 in einem Winkel von 0° bis 70°, vorzugsweise 10° bis 70°, weiter vorzugsweise 15° bis 70°, zur Fahrbahn 12 ausgerichtet ist,

- Erkennen 120 zumindest eines Objektes 27 an dem Fahrzeug 13 aus den Bild- Daten 24 mittels einer Verarbeitungseinheit 19, wobei das erkannte Objekt 27 zur Identifikation des Fahrzeugtyps und/oder des Fahrzeughalters dient, und/oder Erkennen 120 eines Fahrers 28 in dem Fahrzeug 13 aus den Bild- Daten 24 mittels der Verarbeitungseinheit 19 bei dem Einlesen 110, wobei das Objekt 27 und/oder der Fahrer 28 mit der Verkehrsszene 11 auf einer Fahrbahn 12 als Objekt-Daten 29 und/oder Fahrer-Daten 30 eingelesen werden,

- Erkennen 120 vordefinierter Kontrollpunkte 17 aus Umgebungsdaten 18 in den erfassten Bild-Daten 24 mittels einer Verarbeitungseinheit 19, wobei die Kontrollpunkte 17 an festgelegten Orten entlang und/oder auf der Fahrbahn 12 in den Umgebungsdaten 18 positioniert sind,

- Umwandeln der Kontrollpunkte 130 zu Ebenen-Daten 20 einer Ebene 21 mittels der Verarbeitungseinheit 19, wobei die Ebene 21 der Fahrbahn 12 entspricht,

- Umwandeln der erfassten Bild-Daten 24, der Ebenen-Daten 20, und der Objekt-Daten 29 und/oder Fahrer-Daten 30 unter Nutzung eines Transformationsalgorithmus zu Birds-Eye-View-Daten 22 einer Vogelperspektive zur Aufnahme der Verkehrsszene 11 auf der Fahrbahn 12 mittels der Verarbeitungseinheit 19, wobei die Objekt-Daten 29 und/oder die Fahrer-Daten 30 dem Fahrzeug 13 in den Birds-Eye-View-Daten 22 zugeordnet werden,

- Auswerten 150 der Birds-Eye-View-Daten 22 der Aufnahme der Verkehrsszene 11 auf einer Fahrbahn 12 zu Auswerte-Daten 35 mittels einer Auswerteeinheit 23 zum Betreiben einer Verkehrsüberwachungsanlage 10.

In der Fig. 2 bis Fig. 4 wurden 3D-Bild-Daten 24 und in Fig.5 wurden 2D-Bild-Daten 24 durch die Kameraeinheit 25 der optischen Erfassungseinheit 16 eingelesen und weiterverarbeitet.

Zusätzlich kann es bei dem Verfahren 100 vorgesehen sein, dass Lidar-Daten 14 der Verkehrsszene 11 auf der Fahrbahn 12 mittels zumindest eines Lidarsensors 15 der zumindest einen optischen Erfassungseinheit 16 eingelesen werden, dies ist in Fig. 1 und Fig. 4 angedeutet. Dabei wird nach dem Umwandeln 130 in die Ebenen-Daten 20 und vor oder nach dem Umwandeln 140 in die Birds-Eye-View-Daten 22 ein Überlagern 160 der Bild-Daten 24 und der Lidar-Daten 14 zu Überlagerungsdaten 26 durchgeführt.

Dabei werden auch die Überlagerungsdaten 26 unter Nutzung des Transformationsalgorithmus in die Birds-Eye-View-Daten 22 der Vogelperspektive umgewandelt 140. Dies erzeugt eine genaue Darstellung der Verkehrsszene 11 in einer Vogelperspektive.

Zusätzlich wird bei dem Einlesen 110 der Verkehrsszene 11 auf einer Fahrbahn 12 ein Objekt 27 an dem Fahrzeug 13 in den Bild-Daten 24 mittels der Verarbeitungseinheit 19 erkannt. Dabei handelt es sich, wie in Fig. 5 zu erkennen 120, bei dem erkannten Objekt 27 um ein Kennzeichen (Nummernschild), also um ein Objekt 27 zur Identifikation des Fahrzeughalters.

Denkbar wäre hier auch die Erkennung eines Objektes 27 zur Identifikation des Fahrzeugtyps. Zusätzlich wurde bei zumindest einem der sich in der Verkehrsszene 11 befindlichen Fahrzeugen 13 ein Fahrer 28 durch die Verarbeitungseinheit 19 in den Bild-Daten 24 erkannt, da hier ein Rotlichverstoß vorliegt.

Dabei wird das Objekt 27 bzw. die Objekte 27 und der Fahrer 28 mit der Verkehrsszene 11 auf einer Fahrbahn 12 als Objekt-Daten 29 und der Fahrer 28 mit der Verkehrsszene 11 auf einer Fahrbahn 12 als Fahrer-Daten 30 eingelesen. Sowohl die Objekt-Daten 29 als auch die Fahrer-Daten 30 werden mit den Bild-Daten 24 und den Ebenen-Daten 20 unter Nutzung eines Transformationsalgorithmus zu den Birds- Eye-View-Daten 22 einer Vogelperspektive zur Aufnahme der Verkehrsszene 11 auf der Fahrbahn 12 mittels der Verarbeitungseinheit 19 umgewandelt 140. In der Auswertung und dabei vor allem in der Visualisierung der Auswertung werden die Objekt-Daten 29 und die Fahrer-Daten 30 dem Fahrzeug 13 in den Birds-Eye-View- Daten 22 zugeordnet, wie in Fig. 5 dargestellt. Optional können hier Bild-Daten mit Lidar-Daten oder beliebigen Sensordaten (z.B. Radardaten, Ultraschallsensor-Daten) kombiniert werden.

Fig. 2 zeigt eine Darstellung der Fahrbahn 12 vor einer extrinsischen Kalibrierung der optischen Erfassungseinheit 16. Dabei ist zu erkennen, 120, dass die zur Auswertung hinterlegten Fahrstreifenmarkierungen 44, (gestrichelt dargestellt), nicht mit den Fahrstreifenmarkierungen 45 der Fahrspur der Umgebung übereinstimmen, in diesem Fall kann es zu einer fehlerhaften Auswertung der Verkehrsszene 11 kommen.

Das Kalibieren und Ausrichten 180 der optischen Erfassungseinheit 16 zu der Fahrbahn 12 mit einer extrinsischen Kalibrierung 170 wird vorliegend zunächst einmalig und/oder optional automatisch durchgeführt. Denkbar ist es, diese Kalibrierung zu wiederholen, sofern eine Abweichung der Ist-Position von der Soll- Position der optischen Erfassungseinheit 16 festgestellt wird. Dabei werden vorliegend die Daten aus der extrinsischen Kalibrierung zum positionsgenauen Umwandeln in die Ebenen-Daten 20 der Ebene 21 verwendet. Die Kalibrierung gilt erst dann als abgeschlossen, wenn die zur Auswertung hinterlegten Fahrstreifenmarkierungen 44 mit den Fahrstreifenmarkierungen 45 der Fahrspur der Umgebung in Übereinstimmung gebracht wurden, wie in Fig. 3 dargestellt. Für die Kalibrierung, vor allem für eine Neukalibrierung der optischen Erfassungseinheit 16 der Verkehrsüberwachungsanlage 10 oder des Verfahrens 100 selbst, ist ein 2D-Code 31 , insbesondere ein QR-Code, an einer spezifischen Position an einer Haltelinie 32 auf der Fahrbahn 12 in der Verkehrsszene 11 auf der Fahrbahn 12 vorgesehen. Dieser Schritt ist als optionaler Schritt in der Fig. 1 gestrichelt dargestellt. Ein derartiger 2D- Code kann beispielsweise an einer Haltelinie 32 angebracht sein, wie schematisch in Fig. 5 gezeigt.

In Abhängigkeit von der zu überwachenden Verkehrsszene 11 auf der Fahrbahn 12 ist zumindest eine Messlinie 33 in Referenz-Daten 34, die in der Auswerteeinheit 23 gespeichert sind, hinterlegt.

Dabei kann die zumindest eine Messlinie 33 orthogonal oder im Wesentlichen orthogonal zu einer Fahrbahnbegrenzung und/oder orthogonal oder im Wesentlichen orthogonal zu einer Fahrbahnrichtung der Fahrbahn 12 und/oder parallel oder im Wesentlichen parallel zu einer Front- und/oder Heckstoßstange eines in den Bild- Daten 24 und/oder Lidar-Daten 14 ermittelnden Fahrzeugs 13 ausgerichtet sein oder werden, und wobei die Messlinie 33 bei der Auswertung der Auswerte-Daten 35 der Verkehrsszene 11 verwendet wird.

In Fig. 3 sind zwei Messlinien 33 in den Referenz-Daten 34 hinterlegt. Diese verlaufen orthogonal bzw. im Wesentlichen orthogonal zu einer Fahrbahnbegrenzung und dienen der Geschwindigkeitsmessung bzw. Abstandsmessung, um Verstöße in diesem Bezug festzustellen. In Fig. 5 sind gleich mehrere Messlinien 33 hinterlegt, dabei verlaufen diese Messlinien 33 jeweils entlang der Ampelhaltelinie, und somit teilweise über die Fahrbahn 12, aber orthogonal zur Fahrbahnbegrenzung. Eine weitere Messlinie 33 kennzeichnet eine Parkverbotszone und verläuft parallel zu einer Fahrbahnbegrenzung.

Das Verfahren 100 wird zu verschiedenen Zeitpunkten oder bei einem

Auslöseereignis, also bei einem Übertritt eines in den Bild-Daten 24 ermittelnden Fahrzeug 13 über die zumindest eine Messlinie 33, wie ein Rotlichtverstoß in Fig. 5, durchgeführt.

Für das Einlesen 110 der Verkehrsszene 11 auf der Fahrbahn 12 können mehrere voneinander beabstandete optische Erfassungseinheiten vorgesehen werden, sodass die Verkehrsszene 11 aus unterschiedlichen Winkeln dargestellt werden kann. Dies erlaubt, dass die Bild-Daten 24 oder die Überlagerungsdaten 26 zu unterschiedlichen Zeitpunkten und/oder aus unterschiedlichen Winkeln aufgenommen und überlagert werden.

Aus den Birds-Eye-View-Daten 22 zu dem einen Zeitpunkt oder zu mehreren Zeitpunkten kann die Fahrzeuggeschwindigkeit und/oder Fahrzeugbeschleunigung des zumindest eines Fahrzeugs 13 auf der Fahrbahn 12, ausgewertet werden. Zusätzlich oder alternativ wird ein Halteverstoß ausgewertet. Beispielsweise in Fig. 5 wird ein Halteverstoß im Ampelbereich, also ein Rotlichtverstoß, und ein Parkvergehen mittel der Birds-Eye-View-Daten 22 ausgewertet. Die Verkehrsszenen 11 der Fig. 2 bis 4 werden jeweils zu Auswerte-Daten 35 ausgewertet.

Wobei diese Auswerte-Daten 35 mittels einer Daten-Schnittstelle 36 oder eines Senders 37 der Auswerteeinheit 23 an eine externe Datenspeicherung 38 oder externe Weiterverarbeitungseinheit 39 übertragen, 210, werden.

Um immer genau und vor allem gerichtssichere Auswertungen und Auswerte-Daten 35 zu haben, werden bei dem Überlagern 160 zumindest eine Position und zumindest eine Koordinate zumindest eines Datenpunktes der Lidar-Daten 14 mit einem dem Datenpunkt entsprechenden Pixel der Bild-Daten 24 verglichen, 220. Dabei wird ein Alarm und/oder ein Verwerfen 190 des Messwertes ausgelöst, wenn eine Abweichung zwischen dem Datenpunkt und dem Pixel festgestellt wird. Gleichzeitig wird bei der Feststellung der Abweichung eine erneute extrinsische Kalibrierung ausgelöst.

Zusätzlich zu den Bild-Daten 24 und den Lidar-Daten 14 werden Radar-Daten 40 mittels zumindest eines Radarsensors 41 der zumindest einen optischen Erfassungseinheit 16 und Ultraschall-Daten 42 mittels zumindest eines Ultraschallsensors 43 der zumindest einen optischen Erfassungseinheit 16 erfasst. Dabei werden die Radar-Daten 40 und die Ultraschall-Daten 42 zum Umwandeln zu den Ebenen-Daten 20 und zum Umwandeln zu den Birds-Eye-View-Daten 22 und zum Auswerten 150 der Birds-Eye-View-Daten 22 und/oder zum Überlagern 160 zu den Überlagerungsdaten 26 hinzugezogen.

In Fig. 6 und Fig. 7 ist eine Verkehrsüberwachungsanlage 10 zum Ausführen des Verfahrens 100 gemäß der Fig. 1 bis 5 dargestellt. Diese weist zumindest eine optische Erfassungseinheit 16 mit zumindest einer Kameraeinheit 25 zum Einlesen 110 der Verkehrsszene 11 auf einer Fahrbahn 12 als Bild-Daten 24, und eine Verarbeitungseinheit 19 zum Erkennen, 120, eines Objektes 27 an dem Fahrzeug 13 und/oder eines Fahrers 28 in dem Fahrzeug 13 und zum Erkennen, 120, vordefinierter Kontrollpunkte 17 aus Umgebungsdaten 18 in den Bild-Daten 24, zum Umwandeln der Kontrollpunkte 130 zu Ebenen-Daten 20 der Ebene 21 , wobei die Ebene 21 der Fahrbahn 12 entspricht, und zum Umwandeln der erfassten Bild-Daten 24 und der Ebenen-Daten 20 unter Nutzung eines Transformationsalgorithmus zu Birds-Eye- View-Daten 22 der Vogelperspektive, und eine Auswerteeinheit 23 zum Auswerten 150 der Verkehrsszene 11 auf einer Fahrbahn 12 zu den Auswerte-Daten 35, auf.

Die Kameraeinheit 25 ist in einem Winkel a von 0° bis 70° ausgerichtet.

Dabei weist die Auswerteeinheit 23 die Daten-Schnittstelle 36 oder den Sender zum Übertragen 210 der Auswerte-Daten 35 an eine externe Datenspeicherung 38 oder externe Weiteverarbeitungseinheit 39 auf.

Zusätzlich weist die zumindest eine optische Erfassungseinheit 16 in Fig. 6 zumindest eine Kameraeinheit 25 zum Erfassen von Bild-Daten 24 aus Bildern, zumindest einen Radarsensor 41 zum Erfassen von Radar-Daten 40 und zumindest einen Ultraschallsensor 43 zur Erfassung von Ultraschall-Daten 42 auf. Hier ist es denkbar, dass auch der Lidarsensor 15 und/oder der Radarsensor 42 und/oder der Ultraschallsensor 43 in dem Winkel a 0° bis 70° zur Fahrbahn ausgerichtet sind. Die Verkehrsüberwachungsanlage gemäß Fig. 6 ist an einem Gate befestigt in einer Höhe von 2,3 m bis 2,7 m bzw. optional bis 10 m, und somit über der Fahrbahn 12 anordenbar und sieht mehrere optische Erfassungseinheiten zum Einlesen 110 der Verkehrsszene 11 auf der Fahrbahn 12 vor. Diese optischen Erfassungseinheiten sind voneinander beabstandet angeordnet, um verschiedene Winkel der Verkehrsszene 11 aufnehmen zu können.

Die Verkehrsüberwachungsanlage 10 in Fig. 7 ist an einem Mast, hier eine Ampel, neben der Fahrbahn 12 befestigt, und in diesem Fall zumindest teilweise in den Mast bzw. die Ampel integriert.

Bezugszeichenliste

10 Verkehrsüberwachungsanlage

11 Verkehrsszene

12 Fahrbahn

13 Fahrzeug

14 Lidar-Daten

15 Lidarsensor

16 optischen Erfassungseinheit

17 Kontrollpunkte

18 Umgebungsdaten

19 Verarbeitungseinheit

20 Ebenen-Daten

21 Ebene

22 Birds-Eye-View-Daten

23 Auswerteeinheit

24 Bild-Daten

25 Kameraeinheit

26 Überlagerungsdaten

27 Objekt

28 Fahrer

29 Objekt-Daten

30 Fahrer-Daten

31 2D-Code

32 Haltelinie

33 Messlinie

34 Referenz-Daten

35 Auswerte-Daten

36 Daten-Schnittstelle

37 Senders

38 externe Datenspeicherung

39 externe Weiteverarbeitungseinheit 0 Radar-Daten 1 Radarsensor 2 Ultraschall-Daten 3 Ultraschallsensor

100 Verfahren

110 Einlesen

120 Erkennen

130 Umwandeln der Kontrollpunkte

140 Umwandeln in Birds Eye-View-Daten

150 Auswerten

160 Überlagern

170 Kalibrieren

180 Ausrichten

190 Verwerfen

200 Auslösen

210 Übertragen

220 Vergleichen a Winkel

Claims

Patentansprüche

1 . Verfahren (100) zum Betreiben einer Verkehrsüberwachungsanlage (10) für die Aufnahme einer Verkehrsszene (11 ) auf einer Fahrbahn (12), wobei die Fahrbahn (12) von zumindest einem Fahrzeug (13) befahrbar ist, wobei das Verfahren (100) folgende Schritte aufweist:

- Einlesen (110) der Verkehrsszene (11) auf der Fahrbahn (12) als Bild-Daten (24) mittels zumindest einer Kameraeinheit (25), insbesondere positionsfesten Kameraeinheit (25), zumindest einer optischen Erfassungseinheit (16), wobei die Kameraeinheit (25) in einem Winkel (a) von 0° bis 70°, vorzugsweise 10° bis 70°, weiter vorzugsweise 15° bis 70°, zur Fahrbahn (12) ausgerichtet ist,

- Erkennen (120) zumindest eines Objektes (27) an dem Fahrzeug (13) aus den Bild-Daten (24) mittels einer Verarbeitungseinheit (19), wobei das erkannte Objekt (27) zur Identifikation des Fahrzeugtyps und/oder des Fahrzeughalters dient, und/oder Erkennen (120) eines Fahrers (28) in dem Fahrzeug (13) aus den Bild-Daten (24) mittels der Verarbeitungseinheit (19) bei dem Einlesen (110), wobei das Objekt (27) und/oder der Fahrer (28) mit der Verkehrsszene (11 ) auf einer Fahrbahn (12) als Objekt-Daten (29) und/oder Fahrer-Daten (30) eingelesen werden,

- Erkennen (120) vordefinierter Kontrollpunkte (17) aus Umgebungsdaten (18) in den erfassten Bild-Daten (24) mittels einer Verarbeitungseinheit (19), wobei die Kontrollpunkte (17) an festgelegten Orten entlang und/oder auf der Fahrbahn (12) in den Umgebungsdaten (18) positioniert sind,

- Umwandeln der Kontrollpunkte (130) zu Ebenen-Daten (20) einer Ebene (21 ) mittels der Verarbeitungseinheit (19), wobei die Ebene (21 ) der Fahrbahn (12) entspricht,

- Umwandeln der erfassten Bild-Daten (24), der Ebenen-Daten (20), und der Objekt-Daten (29) und/oder Fahrer-Daten (30) unter Nutzung eines Transformationsalgorithmus zu Birds-Eye-View-Daten (22) einer Vogelperspektive zur Aufnahme der Verkehrsszene (11 ) auf der Fahrbahn (12) mittels der Verarbeitungseinheit (19), wobei die Objekt-Daten (29) und/oder die Fahrer-Daten (30) dem Fahrzeug (13) in den Birds-Eye-View-Daten (22) zugeordnet werden,

- Auswerten (150) der Birds-Eye-View-Daten (22) der Aufnahme der Verkehrsszene (11 ) auf einer Fahrbahn (12) zu Auswerte-Daten (35) mittels einer Auswerteeinheit (23) zum Betreiben der Verkehrsüberwachungsanlage (10).

2. Verfahren (100) nach Anspruch 1 , dadurch gekennzeichnet, dass eine extrinsische Kalibrierung (170) zur Ausrichtung (180) der optischen Erfassungseinheit (16) zu der Fahrbahn (12) durchgeführt wird, wobei die extrinsische Kalibrierung einmalig oder zyklisch durchgeführt wird und/oder wobei die extrinsische Kalibrierung (170) automatisch, zumindest teilweise automatisch, oder manuell durchgeführt wird, insbesondere wobei die Daten aus der extrinsischen Kalibrierung zum positionsgenauen Umwandeln in die Ebenen-Daten (20) der Ebene (21 ) verwendet wird.

3. Verfahren (100) nach Anspruch 2, dadurch gekennzeichnet, dass die zumindest eine optische Erfassungseinheit (16) der Verkehrsüberwachungsanlage (10) und/oder das Verfahren (100) mittels eines 2D- oder 3D-Codes (31), insbesondere eines QR-Codes, an einer spezifischen Position an einer Haltelinie (32) auf der Fahrbahn (12) in der Verkehrsszene (11 ) auf der Fahrbahn (12) kalibriert und/oder ausgerichtet wird.

4. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verkehrsszene (11 ) auf der Fahrbahn (12) mittels der optischen Erfassungseinheit (16) aus einer Höhe von 1 ,5 m bis 10 m, vorzugsweise 2 m bis 2,8 m, weiter vorzugsweise 2,3 m bis 2,7 m, eingelesen wird.

5. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit der zu überwachenden Verkehrsszene (11 ) auf der Fahrbahn (12) zumindest eine Messlinie (33) in Referenz-Daten (34), die in der Auswerteeinheit (23) gespeichert sind, hinterlegt ist, wobei die zumindest eine Messlinie (33) orthogonal oder im Wesentlichen orthogonal zu einer Fahrbahnbegrenzung und/oder orthogonal oder im Wesentlichen orthogonal zu einer Fahrbahnrichtung der Fahrbahn (12) und/oder parallel oder im Wesentlichen parallel zu einer Front- und/oder Heckstoßstange eines in den Lidar-Daten (14) und/oder Bild-Daten (24) ermittelnden Fahrzeugs (13) ausgerichtet ist oder wird, und wobei die Messlinie (33) bei der Auswertung der Auswerte-Daten (35) der Verkehrsszene (11) verwendet wird.

6. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren (100) zu verschiedenen Zeitpunkten, insbesondere zyklisch, und/oder bei einem Auslöseereignis, insbesondere eines Übertritts eines in den Bild-Daten (24) ermittelnden Fahrzeug (13), über die zumindest eine Messlinie (33), durchgeführt wird.

7. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für das Einlesen (110) der Verkehrsszene (11 ) auf der Fahrbahn (12) mehrere optische voneinander beabstandete optische Erfassungseinheiten (16) vorgesehen werden, zur Erfassung der Verkehrsszene (11 ) aus unterschiedlichen Winkeln.

8. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus den Birds-Eye-View-Daten (22) zu einem Zeitpunkt oder zu mehreren Zeitpunkten eine Fahrzeuggeschwindigkeit und/oder Fahrzeugbeschleunigung zumindest eines Fahrzeugs (13) auf der Fahrbahn (12), und/oder ein Halteverstoß, insbesondere ein Halteverstoß in einem Kreuzungsbereich oder einem Ampelbereich der Verkehrsszene (11 ), und/oder einen Abstandsverstoß eines Fahrzeugs (13) zu einem vorherfahrenden Fahrzeug (13) zu den Auswerte-Daten (35) ausgewertet wird.

9. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerte-Daten (35) mittels einer Daten-Schnittstelle (36) oder eines Senders (37) der Auswerteeinheit (23) an eine externe Datenspeicherung (38) oder externe Weiteverarbeitungseinheit (39) übertragen (210) werden.

10. Verkehrsüberwachungsanlage (10) zum Ausführen des Verfahrens (100) gemäß einem der vorhergehenden Ansprüche, mit zumindest einer optischen Erfassungseinheit (16) mit zumindest einer Kameraeinheit (25) zum Einlesen (110) der Verkehrsszene (11 ) auf einer Fahrbahn (12) als Bild-Daten (24), wobei die Kameraeinheit (25) in einem Winkel (a) von 0° bis 70°, vorzugsweise 10° bis 70°, weiter vorzugsweise 15° bis 70°, zur Fahrbahn (12) ausgerichtet ist, und mit einer Verarbeitungseinheit (19) zum Erkennen (120) eines Objektes (27) an dem Fahrzeug (13) und/oder eines Fahrers (28) in dem Fahrzeug (13) und zum Erkennen (120) vordefinierter Kontrollpunkte (17) aus Umgebungsdaten (18) in den Bild-Daten (24), zum Umwandeln der Kontrollpunkte (130) zu Ebenen-Daten (20) der Ebene (21 ), wobei die Ebene (21 ) der Fahrbahn (12) entspricht, und zum Umwandeln der erfassten Bild-Daten (24) und der Ebenen-Daten (20) unter Nutzung eines Transformationsalgorithmus zu Birds-Eye-View-Daten (22) der Vogelperspektive, und mit einer Auswerteeinheit (23) zum Auswerten (150) der Verkehrsszene (11 ) auf einer Fahrbahn (12) zu den Auswerte-Daten (35).

11 . Verkehrsüberwachungsanlage (10) nach Anspruch 10, dadurch gekennzeichnet, dass mehrere optische Erfassungseinheiten (16) zum Einlesen (110) der Verkehrsszene (11 ) auf der Fahrbahn (12) vorgesehen sind, wobei die optischen Erfassungseinheiten voneinander beabstandet angeordnet sind.

12. Verkehrsüberwachungsanlage (10) nach einem der Ansprüche 10 oder 11 , dadurch gekennzeichnet, dass die zumindest eine optische Erfassungseinheit (16) neben der Fahrbahn (12) und/oder über der Fahrbahn (12) angeordnet ist.

13. Verkehrsüberwachungsanlage (10) nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die optische Erfassungseinheit (16) auf einer Höhe von 1 ,5m bis 10 m, vorzugsweise 2 m bis 2,8 m, weiter vorzugsweise 2,3 m bis 2,7 m, angeordnet ist.

14. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren (100) nach einem der Ansprüche 1 bis 9 mittels einer Verkehrsüberwachungsanlage (10) gemäß einem der Ansprüche 10 bis 13 auszuführen.