EP3407324B1 - Verfahren zum überwachen eines fahrzeugs mittels zumindest eines unbemannten luftfahrzeugs, steuergerät und unbemanntes luftfahrzeug - Google Patents

Verfahren zum überwachen eines fahrzeugs mittels zumindest eines unbemannten luftfahrzeugs, steuergerät und unbemanntes luftfahrzeug Download PDF

Info

Publication number
EP3407324B1
EP3407324B1 EP18172233.1A EP18172233A EP3407324B1 EP 3407324 B1 EP3407324 B1 EP 3407324B1 EP 18172233 A EP18172233 A EP 18172233A EP 3407324 B1 EP3407324 B1 EP 3407324B1
Authority
EP
European Patent Office
Prior art keywords
vehicle
measurement
signal
aerial vehicle
measurement position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP18172233.1A
Other languages
English (en)
French (fr)
Other versions
EP3407324A1 (de
Inventor
Michael Lehning
Maik Reiss
Lukas SCHIFFER
Marco LEIJSSEN
Stefan Kienitz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jenoptik Robot GmbH
Original Assignee
Jenoptik Robot GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jenoptik Robot GmbH filed Critical Jenoptik Robot GmbH
Publication of EP3407324A1 publication Critical patent/EP3407324A1/de
Application granted granted Critical
Publication of EP3407324B1 publication Critical patent/EP3407324B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0078—Surveillance aids for monitoring traffic from the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G08G1/054—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles

Description

  • Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Überwachen eines
  • Fahrzeugs mittels zumindest eines unbemannten Luftfachzeugs und eines weiteren unbemanntes Luftfahrzeugs.
  • Die EP 3 112 967 A1 und die US 2010/0250022 A1 offenbaren ein Verfahren zum Überwachen eines Fahrzeugs mittels zumindest eines unbemannten Luftfahrzeugs, wobei das Luftfahrzeug eine Sensoreinrichtung zum Erfassen des Fahrzeugs aufweist. Das Verfahren umfasst hierbei einen ersten Schritt des Ermittelns einer Messposition A unter Verwendung von Daten, die eine vorherige Erfassung des
  • Fahrzeugs repräsentieren. Ferner umfasst das Verfahren einen zweiten Schritt des Bereitstellens eines Steuersignals zum Steuern des Luftfahrzeugs in die Messposition A über eine Kommunikationseinrichtung zur drahtlosen Kommunikation mit dem zumindest einem Luftfahrzeug, um das Fahrzeug von der Messposition A aus zu erfassen. Ferner umfasst das Verfahren einen Schritt des Empfangens eines Messsignals, das eine Erfassung des Fahrzeugs durch die Sensoreinrichtung 106 von der Messposition A aus repräsentiert, wobei in einem Schritt des Auswertens das Messsignal und das ausgewertet wird, um das Fahrzeug zu überwachen, wobei im Schritt des Empfangens das Messsignal ein durch Auslesen einer On-Board-Unit des Fahrzeugs bereitgestelltes Signal repräsentiert. US2016/0078759 A1 befasst sich mit einem Verfahren zur Überwachung eines Fahrzeugs unter mittels eines unbemannten Luftfahrzeugs. Dabei können ein oder mehrere erste Bilder von einer ersten Kamera des ersten unbemannten Luftfahrzeugs, das sich an einem ersten Ort befindet, empfangen werden. Es kann festgestellt werden, ob eine eindeutige Kennung des Fahrzeugs in mindestens einem der einen oder mehreren ersten Bilder nicht identifizierbar ist. Das unbemannte Luftfahrzeug kann dann neu positioniert werden, um ein oder mehrere zweite Bilder des Fahrzeugs von der neuen Position aus aufzunehmen. Die eindeutige Kennung des Fahrzeugs kann dann auf der Grundlage von mindestens einem der ein oder mehreren zweiten Bilder bestimmt werden. An der zweiten Position kann auch ein zweites Luftfahrzeug positioniert werden.
  • Verkehrsüberwachungsgeräte sind statisch aufgestellt, sodass die relevanten Messschritte und die Dokumentation von Verkehrsverstößen anhand von Bildern von relativ kurzen Zeitfenstern abhängig sind, in denen beispielsweise freie Sicht auf das zu überwachende Fahrzeug besteht und dieses nicht von Nachbarfahrzeugen überdeckt ist. Oftmals wird ein System für mehrere Fahrspuren verwendet, sodass aufgrund der Aufstellposition Unterschiede in der Bildqualität in Abhängigkeit von den Fahrspuren resultieren. Im Bereich der Section-Control-Messungen, auch P2P-Messungen genannt, sind ebenfalls fixe, d. h. statische Messanordnungen bekannt.
  • Vor diesem Hintergrund schafft die vorliegende Erfindung ein verbessertes Verfahren zum Überwachen eines Fahrzeugs mittels zumindest eines unbemannten Luftfahrzeugs und einen Computerprogrammprodukt gemäß den Hauptansprüchen. Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen und der nachfolgenden Beschreibung.
  • Es wird ein Verfahren zum Überwachen eines Fahrzeugs mittels zumindest eines unbemannten Luftfahrzeugs und eines weiteren unbemannten Luftfahrzeugs vorgestellt, wobei jedes unbemannte Luftfahrzeug eine Sensoreinrichtung zum Erfassen des Fahrzeugs aufweist, wobei das Verfahren Schritte gemäß Anspruch 1 umfasst:
    • Unter einem unbemannten Luftfahrzeug kann ein Luftfahrzeug in Form einer Drohne, beispielsweise in Form
    • eines Quadrokopters, verstanden werden. Das Luftfahrzeug und das weitere Luftfahrzeug können beispielsweise autonom fliegen oder durch ein externes Steuergerät fernsteuerbar sein. Unter einer Kommunikationseinrichtung kann eine Sende- oder Empfangseinheit zum drahtlosen Senden oder Empfangen von Daten, etwa über Funk oder WLAN, verstanden werden. Das Luftfahrzeug und das weitere Luftfahrzeug können unabhängig
    • voneinander steuerbar sein. Die Kommunikationseinrichtung kann als Komponente des Steuergeräts realisiert sein. Das Steuergerät kann beispielsweise Teil eines stationären oder mobilen Verkehrsüberwachungsgerätes zum Überwachen von Fahrzeugen sein. Das Luftfahrzeug und das weitere Luftfahrzeug können direkt oder indirekt miteinander vernetzt oder vernetzbar sein und beispielsweise Mitglieder eines Drohnenverbunds sein. Bei den Daten aus der vorherigen Erfassung kann es sich etwa um eine erstmalig erfasste Position, Geschwindigkeit oder Klasse des Fahrzeugs handeln. Unter einer Messposition oder einer weiteren Messposition kann eine Position verstanden werden, in der das Fahrzeug mit ausreichend hoher Genauigkeit erfasst werden kann, d. h., in der eine jeweilige Messstrecke zwischen Luftfahrzeug und Fahrzeug möglichst unbeeinträchtigt ist. Die Messposition oder die weitere Messposition kann kontinuierlich ermittelt werden, um eine dynamische Änderung der Messposition oder der weiteren Messposition zu ermöglichen.
  • Der hier beschriebene Ansatz beruht auf der Erkenntnis, dass ein Fahrzeug mittels zumindest einem unbemannten Luftfahrzeug und einem weiteren unbemannten Luftfahrzeug erfasst und überwacht werden kann.
  • Dadurch kann auch bei hohen Geschwindigkeiten des Fahrzeugs eine ausreichend genaue Erfassung des Fahrzeugs gewährleistet werden. Insbesondere können dadurch bei mehrspurigen Fahrbahnen optimale Foto- und Messpunkte ohne Abschattungen, etwa durch benachbarte Fahrzeuge, ermittelt werden, sodass gesonderte Messsysteme zur Erfassung einzelner Fahrspuren entfallen können. Durch eine dynamische Anpassung der Messpositionen der Luftfahrzeuge kann zudem ein Auslesefenster zum Auslesen von Daten einer On-Board-Unit deutlich verlängert werden. Dadurch können Lesefehler vermieden werden. Auch kann dadurch eine kosten- und zeitaufwendige Nachverfolgung des zu überwachenden Fahrzeugs mittels eines Einsatzfahrzeugs entfallen. Ein weiterer Vorteil des hier vorgestellten Ansatzes besteht in der Möglichkeit, Messungen aus der Vogelperspektive durchzuführen und somit eine Gesamtübersicht über Verkehrsdelikte in einem bestimmten Überwachungsabschnitt zu erlangen.
  • Das Verfahren umfasst einen Schritt des Empfangens eines Messsignals, das eine Erfassung des Fahrzeugs durch die Sensoreinrichtung von der Messposition aus repräsentiert, und eines weiteren Messsignals, das eine Erfassung des Fahrzeugs durch die weitere Sensoreinrichtung von der weiteren Messposition aus repräsentiert. In einem Schritt des Auswertens werden das Messsignal und das weitere Messsignal ausgewertet, um das Fahrzeug zu überwachen. Das Messsignal und das weitere Messsignal können eine Geschwindigkeit und beispielsweise ein Bild, einen Sicherheitsabstand, oder eine Position des Fahrzeugs repräsentieren. Dadurch kann eine zuverlässige und genaue Überwachung des Fahrzeugs sichergestellt werden.
  • Dabei repräsentiert im Schritt des Ermittelns die Messposition einen Anfangspunkt einer Abschnittskontrollstrecke, während die weitere Messposition einen Endpunkt der Abschnittskontrollstrecke repräsentiert. Dementsprechend werden im Schritt des Auswertens das Messsignal und das weitere Messsignal ausgewertet, um eine Durchschnittsgeschwindigkeit des Fahrzeugs zu ermitteln. Unter einer Abschnittskontrollstrecke kann ein Streckenabschnitt verstanden werden, auf dem eine Abschnittskontrolle, d. h. eine Punkt-zu-Punkt-Messung, durchgeführt wird, um das Fahrzeug zu erfassen. Durch diese Ausführungsform wird eine zuverlässige Geschwindigkeitsüberwachung des Fahrzeugs ermöglicht.
  • Gemäß einer weiteren Ausführungsform kann im Schritt des Empfangens ein Positionssignal, das eine Ist-Position des Luftfahrzeugs bei der Erfassung des Fahrzeugs von der Messposition aus repräsentiert, empfangen werden. Zusätzlich oder alternativ kann ein weiteres Positionssignal, das eine Ist-Position des Luftfahrzeugs und/oder des weiteren Luftfahrzeugs bei der Erfassung des Fahrzeugs von der weiteren Messposition aus repräsentiert, empfangen werden. Im Schritt des Auswertens können das Messsignal und das weitere Messsignal unter Verwendung des Positionssignals oder, zusätzlich oder alternativ, des weiteren Positionssignals ausgewertet werden. Dadurch können beispielsweise Abweichungen zwischen der jeweiligen Ist- und Messposition der Luftfahrzeuge bei der Erfassung des Fahrzeugs mit berücksichtigt werden. Somit kann die Zuverlässigkeit des Verfahrens erhöht werden.
  • Das Messsignal und das weitere Messsignal repräsentieren ein durch Auslesen einer On-Board-Unit des Fahrzeugs bereitgestelltes Signal. Unter einer On-Board-Unit kann ein in das Fahrzeug eingebautes Funkgerät zum Übertragen von Fahrzeugdaten wie etwa Kennzeichen oder Standort oder von Daten zum Abrechnen von Mautgebühren durch drahtlose Kommunikation verstanden werden. Dadurch kann das Verfahren zum Auslesen von On-Board-Units eingesetzt werden.
  • Es ist ferner vorteilhaft, wenn im Schritt des Ermittelns eine Position zum Erfassen des Fahrzeugs aus einer Vogelperspektive als die Messposition oder die weitere Messposition ermittelt wird. Dadurch können Beeinträchtigungen bei der Signalübertragung, beispielsweise durch Abschattungen, vermieden werden.
  • Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware, beispielsweise in einem Steuergerät, implementiert sein.
  • Der hier vorgestellte Ansatz kann ferner ein Steuergerät schaffen, das ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese nicht erfindungsgemässe Ausführungsvariante in Form eines Steuergeräts kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
  • Unter einem Steuergerät kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Das Steuergerät kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen des Steuergeräts beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
  • Der hier vorgestellte Ansatz schafft gemäß eines Beispiels nicht Teil der Erfindung zudem ein unbemanntes Luftfahrzeug zum Überwachen eines Fahrzeugs, wobei das Luftfahrzeug Merkmale aufweist: Die Sensoreinrichtung kann beispielsweise eine Kamera, einen Geschwindigkeitssensor, ein GPS-Modul oder die Kommunikationseinrichtung umfassen. Die Kommunikationseinrichtung ist ausgebildet, um eine On-Board-Unit des Fahrzeugs auszulesen.
  • Gemäß der Erfindung ist auch ein Computerprogrammprodukt angegeben mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
  • Die Erfindung wird anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
    • Figur 1
    eine schematische Darstellung zweier Luftfahrzeuge und eines Steuergeräts gemäß einem Ausführungsbeispiel;
    Figur 2
    eine schematische Darstellung eines Steuergeräts gemäß einem Ausführungsbeispiel; und
    Figur 3
    ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel.
  • In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
  • Figur 1 zeigt eine schematische Darstellung zweier unbemannter Luftfahrzeuge 100, 102 und eines Steuergeräts 104 gemäß einem Ausführungsbeispiel. Das Luftfahrzeug 100 weist eine Sensoreinrichtung 106 zum Erfassen eines Fahrzeugs 108 auf. Ebenso weist das weitere Luftfahrzeug 102 eine weitere Sensoreinrichtung 110 zum Erfassen des Fahrzeugs 108 auf. Bei den beiden Sensoreinrichtungen 106, 110 handelt es sich beispielsweise je um eine Kamera, einen Geschwindigkeitssensor oder einen Ortungssensor, insbesondere ein GPS-Modul, oder eine Kombination aus zumindest zwei der genannten Sensorarten. Die Sensoreinrichtungen 106, 110 sind beispielsweise ausgebildet, um voneinander abweichende Messgrößen zu erfassen. Lediglich beispielhaft sind die beiden Luftfahrzeuge 100, 102 in Figur 1 als Quadrokopter dargestellt.
  • Das Steuergerät 104, das beispielsweise als Komponente einer Bodenstation oder eines mobilen Verkehrsüberwachungsgerätes realisiert ist, umfasst eine Kommunikationseinrichtung 112 zur drahtlosen Kommunikation mit den beiden Luftfahrzeugen 100, 102 oder zumindest einem der Luftfahrzeuge 100, 102. Das Steuergerät 104 ist ausgebildet, um unter Verwendung von Daten, die beispielsweise eine zu einem früheren Zeitpunkt mittels zumindest eines der beiden Luftfahrzeuge 100, 102 erfasste Position oder Fahrzeugklasse des Fahrzeugs 108 repräsentieren, eine Messposition A und eine weitere Messposition B zu ermitteln. Unter Verwendung der Messposition A erzeugt das Steuergerät 104 ein Steuersignal 114 und sendet dieses über die Kommunikationseinrichtung 112 an das Luftfahrzeug 100, um dieses in die Messposition A zu steuern, die hier einen Anfangspunkt einer Abschnittskontrollstrecke zum Ermitteln einer Durchschnittsgeschwindigkeit des Fahrzeugs 108 repräsentiert. Analog dazu verwendet das Steuergerät 104 die Messposition B, um ein weiteres Steuersignal 116 zum Steuern des weiteren Luftfahrzeugs 102 zu erzeugen und über die Kommunikationseinrichtung 112 an das weitere Luftfahrzeug 102 zu senden. Mittels des weiteren Steuersignals 116 wird das weitere Luftfahrzeug 102 in die weitere Messposition B gesteuert, die hier einen Endpunkt der Abschnittskontrollstrecke repräsentiert.
  • Die Luftfahrzeuge 100, 102 sind ausgebildet, um das Fahrzeug 108 von ihrer jeweiligen Messposition aus zu erfassen. Dabei sendet die Sensoreinrichtung 106 in der Messposition A ein das Fahrzeug 108 repräsentierendes Messsignal 118 an die Kommunikationseinrichtung 112, während die weitere Sensoreinrichtung 110 in der Messposition B ein das Fahrzeug 108 repräsentierendes weiteres Messsignal 120 an die Kommunikationseinrichtung 112 sendet. Gemäß diesem Ausführungsbeispie das nicht Teil der Erfindung ist,
  • ist das Steuergerät 104 ausgebildet, um durch entsprechendes Auswerten der beiden Messsignale 118, 120 die Durchschnittsgeschwindigkeit des Fahrzeugs 108 beim Befahren der Abschnittskontrollstrecke zu ermitteln. Je nach Ausführungsbeispiel ist das Steuergerät 104 ausgebildet, um zusätzlich zur Durchschnittsgeschwindigkeit eine Ist-Geschwindigkeit oder einen Sicherheitsabstand des Fahrzeugs 108 oder sonstige fahrzeugbezogene oder sicherheitsrelevante Parameter anhand der Messsignale 118, 120 zu ermitteln. Beispielsweise ist zumindest eine der beiden Sensoreinrichtungen 106, 110 ausgebildet, um zur Erfassung des Fahrzeugs 108 eine in das Fahrzeug 108 integrierte On-Board-Unit auszulesen und entsprechende Daten an das Steuergerät 104 zu übertragen.
  • Gemäß einem Ausführungsbeispiel übertragen die beiden Luftfahrzeuge 100, 102 zusätzlich zu den Messsignalen 118, 120 jeweils ihre aktuelle Ist-Position an das Steuergerät 104, wobei das Luftfahrzeug 100 ein entsprechendes Positionssignal 122 an die Kommunikationseinrichtung 112 überträgt und das weitere Luftfahrzeug 102 ein entsprechendes weiteres Positionssignal 124 an die Kommunikationseinrichtung 112 überträgt. Dementsprechend ist das Steuergerät 104 ausgebildet, um die beiden Messsignale 118, 120 unter zusätzlicher Verwendung der beiden Positionssignale 122, 124 auszuwerten. Somit können bei der Auswertung etwaige Abweichungen zwischen den jeweiligen Ist- und Messpositionen der beiden Luftfahrzeuge 100, 102 berücksichtigt werden.
  • Wie aus Figur 1 ersichtlich, erfolgt die Überwachung des Fahrzeugs 108 hier mittels der beiden Luftfahrzeuge 100, 102 aus der Vogelperspektive. Die beiden Luftfahrzeuge 100, 102 können unterschiedliche Flughöhen bei der Erfassung des Fahrzeugs 108 aufweisen.
  • Das Steuergerät 104 kann somit auch ausgebildet sein, um mehr als zwei Luftfahrzeuge 100, 102 zur Überwachung des Fahrzeugs 108 oder auch zur gleichzeitigen Überwachung mehrerer Fahrzeuge anzusteuern.
  • Figur 2 zeigt eine schematische Darstellung eines Steuergeräts 104 gemäß einem Ausführungsbeispiel, das nicht Teil der Erfindung ist etwa eines vorangehend anhand von Figur 1 beschriebenen Steuergeräts. Das Steuergerät 104 umfasst eine Ermittlungseinheit 210, die ausgebildet ist, um unter Verwendung von Messdaten 212, die eine vorherige Erfassung des Fahrzeugs mittels zumindest eines der beiden Luftfahrzeuge repräsentieren, die zwei Messpositionen A, B zu ermitteln und diese an eine Bereitstellungseinheit 220 des Steuergeräts 104 zu senden. Die Bereitstellungseinheit 220 ist ausgebildet, um unter Verwendung der beiden Messpositionen A, B die Steuersignale 114, 116 bereitzustellen.
  • Figur 3 zeigt ein Ablaufdiagramm eines Verfahrens 300 gemäß einem Ausführungsbeispiel. Das Verfahren 300 zum Überwachen eines Fahrzeugs mittels zumindest einem unbemannten Luftfahrzeug kann beispielsweise unter Verwendung eines Steuergeräts, wie es vorangehend anhand der Figuren 1 und 2 beschrieben ist, ausgeführt werden. Gemäß einem Ausführungsbeispiel erfolgt in einem optionalen Schritt 310 eine erstmalige Erfassung, d. h. ein Anmessen oder eine Klassierung, des zu überwachenden Fahrzeugs mittels zumindest einem Luftfahrzeug. Alternativ stammen die Daten der erstmaligen Erfassung von einer Sensoreinrichtung eines Bodenüberwachungsgerätes zum Überwachen des Fahrzeugs. Bei der erstmaligen Erfassung wird das Fahrzeug beispielsweise klassiert oder in einer digitalen Karte verortet. In einem Schritt 320 werden unter Verwendung der Daten aus der erstmaligen Erfassung optimale Messpositionen zur erneuten Erfassung des Fahrzeugs mittels der jeweiligen Sensoreinrichtungen der Luftfahrzeuge ermittelt. In einem Schritt 330 werden die entsprechenden Steuersignale zum Steuern des zumindest einen Luftfahrzeugs in ihre jeweilige, im Schritt 320 ermittelte Messposition bereitgestellt. Dabei wird eine weitere Messung an den jeweiligen optimalen Messpositionen durchgeführt. Beispielsweise werden dabei die exakten Live-Positionen der jeweiligen Luftfahrzeuge und weitere Randbedingungen wie Uhrzeit, Temperatur, Flughöhe oder Windstärke erfasst. Die eigentliche Messung des Fahrzeugs erfolgt dabei in Verbindung mit den Live-Positionen des des zumindest einen Luftfahrzeugs oder eines aus zumindest zwei Luftfahrzeugen bestehenden Drohnenverbunds und den erfassten Randbedingungen.
  • Die Schritte 320, 330 können fortlaufend ausgeführt werden, um eine dynamische Anpassung der Messpositionen, beispielsweise in Abhängigkeit von einer aktuellen Position oder Geschwindigkeit des Fahrzeugs oder von Umgebungsbedingungen wie beispielsweise Abschattungen zu realisieren.
  • Die Erfassung des Fahrzeugs erfolgt somit unter Verwendung eines Drohnenverbunds aus zumindest zwei Drohnen, vorangehend auch Luftfahrzeuge genannt. Mittels des Drohnenverbunds kann eine dynamische P2P-Messung mit exakter Positionsermittlung und Eigengeschwindigkeitsermittlung durchgeführt werden. Dazu können auch teilausgestattete Drohnen verwendet werden. Beispielsweise kann eine erste Drohne des Drohnenverbunds mit einer Kamera ausgestattet sein, während eine zweite Drohne mit einem Geschwindigkeitssensor ausgestattet ist. Eine dritte Drohne kann wiederum eine andere Ausstattung aufweisen. Die Drohnen können jedoch auch in Vollausstattung realisiert sein. Bei den Drohnen handelt es sich beispielsweise um autarke Drohnen. Der Vorteil eines derartigen Überwachungsverfahrens besteht im dynamischen Auffinden optimaler Mess- und Fotopunkte, in denen das zu überwachende Fahrzeug von benachbarten Fahrzeugen nicht überdeckt wird. Dadurch kann eine ausreichend lange Kommunikationszeit zwischen dem Steuergerät und den Luftfahrzeugen gewährleistet werden.
  • Umfasst ein Ausführungsbeispiel eine "und/oder" Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so kann dies so gelesen werden, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims (4)

  1. Verfahren (300) zum Überwachen eines Fahrzeugs (108), beim Befahren einer Abschnittskontrollstrecke, mittels zumindest eines unbemannten Luftfahrzeugs (100) und eines weiteren unbemannten Luftfahrzeugs
    (102), wobei das Luftfahrzeug (100) eine Sensoreinrichtung (106) und das weitere Luftfahrzeug (102) eine weitere Sensoreinrichtung (110) zum Erfassen des Fahrzeugs (108) aufweist, wobei das Verfahren (300) folgende Schritte umfasst:
    Ermitteln (320) einer Messposition (A) unter Verwendung von Daten (212), die eine vorherige Erfassung des Fahrzeugs (108) repräsentieren und Ermitteln (320) einer weiteren Messposition (B) unter Verwendung von Daten (212), die eine vorherige Erfassung des Fahrzeugs (108) repräsentieren;
    Bereitstellen (330), durch ein Steuergerät (104), eines Steuersignals (114) zum Steuern des Luftfahrzeugs (100) in die Messposition (A) über eine Kommunikationseinrichtung (112) zur drahtlosen Kommunikation mit dem zumindest einem Luftfahrzeug (100), um das Fahrzeug (108) von der Messposition (A) aus zu erfassen und Bereitstellen eines weiteren Steuersignals (116) zum Steuern des weiteren Luftfahrzeugs (102) in die weitere Messposition (B) über die Kommunikationseinrichtung (112), um das Fahrzeug (108) von der weiteren Messposition (B) aus zu erfassen ; und
    Empfangen eines Messsignals (118), das eine Erfassung des Fahrzeugs (108) durch die Sensoreinrichtung (106) von der Messposition (A) aus repräsentiert und eines weiteren Messsignals (120), das eine Erfassung des Fahrzeugs (108) durch die weitere Sensoreinrichtung (110) von der weiteren Messposition (B) aus repräsentiert, wobei in einem Schritt des Auswertens das Messsignal (118) und das weitere Messsignal (120) ausgewertet werden, um das Fahrzeug (108) zu überwachen und im Schritt des Empfangens (310) das Messsignal (118) und das weitere Messsignal (120) ein durch Auslesen einer On-Board-Unit des Fahrzeugs (108) bereitgestelltes Signal mittels der Sensoreinrichtung (106) und der weiteren Sensoreinrichtung (110) repräsentiert, wobei im Schritt des Ermittelns (320) die Messposition (A) einen Anfangspunkt der Abschnittskontrollstrecke repräsentiert und die weitere Messposition (B) einen Endpunkt der Abschnittskontrollstrecke repräsentiert, wobei im Schritt des Auswertens das Messsignal (118) und das weitere Messsignal (120) ausgewertet werden, um eine Durchschnittsgeschwindigkeit des Fahrzeugs (108) zu ermitteln.
  2. Verfahren (300) gemäß Anspruch 1, bei dem im Schritt des Empfangens (310) ein Positionssignal (122), das eine Ist-Position des Luftfahrzeugs (100) bei der Erfassung des Fahrzeugs (108) von der Messposition (A) aus repräsentiert, empfangen wird und ein weiteres Positionssignal (124), das eine Ist-Position des Luftfahrzeugs (100) und des weiteren Luftfahrzeugs (102) bei der Erfassung des Fahrzeugs (108) von der weiteren Messposition (B) aus repräsentiert, empfangen wird, wobei im Schritt des Auswertens das Messsignal (118) und das weitere Messsignal (120) unter Verwendung des Positionssignals (122) und des weiteren Positionssignals (124) ausgewertet werden.
  3. Verfahren (300) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Ermittelns (320) eine Position zum Erfassen des Fahrzeugs (108) aus einer Vogelperspektive als die Messposition (A) und die weitere Messposition (B) ermittelt wird.
  4. Computerprogrammprodukt, das ausgebildet ist, um das Verfahren (300) gemäß einem der Ansprüche 1 bis 3 anzusteuern.
EP18172233.1A 2017-05-17 2018-05-15 Verfahren zum überwachen eines fahrzeugs mittels zumindest eines unbemannten luftfahrzeugs, steuergerät und unbemanntes luftfahrzeug Active EP3407324B1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017208333.6A DE102017208333A1 (de) 2017-05-17 2017-05-17 Verfahren zum Überwachen eines Fahrzeugs mittels zumindest eines unbemannten Luftfahrzeugs, Steuergerät und unbemanntes Luftfahrzeug

Publications (2)

Publication Number Publication Date
EP3407324A1 EP3407324A1 (de) 2018-11-28
EP3407324B1 true EP3407324B1 (de) 2022-02-09

Family

ID=62167171

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18172233.1A Active EP3407324B1 (de) 2017-05-17 2018-05-15 Verfahren zum überwachen eines fahrzeugs mittels zumindest eines unbemannten luftfahrzeugs, steuergerät und unbemanntes luftfahrzeug

Country Status (2)

Country Link
EP (1) EP3407324B1 (de)
DE (1) DE102017208333A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115956B (zh) * 2022-07-13 2024-02-13 国网江苏省电力有限公司泰州供电分公司 一种基于数字孪生的三维巡检数据信息融合系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100250022A1 (en) * 2006-12-29 2010-09-30 Air Recon, Inc. Useful unmanned aerial vehicle
WO2010081200A1 (en) * 2009-01-15 2010-07-22 Flyneye Pty Ltd System and method of aerial surveillance
US9489839B2 (en) * 2012-08-06 2016-11-08 Cloudparc, Inc. Tracking a vehicle using an unmanned aerial vehicle
CN107577247B (zh) * 2014-07-30 2021-06-25 深圳市大疆创新科技有限公司 目标追踪系统及方法
JP6514973B2 (ja) * 2015-06-30 2019-05-15 株式会社トプコン 現場管理システム、飛行検出方法およびプログラム

Also Published As

Publication number Publication date
DE102017208333A1 (de) 2018-11-22
EP3407324A1 (de) 2018-11-28

Similar Documents

Publication Publication Date Title
DE112015005917B4 (de) Fahrzeugbordeinheit und Fahrzeugbordeinheitdiagnosesystem
EP2054869B1 (de) Verfahren und vorrichtung zur fahrerassistenz durch erzeugung von spurinformationen zur unterstützung oder zum ersatz von spurinformationen einer videobasierten spurinformationseinrichtung
EP3350792B1 (de) Vorrichtung, verfahren und computerprogramm zum bereitstellen von information über ein stauende über eine fahrzeug-zu-fahrzeug-schnittstelle
DE102017203838A1 (de) Verfahren und System zur Umfelderfassung
DE102014223247A1 (de) Autonomfahrzeugerkennung
WO2017045780A1 (de) Vorrichtung, verfahren und computerprogramm zum bereitstellen von stauinformation über eine fahrzeug-zu-fahrzeug-schnittstelle
EP2562735A1 (de) Verfahren und Vorrichtung zur Analysierung eines von einem Fahrzeug zu befahrenden Streckenabschnitts
DE102016217645A1 (de) Verfahren zum Bereitstellen von Information über eine voraussichtliche Fahrintention eines Fahrzeugs
WO2017012742A1 (de) Verfahren und vorrichtung zum warnen anderer verkehrsteilnehmer bei einem falsch fahrenden fahrzeug
DE102016003969B4 (de) Verfahren zum Erfassen von Umgebungsdaten mittels mehrerer Kraftfahrzeuge
DE102018115198A1 (de) Crowdsourcing-basierte virtuelle Sensorgenerierungs- und virtuelle Sansoranwendungs-Streuerung
EP3142091A1 (de) Verfahren zur planung eines unterstützten einparkvorgangs
DE102014226020A1 (de) Verfahren und Vorrichtung zur Kalibrierung mindestens einer mobilen Sensoreinrichtung
DE102016122338A1 (de) Informations-verarbeitungseinrichtung, informations-verarbeitungsverfahren, steuerungsvorrichtung für ein fahrzeug und steuerungsverfahren für ein fahrzeug
EP3827277B1 (de) Verfahren, system und elektronische recheneinrichtung zum überprüfen von sensoreinrichtungen von fahrzeugen, insbesondere von kraftfahrzeugen
EP3407324B1 (de) Verfahren zum überwachen eines fahrzeugs mittels zumindest eines unbemannten luftfahrzeugs, steuergerät und unbemanntes luftfahrzeug
EP3404637A1 (de) Verfahren zum überwachen eines fahrzeugs mittels zumindest eines unbemannten luftfahrzeugs, steuergerät, unbemanntes luftfahrzeug und bodenüberwachungsgerät
DE102018132355A1 (de) Verfahren zur Verkehrszeichenbestimmung
DE102018000016B4 (de) Verfahren und System zum Abschätzen von Verkehrsfluss
WO2019223833A1 (de) Steuerung eines kraftfahrzeugs
DE102017209910A1 (de) Fahrzeuglokalisierung mittels eines im Fahrzeug befindlichen Mobiltelefons
DE102017212953A1 (de) Ermittlung von odometrischen Daten eines Schienenfahrzeugs mit Hilfe stationärer Sensoren
EP4014062B1 (de) Verfahren zum bereitstellen einer aktuellen lokalen umgebungszustandskarte für ein kraftfahrzeug sowie kraftfahrzeug zum durchführen eines derartigen verfahrens
DE102018202469A1 (de) Verfahren zur Höhenbestimmung eines Kraftfahrzeuges und Kraftfahrzeug
DE102017208337A1 (de) Verfahren zum Überwachen eines Fahrzeugs mittels eines unbemannten Luftfahrzeugs, Luftfahrzeug und Anordnung zum Überwachen eines Fahrzeugs

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190507

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20210917

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 1467990

Country of ref document: AT

Kind code of ref document: T

Effective date: 20220215

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502018008717

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220609

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220509

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220509

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220510

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220609

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502018008717

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20221110

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20220531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220515

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220515

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20230519

Year of fee payment: 6

Ref country code: FR

Payment date: 20230517

Year of fee payment: 6

Ref country code: DE

Payment date: 20230519

Year of fee payment: 6

Ref country code: CH

Payment date: 20230605

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: TR

Payment date: 20230510

Year of fee payment: 6

Ref country code: AT

Payment date: 20230516

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230522

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20180515

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220209