EP3472048A1 - Method for controlling unmanned flying objects - Google Patents

Method for controlling unmanned flying objects

Info

Publication number
EP3472048A1
EP3472048A1 EP17768713.4A EP17768713A EP3472048A1 EP 3472048 A1 EP3472048 A1 EP 3472048A1 EP 17768713 A EP17768713 A EP 17768713A EP 3472048 A1 EP3472048 A1 EP 3472048A1
Authority
EP
European Patent Office
Prior art keywords
uav
unmanned aerial
dom
unmanned
measurements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP17768713.4A
Other languages
German (de)
French (fr)
Inventor
Josef Alois Birchbauer
Jürgen HATZL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Energy Global GmbH and Co KG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP3472048A1 publication Critical patent/EP3472048A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Definitions

  • the invention relates to a method for controlling unmanned flying objects.
  • gas and oil pipelines are used by train users and / or regular
  • mountain subsidence areas are regions such as the northern Ruhr area, where intensive, ground-level mining has taken place, and now the soil gives way over a large area and slowly (but sometimes jerkily) and sinks.
  • a pipeline lying in the ground is of course pulled along, it hangs in a row and can be damaged.
  • Other ground movements can also lead to a compression of the line.
  • Some pipeline operators therefore employ surveyors to continuously monitor such critical areas. If a certain amount is exceeded, the pipe must be dug up and cut through and then a corresponding piece inserted or cut out.
  • drones used in the monitoring of gas and oil pipelines, but also of electrical cables from the air increasingly unmanned Flying objects. These are less expensive than the use of a helicopter, smaller and thus manoeuvrable and in an accident usually no people are at risk.
  • flight altitude is often crucial in terms of data volume and data quality. Greater altitude provides an overview and reduces the risk of collisions with obstacles, which is particularly important for the automatic or semi-automatic flying of unmanned aerial vehicles based on predetermined routes.
  • some of the sensors used in the surveying and inspection tasks benefit from the shortest possible recording or measuring distance, since the data quality decreases with the distance.
  • an oblique view is required for inspection tasks, ideally in the flatest possible viewing angle.
  • the invention is therefore based on the object of specifying a method for controlling unmanned aerial vehicles that meets these requirements.
  • the invention enables the automated monitoring and measurement of equipment by autonomously flying unmanned Kliobj ekte.
  • Fig. 1 shows the flow of Befliegung a storage area for detecting assemblies or components of inventories.
  • Fig. 2 shows the flow of the Befliegung a high voltage power line.
  • FIG 3 shows the survey survey of an aboveground pipeline mounted on uprights.
  • Fig. 1 shows schematically a storage area BR with different components Bl, B2, B3, B4.
  • This storage area may be located outdoors or in a closed space such as a garage. a warehouse.
  • the components Bl, B2, B3, B4 can not only be located and identified, but also measured with high precision and checked for compliance with manufacturing tolerances, which often represents the condition for subsequent processing.
  • the measurement accuracy of the altitude and, in particular, components Bl, B2, B3, B4 with a complex surface also depends on the recording angle and the number of measurement points, so that recordings or measuring operations from different positions are required for good measurement results.
  • an unmanned flying object used for detecting and measuring objects in a storage area is now controlled in such a way that a largely obstacle-free overflight zone UZ is defined in advance for the area to be detected and measured, in which the unmanned flying object UAV Performs an overview of the storage area BR with suitable sensors and recording techniques.
  • This obstacle-free overflow zone UZ is preferably provided at a height in which the highest expected objects Bl, B2, B3, B4 are flown over. If the storage area is roofed over, the overflow zone UZ will be provided below the roof or underneath roof-mounted elements, such as lighting fixtures.
  • a first aerial survey and survey survey of the storage area BR takes place.
  • an overview model of the storage area together with the objects contained therein is then determined.
  • this is a three-dimensional digital surface model DOM, which for example by means of photogrammetric method from overlapping photographs with different positions, or by laser measurement (LiDAR) can be created.
  • DOM three-dimensional digital surface model DOM
  • a sequence of positions for detailed measurements and an obstacle-free flight route FR for an unmanned aerial model UAV for taking the sequence of positions is determined. This route is based on the control of the unmanned aerial model UAV.
  • the measurement time which is particularly in applications in which the components Bl, B2, B3, B4 have only a short storage time, ie the lead time of the components through the camp is relatively low, represents a further significant advantage.
  • the route FR can be optimized with known routing algorithms with respect to different parameters such as the time required, the energy consumption or the collision risk. Another preferred application of the method according to the invention will be explained with reference to FIG. 2.
  • the illustration according to FIG. 2 shows the region around two electrical high-voltage lines HL designed as an overhead line. Due to its dimensions of many kilometers in length and a height of about 60 meters, the monitoring of these overhead lines is a task that is usually performed by helicopters.
  • unmanned aerial vehicles UA can significantly reduce the cost of airborne flights, thus increasing the frequency of surveillance flights and increasing the quality of surveillance.
  • the terrain in question is overflown in obstacle-free height and, for example, photographed or scanned by LiDAR.
  • near infrared with a wavelength of 780 nm to 3 ym (spectral ranges IR-A and IR-B) is particularly well suited for the detection of vegetation, since in the near infrared range chlorophyll has a reflectivity about 6 times higher than in the visible spectrum. For the detection of vegetation, this effect can be exploited by taking a picture in the preferably red spectrum of the visible region, and a further recording in the near infrared.
  • Utility buildings have approximately the same reflectivity in the visible as well as in the near infrared range, whereas chlorophyll-containing vegetation in the near infrared has a significantly higher reflectivity.
  • z. B. green utility objects are distinguished by equally green vegetation.
  • thermal infrared can be used to detect leaks in pipelines that contain liquids or gases with higher ambient temperature compared to the environment.
  • the temperature of the conductors can be an indication of a defect and provide a thermal infrared image therefore valuable data.
  • a three-dimensional digital surface model DOM is subsequently generated as an overview model.
  • points of interests such as, for example, thermally conspicuous points or predefined fault-prone line elements, such as isolators, are determined and appropriate positions for detailed measurements are determined.
  • the measuring method used and the resulting distances and angles to the object to be measured, as well as safety regulations must be taken into account so that on the one hand the quality of the determined data is optimum and, on the other hand, the probability of collision or endangerment of the unmanned aerial object UAV during takeoff and landing Position is a minimum.
  • the electric field strengths and magnetic fields which possibly influence or disturb the measuring devices or the electronics of the unmanned flying object UAV must also be taken into account.
  • the vegetation in the form of trees or shrubs forms obstacles and hazards for the aerial survey.
  • a sequence of positions for detailed measurements and an obstacle-free flight route FR for an unmanned aerial model UAV for taking the sequence of positions is determined using known routing methods.
  • the positions for detailed measurements may be determined by the geometry of the object.
  • the unmanned flying objects UAV can also be equipped with different measuring devices.
  • each unmanned aerial object UAV is assigned a specific section of a high-voltage pipeline SL.
  • This assignment can also be made dynamically, for example as a function of the wind conditions and the respective ranges of the unmanned aerial objects UAV.

Abstract

The invention relates to a method for controlling an unmanned flying object (UAV) which is used to detect and measure objects in a specified region, wherein - a largely obstacle-free flyover zone (UZ) is determined for the region (BER) to be detected and measured, said unmanned flying object (UAV) taking overview measurements of the region (BER) using suitable sensors and recording technology in the flyover zone, - a three-dimensional digital surface model (DOM) of the region is ascertained together with the objects located therein on the basis of the overview measurements, and - on the basis of the three-dimensional digital surface model (DOM), a sequence of positions for detailed measurements and an obstacle-free flight path are ascertained for an unmanned model aircraft (UAV) for assuming the sequence of positions and used as the basis for the control of the unmanned model aircraft (UAV).

Description

Bezeichnung der Erfindung/ Titel Name of the invention / title
Verfahren zur Steuerung unbemannter Flugobjekte Beschreibung / Description Method for controlling unmanned aerial vehicles Description / Description
Die Erfindung betrifft ein Verfahren zur Steuerung unbemannter Flugobjekte. Zum Schutz gegen externe Beschädigungen werden Gas- und Ölpi- pelines durch Trassengänger und/oder durch regelmäßige The invention relates to a method for controlling unmanned flying objects. To protect against external damage, gas and oil pipelines are used by train users and / or regular
Befliegung der Trasse mit Flugzeugen oder Hubschraubern beobachtet. Aus der Vogelperspektive lassen sich auch kleine Lecks durch etwaige geringe Bodenverfärbungen erkennen, die vom Boden aus betrachtet gar nicht auffallen würden. Ebenso erkennt man hier die Einrichtung von Baustellen und kann vor Ort nachfragen, ob man dort über die Verhältnisse informiert ist und eine Genehmigung vorliegt. Die Befliegung ist allerdings mit einem gewissen Risiko behaftet, so dass es immer wieder zu Unfällen kommt. Observation of the route with planes or helicopters observed. From a bird's-eye view, small leaks can also be detected by any slight discoloration of the soil that would not be noticed from the ground. You can also see here the establishment of construction sites and can ask on the spot, if there is informed about the conditions and there is a permit. However, the flying is fraught with a certain risk, so it always comes back to accidents.
Besonders bedeutsam ist die Überwachung von Leitungen in sogenannten Bergsenkungsgebieten. Das sind Regionen wie beispielsweise das nördliche Ruhrgebiet, wo intensiver, bodenna- her Bergbau stattgefunden hat, und jetzt der Erdboden großflächig und langsam (manchmal aber auch ruckartig) nachgibt und sich absenkt. Dadurch wird eine im Boden liegende Pipeline natürlich mitgezogen, sie hängt in Folge durch und kann beschädigt werden. Bei anderen Bodenbewegungen kann es auch zu einer Stauchung der Leitung kommen. Manche Pipelinebetreiber beschäftigen daher Landvermesser, um solche kritischen Bereiche kontinuierlich zu überwachen. Wenn ein gewisses Maß überschritten ist, muss die Leitung aufgegraben und durchgeschnitten werden und dann ein entsprechendes Stück eingesetzt bzw. herausgeschnitten werden. Particularly important is the monitoring of lines in so-called mountain subsidence areas. These are regions such as the northern Ruhr area, where intensive, ground-level mining has taken place, and now the soil gives way over a large area and slowly (but sometimes jerkily) and sinks. As a result, a pipeline lying in the ground is of course pulled along, it hangs in a row and can be damaged. Other ground movements can also lead to a compression of the line. Some pipeline operators therefore employ surveyors to continuously monitor such critical areas. If a certain amount is exceeded, the pipe must be dug up and cut through and then a corresponding piece inserted or cut out.
Bei der Überwachung von Gas- und Ölpipelines, aber auch von elektrische Leitungen aus der Luft kommen vermehrt unbemannte Flugobjekte, sogenannte Drohnen zum Einsatz. Diese sind kostengünstiger als der Einsatz eines Helikopters, kleiner und damit wendiger und bei einem Unfall werden üblicherweise keine Personen gefährdet. In the monitoring of gas and oil pipelines, but also of electrical cables from the air increasingly unmanned Flying objects, so-called drones used. These are less expensive than the use of a helicopter, smaller and thus manoeuvrable and in an accident usually no people are at risk.
Bei Vermessungs- und Inspektionsaufgaben mittels unbemannter Flugobjekte ist oft die Flughöhe in Bezug auf die erfasste Datenquantität und Datenqualität von entscheidender Bedeutung. Eine größere Flughöhe schafft Überblick und vermindert das Risiko von Kollisionen mit Hindernissen, was insbesondere für das automatische oder semi-automatische Fliegen der unbemannten Flugobjekte anhand von vorgegebenen Routen von Bedeutung ist. Andererseits profitieren manche der bei den Vermessungs- und Inspektionsaufgaben verwendeten Sensoren von einer möglichst kurzen Aufnahme- bzw. Messdistanz, da die Datenqualität mit der Entfernung abnimmt. Zudem ist gerade bei erhabenen Objekten zusätzlich zur Vogelperspektive („Nadir") eine Seitenan- sieht („oblique") - idealerweise in möglichst flachem Aufnahmewinkel - für Inspektionsaufgaben erforderlich. In surveying and inspection tasks using unmanned aerial vehicles, flight altitude is often crucial in terms of data volume and data quality. Greater altitude provides an overview and reduces the risk of collisions with obstacles, which is particularly important for the automatic or semi-automatic flying of unmanned aerial vehicles based on predetermined routes. On the other hand, some of the sensors used in the surveying and inspection tasks benefit from the shortest possible recording or measuring distance, since the data quality decreases with the distance. In addition, especially with raised objects, in addition to the bird's-eye view ("nadir"), an oblique view is required for inspection tasks, ideally in the flatest possible viewing angle.
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Steuerung von unbemannten Flugobjekten anzugeben, dass diesen Ansprüchen gerecht wird. The invention is therefore based on the object of specifying a method for controlling unmanned aerial vehicles that meets these requirements.
Erfindungsgemäß geschieht dies mit einem Verfahren gemäß Anspruch 1. Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen . According to the invention, this is done with a method according to claim 1. Advantageous embodiments emerge from the subclaims.
Die Erfindung ermöglicht die automatisierte Überwachung und Vermessung von Anlagen durch autonom fliegende unbemannte Flugobj ekte . The invention enables the automated monitoring and measurement of equipment by autonomously flying unmanned Flugobj ekte.
Als besonders vorteilhafte Anwendungsfälle werden insbesondere angesehen: - die Überwachung und Vermessung eines Lagerbereiches und der darin befindlichen Objekte (Bauteile); Particularly advantageous applications are considered in particular: - the monitoring and measurement of a storage area and the objects (components) therein;
- die Überwachung von Starkstromleitungen;  - the monitoring of power lines;
- die Ortung von Leckagen in Gasleitungen;  - the location of leaks in gas pipes;
- die Messung der Schichtdicke von Erdreich über unterirdisch verlegten Gas- oder Ölpipelines. - the measurement of the layer thickness of soil over underground gas or oil pipelines.
Die Erfindung wird anhand von Figuren näher erläutert. Es zeigen beispielhaft: The invention will be explained in more detail with reference to figures. They show by way of example:
Fig. 1 den Ablauf der Befliegung eines Lagerbereichs zur Erfassung von Baugruppen oder Bauteilen von Lagerbeständen. Fig. 2 den Ablauf der Befliegung einer Hochspannungsstromleitung . Fig. 1 shows the flow of Befliegung a storage area for detecting assemblies or components of inventories. Fig. 2 shows the flow of the Befliegung a high voltage power line.
Fig. 3 die Überblicksvermessung einer auf Ständern gelagerten oberirdischen Pipeline. 3 shows the survey survey of an aboveground pipeline mounted on uprights.
Fig. 1 zeigt schematisch einen Lagerbereich BR mit unterschiedlichen Bauteilen Bl, B2, B3, B4. Dieser Lagerbereich kann sich im Freien befinden oder aber auch in einer geschlossenen Räumlichkeit wie z.B. einer Lagerhalle. Fig. 1 shows schematically a storage area BR with different components Bl, B2, B3, B4. This storage area may be located outdoors or in a closed space such as a garage. a warehouse.
Insbesondere bei Großbauteilen Bl, B2, B3, B4 mit Abmessungen im Bereich von 5-10 m und darüber stößt die bodennahe Aufnahme und Vermessung schnell an ihre Grenzen, daher bringt in diesem Fall der Einsatz von unbemannten Flugobjekten mit ge- eigneter Sensorik besondere Vorteile. Particularly in the case of large components B1, B2, B3, B4 with dimensions in the range of 5-10 m and above, the close-up recording and surveying quickly reaches its limits, therefore the use of unmanned flying objects with suitable sensors brings particular advantages in this case.
Damit können die Bauteile Bl, B2, B3, B4 nicht nur lokalisiert und identifiziert, sondern auch hochgenau vermessen und hinsichtlich der Einhaltung von Fertigungstoleranzen über- prüft werden, was oftmals die Bedingung für eine spätere Verarbeitung darstellt. Dabei ist die Messgenauigkeit von der Flughöhe und insbesondere bei Bauteilen Bl, B2, B3, B4 mit komplexer Oberfläche auch vom Aufnahmewinkel und der Zahl der Messpunkte abhängig, sodass für gute Messergebnisse Aufnahmen bzw. Messvor- gänge von unterschiedlichen Positionen aus erforderlich sind. Thus, the components Bl, B2, B3, B4 can not only be located and identified, but also measured with high precision and checked for compliance with manufacturing tolerances, which often represents the condition for subsequent processing. In this case, the measurement accuracy of the altitude and, in particular, components Bl, B2, B3, B4 with a complex surface also depends on the recording angle and the number of measurement points, so that recordings or measuring operations from different positions are required for good measurement results.
Die dafür notwendigen Flugbewegungen erhöhen die Gefahr von Kollisionen mit Objekten in der Umgebung. Gemäß dem erfindungsgemäßen Verfahren erfolgt nun die Steuerung eines zur Erfassung und Vermessung von Objekten in einem Lagerbereich eingesetzten unbemannten Flugobjektes in der Weise, dass vorab für den zu erfassenden und vermessenden Bereich eine weitgehend hindernisfreie Überflugszone UZ fest- gelegt wird, in welcher das unbemannte Flugobjekt UAV mit geeigneten Sensoren und Aufnahmetechniken Überblicksmessungen des Lagerbereichs BR durchführt. The necessary movements of the aircraft increase the risk of collisions with objects in the environment. In accordance with the method according to the invention, an unmanned flying object used for detecting and measuring objects in a storage area is now controlled in such a way that a largely obstacle-free overflight zone UZ is defined in advance for the area to be detected and measured, in which the unmanned flying object UAV Performs an overview of the storage area BR with suitable sensors and recording techniques.
Diese hindernisfreie Überflugszone UZ wird vorzugsweise in einer Höhe vorgesehen, in der auch die höchsten zu erwartenden Objekte Bl, B2, B3, B4 überflogen werden. Sofern der Lagerbereich überdacht ist, wird die Überflugszone UZ unterhalb des Daches bzw. unterhalb von am Dach montierten Elementen wie beispielsweise von Beleuchtungskörpern vorgesehen wer- den. This obstacle-free overflow zone UZ is preferably provided at a height in which the highest expected objects Bl, B2, B3, B4 are flown over. If the storage area is roofed over, the overflow zone UZ will be provided below the roof or underneath roof-mounted elements, such as lighting fixtures.
In dieser Zone erfolgt eine erste Befliegung und Überblicksvermessung des Lagerbereichs BR . Auf Basis der Ergebnisse der Überblicksmessungen wird daraufhin ein Überblicksmodell des Lagerbereichs mitsamt den darin befindlichen Objekten ermittelt. In this zone, a first aerial survey and survey survey of the storage area BR takes place. On the basis of the results of the overview measurements, an overview model of the storage area together with the objects contained therein is then determined.
Vorzugsweise handelt es sich dabei um ein dreidimensionales digitales Oberflächenmodell DOM, welches beispielsweise mittels photogrammetrischen Verfahren aus überlappenden Fotographien mit unterschiedlichen Positionen, oder aber durch Laservermessung (LiDAR) erstellt werden kann. Anhand dieses Überblicksmodells DOM wird eine Abfolge von Positionen für Detailmessungen und eine hindernisfreie Flugroute FR für ein unbemanntes Flugmodell UAV zur Einnahme der Abfolge von Positionen ermittelt. Diese Route wird der Steuerung des unbemannten Flugmodells UAV zugrunde gelegt. Preferably, this is a three-dimensional digital surface model DOM, which for example by means of photogrammetric method from overlapping photographs with different positions, or by laser measurement (LiDAR) can be created. On the basis of this overview model DOM, a sequence of positions for detailed measurements and an obstacle-free flight route FR for an unmanned aerial model UAV for taking the sequence of positions is determined. This route is based on the control of the unmanned aerial model UAV.
Es kann dabei vorteilhaft sein, wenn die Überblicksmessungen und die Detailmessungen von unterschiedlichen unbemannten Flugobjekten UAV durchgeführt werden. Dies insbesondere deswegen, weil dann die unbemannten Flugobjekte UAV mit unter- schiedlichen Sensoren ausgestattet sein können und ggf. Überblicks- und Detailmessungen mit unterschiedlichen Verfahren erfolgen können. Dabei wäre es auch denkbar, dass für die Detailmessungen kleine und wendige unbemannte Flugobjekte UAV zum Einsatz kommen, was besonders bei beengten Verhältnissen von Vorteil ist. It may be advantageous if the overview measurements and the detailed measurements of different unmanned aerial objects UAV are performed. This is particularly the case because the unmanned flying objects UAV can then be equipped with different sensors and, if necessary, overview and detail measurements can be carried out using different methods. It would also be conceivable that small and agile unmanned aerial vehicles UAV be used for the detailed measurements, which is particularly advantageous in cramped conditions.
Darüber hinaus kann durch de parallelen Einsatz mehrerer unbemannter Flugobjekte UAV die Vermessungszeit verkürzt werden, was insbesondere bei Anwendungsfällen, bei denen die Bauteile Bl, B2, B3, B4 nur eine kurze Lagerzeit aufweisen, d.h. die Durchlaufzeit der Bauteile durch das Lager vergleichsweise gering ist, einen weiteren erheblichen Vorteil darstellt . Die Route FR kann mit bekannten Routingalgorithmen hinsichtlich unterschiedlicher Parameter wie beispielsweise des Zeitaufwandes, des Energieverbrauches oder aber des Kollisionsrisikos optimiert sein. Ein weiterer bevorzugter Anwendungsfall des erfindungsgemäßen Verfahrens wird anhand der Fig. 2 erläutert. Die Darstellung nach Fig. 2 zeigt den Bereich um zwei als Freileitung ausgeführte elektrische Hochspannungsleitungen HL. Aufgrund ihrer Abmessungen von vielen Kilometern Länge und einer Höhe von etwa 60 Metern ist die Überwachung dieser Freileitungen eine Aufgabe, die üblicherweise mittels Hubschraubern durchgeführt wird. Durch den Einsatz unbemannter Flugobjekte UA können die Kosten der Befliegung erheblich gesenkt und damit die Frequenz der Überwachungsflüge gesteigert und die Qualität der Überwachung erhöht werden. Dabei wird gemäß der Erfindung das betreffende Gelände in hindernisfreier Höhe überflogen und beispielsweise fotografiert oder mittels LiDAR gescannt. In addition, can be shortened by de parallel use of multiple unmanned aerial vehicles UAV the measurement time, which is particularly in applications in which the components Bl, B2, B3, B4 have only a short storage time, ie the lead time of the components through the camp is relatively low, represents a further significant advantage. The route FR can be optimized with known routing algorithms with respect to different parameters such as the time required, the energy consumption or the collision risk. Another preferred application of the method according to the invention will be explained with reference to FIG. 2. The illustration according to FIG. 2 shows the region around two electrical high-voltage lines HL designed as an overhead line. Due to its dimensions of many kilometers in length and a height of about 60 meters, the monitoring of these overhead lines is a task that is usually performed by helicopters. The use of unmanned aerial vehicles UA can significantly reduce the cost of airborne flights, thus increasing the frequency of surveillance flights and increasing the quality of surveillance. In this case, according to the invention, the terrain in question is overflown in obstacle-free height and, for example, photographed or scanned by LiDAR.
Neben Aufnahmen im sichtbaren Bereich des Lichtes sind auch Aufnahmen im nahen Infrarotbereich oder mit thermischem Infrarot für bestimmte Anwendungsfälle vorteilhaft. So eignet sich nahes Infrarot mit einer Wellenlänge von 780 nm bis 3 ym (Spektralbereiche IR-A und IR-B) besonders gut zur Detektion von Vegetation, da im nahen Infrarotbereich Chlorophyll eine um etwa den Faktor 6 höhere Reflektivität als im sichtbaren Spektrum aufweist. Zur Erkennung von Vegetation kann dieser Effekt ausgenutzt werden, indem eine Aufnahme im vorzugsweise roten Spektrum des sichtbaren Bereichs, und eine weitere Aufnahme im nahen Infrarot gemacht wird. Nutzobjekte haben so- wohl im sichtbaren als auch im nahen infraroten Bereich eine ungefähr gleiche Reflektivität, während Chlorophyll-haltige Vegetation im nahen Infrarot einen deutlich höheren Reflexionsgrad besitzt. Somit können z. B. auch grüne Nutzobjekte von ebenso grüner Vegetation unterschieden werden. In addition to recordings in the visible range of light, recordings in the near infrared range or with thermal infrared are also advantageous for certain applications. Thus, near infrared with a wavelength of 780 nm to 3 ym (spectral ranges IR-A and IR-B) is particularly well suited for the detection of vegetation, since in the near infrared range chlorophyll has a reflectivity about 6 times higher than in the visible spectrum. For the detection of vegetation, this effect can be exploited by taking a picture in the preferably red spectrum of the visible region, and a further recording in the near infrared. Utility buildings have approximately the same reflectivity in the visible as well as in the near infrared range, whereas chlorophyll-containing vegetation in the near infrared has a significantly higher reflectivity. Thus, z. B. green utility objects are distinguished by equally green vegetation.
Thermisches Infrarot kann hingegen zur Ermittlung von Lecks in Pipelines herangezogen werden, bei denen Flüssigkeiten oder Gase mit im Vergleich zur Umgebung höherer Temperatur austreten . On the other hand, thermal infrared can be used to detect leaks in pipelines that contain liquids or gases with higher ambient temperature compared to the environment.
Auch bei Hochspannungsleitungen kann die Temperatur der Leiterseile ein Hinweis auf einen Defekt sein und eine thermische Infrarotaufnahme daher wertvolle Daten liefern. Even with high voltage power lines, the temperature of the conductors can be an indication of a defect and provide a thermal infrared image therefore valuable data.
Aus den erfassten Daten und den beispielsweise mittels globa ler Satellitennavigationssysteme bestimmten Positionen des unbemannten Flugobjektes UA wird in der Folge ein dreidimensionales digitales Oberflächenmodell DOM als Überblicksmo dell erzeugt. From the acquired data and the positions of the unmanned aerial object UA determined, for example, by means of global satellite navigation systems, a three-dimensional digital surface model DOM is subsequently generated as an overview model.
Als Alternative bzw. Ergänzung zu Satellitennavigationssyste men ist eine Positionsbestimmung mittels Magnetometer, Inertialmesssystemen (IMU) sowie barometrischer Sensoren denk bar . As an alternative or supplement to satellite navigation systems, it is possible to determine the position using a magnetometer, inertial measurement systems (IMU) and barometric sensors.
Aus einer Analyse des Überblicksmodells werden sogenannte „Points of Interests" wie beispielsweise thermisch auffällig Punkte oder vorab festgelegte störungsanfällige Leitungselemente wie z.B. Isolatoren bestimmt und dazu zweckmäßige Posi tionen für Detailmessungen ermittelt. From an analysis of the overview model, so-called "points of interests" such as, for example, thermally conspicuous points or predefined fault-prone line elements, such as isolators, are determined and appropriate positions for detailed measurements are determined.
Bei der Positionsauswahl sind die verwendete Messmethode und sich daraus ergebende Abstände und Winkel zum Messobjekt, aber auch Sicherheitsbestimmungen zu berücksichtigen, sodass einerseits die Qualität der ermittelten Daten ein Optimum er reicht und andererseits die Kollisionswahrscheinlichkeit bzw Gefährdung des unbemannten Flugobjektes UAV bei An- und Abflug der Position ein Minimum ist. When choosing a position, the measuring method used and the resulting distances and angles to the object to be measured, as well as safety regulations must be taken into account so that on the one hand the quality of the determined data is optimum and, on the other hand, the probability of collision or endangerment of the unmanned aerial object UAV during takeoff and landing Position is a minimum.
So sind bei einer Hochspannungsleitung in Betrieb auch die elektrischen Feldstärken und Magnetfelder zu berücksichtigen die ggf. die Messgeräte oder die Elektronik des unbemannten Flugobjektes UAV beeinflussen oder stören könnten. Darüber hinaus bildet auch die Vegetation in Form von Bäumen oder Sträuchern Hindernisse und Gefahrenquellen für die Befliegung . Aus diesen Daten wird mit bekannten Routingverfahren eine Abfolge von Positionen für Detailmessungen und eine hindernisfreie Flugroute FR für ein unbemanntes Flugmodell UAV zur Einnahme der Abfolge von Positionen ermittelt. Die Positionen für Detailmessungen können durch die Geometrie des Objektes bestimmt sein. So bietet sich bei Hochspannungsleitungen SL oder, wie in Fig. 3 dargestellt, bei auf Ständern oberirdisch gelagerten Pipelines PL ein Umfliegen der Leitungen in einer vertikalen Schleife an. Thus, in the case of a high-voltage line in operation, the electric field strengths and magnetic fields which possibly influence or disturb the measuring devices or the electronics of the unmanned flying object UAV must also be taken into account. In addition, the vegetation in the form of trees or shrubs forms obstacles and hazards for the aerial survey. From these data, a sequence of positions for detailed measurements and an obstacle-free flight route FR for an unmanned aerial model UAV for taking the sequence of positions is determined using known routing methods. The positions for detailed measurements may be determined by the geometry of the object. Thus, in the case of high-voltage lines SL or, as shown in FIG. 3, in pipelines PL mounted above-ground on pipelines, it is advisable to fly around the lines in a vertical loop.
Es kann vorteilhaft sein, mehrere unbemannte Flugobjekte UAV mit unterschiedlichen Ausstattungen einzusetzen. It may be advantageous to use several unmanned aerial vehicles UAV with different equipment.
So können etwa für die Überblicksmessungen aus der weitgehend hindernisfreien Überflugszone UZ Flächenflugzeuge eingesetzt werden, welche hohe Geschwindigkeiten erreichen und große Distanzen zurücklegen können. Thus, for example, for the survey measurements from the largely obstacle-free overflight zone UZ surface aircraft can be used, which can reach high speeds and cover large distances.
Die Detailmessungen können hingegen mit Rotorflugzeugen wie beispielsweise Multicoptern durchgeführt werden, die besonders wendig sind und aufgrund ihrer Fähigkeit zum Schwebeflug auch andere Messverfahren ermöglichen. The detail measurements, however, can be carried out with rotor aircraft such as multicopters, which are particularly agile and due to their ability to hover also allow other measurement methods.
Dazu können die unbemannten Flugobjekte UAV auch mit unter- schiedlichen Messvorrichtungen bestückt sein. For this purpose, the unmanned flying objects UAV can also be equipped with different measuring devices.
Es kann auch zweckmäßig sein, den Einsatz mehrerer unbemannter Flugobjekte UAV aufeinander abzustimmen, sodass beispielsweise jedem unbemannten Flugobjekt UAV ein bestimmter Abschnitt einer Hochspannungsleitung SL zugewiesen wird. Diese Zuweisung kann auch dynamisch z.B. in Abhängigkeit von den Windverhältnissen und den jeweiligen Reichweiten der unbemannten Flugobjekte UAV erfolgen. Bezugszeichenliste It may also be expedient to coordinate the use of several unmanned aerial objects UAV, so that, for example, each unmanned aerial object UAV is assigned a specific section of a high-voltage pipeline SL. This assignment can also be made dynamically, for example as a function of the wind conditions and the respective ranges of the unmanned aerial objects UAV. LIST OF REFERENCE NUMBERS
UAV unbemanntes Flugobjekt UAV unmanned aerial object
UZ Überflugszone UZ overflight zone
DOM dreidimensionales digitales Oberflächen Modell DOM three-dimensional digital surface model
BER zu erfassender und vermessender Bereich BER to be detected and measured area
FR hindernisfreie Flugroute  FR obstacle-free flight route
Bl, B2, B3, B4, gelagerte Bauteile  Bl, B2, B3, B4, stored components
SL Stromleitung SL power line
PL Pipeline  PL pipeline

Claims

Patentansprüche / Patent Claims Claims / Patent Claims
Verfahren zur Steuerung eines zur Erfassung und Vermessung von Objekten in einem vorgegebenen Bereich eingesetzten unbemannten Flugobjektes (UAV) dadurch gekennzeichnet, dass Method for controlling an unmanned flying object (UAV) used for detecting and measuring objects in a given area, characterized in that
- für den zu erfassenden und vermessenden Bereich (BER) eine weitgehend hindernisfreie Überflugszone (UZ) festgelegt wird, in welcher das unbemannte Flugobjekt (UAV) mit geeigneten Sensoren und Aufnahmetechniken Überblicksmessungen des Bereichs durchführt,  for the area to be surveyed and surveyed (BER), a largely obstacle-free overflight zone (UZ) is established, in which the unmanned aerial vehicle (UAV) carries out survey measurements of the area with suitable sensors and recording techniques,
- dass auf Basis der Überblicksmessungen ein dreidimensionales digitales Oberflächen Modell (DOM) des Bereichs (BER) mitsamt den darin befindlichen Objekten ermittelt wird und  - that based on the survey measurements, a three-dimensional digital surface model (DOM) of the area (BER) is determined together with the objects therein and
- dass auf Basis des digitalen Oberflächenmodells (DOM) eine Abfolge von Positionen für Detailmessungen und eine hindernisfreie Flugroute (FR) für ein unbemanntes Flugmodell (UAV) zur Einnahme der Abfolge von Positionen ermittelt wird und der Steuerung des unbemannten Flugmodells (UAV) zugrunde gelegt wird.  - that based on the digital surface model (DOM) a sequence of positions for detailed measurements and an obstacle-free flight path (FR) for an unmanned aerial vehicle (UAV) for taking the sequence of positions is determined and the control of the unmanned aerial vehicle (UAV) is used ,
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als vorgegebener Bereich ein Lagerbereich (BER) mit unterschiedlichen Bauteilen oder Baugruppen (Bl, B2, B3, B4) mittels unbemanntem Flugobjekt (UAV) erfasst und vermessen wird. A method according to claim 1, characterized in that as a predetermined area a storage area (BER) with different components or assemblies (Bl, B2, B3, B4) by means of unmanned flying object (UAV) is detected and measured.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als zu erfassendes und vermessendes Objekt eine elektrische Stromleitung (SL) vorgesehen ist. 4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als zu erfassendes und vermessendes Objekt eine Pipeline für Flüssigkeiten oder Gase (PL) vorgesehen ist. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das dreidimensionale digitale Oberflächen Modell (DOM) des Bereichs aus sich überlappenden Fotografien erzeugt wird. 3. The method according to claim 1, characterized in that as the object to be detected and measured an electrical power line (SL) is provided. 4. The method according to claim 1, characterized in that a pipeline for liquids or gases (PL) is provided as the object to be detected and measured. Method according to one of claims 1 to 4, characterized in that the three-dimensional digital surface model (DOM) of the region is generated from overlapping photographs.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das dreidimensionale digitale Oberflächen Modell (DOM) des Bereichs aus LiDAR Messungen der unbemannten Flugobjekte (UAV) erzeugt wird. Method according to one of claims 1 to 4, characterized in that the three-dimensional digital surface model (DOM) of the range from LiDAR measurements of unmanned aerial vehicles (UAV) is generated.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass mehrere unbemannte Flugobjekte (UAV) mit unterschiedlichen Ausstattungen eingesetzt werden. Method according to one of claims 1 to 6, characterized in that a plurality of unmanned aerial vehicles (UAV) are used with different equipment.
EP17768713.4A 2016-09-07 2017-09-05 Method for controlling unmanned flying objects Withdrawn EP3472048A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16187609.9A EP3293115B1 (en) 2016-09-07 2016-09-07 Method for controlling of unmanned aerial vehicles
PCT/EP2017/072231 WO2018046492A1 (en) 2016-09-07 2017-09-05 Method for controlling unmanned flying objects

Publications (1)

Publication Number Publication Date
EP3472048A1 true EP3472048A1 (en) 2019-04-24

Family

ID=56893790

Family Applications (2)

Application Number Title Priority Date Filing Date
EP16187609.9A Active EP3293115B1 (en) 2016-09-07 2016-09-07 Method for controlling of unmanned aerial vehicles
EP17768713.4A Withdrawn EP3472048A1 (en) 2016-09-07 2017-09-05 Method for controlling unmanned flying objects

Family Applications Before (1)

Application Number Title Priority Date Filing Date
EP16187609.9A Active EP3293115B1 (en) 2016-09-07 2016-09-07 Method for controlling of unmanned aerial vehicles

Country Status (6)

Country Link
US (1) US11010607B2 (en)
EP (2) EP3293115B1 (en)
CA (1) CA3033123C (en)
PL (1) PL3293115T3 (en)
RU (1) RU2721450C1 (en)
WO (1) WO2018046492A1 (en)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015224854A1 (en) * 2015-12-10 2017-06-14 Siemens Aktiengesellschaft Method of creating a depth map
EP3376213A1 (en) * 2017-03-15 2018-09-19 Siemens Aktiengesellschaft Method and assembly for monitoring the state of a system with operating elements
CN108537182A (en) * 2018-04-13 2018-09-14 中国中医科学院中药研究所 Chinese medicine cultivated area method for automatically counting based on unmanned aerial vehicle remote sensing data
US10916150B2 (en) * 2018-05-03 2021-02-09 Arkidan Systems Inc. Computer-assisted aerial surveying and navigation
CN108718112B (en) * 2018-07-17 2020-06-16 易讯科技股份有限公司 Power grid monitoring system and method based on Beidou navigation system
US11097796B2 (en) * 2018-11-29 2021-08-24 Saudi Arabian Oil Company Articulated magnet-bearing legs for UAV landing on curved surfaces
CN109341702B (en) * 2018-12-13 2021-07-20 广州极飞科技股份有限公司 Route planning method, device and equipment in operation area and storage medium
CN111864618B (en) * 2019-04-24 2021-09-10 广州煜煊信息科技有限公司 Unmanned aerial vehicle inspection method and system for power system
CN112313476A (en) * 2019-11-05 2021-02-02 深圳市大疆创新科技有限公司 Air route planning method and device for unmanned aerial vehicle
RU2766308C1 (en) * 2020-09-03 2022-03-14 Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации Unmanned complex of chemical soil exploration
CN112306095A (en) * 2020-11-03 2021-02-02 山西银锋科技有限公司 Unmanned aerial vehicle tunnel inspection system for underground coal mine
CN113311856A (en) * 2021-05-31 2021-08-27 中煤航测遥感集团有限公司 Unmanned aerial vehicle data management method, device, equipment and storage medium
CN113776504B (en) * 2021-11-11 2022-01-11 长江空间信息技术工程有限公司(武汉) High-precision photographing and quality control method for water engineering unmanned aerial vehicle with complex structure
CN117593916B (en) * 2023-10-25 2024-04-12 数字鲸鱼(山东)能源科技有限公司 Unmanned aerial vehicle route recording and application method with high safety

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7411196B2 (en) * 2005-08-18 2008-08-12 Itt Manufacturing Enterprises, Inc. Multi-sensors and differential absorption LIDAR data fusion
US8497905B2 (en) 2008-04-11 2013-07-30 nearmap australia pty ltd. Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
DE102011017564B4 (en) * 2011-04-26 2017-02-16 Airbus Defence and Space GmbH Method and system for inspecting a surface for material defects
US9162753B1 (en) * 2012-12-31 2015-10-20 Southern Electrical Equipment Company, Inc. Unmanned aerial vehicle for monitoring infrastructure assets
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
US10187616B2 (en) 2013-06-04 2019-01-22 James W. Shondel Unmanned aerial vehicle inventory system
DE102014201238A1 (en) * 2014-01-23 2015-07-23 Siemens Aktiengesellschaft Method and system for creating a vector map
US9618934B2 (en) * 2014-09-12 2017-04-11 4D Tech Solutions, Inc. Unmanned aerial vehicle 3D mapping system
US9635259B2 (en) * 2015-01-21 2017-04-25 Izak Jan van Cruyningen Forward motion compensated flight path
US20170285092A1 (en) * 2016-03-31 2017-10-05 U.S.A. As Represented By The Administrator Of The National Aeronautics And Space Administration Directional unmanned aerial vehicle (uav) localization of power line ultraviolet corona using point detectors
CA2929254C (en) * 2016-05-06 2018-12-11 SKyX Limited Unmanned aerial vehicle (uav) having vertical takeoff and landing (vtol) capability

Also Published As

Publication number Publication date
PL3293115T3 (en) 2020-04-30
US20190205644A1 (en) 2019-07-04
US11010607B2 (en) 2021-05-18
EP3293115B1 (en) 2019-10-30
RU2721450C1 (en) 2020-05-19
CA3033123C (en) 2022-05-03
EP3293115A1 (en) 2018-03-14
WO2018046492A1 (en) 2018-03-15
CA3033123A1 (en) 2018-03-15

Similar Documents

Publication Publication Date Title
EP3293115B1 (en) Method for controlling of unmanned aerial vehicles
DE102011017564B4 (en) Method and system for inspecting a surface for material defects
Adams et al. A survey of unmanned aerial vehicle (UAV) usage for imagery collection in disaster research and management
Drummond et al. UAV applications to coastal engineering
EP3596570B1 (en) Method for determining a path along an object, system and method for automatic inspecting an object
WO2018167006A1 (en) Method and arrangement for condition monitoring of a facility with operating means
EP3400415B1 (en) Overburden thickness measurement
Madden et al. 10 Unmanned Aerial Systems and Structure from Motion Revolutionize Wetlands Mapping
DE102008018880A1 (en) Monitoring procedures and equipment for wind turbines, buildings with transparent areas, runways and / or airport corridors
DE102015006233B4 (en) Procedure for determining the trajectory of an alien drone
EP2813914A1 (en) Monitoring of technical installations with an unmanned flying object
Mulero-Pázmány et al. A low cost way for assessing bird risk hazards in power lines: Fixed-wing small unmanned aircraft systems
WO2017215885A1 (en) Method for visualizing and validating process events and system for carrying out the method
EP4200587A1 (en) Method and aircraft for monitoring operational states and for determining outage probabilities of current-carrying line systems
EP4028752A1 (en) System and method for monitoring an air space for an extensive site
Blanks UAS applications
EP3373092B1 (en) Method for locating a fault of a system
DE102016110477A1 (en) Method for positioning an in particular unmanned aircraft with the aid of an active static ground station and aircraft and ground station for carrying out the method
EP3623893A1 (en) Method for locating a fault of a system
EP3640620A1 (en) Method for detecting the course of an underground pipeline by means of an airborne detection device
Leaverton Generation drone: The future of utility o&m
DE102017000783A1 (en) Development of a computer-implemented invention / integrated control system for the process control and processing of all information from the inspection of objects using autonomously flying drones (multicopters, surface airplanes or unmanned aerial vehicles (UAV).
Drennan et al. Applying UAS Technologies at Night during a Wildlife Hazard Assessment
Gogel et al. Use of Modern Technologies and Methodologies to Improve Helicopter Accident Investigation
DE102017209279A1 (en) drone

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190118

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20201002

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS ENERGY GLOBAL GMBH & CO. KG

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20210213