EP2251849B1 - Verfahren zur verbesserten Erkennung von leitungsartigen Objekten - Google Patents
Verfahren zur verbesserten Erkennung von leitungsartigen Objekten Download PDFInfo
- Publication number
- EP2251849B1 EP2251849B1 EP10002260.7A EP10002260A EP2251849B1 EP 2251849 B1 EP2251849 B1 EP 2251849B1 EP 10002260 A EP10002260 A EP 10002260A EP 2251849 B1 EP2251849 B1 EP 2251849B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- measurement points
- straight line
- profiles
- matrix
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Not-in-force
Links
- 238000000034 method Methods 0.000 title claims description 38
- 230000009466 transformation Effects 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000005259 measurement Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 10
- 238000010183 spectrum analysis Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 229940050561 matrix product Drugs 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
- G08G5/0086—Surveillance aids for monitoring terrain
Definitions
- the invention relates to a method for improved detection of line-type objects according to the features of patent claim 1.
- the present method is suitable for low-flying aircraft to avoid collisions with power lines and other line-type objects such as e.g. Guy wires of masts, cable cars, etc.
- a method for obstacle warning for low-flying aircraft In this case, distance images of the environment in front of the aircraft are generated by means of a sensor. Obstacle contours are extracted from the distance images by searching for discontinuities ("hops") between adjacent image pixels by means of high-pass filters. With a navigation system, the location of the Hindemisk correction can be superimposed graphically on the natural external view. A recognition of the obstacle in the true sense does not take place.
- DE 10 2005 047 273 B4 Another method for supporting low-level flights is described, which is based on the examination of jumps in the recorded distance images. In this method, wire-like obstacles are detected in strong environmental conditions, such as clutter or when looking at the sky.
- US 2008 / 0007708A1 also describes a method for line detection in which a Hough transformation is used.
- a Hough transformation By means of a rangefinder distance images are taken during the flight and potential images in which lines could occur selected. Subsequently, a projection of the potential line measuring points in a horizontal Level. In a subsequent Hough transformation and subsequent shape transformation, the identification of straight line pieces takes place.
- the object of the invention is to provide a method for improved line detection, with which lines are detected reliably and in real time.
- a set of three-dimensional measurement points in a geodesic coordinate system are generated from the distance values of a distance image generated by a distance sensor of this environment, taking into account the position and location of the aircraft. From this set of measurement points, potential line measurement points are extracted using known filter methods.
- the potential line measurement points are projected into a horizontal plane and identified by means of a polynomial phase transformation and a subsequent spectral analysis of line progressions.
- the potential line measurement pixels are projected on and at a predeterminable distance from a straight line found in the first step into a vertical plane to the horizontal plane and the respective straight line from the first step, and catenoid or parabolic courses are identified by means of a quadratic shape transformation.
- a mathematical analogy is established between a line fit and the determination of the spectral parameters of a signal having a plurality of components.
- an assignment of suitable measuring points i. which are within a defined corridor, i. having a predetermined distance to the estimated in the first step straight line, instead.
- the evaluation in the second method step according to the invention is generalized to the identification of catenoids.
- the identification can also be done on parabolas.
- the result of an evaluation of a distance image (data set) can be compared with the results of the temporally advanced images in addition to the confirmation.
- the position of the lines relative to one another can be investigated on the basis of the parameterization found by the polynomial phase transformation, and implausible line courses can be eliminated.
- the attitude relative to the extrapolated flight trajectory of the missile can be examined to generate a warning in critical cases.
- the pilot can be informed, for example, about the distance, height and direction relative to the helicopter axis or flight vector.
- the line can be drawn as a symbol, cloud of measurement point or katenoid based on the found parameterization as a video or FLIR overlay or in a digital map.
- the sensor selected is an imaging front-end which actively scans the scene and whose image information consists of distance values. Distance images are advantageous for the subsequent automatic image evaluation for line detection.
- the sensors used are a laser scanner, which preferably operates in the infrared range, or an imaging radar in the mm-wave range. Although the radar has certain advantages in terms of bad weather conditions (fog), according to the current state of the art, only one laser scanner has the desired vertical and lateral image resolution. Both sensors are equally suitable as active systems for day and night operation.
- a suitable laser scanner is designed for long ranges (> 1km) and high image resolution (eg 0.5 horizontal * 0.1 degrees vertical). For each distance image, the spatial direction into which the laser measurement pulse was emitted must be clearly determinable in the sensor-oriented coordinate system, by the design of the scanner and possibly by additional measurements during the scanning process.
- the navigation system is used to determine the position and position of the aircraft.
- Each distance value is converted into a scene point using the coordinates of the associated spatial scanning direction and the current position and attitude parameters of the aircraft.
- a scene point (measuring point) is defined by its three spatial coordinates in a terrestrial coordinate system. From each distance image, a so-called earth-fixed measuring point cloud is formed in this way, from which possibly existing lines can be extracted.
- Data processing is handled by a mid-power processor. On this, the above-mentioned transformation of distance measurement values into measurement points is first carried out.
- the resulting data serves as input for an evaluation unit.
- the evaluation unit determines whether the individual lines are in dangerous proximity to the current position of the aircraft or the intended trajectory.
- the result of this evaluation is communicated visually and / or acoustically to the pilot.
- an imaging front-end can be used, which actively scans the surroundings of the aircraft and whose image information consists of distance values. The resulting distance images are used in the subsequent process steps for line detection.
- Suitable sensors are a laser scanner or an imaging radar in the mm-wave range. In contrast to the radar, which has certain advantages with regard to bad weather operation (fog), a laser scanner has a comparatively better vertical and lateral image resolution. Both sensors are equally suitable as active systems for day and night operation.
- a suitable laser scanner is designed for long ranges (> 1km) and high image resolution (eg 0.5 horizontal * 0.1 degrees vertical). For each distance image is determined by the design of the scanner and by any additional measurements during the scan, the spatial direction in which the laser measuring pulse was emitted clearly in the sensor-oriented coordinate system.
- the navigation system is used to determine the position and position of the aircraft.
- Each distance value is converted to a measuring point using the coordinates of the associated spatial scanning direction and the current position and attitude parameters of the aircraft.
- a measuring point is defined by its three spatial coordinates in a geodetic coordinate system. From each distance image arises in this way a so-called earth-proof measuring point cloud from which existing lines can be extracted.
- Data processing is handled by a mid-power processor. On this a transformation of the distance measurement values into measuring points is carried out. The resulting data serves as input for an evaluation unit. The evaluation unit determines whether the individual lines are in dangerous proximity to the current position of the aircraft or the intended trajectory The result of this evaluation is communicated visually and / or acoustically to the pilot.
- the starting point for the PPT used in the invention is a reduced amount of three-dimensional measuring points.
- the reduced quantity is due to the fact that only such measured values are subjected to a PPT which has not been eliminated by clutter or interference filters.
- a first method step of the invention only the horizontal (x, y) component of the measured values is evaluated in order to identify the straight line courses in this point set. Horizontal lines are potential directions of passage of lines.
- all vertical planes belonging to the straight lines found here are examined for catenoid pieces or parabolic pieces [Katenoide: cosh (x)]. That is, all measurement points lying in or near such a plane are projected into that plane, and the resulting set of two-dimensional measurement points is examined for catenoids using quadratic shape transformation (QFT).
- QFT quadratic shape transformation
- Polynomial phase transformation (polynomial phase transform - PPT)
- the invention is based on the so-called polynomial phase transform.
- the problem of the line detection according to the invention is converted into a problem of the frequency determination of a sinusoidal signal or the spectral analysis of a frequency mixture in the case of multiple lines.
- known signal processing methods are available (Fourier Transformation, Matrix Pencil, FFT, Wavelets, Esprit, Pisarenco, MUSIC etc.) where the matrix Pencil has proven to be particularly efficient and will be explained in detail below.
- the frequencies ⁇ j are determined according to the invention.
- these include the Fourier transform (FT), the Maximum Likelihood Method (MLM), the least squares method (LSM) and the Matrix Pencil Method (MPM).
- FT Fourier transform
- MLM Maximum Likelihood Method
- LSM least squares method
- MPM Matrix Pencil Method
- the matrix pencil method is used.
- the other methods for frequency determination can be used.
- T means transposed and L is a chosen parameter, the so-called pencil parameter, with d ⁇ L ⁇ N - d.
- the continuity of each element of the truncated pseudoinverse is Y 0 + also at the point where the noise equals 0, and thus also the continuity of the z r 's.
- Y 0 + is identical to X 0 + if and only if the noise is zero.
- Y 0 + Y 1 If LM has singular values equal to zero that do not contain information about the z r 's, one can reduce the size of the matrix before calculating the singular values.
- the singular values z r are the M eigenvalues of Z E * which are the same as the M non-zero singular values of Y 0 + Y 1 ,
- Quadratic Form Transform (QFT)
- the pixels of the line are transformed into the front view. In other words, you no longer look at the pixels of the straight line from a bird's eye view. Instead, one uses the first found pixel of the straight as the zero point of a new coordinate system, which uses the found straight line as one of the new axes, and the z axis as the second new axis. Thus, one obtains a graph in which the found straight should have catenoid shape if it corresponds to a high voltage line.
- the transformation PPT is based on a polynomial of degree 1.
- ⁇ # 0 expediently ⁇ is set to 1.
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
- Die Erfindung betrifft ein Verfahren zur verbesserten Erkennung von leitungsartigen Objekten gemäß den Merkmalen des Patentanspruchs 1.
- Das vorliegende Verfahren ist geeignet für tief fliegende Fluggeräte zur Vermeidung von Kollisionen mit Hochspannungsleitungen und anderen leitungsartigen Objekten wie z.B. Abspanndrähte von Masten, Seilbahnen etc.
- In
DE 196 05 218 C1 ist ein Verfahren zur Hinderniswarnung für tief fliegende Fluggeräte beschrieben. Dabei werden mittels eines Sensors Entfernungsbilder der vor dem Fluggerät sich befindenden Umgebung erzeugt. Aus den Entfernungsbildern werden Hinderniskonturen extrahiert, indem zwischen benachbarten Bildpixeln mittels Hochpassfiltern nach Diskontinuitäten ("Sprüngen") gesucht wird. Mit einem Navigationssystem kann die Lage der Hindemiskorrektur der natürlichen Außensicht graphisch überlagert werden. Eine Erkennung des Hindernisses im eigentlichen Sinn findet nicht statt. InDE 10 2005 047 273 B4 wird ein weiteres Verfahren zur Unterstützung von Tiefflügen beschrieben, welches auf der Untersuchung von Sprüngen in den aufgenommenen Entfernungsbildern basiert. Bei diesem Verfahren werden drahtähnliche Hindernisse bei starken Umgebungseinflüssen, z.B. Clutter oder beim Blick gegen den Himmel erkannt. - In
DE 100 55 572 C1 ist ein Verfahren zur Leitungserkennung beschrieben welches mit Einsatz einer Hough Transformation arbeitet. Die Hough Transformation ist bekanntermaßen ein äußerst rechenintensives Verfahren da im Prinzip sämtliche theoretisch denkbaren Lösungen auch gerechnet werden müssen. Es ergeben sich dabei szenenabhängig drastisch unterschiedliche Verarbeitungszeiten. -
US 2008/0007708A1 beschreibt ebenfalls ein Verfahren zur Leitungserkennung, bei welchem eine Hough-Transformation zum Einsatz kommt. Mittels eines Entfernungsmessers werden während des Fluges Entfernungsbilder aufgenommen und potentielle Bilder, in welchem Leitungen vorkommen könnten selektiert. Anschließend erfolgt eine Projektion der potentiellen Leitungsmesspunkte in eine horizontale Ebene. In einer nachfolgenden Hough-Transformation und anschließenden Formtransformation erfolgt die Identifizierung von Geradenstücken. - Abed-Meraim, K.; Beghdadi, A., "Multi-line fitting using polynomial phase transforms and downsampling," in Acoustics, Speech, and Signal Processing, 2001. Proceedings. (ICASSP '01). 2001 IEEE International Conference on , vol.3, no., pp.1701-1704 vol.3, 2001 doi: 10.1109/ICASSP.2001.941266 beschreibt ein Signalverarbeitungsverfahren zur Schätzung von Parametern paralleler Linien in zwei dimensionalen digitalen Bildern mit unterschiedlichem Versatz, wobei die Parameterschätzung über eine polynominale Phasentransformation gelöst wird.
- Aufgabe der Erfindung ist es, ein Verfahren zur verbesserten Leitungserkennung anzugeben, mit welchem Leitungen zuverlässig und in Echtzeit erkannt werden.
- Diese Aufgabe wird mit dem Verfahren gemäß den Merkmalen des geltenden Anspruchs 1 gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand von Unteransprüchen.
- Zur verbesserten Erkennung von leitungsartigen Objekten in einer vor einem Fluggerät befindlichen Umgebung werden aus den Entfernungswerten eines mittels eines Entfernungssensors erzeugten Entfernungsbildes dieser Umgebung unter Berücksichtigung der Position und Lage des Fluggeräts eine Menge von dreidimensionalen Messpunkten in einem geodätischen Koordinatensystem erzeugt. Aus dieser Menge von Messpunkten werden unter Verwendung bekannter Filtermethoden potentielle Leitungsmesspunkte extrahiert. In einem ersten erfindungsgemäßen Schritt werden die potentiellen Leitungsmesspunkte in eine horizontate Ebene projiziert und mittels einer polynomialen Phasentransformation und einer nachfolgenden spektralen Analyse Geradenverläufe identifiziert. In einem zweiten erfindungsgemäßen Schritt werden die potentiellen Leitungsmesspixel auf und in einem vorgebbaren Abstand zu einer im ersten Schritt gefundenen Geraden in eine vertikale Ebene zu der horizontalen Ebene und der jeweiligen Geraden aus dem ersten Schritt projiziert und mittels einer quadratischen Formtransformation Katenoiden- oder Parabelverläufe identifiziert.
-
-
- j:
- Variable zwischen 1 und d
- d:
- Zahl der Geraden
- µ1:
- konstanter Parameter zwischen 0,01 bis 1
- xj:
- Achsenabschnitt der j.ten Gerade
- ϕj
- Winkel der j.ten Gerade
- Bei den beschriebenen bekannten Filtermethoden handelt es sich um Filter, welche Clutter und Störungen, z.B. durch Sonneneinstrahlung eliminieren. Solche Filter werden z.B. in
DE 10 2005 047 273 B4 oderDE 198 28 318 C2 beschrieben. Messpunkte welehe in diesen Filtermethoden als Glutter oder Störung identifiziert werden, werden in dem ersten und zweiten erfindungsgemäßen Verfahrensschritt nicht berücksichtigt. Dadurch wird die Rechenzeit erheblich reduziert. - Die den potentiellen Leitungsmesspunkten entsprechenden Pixel werden in eine horizontale Ebene projiziert in welcher Leitungen als Geradenstücke erscheinen. Es gilt nun mit einem geeigneten Verfahren diese Geradenstücke zu erkennen.
- Wegen der bekannten Nachteile kommt hier nicht die Hough Transformation zum Einsatz.
- In dem erfindungsgemäßen Verfahren wird eine mathematische Analogie zwischen einem Linienfit und der Bestimmung der spektralen Parameter eines Signals mit mehreren Komponenten hergestellt. Für die spektrale Analyse existieren effiziente Verfahren in der digitalen Signalverarbeitung.
- In einem erfindungsgemäßen Verfahrensschritt findet eine Zuordnung geeigneter Messpunkte, d.h. welche sich innerhalb eines definierten Korridors, d.h. einen vorgegebenen Abstand aufweisend, um die im ersten Verfahrensschritt abgeschätzten Gerade befinden, statt.
- Die Auswertung im zweiten erfindungsgemäßen Verfahrensschritt erfolgt verallgemeinert auf die Identifizierung von Katenoiden. Als Näherung zur Rechenzeitersparnis kann die Identifizierung auch auf Parabeln erfolgen.
- Um eine niedrige Falschalarmrate zu erreichen, kann das Ergebnis einer Auswertung eines Entfernungsbildes (Datensatz) zusätzlich zur Bestätigung mit den Ergebnissen der zeitlich voran gegangenen Bilder verglichen werden.
- Es können zur Erhöhung der Verfahrenssicherheit auch mehrere Datensätze zur Auswertung akkumuliert werden.
- Werden mehrere Leitungen gefunden können anhand der durch die polynomiale Phasentransformation gefundene Parametrisierung die Lage der Leitungen relativ zueinander untersucht werden und unplausible Leitungsverläufe eliminiert werden.
- Ist eine Leitung bestätigt, kann die Lage relativ zur extrapolierten Flugtrajektorie des Flugkörpers untersucht werden, um in kritischen Fällen eine Warnung zu erzeugen.
- Aufgrund der bekannten Lageinformation kann der Pilot z.B. über Entfernung, Höhe und Richtung relativ zur Hubschrauberachse oder Flugvektor informiert werden.
- Die Leitung kann als Symbol, Messpunktwolke oder Katenoide anhand der gefundenen Parametrisierung als Video- oder FLIR Overlay oder in eine digitale Karte eingezeichnet werden.
- Als Sensor wird ein bildgebendes Front-End gewählt, welches die Szene aktiv abtastet und dessen Bildinformation aus Entfernungswerten besteht. Entfernungsbilder sind für die nachfolgende automatische Bildauswertung zur Leitungserkennung vorteilhaft. Als Sensoren kommen ein Laserscanner, der Vorzugsweise im Infrarotbereich arbeitet, oder ein abbildendes Radar im mm-Wellenbereich in Frage. Obwohl das Radar im Hinblick auf Schlechtwetterbetrieb (Nebel) gewisse Vorteile besitzt, hat nach aktuellem Stand der Technik nur ein Laserscanner die gewünschte vertikale und laterale Bildauflösung. Beide Sensoren sind als aktive Systeme gleichermaßen für Tag und Nachtbetrieb geeignet.
Ein geeigneter Laserscanner ist für große Reichweiten (>1km) und hohe Bildauflösung (z.B. 0,5 horizontal* 0,1 Grad vertikal) ausgelegt. Für jedes Entfernungsbild muss die räumliche Richtung, in die der Lasermesspuls ausgesandt wurde, eindeutig im sensorfesten Koordinatensystem bestimmbar sein, durch die Bauart des Scanners sowie evtl. durch zusätzliche Messungen während des Scanvorgangs. - Das Navigationssystem dient zur Bestimmung von Position und Lage des Fluggeräts. Jeder Entfernungswert wird mit Hilfe der Koordinaten der zugehörigen räumlichen Scanrichtung und den aktuellen Positions- und Lageparametern des Fluggeräts in einen Szenenpunkt umgerechnet. Ein Szenenpunkt (Messpunkt) ist durch seine drei Ortskoordinaten in einem erdfesten Koordinatensystem festgelegt. Aus jedem Entfernungsbild entsteht auf diese Weise eine sog. erdfeste Messpunktwolke, aus der evtl. vorhandene Leitungen extrahiert werden können.
- Für die Datenverarbeitung ist ein Prozessor mittlerer Leistung zuständig. Auf diesem wird zunächst die oben genannte Transformation von Entfernungsmesswerten in Messpunkte durchgeführt.
- Die sich daraus ergebenen Daten dienen als Input für eine Auswerteeinheit. Die Auswerteeinheit stellt fest, ob sich die einzelnen Leitungen in gefährlicher Nähe zur aktuellen Position des Fluggeräts oder zur vorgesehenen Flugbahn befinden. Das Ergebnis dieser Auswertung wird dem Piloten optisch und/oder akustisch mitgeteilt.
- Als Sensor kann ein bildgebendes Front-End verwendet werden, welches die Umgebung des Fluggeräts aktiv abtastet und dessen Bildinformation aus Entfernungswerten besteht. Die daraus entstehenden Entfernungsbilder werden in den nachfolgenden Verfahrensschritten zur Leitungserkennung verwendet. Als Sensoren kommen ein Laserscanner oder ein abbildendes Radar im mm-Wellenbereich in Frage. Im Gegensatz zum Radar, welches im Hinblick auf Schlechtwetterbetrieb (Nebel) gewisse Vorteile besitzt, hat ein Laserscanner eine vergleichsweise bessere vertikale und laterale Bildauflösung. Beide Sensoren sind als aktive Systeme gleichermaßen für Tag und Nachtbetrieb geeignet.
Ein geeigneter Laserscanner ist für große Reichweiten (>1km) und hohe Bildauflösung (z.B. 0,5 horizontal* 0,1 Grad vertikal) ausgelegt. Für jedes Entfernungsbild ist, durch die Bauart des Scanners sowie durch etwaige zusätzliche Messungen während des Scanvorgangs, die räumliche Richtung in die der Lasermesspuls ausgesandt wurde eindeutig im sensorfesten Koordinatensystem bestimmbar. - Das Navigationssystem dient zur Bestimmung von Position und Lage des Fluggeräts. Jeder Entfernungswert wird mit Hilfe der Koordinaten der zugehörigen räumlichen Scanrichtung und den aktuellen Positions- und Lageparametern des Fluggeräts in einen Messpunkt umgerechnet. Ein Messpunkt ist durch seine drei Ortskoordinaten in einem geodätischen Koordinatensystem festgelegt. Aus jedem Entfernungsbild entsteht auf diese Weise eine so genante erdfeste Messpunktwolke, aus der vorhandene Leitungen extrahiert werden können.
- Für die Datenverarbeitung ist ein Prozessor mittlerer Leistung zuständig. Auf diesem wird eine Transformation der Entfernungsmesswerte in Messpunkte durchgeführt. Die sich daraus ergebenen Daten dienen als Input für eine Auswerteeinheit. Die Auswerteeinheit stellt fest, ob sich die einzelnen Leitungen in gefährlicher Nähe zur aktuellen Position des Fluggeräts oder zur vorgesehenen Flugbahn Das Ergebnis dieser Auswertung wird dem Piloten optisch und/oder akustisch mitgeteilt.
- Ausgangspunkt für die in der Erfindung verwendete PPT ist eine reduzierte Menge von dreidimensionalen Messpunkten. Die reduzierte Menge begründet sich dadurch, dass lediglich solche Messwerte einer PPT unterzogen werden, welche nicht durch Clutter- oder Störungsfilter eliminiert wurden.
- In einem ersten Verfahrensschritt der Erfindung wird nur die horizontale (x,y)-Komponente der Messwerte ausgewertet, um die Geradenverläufe in dieser Punktmenge zu identifizieren. Horizontale Geraden sind potentielle Verlaufsrichtungen von Leitungen. In einem zweiten Verfahrensschritt der Erfindung werden alle vertikalen Ebenen, die zu den hier gefundenen Geraden gehören, auf Katenoidenstücke oder Parabelstücke untersucht [Katenoide: cosh(x)]. Das heißt, es werden alle Messpunkte, die in oder nahe bei einer soichen Ebene liegen, in diese Ebene projiziert, und der resultierende Satz von zweidimensionalen Messpunkten wird mittels Anwendung einer quadratischen Formtransformation (QFT) auf Katenoiden bzw. Parabeln untersucht.
- Die Erfindung basiert auf der so genannten Polynomial Phase Transform. Darin wird das Problem der Geradenerkennung erfindungsgemäß in ein Problem der Frequenzbestimmung eines sinusförmigen Signals überführt bzw. der spektralen Analyse eines Frequenzgemisches im Falle mehrerer Geraden. Hierfür stehen bekannte Signalverarbeitungsverfahren zur Verfügung (Fourier Transformation, Matrix Pencil, FFT, Wavelets, Esprit, Pisarenco, MUSIC etc.) wobei sich der Matrix Pencil als besonders effizient erwiesen hat und im Weiteren im Detail erläutert wird.
- Im Folgenden wird zunächst kurz die polynomiale Phasentransformation erläutert:
- Die horizontale Projektion der potentiellen Leitungspixel wird erfindungsgemäß auf eine NxM-Matrix abgebildet. Die Elemente dieser Matrix haben den Wert 1 wenn sie ein potentielles
- Leitungspixel repräsentieren, ansonsten den Wert 0. Die Matrix entspricht also einem diskretisierten Binärbild mit Draufsicht von oben.
-
- Sei P(x) ein Polynom von x. Im Folgenden werden nur Polynome vom Grad 1 benutzt. Speziell für die Detektion von Geraden wird folgendes Polynom benutzt:
-
-
-
- Im nächsten Schritt werden erfindungsgemäß die Frequenzen ϕj bestimmt. Hierzu gibt es verschiedene Mögtichkeiten. Dazu zählen die Fourier-Transformation (FT), die Maximum-Likelihood Methode (MLM), die Methode der kleinsten Quadrate (LSM) und die Matrix Pencil Methode (MPM). Im Folgenden wird die Matrix Pencil Methode angewendet. Selbstverständlich lassen sich auch die anderen Methoden zur Frequenzbestimmung heranziehen.
-
-
- Drei Aussagen sind wichtig, um die MPM nachzuvollziehen:
- Erstens:
- Zweitens:
- Jedes der {z t;r =1,...,M} ist eine Rang reduzierende Zahl des Matrix Pencils X 1 - zX0, wenn M ≤ L ≤ N - M ist.
- Keine der {zt ;r =1,...,M}ist eine Rang reduzierende Zahl des Matrix Pencils, wenn L < M oder L > N-M ist.
- Drittens:
- Wenn M ≤ L ≤ N - M ist, ergeben sich die Lösungen des Singulär- Eigenwertproblems:
- X 0 und X 1 sind nicht quadratisch, deswegen ist es eine Singulärwertzerlegung und kein einfaches Eigenwertproblem.
-
q r undp r , werden die Rechts- bzw. Linkssingulärvektoren zum Singulärwert zr genannt. - "+" steht für die Moore-Penrose Inverse oder Pseudoinverse. "t" bedeutet konjugiert und transponiert, "-1" ist die Inverse.
- Wenn M ≤ L ≤ N - M ist, ergeben sich die Lösungen des Singulär- Eigenwertproblems:
- Basierend auf (10) bekommt man die folgenden Ergebnisse zur Berechnung der {zt;r =1,...,M} von X 0 und X 1:
- Multipliziert man die erste Gleichung von (11) von links mit
- Das impliziert, dass {zt ; r =1,...,M} die M Singulärwerte von
Für
Für verrauschte Daten y(k) = x(k)+n(k) worin n(k) das Rauschen ist, sind y(k), Y0 und Y 1 genauso definiert, wiex (k), X 0 und X 1 .
Die Pseudoinversenv 0r und u 0 r sind die zugehörigen Singulärvektoren; - Was die Rauschkomponenten in Y 0 betrifft, ist die Stetigkeit jedes Elements der verkürzten Pseudoinversen
-
-
- Um herauszufinden, ob die gefundene Gerade auch eine Hochspannungsleitung ist, werden die Pixel der Gerade in die Frontansicht transformiert. Das heißt, man betrachtet die Pixel der Gerade nicht mehr aus der Vogelperspektive. Man benutzt stattdessen das erste gefundene Pixel der Gerade als Nullpunkt eines neuen Koordinatensystems, welches die gefundene Gerade als eine der neuen Achsen benutzt, und die z-Achse als die zweite neue Achse. Somit erhält man ein Diagramm, in dem die gefundene Gerade Katenoidenform haben sollte, wenn sie einer Hochspannungsleitung entspricht. Die Transformation PPT basiert auf einem Polynom vom Grad 1. Also ist es damit nicht möglich, die Parameter eines cosh zu bestimmen, denn das grundlegende Problem dabei ist, das man eine Gleichung der Form:
-
- Wenn die gefundene Gerade einer Hochspannungsleitung entspricht, sollte sie also in einer annähernden Parabelform zu sehen sein. Nun kann man mit Hilfe einer weiteren Transformation, der sogenannten Quadratic Form Transform, diese Parabelform überprüfen. In der Frontansicht wird also ein Test auf Parabelform gemacht, allerdings nicht mit der PPT, sondern mit der QFT. Anschließend wird das Signal wieder an die Matrix Pencil Methode (MPM) weitergegeben.
- Diese Transformation wird benutzt um die Parameter einer Parabel zu bestimmen. Im Weiteren wird die Funktion der Transformation kurz erläutert:
- Ausgangspunkt ist die allgemeine Form einer Parabel:
-
-
-
-
- Dabei gilt es zu beachten, τ # 0, zweckmäßig wird τ auf 1 gesetzt.
- Wäre der Wert gleich null, würde man mit (26) den Betrag der komplexen Zahl z mit 1 festlegen. Damit wäre keine Weiterverarbeitung möglich.
Claims (4)
- Verfahren zur verbesserten Erkennung von leitungsartigen Objekten in einer vor einem Fluggerät befindlichen Umgebung, wobei aus den Entfernungswerten eines mittels eines Entfernungssensors erzeugten Entfernungsbildes dieser Umgebung unter Berücksichtigung der Position und Lage des Fluggeräts eine Menge von dreidimensionalen Messpunkten in einem geodätischen Koordinatensystem erzeugt wird, aus welcher unter Verwendung bekannter Filtermethoden zur Identifizierung von Messpunkten, welche als Clutter oder Störung eliminiert werden, potentielle Leitungsmesspunkte extrahiert werden,
wobei in einem ersten Schritt die potentiellen Leitungsmesspunkte in eine horizontale Ebene projiziert werden Geradenverläufe identifiziert werden und wobei in einem zweiten Schritt die potentiellen Leitungsmesspunkte auf und in einem vorgebbaren Abstand zu einer im ersten Schritt gefundenen Geraden in eine vertikale Ebene zu der horizontalen Ebene und der jeweiligen Geraden aus dem ersten Schritt projiziert werden und mittels einer quadratischen Formtransformation Katenoiden- oder Parabelverläufe identifiziert werden, wobei im ersten Schritt die horizontale Projektion der potentiellen Leitungsmesspunkte auf eine NxM-Matrix erfolgt, gemäßj: Variable zwischen 1 und dd: Zahl der Geradenµ1: konstanter Parameter zwischen 0,01 bis 1xj: Achsenabschnitt der j.ten Geradeϕj: Winkel der j.ten Geradetransformiert werden und in der spektralen Analyse die Frequenzen fj=µ1*tan ϕj bestimmt werden. - Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Erzielung einer niedrigen Falschalarmrate gefundene Katenoiden- oder Parabelverläufe mit zeitlich vorangegangenen Identifizierungen verglichen werden.
- Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass ein aus mehreren zeitlich aufeinanderfolgenden Entfernungsbilder akkumuliertes Entfernungsbild analysiert wird.
- Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass bei mehreren in einem Entfernungsbild gefundenen Leitungen unplausible Leitungsverläufe eliminiert werden.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102009020636.1A DE102009020636B4 (de) | 2009-05-09 | 2009-05-09 | Verfahren zur verbesserten Erkennung von leitungsartigen Objekten |
Publications (3)
Publication Number | Publication Date |
---|---|
EP2251849A2 EP2251849A2 (de) | 2010-11-17 |
EP2251849A3 EP2251849A3 (de) | 2012-08-08 |
EP2251849B1 true EP2251849B1 (de) | 2016-10-12 |
Family
ID=42289768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP10002260.7A Not-in-force EP2251849B1 (de) | 2009-05-09 | 2010-03-05 | Verfahren zur verbesserten Erkennung von leitungsartigen Objekten |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP2251849B1 (de) |
DE (1) | DE102009020636B4 (de) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104849708B (zh) * | 2015-05-18 | 2017-03-08 | 中国民航大学 | 基于频域多项式相位变换的高速机动目标参数估计方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19605218C1 (de) * | 1996-02-13 | 1997-04-17 | Dornier Gmbh | Hinderniswarnsystem für tieffliegende Fluggeräte |
DE19828318C2 (de) * | 1998-06-25 | 2001-02-22 | Eurocopter Deutschland | Drahthervorhebung |
DE10055572C1 (de) * | 2000-11-09 | 2002-01-24 | Astrium Gmbh | Verfahren zur Leitungserkennung für tieffliegende Fluggeräte |
FR2888944B1 (fr) * | 2005-07-20 | 2007-10-12 | Eurocopter France | Procede de detection par telemetrie d'objets filaires suspendus |
DE102005047273B4 (de) * | 2005-10-01 | 2008-01-03 | Eads Deutschland Gmbh | Verfahren zur Unterstützung von Tiefflügen |
-
2009
- 2009-05-09 DE DE102009020636.1A patent/DE102009020636B4/de not_active Expired - Fee Related
-
2010
- 2010-03-05 EP EP10002260.7A patent/EP2251849B1/de not_active Not-in-force
Non-Patent Citations (1)
Title |
---|
ABED-MERAIM K ET AL: "Multi-line fitting using polynomial phase transforms and downsampling", 2001 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING. PROCEEDINGS. (ICASSP). SALT LAKE CITY, UT, MAY 7 - 11, 2001; [IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING (ICASSP)], NEW YORK, NY : IEEE, US, vol. 3, 7 May 2001 (2001-05-07), pages 1701 - 1704, XP010802866, ISBN: 978-0-7803-7041-8, DOI: 10.1109/ICASSP.2001.941266 * |
Also Published As
Publication number | Publication date |
---|---|
EP2251849A2 (de) | 2010-11-17 |
DE102009020636A1 (de) | 2010-11-18 |
EP2251849A3 (de) | 2012-08-08 |
DE102009020636B4 (de) | 2017-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102015100134B4 (de) | Verfahren zum Detektieren und Verfolgen von Objekten unter Verwendung mehrerer Radarsensoren | |
EP2418510B1 (de) | Verfahren zur Beurteilung einer Bodenfläche auf deren Eignung als Landezone oder Rollfläche für Luftfahrzeuge | |
DE102018102884A1 (de) | Lidar-radar-relative pose-kalibrierung | |
EP1531343B1 (de) | Verfahren zur Verfolgung von Objekten | |
EP2417476B1 (de) | Fmcw-radarsensor und verfahren zum frequenzmatching | |
EP2927844A1 (de) | Positions- und lagebestimmung von 3d objekten | |
EP1770595B1 (de) | Verfahren zur Unterstützung von Tiefflügen zur Erkennung von Hindernissen | |
DE102015115786B4 (de) | An einem computer realisiertes verfahren und system zur verarbeitung einer sequenz von bildern | |
DE102017128194A1 (de) | Genaue Selbstortung unter Verwendung eines Automobilradars mit synthetischer Apertur | |
EP1205765B1 (de) | Verfahren zur Leitungserkennung für tieffliegende Fluggeräte | |
EP1634241B1 (de) | Verfahren und vorrichtung zur objektbestimmung in fahrerassistenzsystemen für kraftfahrzeuge | |
DE102018132805A1 (de) | Verfahren für eine verbesserte Objekterfassung | |
DE102019114723A1 (de) | Abschwächen von schwingungen in einem radarsystem auf einer beweglichen plattform | |
DE102006039104A1 (de) | Verfahren zur Entfernungsmessung von Objekten auf von Bilddaten eines Monokamerasystems | |
DE102021100351A1 (de) | Adaptive untersuchung für lidar-basiertes gruppieren | |
EP3663881B1 (de) | Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren | |
EP2251849B1 (de) | Verfahren zur verbesserten Erkennung von leitungsartigen Objekten | |
DE102018001533B4 (de) | Echtzeitverfahren zur dynamischen Koordinaten- und Parameterschätzung mit gitterbasierten nicht-linearen probabilistischen Filtern | |
DE102019126631A1 (de) | Verbesserte Trajektorienschätzung basierend auf Ground Truth | |
WO2022129266A1 (de) | Verfahren zur detektion zumindest eines objektes einer umgebung mittels reflexionssignalen eines radar-sensorsystems | |
DE102019215440B4 (de) | Erkennung von Verkehrsschildern | |
EP3663800B1 (de) | Verfahren zur objekterfassung mit einer 3d-kamera | |
EP2699933B1 (de) | Verfahren und vorrichtung zum bestimmen von zielparametern mittels passivem sonar und supportwerten | |
DE102006051091B4 (de) | Verfahren zur Objekterkennung von Fahrzeugen mittels Nahbereichsdetektion | |
EP2956797B1 (de) | Verfahren zum identifizieren oder zum orten eines unterwasserobjekts, zugehöriger rechner oder messsystem, sowie wasserfahrzeug |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Kind code of ref document: A2 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: AL BA ME RS |
|
PUAL | Search report despatched |
Free format text: ORIGINAL CODE: 0009013 |
|
AK | Designated contracting states |
Kind code of ref document: A3 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: AL BA ME RS |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: G08G 5/00 20060101AFI20120629BHEP |
|
17P | Request for examination filed |
Effective date: 20130201 |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: AIRBUS DEFENCE AND SPACE GMBH |
|
17Q | First examination report despatched |
Effective date: 20151130 |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: AIRBUS DS ELECTRONICS AND BORDER SECURITY GMBH |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
INTG | Intention to grant announced |
Effective date: 20160718 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 837129 Country of ref document: AT Kind code of ref document: T Effective date: 20161015 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502010012526 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: MP Effective date: 20161012 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 8 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170113 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170112 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170212 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170213 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502010012526 Country of ref document: DE |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R081 Ref document number: 502010012526 Country of ref document: DE Owner name: HENSOLDT SENSORS GMBH, DE Free format text: FORMER OWNER: AIRBUS DS ELECTRONICS AND BORDER SECURITY GMBH, 82024 TAUFKIRCHEN, DE |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20170112 Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 |
|
26N | No opposition filed |
Effective date: 20170713 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170305 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170331 Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170305 Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170331 |
|
REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20170331 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 9 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 837129 Country of ref document: AT Kind code of ref document: T Effective date: 20170305 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170331 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20170305 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20100305 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20161012 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20161012 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20220324 Year of fee payment: 13 Ref country code: DE Payment date: 20220322 Year of fee payment: 13 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20220323 Year of fee payment: 13 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: IT Payment date: 20220331 Year of fee payment: 13 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R119 Ref document number: 502010012526 Country of ref document: DE |
|
GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20230305 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20230305 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20230305 Ref country code: FR Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20230331 Ref country code: DE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20231003 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20230305 |