EP3620852B1 - Procédé de capture d'images aériennes d'une zone géographique, procédé de cartographie tridimensionnelle d'une zone géographique et aéronef pour la réalisation de tels procédés - Google Patents

Procédé de capture d'images aériennes d'une zone géographique, procédé de cartographie tridimensionnelle d'une zone géographique et aéronef pour la réalisation de tels procédés Download PDF

Info

Publication number
EP3620852B1
EP3620852B1 EP18306166.2A EP18306166A EP3620852B1 EP 3620852 B1 EP3620852 B1 EP 3620852B1 EP 18306166 A EP18306166 A EP 18306166A EP 3620852 B1 EP3620852 B1 EP 3620852B1
Authority
EP
European Patent Office
Prior art keywords
aircraft
angular position
sequence
image capture
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP18306166.2A
Other languages
German (de)
English (en)
Other versions
EP3620852A1 (fr
Inventor
Jean-Christophe CHARLAIX
Babtiste Mazin
Alexandre Bontemps
Sébastien COURROUX
Raphael Zaugg
François Gervaix
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SenseFly SA
Original Assignee
SenseFly SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SenseFly SA filed Critical SenseFly SA
Priority to EP18306166.2A priority Critical patent/EP3620852B1/fr
Priority to US16/559,411 priority patent/US10999517B2/en
Publication of EP3620852A1 publication Critical patent/EP3620852A1/fr
Application granted granted Critical
Publication of EP3620852B1 publication Critical patent/EP3620852B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/25—Fixed-wing aircraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3826—Terrain data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3852—Data derived from aerial or satellite images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/05—Geographic models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/32—UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS

Definitions

  • the present invention relates to the field of capturing aerial images of a geographical area using a self-piloted aircraft, for the calculation of a three-dimensional map of the geographical area.
  • an image capture apparatus on the fixed-wing aircraft oriented such that the optical axis of the image capture apparatus is directed substantially vertically downward when the aircraft is in line flight. straight and approximately horizontally (nadir orientation).
  • the captured images contain little data on the inclined or vertical surfaces of the geographic area, and the three-dimensional reconstruction of the geographic area is not very accurate. This can prove problematic, particularly for geographic areas located in cities or with pronounced relief, such as a mountainous area for example.
  • each image capture device having an oblique orientation of its optical axis, i.e. inclined relative to the vertical and the horizontal .
  • Such images make it possible to obtain information concerning vertical surfaces of the geographical area.
  • US8687062B1 And US2014/0267590A1 each disclose the capture of aerial images with image capture devices with oblique orientations, possibly in combination with an image capture device with a nadir orientation.
  • One of the aims of the invention is to propose a method for three-dimensional mapping of a geographical area which is easy to implement while allowing a precise three-dimensional reconstruction to be carried out.
  • the invention proposes a method for three-dimensional mapping of a geographical area according to claim 1.
  • the change in sequence of angular position(s) of the image capture device is for example predetermined before the flight based on the relief of the geographical area or determined during the flight based on the relief of the area geographic and/or images already captured.
  • Changing the sequence of angular position(s) of the image capture device consists for example of moving from a sequence with a single angular position (i.e. a fixed angular position) to another sequence with a single angular position. angular position or to a sequence with at least two distinct angular positions, or to go from a sequence with at least two distinct angular positions to a sequence with a single angular position or to another sequence with at least two distinct angular positions.
  • Adapting the angular position of the image capture device as a function of the relief makes it possible to optimize the precision of the three-dimensional reconstruction by limiting the number of images captured.
  • Set 2 represented on the Figures 1 to 3 comprises an aircraft 6 equipped with an image capture device 8 ( Figures 2 And 3 ) mounted on the aircraft 6 for taking aerial images of a geographical area when the aircraft 6 is in flight.
  • an image capture device 8 Figures 2 And 3 mounted on the aircraft 6 for taking aerial images of a geographical area when the aircraft 6 is in flight.
  • the aircraft 6 is self-piloted.
  • autopilot we mean that the aircraft 6 is configured to fly autonomously following a determined flight plan, in particular without the intervention of a human pilot to follow the flight plan.
  • the aircraft 6 is without human presence on board, in particular without a human pilot on board.
  • Such an aircraft is generally referred to by the term “drone” or by the acronym UAV for “Unmanned Aerial Vehicle” in English.
  • assembly 2 comprises a control station 10 for controlling the aircraft 6 remotely.
  • the control station 8 is for example located on the ground.
  • the aircraft 6 and the control station 10 are configured to communicate remotely with each other, for example by radio frequency waves.
  • the image capture device 8 has a sighting axis or optical axis A.
  • the optical axis A of the image capture device 8 is the axis along which the image capture device 8 captures images.
  • the image capture device 8 is mounted on the aircraft 6 so that the optical axis A has a vertical component and is oriented downwards when the aircraft 6 is flying horizontally and in a straight line.
  • the image capture device 8 is capable of capturing aerial images of the geographical area flown over by the aircraft 6.
  • the axis of rotation B is contained in a plane defined by the yaw axis Z and the roll axis X, the axis of rotation B defining with the roll axis an angle less than 15°, in particular less than 10°.
  • the roll axis X and the rotation axis B are parallel, in particular coincident.
  • the image capture apparatus 8 When the image capture apparatus 8 is rotated around the rotation axis B relative to the centered position, the image capture apparatus 8 can capture an aerial image of a region on the side of the aircraft 6, to the right or left of the aircraft 6. The image capture device 8 is then in a so-called “oblique” position or an oblique orientation.
  • the angular amplitude of rotation of the image capture device 8 relative to the aircraft 6 around the axis of rotation B is +/- 45° around the centered position.
  • the field of vision FV of the image capture device 8 is in particular a function of the opening angle ⁇ of the image capture device 8.
  • the opening angle ⁇ of the image capture device 8 is preferably equal to or greater than the angular amplitude of rotation of the image capture device 8 around the axis of rotation B.
  • the aircraft 6 includes an autopilot 22 configured to pilot the aircraft 6 autonomously.
  • the autopilot 22 is configured in particular to control the control surfaces of the aircraft 6 and/or a propulsion system of the aircraft 6, in particular according to a flight plan to be followed for the capture of aerial images of a geographical area.
  • the aircraft 6 is provided with a geolocation receiver 24 configured to determine the geographic position of the aircraft 6 as a function of geolocation signals transmitted by satellites of a satellite geolocation system, for example the geolocation system. GPS, GALILEO or GLONASS.
  • the aircraft 6 equipped with the image capture device 8 comprises a control module 26 configured to trigger the capture of images by the image capture device 8 and to control the position angular position of the image capture device 8 relative to the aircraft 6.
  • the control module 26 is here configured to control the or each actuator 14.
  • the control module 26 is for example integrated into the image capture device 8
  • the aircraft 6 equipped with the image capture device 8 is configured to measure the absolute orientation of the image capture device 8, i.e. its orientation in the terrestrial reference frame.
  • the image capture device 8 is equipped with an inertial unit 28 (or IMU for “Inertial Measurment Unit” in English).
  • the inertial unit 28 placed on the image capture device 8 is capable of providing measurements representative of the absolute orientation of the image capture device 8, whatever the relative position of the capture device. image 8 and the aircraft 6.
  • the aircraft 6 equipped with the image capture device 8 is configured to associate with each captured image absolute orientation data of the image capture device 8 at the instant of capture of this captured image and/or to associate with each image geolocation data from the image capture device 8.
  • orientation and geolocation data are useful for a three-dimensional reconstruction of the geographical area from the captured images.
  • the aircraft 6 equipped with the image capture device 8 is for example configured to calculate the geolocation data of the image capture device 8 from the geographical position of the aircraft 6 determined by the receiver geolocation 24.
  • the geolocation data of the image capture device 8 associated with each captured image relate to the geographical position of the optical center O of the image capture device 8. This allows precise three-dimensional mapping.
  • the aircraft 6 equipped with the image capture device 8 is configured to capture images according to the flight plan followed by the aircraft 6 and image capture instructions defining the angular position of the device image capture 8.
  • the aircraft 6 equipped with the image capture device 8 is configured to allow, during the flight over the geographical area, a variation in the angular position(s) adopted by the capture device image 8 for image captures, in a predetermined manner before flying over the geographical area or in a determined manner during the flight over the geographical area, so that images are taken by positioning the image capture device image 8 in relation to the aircraft 6 in a certain way in part of the flight plan, and that images are taken by positioning the image capture device 8 relative to the aircraft 6 in another way in another part of the flight plan.
  • “Iteratively” means that a sequence is repeated several times successively during the capture of a corresponding series of images.
  • the first sequence is repeated several times during the capture of the first series of images, before moving on to the second sequence which is repeated several times during the capture of the second series of images.
  • Iterating a sequence of angular position(s) comprising a single angular position amounts to taking all the images of the image series with the same angular position of the image capture device 8.
  • Iterating a sequence of angular position(s) comprising at least two distinct angular positions amounts to positioning the image capture device successively in each angular position of the sequence of angular positions by capturing an image at each of these angular positions, then repeating this operation several times in succession.
  • the user defines a flight plan for the aircraft 6 making it possible to fly over the geographical area for which aerial images are desired, for example to produce a three-dimensional map of the geographical area.
  • the user also defines a first sequence of angular position(s) for the capture of a first series of images by the image capture device 8 relative to the aircraft 6.
  • the flight plan and the first sequence of angular position(s) are for example transmitted to the aircraft 6 via the control station 10, before takeoff or after takeoff of the aircraft 6.
  • the flight plan includes, for example, a succession of straight flight lines with turns to move from one straight flight line to the next. It is in fact difficult to capture images from the fixed-wing aircraft 6 when it is making a turn and it is strongly inclined around its roll axis X.
  • the aircraft 6 executes the flight plan while the image capture device 8 captures an image for each angular position of the first sequence, and for each iteration of the first sequence.
  • the image capture device 8 captures a second series of images by positioning the image capture device iteratively following a second sequence of angular position(s) including a single angular position or at least two distinct angular positions, a respective image being captured for each angular position of the second sequence at each iteration of the sequence, the second sequence including at least an angular position distinct from each angular position of the first sequence.
  • the second sequence of angular position(s) is predetermined before the flight. This makes it possible, for example, to modify the angular position of the image capture device 8 in a predetermined manner before the flight, for example as a function of the relief of the geographical area known in advance.
  • Angular positions in which the optical axis A is oblique to take images on the side of the aircraft 6 make it possible to obtain more data on inclined or vertical walls present on the side of the aircraft 6 than the centered position of the image capture device 8 in which the optical axis A.
  • the second sequence of angular position(s) is determined during the flight. This makes it possible, for example, to take into account images captured from the first series of images to adapt during the flight the orientation of the image capture device 8 as a function of the relief of the geographical area flown over.
  • the second sequence of angular position(s) is for example communicated to the aircraft 6 equipped with the image capture device 8 during the flight, for example via the control station 10.
  • the images of the first series of images are for example transmitted to the control station 10 during the flight for inspection by the operator, who can then transmit to the aircraft 6 a second sequence of position(s). angular(s), the aircraft 6 then being configured to capture the images by now positioning the image capture device 8 according to this second sequence of angular position(s).
  • a sequence of angular position(s) can consist of a single angular position.
  • the image capture device 8 is maintained in the same angular position for all the images in the series of images.
  • a sequence of angular position(s) may include at least two distinct angular positions.
  • the sequence of angular position(s) can be formed from a succession of all distinct angular positions or from a succession of angular positions including several times at least the same angular position.
  • sequence of angular position(s) includes exactly two distinct angular positions S1 and S2, the series of angular positions is for example obtained by repeating the sequence S1, S2...Other sequences are possible, for example S1, S2, S2, S1.
  • the first sequence of angular position(s) comprises at least two distinct angular positions
  • each of these distinct angular positions is present only once in the first sequence.
  • the second sequence of angular position(s) comprises at least two distinct angular positions
  • each of these distinct angular positions is present only once in the first sequence.
  • the first series of images and the second series of images are captured during the movement of the aircraft 6 along the same rectilinear flight line. This makes it possible, for example, to modify the orientation of the image capture device 8 in a planned manner before the flight or during the flight to take into account a change in the type of relief along a rectilinear flight line or to correct the orientation of the image capture device during flight.
  • the first sequence of angular position(s) comprises the centered angular position.
  • the first sequence of angular position(s) comprises at least one oblique angular position.
  • the second sequence of angular position(s) comprises the centered angular position.
  • the second sequence of angular position(s) comprises at least one oblique angular position.
  • each angular position of the image capture device 8 being symbolized by a graphic element P formed by an isosceles triangle and representing its field of vision FV, and a height of the isosceles triangle representing the optical axis A, an index being added to each reference P to distinguish the different angular positions.
  • the aerial image capture method comprises for example the capture of a first series of images with the image capture device 8 positioned according to a first sequence of angular position(s) comprising a single angular position , here the centered position P1.
  • the aircraft 6 is used to capture aerial images of a geographical area including a cliff or a jump 30 between an upper part 32 and a lower part 34.
  • the second series of images allows the lower part 34 and the projection 30 to be seen simultaneously during the same passage.
  • the first series of images is taken by maintaining the image capture device 8 in the same orientation and limiting the number of images captured and therefore the number of images to be analyzed. Taking an oblique image along the first flight line L1 would not make it possible to obtain relevant data relating to jump 30.
  • the aircraft 6 is used to capture images of an elongated protruding part 36 of a geographical area, here a channel.
  • This method makes it possible to capture images of the two side faces and the upper face of the protruding part 36 by obtaining precise data, in particular for the production of three-dimensional mapping, by limiting the number of images captured and to be processed.
  • the geolocation receiver 24 is here carried by the aircraft 6 and provides the geographic position of the aircraft 6, the geographic position of the image capture device 8 associated with each captured image being calculated from the geographic position of the aircraft 6 and the position of the optical center O of the image capture device 8 relative to the aircraft 6.
  • Aerial images of the geographical area are used to produce a three-dimensional map of the geographical area, for example by photogrammetry.
  • a method of three-dimensional mapping of a geographical area comprises the capture of images of the geographical area according to an aerial image capture method as defined above and the calculation of a three-dimensional map of the geographical area to be from aerial images captured, for example by photogrammetry.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Description

  • La présente invention concerne le domaine de la capture d'images aériennes d'une zone géographique à l'aide d'un aéronef autopiloté, pour le calcul d'une cartographie en trois dimensions de la zone géographique.
  • Il est possible de capturer des images aériennes d'une zone géographique à l'aide d'au moins un appareil de capture d'image embarqué sur un aéronef à voilure fixe autopiloté pour établir une cartographie en trois dimensions de la zone géographique.
  • Pour réaliser la capture d'images aériennes, l'aéronef à voilure fixe survole la zone géographique suivant des lignes de vol rectilignes en prenant des images aériennes de la zone géographique. L'aéronef suit par exemple un plan de vol composé de lignes de vol rectilignes distinctes parallèles, en effectuant des demi-tours entre les lignes de vol, de manière à couvrir l'ensemble de la zone géographique.
  • Il est possible de disposer un appareil de capture d'image sur l'aéronef à voilure fixe orienté de manière que l'axe optique de l'appareil de capture d'image est dirigé sensiblement verticalement vers le bas lorsque l'aéronef vol en ligne droite et sensiblement horizontalement (orientation nadir). Cependant, les images capturées contiennent peu de données sur les surfaces inclinées ou verticales de la zone géographique, et la reconstruction tridimensionnelle de la zone géographique est peu précise. Cela peut s'avérer problématique notamment pour les zones géographiques situées en ville ou présentant des reliefs prononcés, comme une zone montagneuse par exemple.
  • Il est possible de disposer un ou plusieurs appareils de capture d'image sur l'aéronef à voilure fixe, chaque appareil de capture d'image ayant une orientation oblique de son axe optique, i.e. inclinée par rapport à la verticale et à l'horizontale. De telles images permettent d'obtenir des informations concernant des surfaces verticales de la zone géographique.
  • Il est aussi possible de prendre des images avec un appareil de capture d'image monté sur l'aéronef avec une orientation nadir et en outre un ou plusieurs appareils de capture d'image avec des orientations obliques, et de combiner ces images pour une reconstruction tridimensionnelle.
  • US8687062B1 et US2014/0267590A1 divulguent chacun la capture d'images aériennes avec des appareils de capture d'image avec des orientations obliques, éventuellement en combinaison avec un appareil de capture d'image avec une orientation nadir.
  • US2016/144977A1 divulgue un aéronef muni d'un premier dispositif de capture d'image qui est monté fixe sur l'aéronef, une correction de l'attitude de l'aéronef étant réalisée par traitement des images capturées par ce premier dispositif de capture d'images fixe, et en outre d'un deuxième dispositif de capture d'images qui est monté orientable sur l'aéronef pour et qui sert à la poursuite de points d'intérêt préalablement identifiés.
  • Un des buts de l'invention est de proposer un procédé de cartographie tridimensionnelle d'une zone géographique qui soit facile à mettre en oeuvre tout en permettant de réaliser une reconstruction tridimensionnelle précise.
  • A cet effet, l'invention propose un procédé de cartographie tridimensionnelle d'une zone géographique selon la revendication 1.
  • La capture au cours d'un même survol de la zone géographique d'une première série d'images et d'une deuxième série d'image en positionnant l'appareil de capture d'image selon une première séquence et une deuxième séquence de positions angulaires contenant des positions angulaires distinctes permet d'adapter l'orientation de l'appareil de capture d'image au cours du survol de la zone géographique en fonction du relief de la zone géographique.
  • Le changement de séquence de position(s) angulaire(s) de l'appareil de capture d'image est par exemple prédéterminé avant le vol en fonction du relief de la zone géographique ou déterminée au cours du vol en fonction du relief de la zone géographique et/ou des images déjà capturées.
  • Le changement de séquence de position(s) angulaire(s) de l'appareil de capture d'image consiste par exemple à passer d'une séquence à une seule position angulaire (i.e. une position angulaire fixe) à une autre séquence à une seule position angulaire ou à une séquence à au moins deux positions angulaires distinctes, ou à passer d'une séquence à au moins deux positions angulaires distinctes à une séquence à une seule position angulaire ou à une autre séquence à au moins deux positions angulaires distinctes.
  • L'adaptation de la position angulaire de l'appareil de capture d'image en fonction du relief permet d'optimiser la précision de la reconstruction tridimensionnelle en limitant le nombre d'images capturées.
  • Des caractéristiques optionnelles du procédé de cartographie tridimensionnelle sont définies aux revendications 1 à 14.
  • L'invention concerne encore un aéronef autopiloté selon la revendication 15.
  • L'invention et ses avantages seront mieux compris à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple non limitatif, et faite en référence aux dessins annexés, sur lesquels :
    • la Figure 1 est une vue schématique d'un ensemble de capture d'images aériennes d'une zone géographique comprenant un aéronef équipé d'un appareil de capture d'image ;
    • la Figure 2 est une vue schématique de l'aéronef équipé d'un appareil de capture d'image
    • la Figure 3 est une vue partielle schématique de dessous de l'aéronef montrant l'appareil de capture d'image embarqué sur l'aéronef ; et
    • les Figures 4 à 6 sont des schémas illustrant différent scénarios de capture d'images aériennes.
  • L'ensemble 2 représenté sur les Figures 1 à 3 comprend un aéronef 6 équipé d'un appareil capture d'image 8 (Figures 2 et 3) monté sur l'aéronef 6 pour la prise d'image aériennes d'une zone géographique lorsque l'aéronef 6 est en vol.
  • L'aéronef 6 est par exemple un aéronef à voilure fixe.
  • L'aéronef 6 est autopiloté. Par « autopiloté », on entend que l'aéronef 6 est configuré pour voler de manière autonome en suivant un plan de vol déterminé, en particulier sans intervention d'un pilote humain pour suivre le plan de vol.
  • De préférence, l'aéronef 6 est sans présence humaine à bord, en particulier sans pilote humain à bord. Un tel aéronef est généralement désigné par le terme « drone » ou par l'acronyme UAV pour « Unmanned Aerial Vehicle » en anglais.
  • Dans la suite de la description, les termes « vertical », « horizontal », « haut », « bas », « droite » et « gauche » s'entendent par rapport au repère orthogonal usuel de l'aéronef 6, le repère orthogonal possédant, lorsque l'aéronef 6 vole horizontalement en ligne droite, un axe de roulis X dirigé horizontalement de l'arrière vers l'avant, un axe de tangage Y orienté horizontalement de la droite vers la gauche et un axe de lacet Z orienté du bas vers le haut.
  • Dans un exemple de réalisation, l'ensemble 2 comprend une station de contrôle 10 pour contrôler l'aéronef 6 à distance. La station de contrôle 8 est par exemple située au sol. De manière connue en soi, l'aéronef 6 et la station de contrôle 10 sont configurés pour communiquer à distance l'un avec l'autre, par exemple par ondes radiofréquences.
  • La station de contrôle 10 permet par exemple de contrôler à distance le fonctionnement de l'aéronef 6, de contrôler le suivi du plan de vol par de l'aéronef 6, d'envoyer une mise à jour de plan de vol de l'aéronef 6 au cours du vol et/ou de récupérer des images collectées par l'appareil de capture d'image 8 monté sur l'aéronef 6 au cours du vol.
  • L'appareil de capture d'image 8 présente un axe de visée ou axe optique A. L'axe optique A de l'appareil de capture d'image 8 est l'axe suivant lequel l'appareil de capture d'image 8 capture des images.
  • L'appareil de capture d'image 8 est monté sur l'aéronef 6 de manière que l'axe optique A présente une composante verticale et est orienté vers le bas lorsque l'aéronef 6 vole horizontalement et en ligne droite. Ainsi, l'appareil de capture d'image 8 est propre à capturer des images aériennes de la zone géographique survolée par l'aéronef 6.
  • L'appareil de capture d'image 8 est monté mobile en rotation par rapport à l'aéronef 6 autour d'un axe de rotation B. Ceci permet de modifier la position angulaire ou l'orientation de l'appareil de capture d'image 8 par rapport à l'aéronef 6, pour capturer des images dans différences directions à partir de l'aéronef 6.
  • De préférence, l'axe de rotation B est contenu dans un plan défini par l'axe de lacet Z et l'axe de roulis X, l'axe de rotation B définissant avec l'axe de roulis un angle inférieur à 15°, en particulier inférieur à 10°. Dans un exemple de réalisation, l'axe de roulis X et l'axe de rotation B sont parallèles, en particulier confondus.
  • Dans un exemple de réalisation, l'axe de rotation B est sensiblement perpendiculaire à l'axe optique A de l'appareil de capture d'image 8.
  • Dans une position centrée de l'appareil de capture d'image 8, l'axe optique A est contenu dans le plan défini par l'axe de lacet Z et l'axe de roulis X. Ainsi, l'appareil de capture d'image 8 peut prendre une image sensiblement à l'aplomb de l'aéronef 6, l'axe optique A étant proche de la verticale. Lorsque l'axe optique A est vertical, la position centrée correspond à une orientation nadir.
  • Lorsque l'appareil de capture d'image 8 est pivoté autour de l'axe de rotation B par rapport à la position centrée, l'appareil de capture d'image 8 peut capturer une image aérienne d'une région sur le côté de l'aéronef 6, à droite ou à gauche de l'aéronef 6. L'appareil de capture d'image 8 est alors dans une position dite « oblique » ou une orientation oblique.
  • Dans un exemple réalisation, l'amplitude angulaire de rotation de l'appareil de capture d'image 8 par rapport à l'aéronef 6 autour de l'axe de rotation B est de +/- 45° autour de la position centrée.
  • Le champ de vision FV de l'appareil de capture d'image 8 est notamment fonction de l'angle d'ouverture α de l'appareil de capture d'image 8.
  • L'angle d'ouverture α de l'appareil de capture d'image 8 est de préférence égal ou supérieur à l'amplitude angulaire de rotation de l'appareil de capture d'image 8 autour de l'axe de rotation B.
  • Ainsi, une image capturée avec l'appareil de capture d'image 8 orienté avec son axe optique A oblique aura un recouvrement avec une image capturée avec l'appareil de capture d'image 8 dans la position neutre, et ce sur toute l'amplitude angulaire de rotation de l'appareil de capture d'image 8.
  • Comme illustré sur les Figures 2 et 3, l'appareil de capture d'image 8 est monté sur l'aéronef 6 par l'intermédiaire d'un dispositif de montage 12 permettant la rotation de l'appareil de capture d'image 8 par rapport à l'aéronef 6 autour de l'axe de rotation B et comprenant au moins un actionneur 14, par exemple un moteur électrique, pour entraîner l'appareil de capture d'images 8 en rotation autour de l'axe de rotation B par rapport à l'aéronef 6.
  • L'appareil de capture d'image 8 possède un objectif optique 18 et un capteur photosensible 20 pour capturer des images. Le capteur photosensible est par exemple un capteur matriciel. L'appareil de capture d'image 8 possède un centre optique O.
  • L'aéronef 6 comprend un pilote automatique 22 configuré pour piloter l'aéronef 6 de manière autonome. Le pilote automatique 22 est configuré notamment pour commander les gouvernes de l'aéronef 6 et/ou un système de propulsion de l'aéronef 6, en particulier en fonction d'un plan de vol à suivre pour la capture d'images aériennes d'une zone géographique.
  • Avantageusement, l'aéronef 6 est muni d'un récepteur de géolocalisation 24 configuré pour déterminer la position géographique de l'aéronef 6 en fonction de signaux de géolocalisation émis par des satellites d'un système de géolocalisation par satellites, par exemple le de géolocalisation GPS, GALILEO ou GLONASS.
  • De préférence, le pilote automatique 22 est configuré pour piloter l'aéronef 6 automatiquement en fonction de données de géolocalisation de l'aéronef 6 fournies par le récepteur de géolocalisation 24 et d'un plan de vol déterminé.
  • Dans un exemple de réalisation, l'aéronef 6 équipé de l'appareil de capture d'image 8 comprend un module de commande 26 configuré pour déclencher la capture d'images par l'appareil de capture d'image 8 et pour commander la position angulaire de l'appareil de capture d'image 8 par rapport à l'aéronef 6. Pour commander la position angulaire, le module de commande 26 est ici configuré pour commander le ou chaque actionneur 14.
  • Le module de commande 26 est par exemple intégré à l'appareil de capture d'image 8
  • Avantageusement, l'aéronef 6 équipé de l'appareil de capture d'image 8 est configuré pour la mesure de l'orientation absolue de l'appareil de capture d'image 8, i.e. son orientation dans le référentiel terrestre.
  • Dans un exemple de réalisation, l'appareil de capture d'image 8 est équipé d'une centrale inertielle 28 (ou IMU pour «Inertial Measurment Unit » en anglais). La centrale inertielle 28 disposée sur l'appareil de capture d'image 8 est apte à fournir des mesures représentatives de l'orientation absolue de l'appareil de capture d'image 8, quelle que soit la position relative de l'appareil de capture d'image 8 et de l'aéronef 6.
  • De préférence, l'aéronef 6 équipé de l'appareil de capture d'image 8 est configuré pour associer à chaque image capturée des données d'orientation absolue de l'appareil de capture d'image 8 à l'instant de capture de cette image capturée et/ou pour associer à chaque image des données de géolocalisation de l'appareil de capture d'image 8. Ces données d'orientation et de géolocalisation son utiles pour une reconstruction tridimensionnelle de la zone géographique à partir des images capturées.
  • L'aéronef 6 équipé de l'appareil de capture d'image 8 est par exemple configuré pour calculer les données de géolocalisation de l'appareil de capture d'image 8 à partir de la position géographique de l'aéronef 6 déterminée par le récepteur de géolocalisation 24.
  • Avantageusement les données de géolocalisation de l'appareil de capture d'image 8 associées à chaque image capturée sont relatives à la position géographique du centre optique O de l'appareil de capture d'image 8. Ceci permet une cartographie tridimensionnelle précise.
  • De préférence, la position du centre optique O de l'appareil de capture d'image 8 est fixe par rapport à l'aéronef 6 lorsque l'appareil de capture d'image 8 est pivoté autour de l'axe de rotation B par rapport à l'aéronef 6. Pour ce faire le centre optique O est par exemple situé sur l'axe de rotation B.
  • L'aéronef 6 équipé de l'appareil de capture d'image 8 est configuré pour capturer des images en fonction du plan de vol suivi par l'aéronef 6 et d'instructions de capture d'image définissant la position angulaire de l'appareil de capture d'image 8.
  • L'aéronef 6 équipé de l'appareil de capture d'image 8 est configuré pour permettre, au cours du survol de la zone géographique, une variation de la ou des position(s) angulaire(s) adoptées par l'appareil de capture d'image 8 pour les captures d'images, de manière prédéterminée avant le survol de la zone géographique ou de manière déterminée au cours du survol de la zone géographique, de façon que des images soient prise en positionnant l'appareil de capture d'image 8 par rapport à l'aéronef 6 d'une certaine façon dans une partie du plan de vol, et que des images soient prise en positionnant l'appareil de capture d'image 8 par rapport à l'aéronef 6 d'une autre façon dans une autre partie du plan de vol.
  • En particulier, l'aéronef 6 équipé de l'appareil de capture d'image 8 est configuré pour, successivement au cours du survol de la zone géographique :
    • capturer une première série d'images en positionnant l'appareil de capture d'image de manière itérative suivant une première séquence de position(s) angulaire(s) incluant une seule position angulaire ou au moins deux positions angulaires distinctes, une image respective étant capturée pour chaque position angulaire de la première séquence à chaque itération de la séquence ; puis
    • capturer une deuxième série d'images en positionnant l'appareil de capture d'image de manière itérative suivant une deuxième séquence de position(s) angulaire(s) incluant une seule position angulaire ou au moins deux positions angulaires distinctes, une image respective étant capturée pour chaque position angulaire de la deuxième séquence à chaque itération de la séquence, la deuxième séquence incluant au moins une position angulaire distincte de chaque position angulaire de la première séquence.
  • « De manière itérative » signifie qu'une séquence est répétée plusieurs fois successivement au cours de la capture d'une série d'image correspondante.
  • Ainsi, la première séquence est répétée plusieurs fois au cours de la capture de la première série d'images, avant de passer à la deuxième séquence qui est répétée plusieurs fois au cours de la capture de la deuxième série d'images.
  • L'itération d'une séquence de position(s) angulaire(s) comprenant une seule position angulaire revient à prendre toutes les images de la série d'image avec la même position angulaire de l'appareil de capture d'image 8.
  • L'itération d'une séquence de position(s) angulaire(s) comprenant au moins deux positions angulaires distinctes revient à positionner l'appareil de capture d'image successivement dans chaque position angulaire de la séquence de positions angulaires en capturant une image à chacune de ces positions angulaires, puis à répéter cette opération plusieurs fois de suite.
  • Un procédé de capture d'images aériennes d'une zone géographique à l'aide de l'ensemble 2 de capture d'images aériennes va maintenant être décrit en référence aux Figures 1 à 3.
  • Dans une étape de préparation, l'utilisateur définit un plan de vol de l'aéronef 6 permettant de survoler la zone géographique dont on souhaite obtenir des images aériennes, par exemple pour réaliser une cartographie tridimensionnelle de la zone géographique.
  • L'utilisateur définit aussi une première séquence de position(s) angulaire(s) pour la capture d'une première série d'images par l'appareil de capture d'image 8 par rapport à l'aéronef 6. Le plan de vol et la première séquence de position(s) angulaire(s) sont par exemple transmis à l'aéronef 6 par l'intermédiaire de la station de contrôle 10, avant le décollage ou après le décollage de l'aéronef 6.
  • Le plan de vol comprend par exemple une succession des lignes de vol rectilignes avec des virages pour passer d'une ligne de vol rectiligne à la suivante. Il est en effet difficile de capturer des images à partie de l'aéronef 6 à voilure fixe lorsqu'il effectue un virage et qu'il est fortement incliné autour de son axe de roulis X.
  • Ensuite, au cours du survol de la zone géographique, l'aéronef 6 exécute le plan de vol pendant que l'appareil de capture d'image 8 capture une image pour chaque position angulaire de la première séquence, et pour chaque itération de la première séquence.
  • Selon le procédé de capture d'image aériennes, au cours du survol de la zone géographique, l'appareil de capture d'image 8 capture une deuxième série d'images en positionnant l'appareil de capture d'image de manière itérative suivant une deuxième séquence de position(s) angulaire(s) incluant une seule position angulaire ou au moins deux positions angulaire distinctes, une image respective étant capturée pour chaque position angulaire de la deuxième séquence à chaque itération de la séquence, la deuxième séquence incluant au moins une position angulaire distincte de chaque position angulaire de la première séquence.
  • De préférence, la première séquence de position(s) angulaire(s) est prédéterminée avant le vol, par exemple en fonction de la zone géographique observée, en particulier en en fonction du relief de la zone géographique observée.
  • Dans un exemple de réalisation, la deuxième séquence de position(s) angulaire(s) est prédéterminée avant le vol. Ceci permet par exemple de modifier la position angulaire de l'appareil de capture d'image 8 de manière prédéterminée avant le vol, par exemple en fonction du relief de la zone géographique connu à l'avance.
  • Des positions angulaires dans lesquelles l'axe optique A est oblique pour prendre des images sur le côté de l'aéronef 6 permettent d'obtenir plus de données sur des parois inclinées ou verticales présente sur le côté de l'aéronef 6 que la position centrée de l'appareil de capture d'image 8 dans laquelle l'axe optique A.
  • Dans un autre exemple de réalisation, la deuxième séquence de position(s) angulaire(s) est déterminée au cours du vol. Ceci permet par exemple de tenir compte d'images capturées de la première série d'images pour adapter au cours du vol l'orientation de l'appareil de capture d'image 8 en fonction du relief de la zone géographie survolée.
  • La deuxième séquence de position(s) angulaire(s) est par exemple communiquée à l'aéronef 6 équipé de l'appareil de capture d'image 8 au cours du vol, par exemple par l'intermédiaire de la station de contrôle 10.
  • Les images de la première série d'images sont par exemple transmises à la station de contrôle 10 au cours du vol en vue de leur inspection par l'opérateur, qui peut alors transmettre à l'aéronef 6 une deuxième séquence de position(s) angulaire(s), l'aéronef 6 étant alors configuré pour capturer les images en positionnant désormais l'appareil de capture d'image 8 selon cette deuxième séquence de position(s) angulaire(s).
  • Une séquence de position(s) angulaire(s) peut être constituée d'une seule position angulaire. Dans ce cas, en pratique, l'appareil de capture d'image 8 est maintenu dans la même position angulaire pour toutes les images de la série d'images.
  • Une séquence de position(s) angulaire(s) peut comprendre au moins deux positions angulaires distinctes. La séquence de position(s) angulaire(s) peut être formée d'une succession de positions angulaires toutes distinctes ou d'une succession de position angulaires incluant plusieurs fois au moins une même position angulaire.
  • Si la séquence de position(s) angulaire(s) comprend exactement deux positions angulaires distinctes S1 et S2, la série de positions angulaires est par exemple obtenue en répétant la séquence S1, S2...D'autres séquences sont envisageables, par exemple S1, S2, S2, S1.
  • Si la séquence de position(s) angulaire(s) comprend exactement trois positions angulaires distinctes S1, S2 et S3, la série de positions angulaires est par exemple obtenue en répétant la séquence S1, S2, S3...D'autres séquences sont envisageables, par exemple S1, S2, S3, S2.
  • De préférence, lorsque la première séquence de position(s) angulaire(s) comprend au moins deux positions angulaires distinctes, chacune de ces positions angulaires distinctes est présente une seule fois dans la première séquence.
  • De préférence également, lorsque la deuxième séquence de position(s) angulaire(s) comprend au moins deux positions angulaires distinctes, chacune de ces positions angulaires distinctes est présente une seule fois dans la première séquence.
  • Ceci permet de limiter le nombre d'images capturées et donc le nombre d'images à traiter, tout en ayant des données suffisantes, et notamment des recouvrements suffisants entre les différentes images capturées, notamment compte tenu du déplacement de l'aéronef entre deux captures successives.
  • Dans un exemple de mise en oeuvre, la première série d'images et la deuxième série d'images sont capturées au cours du déplacement de l'aéronef 6 suivant une même ligne de vol rectiligne. Ceci permet par exemple de modifier l'orientation de l'appareil de capture d'image 8 de manière planifiée avant le vol ou au cours du vol pour tenir compte d'un changement de type de relief le long de ligne de vol rectiligne ou pour corriger l'orientation de l'appareil de capture d'image au cours du vol.
  • Dans un exemple de réalisation la première série d'images et la deuxième série d'images sont capturées au cours du déplacement de l'aéronef 6 suivant respectivement une première ligne de vol rectiligne et une deuxième ligne de vol rectiligne distinctes. Ceci permet de tenir compte de reliefs différents sous deux lignes de vol distinctes du plan de vol ou de modifier l'orientation de l'appareil de capture d'image 8 entre une ligne de vol du plan de vol et la suivante.
  • Dans un exemple de mise en oeuvre, la première séquence de position(s) angulaire(s) comprend la position angulaire centrée. En option ou en variante, la première séquence de position(s) angulaire(s) comprend au moins une position angulaire oblique.
  • Dans un exemple de mise en oeuvre, la deuxième séquence de position(s) angulaire(s) comprend la position angulaire centrée. En option ou en variante, la deuxième séquence de position(s) angulaire(s) comprend au moins une position angulaire oblique.
  • La ou les position(s) angulaire(s) de l'appareil de capture d'image 8 choisies pour une première série d'images et une deuxième série d'images peuvent varier en fonction des applications qui sont très variées.
  • Les Figures 4 à 6 illustrent des positions angulaires possibles pour certaines applications particulières, chaque position angulaire de l'appareil de capture d'image 8 étant symbolisée par un élément graphique P formé d'un triangle isocèle et représentant son champ de vision FV, et d'une hauteur du triangle isocèle représentant l'axe optique A, un indice étant ajouté à chaque référence P pour distinguer les différentes positions angulaires.
  • Sur la Figure 4, l'aéronef 6 est représenté comme se déplaçant sur une ligne de vol rectiligne, en se dirigeant vers l'observateur. Le procédé de capture d'images aériennes comprend par exemple la capture d'une première série d'images avec l'appareil de capture d'image 8 positionné suivant une première séquence de position(s) angulaire(s) comprenant une seule position angulaire, ici la position centrée P1.
  • S'il apparaît que des surfaces inclinées sont présentes sur le côté de l'aéronef 6, ici le côté gauche de l'aéronef 6, en particulier des surfaces verticales de bâtiments, le procédé comprend par exemple la prise d'une deuxième série d'images en positionnant l'appareil de capture d'image 8 suivant une deuxième séquence de position(s) angulaire(s) comprenant en outre une position angulaire oblique à gauche P2 de l'aéronef 6, par exemple en positionnant l'appareil de capture d'image 8 suivant la deuxième séquence de position(s) angulaire(s) P1, P2.
  • Ceci permet d'obtenir à la fois des images de la zone géographique située sous l'aéronef avec une orientation nadir (position centrée P1) et des images donnant des données sur les surfaces inclinées situées à gauche de l'aéronef 6 (position oblique à gauche P2). Le passage de la première série d'image à la deuxième série d'image est planifié avant le vol ou déterminé au cours du vol de l'aéronef.
  • Sur la Figure 5, l'aéronef 6 est utilisé pour capturer des images aériennes d'une zone géographique incluant une falaise ou un ressaut 30 entre une partie haute 32 et une partie basse 34.
  • Le plan de vol présente une première ligne de vol L1 passant au-dessus de la partie basse dans un sens (ici vers l'observateur) et une deuxième ligne de vol L2 passant au-dessus de la partie basse parallèlement à la première ligne de vol L1 et en sens opposé (ici à l'opposé de l'observateur).
  • Le procédé de capture d'images aériennes comprend par exemple la capture d'une première série d'images le long de la première ligne de vol L1 en positionnant l'appareil de capture d'image 8 selon une première séquence de position(s) angulaire(s) comprenant une seule position angulaire, à savoir la position centrée P1, et la capture d'une deuxième série d'images le long de la deuxième ligne de vol L2 en positionnant l'appareil de capture d'image 8 suivant une deuxième séquence de positions angulaires incluant deux positions angulaires, à savoir la position centrée P1 et la position angulaire oblique à gauche P2 permettant de voir le ressaut 30, par exemple selon la séquence de positions angulaires P1, P2.
  • La deuxième série d'images permet de voir simultanément la partie basse 34 et le ressaut 30 lors d'un même passage. La première série d'images est prise en maintenant l'appareil de capture d'image 8 dans la même orientation et en limitant le nombre d'images capturées et donc le nombre d'images à analyser. Une prise d'image oblique le long de première ligne de vol L1 ne permettrait pas d'obtenir des données pertinentes relativement au ressaut 30.
  • Sur la Figure 6, l'aéronef 6 est utilisé pour capturer des images d'une partie saillante 36 allongée d'une zone géographique, ici un canal.
  • Le plan de vol présente trois lignes de vol rectilignes et parallèles incluant une première ligne de vol L1 passant latéralement d'un côte de la partie saillante 36 dans un premier sens (ici vers l'observateur) et une deuxième ligne de vol L2 passant au-dessus de la partie saillante 36 et dans un deuxième sens opposé au premier sens (ici à l'opposé de l'observateur) et une troisième ligne de vol L3 passant latéralement de l'autre côte de la partie saillante 36 et dans le premier sens (ici vers l'observateur).
  • Le procédé de capture d'images aériennes comprend par exemple la capture d'une première série d'images le long de la première ligne de vol en positionnant l'appareil de capture d'image 8 suivant une première séquence de position(s) angulaire(s) incluant une seule position angulaire, à savoir la position angulaire oblique à gauche P2, la capture d'une deuxième série d'images le long de la deuxième ligne de vol en positionnant l'appareil de capture d'image 8 suivant une deuxième séquence de position(s) angulaire(s) incluant une seule position angulaire, ici la position centrée P1, et la capture d'une troisième série d'images la long de la troisième ligne de vol L3 en positionnant l'appareil de capture d'image 8 suivant une troisième séquence de position(s) angulaire(s) incluant une seule position angulaire, à savoir une position angulaire oblique à droite P3.
  • Ce procédé permet de capturer des images des deux faces latérales et de la face supérieure de la partie saillante 36 en obtenant des données précises, en particulier pour la réalisation d'une cartographie tridimensionnelle, en limitant le nombre d'images capturées et à traiter.
  • En variante, la première série d'images est réalisée en positionnant l'appareil de capture d'image 8 suivant une première séquence de positons angulaires incluant la position centrée et la position oblique vers la gauche et/ou la troisième série d'images est réalisée en positionnant l'appareil de capture d'image 8 suivant une troisième séquence de positons angulaires incluant la position centrée et la position oblique vers la droite.
  • Ceci permet de prendre en même temps des images des régions latérales 38 adjacentes à la partie saillante 36.
  • Pendant la capture des séries d'images, le procédé de captures d'images aériennes comprend la mesure de l'orientation absolue de l'appareil de capture d'image 8 pour chaque image capturée, ici à l'aide de la centrale inertielle 22 montée sur l'appareil de capture d'image 8.
  • Le procédé comprend également la mesure de la position géographique de l'appareil de capture d'image pour chaque image capturée, à l'aide d'un récepteur de géolocalisation.
  • Le récepteur de géolocalisation 24 est ici porté par l'aéronef 6 et fournit la position géographique du l'aéronef 6, la position géographique de l'appareil de capture d'image 8 associée à chaque image capturée étant calculée à partir de la position géographique de l'aéronef 6 et de la position du centre optique O de l'appareil de capture d'image 8 par rapport à l'aéronef 6.
  • Les images capturées sont enregistrées en associant chaque image capturée à la position angulaire correspondante de l'appareil de capture d'image 8 et/ou la position géographique correspondante de l'appareil de capture d'image 8.
  • Les images aériennes de la zone géographique sont utilisées pour réaliser une cartographique tridimensionnelle de la zone géographique, par exemple par photogrammétrie.
  • Ainsi, un procédé de cartographie tridimensionnelle d'une zone géographique comprend la capture d'images de la zone géographique selon un procédé de capture d'images aériennes tel que défini ci-dessus et le calcul d'une cartographique tridimensionnelle de la zone géographique à partir des images aériennes capturées, par exemple par photogrammétrie.
  • La capture de séries d'images aériennes au cours d'un même survol de la zone géographique par l'aéronef 6 transportant l'appareil de capture d'image 8 en utilisant des positions angulaires différentes de l'appareil de capture d'image 8 d'une série d'images aériennes à l'autre permet de prendre des images adaptées aux reliefs rencontrés dans la zone géographique et d'obtenir des données permettant une cartographie tridimensionnelle satisfaisante tout en limitant le nombre d'images capturées et traitées.
  • La limitation du nombre d'images capturées permet d'économiser de l'énergie pendant le vol, de limiter la quantité d'image à télétransmettre entre l'aéronef 6 et une station de contrôle 6 et de limiter les ressources et/ou le temps de traitement des images capturées pour calculer une cartographie tridimensionnelle.

Claims (15)

  1. Procédé de cartographie tridimensionnelle d'une zone géographique, comprenant la capture d'images aériennes d'une zone géographique à l'aide d'un aéronef (6) autopiloté suivant un plan de vol prédéterminé et d'un appareil de capture d'image (8) monté sur l'aéronef en étant mobile par rapport à l'aéronef (6) autour d'un axe de rotation (B) pour permettre de modifier une position angulaire de l'appareil de capture d'image (8) par rapport à l'aéronef (6), le procédé comprenant, au cours d'un seul survol de la zone géographique par l'aéronef :
    - la capture d'une première série d'images en positionnant l'appareil de capture d'image (8) par rapport à l'aéronef (6) de manière itérative suivant une première séquence de position(s) angulaire(s) incluant une seule position angulaire ou au moins deux positions angulaires distinctes, une image respective étant capturée pour chaque position angulaire de la première séquence à chaque itération de la séquence ; puis
    - la capture d'une deuxième série d'images en positionnant l'appareil de capture d'image (8) par rapport à l'aéronef (6) de manière itérative suivant une deuxième séquence de position(s) angulaire(s) incluant une seule position angulaire ou au moins deux positions angulaires distinctes, une image respective étant capturée pour chaque position angulaire de la deuxième séquence à chaque itération de la séquence, la deuxième séquence incluant au moins une position angulaire distincte de chaque position angulaire de la première séquence,
    le procédé comprenant le calcul d'une cartographique tridimensionnelle de la zone géographique à partir des images capturées.
  2. Procédé de cartographie tridimensionnelle selon la revendication 1, dans lequel l'aéronef (6) est à voilure fixe.
  3. Procédé de cartographie tridimensionnelle selon la revendication 1 ou la revendication 2, dans lequel l'angle de rotation (B) est contenu dans un plan défini par l'axe de lacet (Z) et l'axe de roulis (X) de l'aéronef (6), l'angle de rotation (B) définissant un angle inférieur à 15° avec l'axe de roulis (X).
  4. Procédé de cartographie tridimensionnelle selon l'une quelconque des revendications précédentes, dans lequel la première série d'images et la deuxième série d'images sont capturées au cours du vol de l'aéronef (6) suivant une même ligne de vol rectiligne du plan de vol.
  5. Procédé de cartographie tridimensionnelle selon l'une quelconque des revendications précédentes, dans lequel la première série d'images et la deuxième série d'images sont capturées au cours du vol de l'aéronef (6) suivant deux lignes de vol rectilignes distinctes du plan de vol.
  6. Procédé de cartographie tridimensionnelle selon l'une quelconque des revendications précédentes, dans lequel la première séquence est prédéterminée avant le vol.
  7. Procédé de cartographie tridimensionnelle selon l'une quelconque des revendications précédentes, dans lequel la deuxième séquence est prédéterminée avant le vol.
  8. Procédé de cartographie tridimensionnelle selon l'une quelconque des revendications précédentes, dans lequel la deuxième séquence est déterminée au cours du vol.
  9. Procédé de cartographie tridimensionnelle selon l'une quelconque des revendications précédentes, dans lequel la deuxième séquence est communiquée à l'aéronef au cours du vol, par exemple à partir d'une station de commande à distance de l'aéronef.
  10. Procédé de cartographie tridimensionnelle selon l'une quelconque des revendications précédentes, dans lequel la première séquence comprend une position angulaire centrée dans laquelle un axe optique de l'appareil de capture d'image est situé dans le plan défini par l'axe de lacet et l'axe de roulis et/ou au moins une position angulaire oblique dans laquelle l'axe optique est situé dans un plan oblique faisant un angle non nul avec le plan par l'axe de lacet et l'axe de roulis, et/ou dans lequel la deuxième séquence comprend la position angulaire centrée et/ou au moins une position angulaire oblique.
  11. Procédé de cartographie tridimensionnelle selon l'une quelconque des revendications précédentes, dans lequel la première séquence comprend une position angulaire centrée dans laquelle un axe optique de l'appareil de capture d'image est situé dans le plan défini par l'axe de lacet et l'axe de roulis et/ou la deuxième séquence comprend la position angulaire centrée.
  12. Procédé de cartographie tridimensionnelle selon l'une quelconque des revendications précédentes, dans lequel la première séquence comprend au moins une position angulaire oblique dans laquelle l'axe optique est situé dans un plan oblique faisant un angle non nul avec le plan par l'axe de lacet et l'axe de roulis, et/ou dans lequel la deuxième séquence comprend au moins une position angulaire oblique.
  13. Procédé de cartographie tridimensionnelle selon l'une quelconque des revendications précédentes, comprenant la mesure de l'orientation absolue de l'appareil de capture d'image (8) pour chaque image capturée, de préférence à l'aide d'une centrale inertielle (28) montée sur l'appareil de capture d'image.
  14. Procédé de cartographie tridimensionnelle selon l'une quelconque des revendications précédentes, comprenant la mesure de la position géographique de l'appareil de capture d'image (8) pour chaque image capturée, par exemple à l'aide d'un récepteur de géolocalisation (24) embarqué sur l'aéronef (6).
  15. Aéronef à voilure fixe autopiloté équipé d'un appareil de capture d'image (8) monté mobile sur l'aéronef autour d'un axe de rotation (B), l'aéronef étant configuré pour la mise en oeuvre d'un procédé de cartographie tridimensionnelle selon l'une quelconque des revendications 1 à 14.
EP18306166.2A 2018-09-04 2018-09-04 Procédé de capture d'images aériennes d'une zone géographique, procédé de cartographie tridimensionnelle d'une zone géographique et aéronef pour la réalisation de tels procédés Active EP3620852B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18306166.2A EP3620852B1 (fr) 2018-09-04 2018-09-04 Procédé de capture d'images aériennes d'une zone géographique, procédé de cartographie tridimensionnelle d'une zone géographique et aéronef pour la réalisation de tels procédés
US16/559,411 US10999517B2 (en) 2018-09-04 2019-09-03 Method and aircraft for capturing aerial images and three-dimensional mapping of a geographical area

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP18306166.2A EP3620852B1 (fr) 2018-09-04 2018-09-04 Procédé de capture d'images aériennes d'une zone géographique, procédé de cartographie tridimensionnelle d'une zone géographique et aéronef pour la réalisation de tels procédés

Publications (2)

Publication Number Publication Date
EP3620852A1 EP3620852A1 (fr) 2020-03-11
EP3620852B1 true EP3620852B1 (fr) 2023-12-13

Family

ID=64959175

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18306166.2A Active EP3620852B1 (fr) 2018-09-04 2018-09-04 Procédé de capture d'images aériennes d'une zone géographique, procédé de cartographie tridimensionnelle d'une zone géographique et aéronef pour la réalisation de tels procédés

Country Status (2)

Country Link
US (1) US10999517B2 (fr)
EP (1) EP3620852B1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3867725A4 (fr) * 2018-10-15 2022-06-01 Nokia Solutions and Networks Oy Détection d'obstacle
US20240111147A1 (en) * 2018-12-27 2024-04-04 Simplex Mapping Solutions Sb Ltd High Altitude Aerial Mapping

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160144977A1 (en) * 2014-11-21 2016-05-26 Flir Systems, Inc. Imaging system for an aircraft

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6477326B1 (en) * 2000-08-31 2002-11-05 Recon/Optical, Inc. Dual band framing reconnaissance camera
US8687062B1 (en) 2011-08-31 2014-04-01 Google Inc. Step-stare oblique aerial camera system
US9071732B2 (en) 2013-03-15 2015-06-30 Tolo, Inc. Distortion correcting sensors for diagonal collection of oblique imagery
US20140300736A1 (en) * 2013-04-09 2014-10-09 Microsoft Corporation Multi-sensor camera recalibration
US9501820B2 (en) * 2014-01-03 2016-11-22 Bell Helicopter Textron Inc. Automated nital etch inspection system
US9824290B2 (en) * 2015-02-10 2017-11-21 nearmap australia pty ltd. Corridor capture
EP3387398B1 (fr) * 2015-12-09 2026-03-25 Teledyne Flir, LLC Systèmes et procédés d'imagerie thermique basés sur un système aérien sans pilote
WO2019001661A1 (fr) * 2017-06-30 2019-01-03 Vestas Wind Systems A/S Procédé de réduction d'oscillations dans des pales d'éolienne

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160144977A1 (en) * 2014-11-21 2016-05-26 Flir Systems, Inc. Imaging system for an aircraft

Also Published As

Publication number Publication date
US10999517B2 (en) 2021-05-04
US20200077028A1 (en) 2020-03-05
EP3620852A1 (fr) 2020-03-11

Similar Documents

Publication Publication Date Title
EP1724592B1 (fr) Système d'estimation de la vitesse d'un aéronef et son application à la détection d'obstacles
EP3273318B1 (fr) Système autonome de prise de vues animées par un drone avec poursuite de cible et localisation améliorée de la cible
Fazeli et al. Evaluating the potential of RTK-UAV for automatic point cloud generation in 3D rapid mapping
US20170277180A1 (en) Unmanned surveyor
FR3000813A1 (fr) Drone a voilure tournante comprenant des moyens de determination autonome de position dans un repere absolu lie au sol.
FR3087134A1 (fr) Ensemble de detection d'obstacle pour drone, drone equipe d'un tel ensemble de detection d'obstacle et procede de detection d'obstacle
EP2478334B1 (fr) Localisation tridimensionnelle de zone terrestre cible par fusion d'images prises par deux capteurs satellitaires
EP3388914A1 (fr) Procédé de suivi de cible par un drone, programme d'ordinateur, système électronique et drone associés
FR2999303A1 (fr) Procede de geo localisation precise d'un capteur d'images embarque a bord d'un aeronef
EP3323028A1 (fr) Procédé d'assistance automatique à l'atterrissage d'un aéronef
EP2818829B1 (fr) Système de navigation et de pointage et procédé de calibration d'un système de navigation et de pointage
EP3620852B1 (fr) Procédé de capture d'images aériennes d'une zone géographique, procédé de cartographie tridimensionnelle d'une zone géographique et aéronef pour la réalisation de tels procédés
EP3281870A1 (fr) Procédé de capture d'une vidéo par un drone, programme d'ordinateur, et système électronique de capture d'une vidéo associés
FR3151667A1 (fr) Essaim de drones à positionnement collaboratif par communication ultra-large bande et procédé de positionnement associé
EP4205406B1 (fr) Procédé d'acquisition d'images d'un objet spatial en orbite terrestre par un engin spatial en orbite terrestre
WO2014147042A2 (fr) Procédé et dispositif de détermination d'une interdistance entre un drone et un objet, procédé de pilotage de vol d'un drone
FR3060178A1 (fr) Dispositif electronique de pilotage d'un drone, drone, procede de pilotage et programme d'ordinateur associes
EP3677929A1 (fr) Dispositif d'estimation du vecteur vitesse d'un corps rigide mobile
WO2014146884A1 (fr) Procede d'observation d'une zone au moyen d'un drone
CA3100115C (fr) Procede d'harmonisation de deux unites de mesure inertielle l'une avec l'autre et systeme de navigation mettant en oeuvre ce procede
EP1589354B1 (fr) Système de mesure à trois dimensions
FR3145416A1 (fr) Engin du type multi-rotors et procede d’inspection d’une surface verticale au moyen d’un tel engin
FR3071624B1 (fr) Systeme d'affichage, procede d'affichage et programme d'ordinateur associes
FR3067841B1 (fr) Systeme et procede de localisation par traitement d'images
EP3374736B1 (fr) Procédé d'élaboration d'une navigation et procédé d'orientation d'un organe de visée à partir de cette navigation

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: GERVAIX, FRANCOIS

Inventor name: BONTEMPS, ALEXANDRE

Inventor name: ZAUGG, RAPHAEL

Inventor name: CHARLAIX, JEAN-CHRISTOPHE

Inventor name: MAZIN, BABTISTE

Inventor name: COURROUX, SEBASTIEN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17P Request for examination filed

Effective date: 20200825

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

17Q First examination report despatched

Effective date: 20200918

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: B64U 101/30 20230101ALI20230802BHEP

Ipc: G01C 11/02 20060101ALI20230802BHEP

Ipc: H04N 23/695 20230101ALI20230802BHEP

Ipc: G06T 17/00 20060101ALI20230802BHEP

Ipc: B64D 47/08 20060101ALI20230802BHEP

Ipc: G03B 35/02 20060101ALI20230802BHEP

Ipc: G03B 15/00 20060101AFI20230802BHEP

INTG Intention to grant announced

Effective date: 20230829

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602018062521

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240314

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20231213

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240314

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240313

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1640945

Country of ref document: AT

Kind code of ref document: T

Effective date: 20231213

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240313

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240413

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240413

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240415

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240415

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602018062521

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

26N No opposition filed

Effective date: 20240916

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 602018062521

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240904

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20240904

REG Reference to a national code

Ref country code: DE

Ref legal event code: R073

Ref document number: 602018062521

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250401

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240904

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20240930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240930

REG Reference to a national code

Ref country code: DE

Ref legal event code: R074

Ref document number: 602018062521

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240904

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 602018062521

Country of ref document: DE

Representative=s name: HOFFMANN EITLE PATENT- UND RECHTSANWAELTE PART, DE

REG Reference to a national code

Ref country code: CH

Ref legal event code: U11

Free format text: ST27 STATUS EVENT CODE: U-0-0-U10-U11 (AS PROVIDED BY THE NATIONAL OFFICE)

Effective date: 20251001

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20231213

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20250401

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20250925

Year of fee payment: 8

PGRI Patent reinstated in contracting state [announced from national office to epo]

Ref country code: DE

Effective date: 20250726

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20240930

PGRI Patent reinstated in contracting state [announced from national office to epo]

Ref country code: CH

Effective date: 20250822

REG Reference to a national code

Ref country code: CH

Ref legal event code: R18

Free format text: ST27 STATUS EVENT CODE: U-0-0-R10-R18 (AS PROVIDED BY THE NATIONAL OFFICE)

Effective date: 20260106

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20251001

Year of fee payment: 8

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20180904

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20180904