FR3020168A1

FR3020168A1 - ROTATING WING DRONE WITH VIDEO CAMERA DELIVERING STABILIZED IMAGE SEQUENCES

Info

Publication number: FR3020168A1
Application number: FR1453416A
Authority: FR
Original assignee: Parrot SA
Current assignee: Parrot SA
Priority date: 2014-04-16
Filing date: 2014-04-16
Publication date: 2015-10-23

Abstract

Le drone (10) comprend une caméra avec un objectif à champ hémisphérique de type fisheye pointant dans une direction fixe (A) par rapport au corps du drone. Une zone de capture de dimension réduite (36) est extraite de l'image formée par cet objectif (42), la position de cette zone étant fonction de signaux délivrés par une centrale inertielle mesurant les angles d'Euler caractérisant l'attitude du drone par rapport à un repère terrestre absolu. La position de cette zone est modifiée de façon dynamique dans un sens (44) opposé de celui des changements d'attitude (38) du drone détectés par la centrale inertielle. Les données de pixel brutes sont ensuite traitées pour compenser les distorsions géométriques introduites par l'objectif fisheye sur l'image recueillie dans la région de la zone de capture.The drone (10) includes a camera with a fisheye type hemispherical field lens pointing in a fixed direction (A) relative to the body of the drone. A reduced-size capture zone (36) is extracted from the image formed by this objective (42), the position of this zone being a function of signals delivered by an inertial unit measuring the Euler angles characterizing the attitude of the drone compared to an absolute landmark. The position of this zone is dynamically modified in a direction (44) opposite to that of the changes of attitude (38) of the drone detected by the inertial unit. The raw pixel data is then processed to compensate for the geometric distortions introduced by the fisheye lens onto the image collected in the region of the capture area.

Description

L'invention concerne les drones à voilure tournante tels que les quadricoptères et analogues. Ces drones sont pourvus de rotors multiples entrainés par des moteurs respectifs commandables de manière différenciée afin de piloter le drone en attitude et en vitesse. Un exemple typique d'un tel drone est le AR.Drone 2.0 de Parrot SA, Paris, France, qui est un quadricoptère équipé d'une série de capteurs (accéléromètres, gyromètres trois axes, altimètre), d'une caméra frontale captant une image de la scène vers laquelle est dirigé le drone, et d'une caméra de visée verticale captant une image du terrain survolé. Les WO 2010/061099 A2 et EP 2 364 757 Al (Parrot SA) décrivent un tel drone ainsi que son principe de pilotage par l'intermédiaire d'un téléphone ou baladeur multimedia à écran tactile et accéléromètre intégré, par exemple un téléphone cellulaire de type iPhone ou une tablette multimedia de type iPad (marques déposées de Apple Inc., USA). Ces appareils incorporent les divers organes de contrôle nécessaires à la détection des commandes de pilotage et à l'échange bidirectionnel de données avec le drone via une liaison sans fil de type réseau local Wi-Fi (IEEE 802.11) ou Bluetooth (marques déposées). Ils sont en outre pourvus d'un écran tactile affichant l'image captée par la caméra frontale du drone, avec en superposition un certain nombre de symboles permettant l'activation de commandes par simple contact du doigt de l'utilisateur sur cet écran tactile. La caméra video frontale du drone est utilisable pour un pilotage en "mode immersif', c'est-à-dire où l'utilisateur se sert de l'image de la camé- ra de la même façon que s'il se trouvait lui-même à bord du drone. Elle peut également servir à capter des séquences d'images d'une scène vers laquelle se dirige le drone. L'utilisateur peut ainsi se servir du drone de la même façon que d'une caméra ou d'un caméscope qui, au lieu d'être tenu à la main, serait porté par le drone. Les images recueillies peuvent être enregistrées puis diffusées, mises en ligne sur des sites web d'hébergement de séquences video, envoyées à d'autres internautes, partagées sur des réseaux sociaux, etc. Ces images étant destinées à être enregistrées et communiquées, il est souhaitable qu'elles présentent le moins de défauts possible, notamment de défauts résultant de mouvements parasites du drone, qui vont provoquer des oscillations et sautillements intempestifs de l'image captée par la caméra. En particulier, avec la caméra qui pointe dans la direction principale du drone, tout mouvement autour de l'axe de tangage (ou de l'axe de lacet), qui est perpendiculaire à l'axe de la caméra, produira sur l'image des oscillations verticales (respectivement, horizontales) dégradant fortement la lisibilité et la qualité de l'image captée. De même, tout mouvement autour de l'axe de roulis (l'axe de la caméra) provoquera une rotation de l'image dans un sens ou dans l'autre, nuisant à sa lisibilité. Or, les déplacements d'un drone à voilure tournante tel qu'un quadricoptère, qu'il soit commandé par l'utilisateur ou asservi par un pilote automatique, résultent principalement de mouvements de bascule autour des axes de tangage (déplacements avant/arrière) et de roulis (déplacements gauche/droite), qui sont inhérents au principe même de fonctionnement d'un tel drone. Plus précisément, si le drone est commandé de manière à s'incliner ou "plonger" vers le bas (inclinaison suivant un angle de tangage), il progressera vers l'avant, avec une vitesse d'autant plus élevée que l'inclinaison sera importante. Inversement, s'il est commandé de manière à se "cabrer" dans le sens opposé, sa vitesse ralentira progressivement puis s'inversera en repartant vers l'arrière. De la même façon, pour une commande d'inclinaison suivant un axe de roulis le drone penchera à droite ou à gauche, provoquant un déplacement linéaire en translation horizontale vers la droite ou vers la gauche. Tout déplacement linéaire du drone vers l'avant ou vers l'arrière ou sur le côté implique un basculement du drone, et donc un effet correspondant de décalage, de rotation, d'oscillation... de l'image recueillie par la caméra.The invention relates to rotary wing drones such as quadcopters and the like. These drones are provided with multiple rotors driven by respective engines controllable in a differentiated manner to control the drone attitude and speed. A typical example of such a drone is AR.Drone 2.0 from Parrot SA, Paris, France, which is a quadricopter equipped with a series of sensors (accelerometers, three-axis gyrometers, altimeter), a front camera capturing a image of the scene towards which the drone is directed, and a vertical aiming camera capturing an image of the terrain overflown. The WO 2010/061099 A2 and EP 2 364 757 A1 (Parrot SA) describe such a drone and its driving principle via a phone or multimedia player with touch screen and built-in accelerometer, for example a cellular phone. iPhone type or iPad type multimedia tablet (trademarks of Apple Inc., USA). These devices incorporate the various control devices necessary for the detection of control commands and the bidirectional exchange of data with the drone via a Wi-Fi (IEEE 802.11) or Bluetooth (registered trademarks) wireless network link. They are further provided with a touch screen displaying the image captured by the front camera of the drone, with a number of symbols superimposed enabling the activation of commands by simply touching the finger of the user on this touch screen. The front video camera of the drone can be used for "immersive mode" control, that is to say where the user uses the image of the camera in the same way as if he were himself even on board the drone, it can also be used to capture sequences of images of a scene to which the drone is moving, allowing the user to use the drone in the same way as a camera or a camcorder that, instead of being held by hand, would be carried by the drone.The collected images can be recorded and broadcast, posted on web hosting video sequences, sent to other users, shared on social networks, etc. These images are intended to be recorded and communicated, it is desirable that they have the least possible defects, including defects resulting from parasitic movements of the drone, which will cause oscillations and unwanted jumps of the image capt By the camera in particular, with the camera pointing in the main direction of the drone, any movement around the pitch axis (or yaw axis), which is perpendicular to the axis of the camera, will produce on the image vertical oscillations (respectively, horizontal) strongly degrading the readability and the quality of the captured image. Likewise, any movement around the roll axis (the axis of the camera) will cause the image to rotate in one direction or the other, affecting its readability. However, the movements of a rotary wing drone such as a quadricopter, whether user controlled or servo-controlled by an autopilot, result mainly from rocking movements around the pitch axes (forward / backward movements). and roll (left / right movements), which are inherent in the very principle of operation of such a drone. Specifically, if the drone is commanded to tilt or "dive" downward (tilting at a pitch angle), it will progress forward, with a speed as high as the tilt will be important. Conversely, if it is controlled so as to "pitch up" in the opposite direction, its speed will gradually slow down and then reverse by going backwards. In the same way, for an inclination control along a roll axis the drone will lean to the right or left, causing a linear displacement in horizontal translation to the right or to the left. Any linear movement of the drone forwards or backwards or on the side involves a tilting of the drone, and therefore a corresponding effect of offset, rotation, oscillation ... of the image collected by the camera.

Ces perturbations peuvent être acceptables dans une configuration de "pi- lotage immersif' dans la mesure où elles font partie de l"'expérience utilisateur". En revanche, s'il s'agit d'utiliser le drone à la manière d'une caméra video mobile pour capter des séquences qui seront enregistrées et restituées ul- térieurement, ces mouvements parasites sont extrêmement perturbants, avec sur l'image un horizon désaligné et instable, montant et descendant dans l'image au gré des accélérations et des ralentissements du drone, ainsi que des rotations parasites et autres artefacts divers. Le EP 2 613 214 Al (Parrot) décrit un procédé de pilotage d'un drone pour opérer une prise de vue selon un mode sélectionné par l'utilisateur tel que travelling frontal ou latéral, panoramique ou plan grue, définissant une trajectoire à imprimer au drone. Une fois le drone stabilisé sur la trajectoire prescrite, la prise de vue video est activée et la trajectoire est stabilisée par un contrôle en boucle ouverte évitant les oscillations inhérentes à un asservissement avec boucle de rétroaction. Il s'agit toutefois dans ce cas de stabiliser une trajectoire en évitant les oscillations parasites autour d'un point de consigne par modification du fonctionnement des boucles de contrôle d'attitude du drone lorsque le mouvement imposé à celui-ci est un mouvement de translation rectiligne uniforme ou un mouvement de rota- tion uniforme. Il ne s'agit pas de compenser les déplacements de l'image résultant des mouvements de bascule du drone pendant des phases d'accélération ou de ralentissement lors de déplacements avant/arrière et/ou gauche/droite. Diverses solutions ont été proposées pour assurer la compensation de tels déplacements dans l'image. Une solution mécanique consiste à monter la caméra dans un berceau relié au corps du drone par une suspension à la Cardan motorisée et asservie de manière à compenser les mouvements de bascule du drone. Cette solution présente plusieurs avantages, notamment de stabiliser l'image en amont de sa capture, et de permettre une grande amplitude de compen- sation d'angle. En revanche, elle implique un système mécanique complexe et lourd (ce qui est particulièrement pénalisant pour un objet volant), et l'efficacité de la compensation est limitée par l'accélération maximale et la vitesse des moteurs d'asservissement utilisés.These disturbances may be acceptable in an "immersive pilots" configuration as they are part of the "user experience." On the other hand, if it is a matter of using the drone as a mobile video camera to capture sequences that will be recorded and retrieved later, these parasitic movements are extremely disturbing, with the image a misaligned and unstable horizon, rising and falling in the image as the accelerations and slowdowns of the drone As well as parasitic rotations and other various artifacts, EP 2 613 214 A1 (Parrot) discloses a method of piloting a drone for shooting in a user-selected mode such as front or side tracking, panoramic or crane plane, defining a trajectory to print to the drone.When the drone stabilized on the prescribed trajectory, the video shooting is activated and the trajectory is stabilized by a open-loop control that avoids the oscillations inherent in servo feedback looping. However, it is in this case to stabilize a trajectory by avoiding unwanted oscillations around a set point by modifying the operation of the attitude control loops of the drone when the movement imposed on it is a translational movement. uniform rectilinear or uniform rotational motion. It is not a question of compensating the displacements of the image resulting from the movements of rocking of the drone during phases of acceleration or deceleration during displacements forward / backward and / or left / right. Various solutions have been proposed to compensate for such displacements in the image. A mechanical solution consists of mounting the camera in a cradle connected to the body of the drone by a suspension with the motorized gimbal and controlled so as to compensate for the rocking movements of the drone. This solution has several advantages, notably to stabilize the image upstream of its capture, and to allow a large amplitude of angle compensation. On the other hand, it involves a complex and heavy mechanical system (which is particularly disadvantageous for a flying object), and the efficiency of the compensation is limited by the maximum acceleration and the speed of the servo motors used.

Une autre technique, dénommée OIS (Optical Image Stabilization) consiste à déplacer en temps réel des éléments optiques de l'objectif de la caméra, ou du capteur dans le plan focal. La stabilisation est, ici encore, opérée en amont de la prise de vue, et ce système n'implique qu'un très faible encombrement. En revanche, la conception optique est com- plexe, et l'amplitude maximale de compensation d'angle est limitée à quelques degrés, avec en outre un temps de réponse suffisant pour compenser les effets d'une prise de vue à main levée, mais trop long pour compenser les mouvements très brusques d'un drone en mouvement. Enfin, la technique dite EIS (Electronic Image Stabilization) consiste à ac- quérir sur le capteur une zone fixe de plus grande étendue que la zone de capture qui sera utilisée. La compensation est opérée par une translation de la zone de capture sur la zone d'acquisition, en sens contraire du mouvement à compenser, le capteur ne transmettant qu'une sous-partie correspondant à l'image stabilisée. La mise en oeuvre d'une telle compensa- tion est simple. En revanche, l'amplitude de compensation est limitée par le rapport entre la taille de la zone de capture et celle de la zone d'acquisition, c'est-à-dire la taille effective du capteur utilisé. Concrètement, l'amplitude maximale de compensation d'angle est limitée à quelques degrés. De plus, la simple translation de la zone de capture n'est pas mathémati- quement suffisante pour compenser une rotation de la caméra, car il ne s'agit pas d'une véritable correction du changement de perspective induit par des rotations. Enfin, il s'agit d'une compensation par post-traitement des données d'images acquises par le capteur, ce qui ne permet pas de compenser certains effets tels que le flou de bougé et le wobble (ondula- tion de l'image, de faible amplitude et haute fréquence, causée par les vi- brations des moteurs du drone). Le but de l'invention est de proposer une nouvelle technique de capture d'image par la caméra d'un drone notamment de type quadricoptère qui pallie les inconvénients précités, et procure les avantages suivants - grande amplitude de compensation angulaire ; - possibilité de compenser des déplacements très rapides et de forte accélération ; - pas d'augmentation de l'encombrement ni du poids des éléments embarqués ; - grande simplicité de mise en oeuvre ; - compensation de tous les phénomènes optiques, y compris ceux impliquant un changement de perspective induit par les rotations du drone ; - compensation des effets d'ondulation de forte amplitude et basse fréquence (jelly) et de faible amplitude et haute fréquence (wobble).Another technique, called OIS (Optical Image Stabilization) consists of moving in real time optical elements of the lens of the camera, or the sensor in the focal plane. The stabilization is, here again, operated upstream of the shooting, and this system involves only a very small footprint. On the other hand, the optical design is complex, and the maximum amplitude of angle compensation is limited to a few degrees, with, moreover, a response time sufficient to compensate for the effects of freehand shooting, but too long to compensate for the very sudden movements of a moving drone. Finally, the so-called Electronic Image Stabilization (EIS) technique consists in acquiring on the sensor a fixed zone of greater extent than the capture zone that will be used. Compensation is effected by a translation of the capture zone on the acquisition zone, in the opposite direction of the movement to be compensated, the sensor transmitting only a subpart corresponding to the stabilized image. The implementation of such a compensation is simple. On the other hand, the compensation amplitude is limited by the ratio between the size of the capture zone and that of the acquisition zone, that is to say the effective size of the sensor used. Specifically, the maximum amplitude of angle compensation is limited to a few degrees. In addition, the simple translation of the capture zone is not mathematically sufficient to compensate for a rotation of the camera, because it is not a true correction of the change of perspective induced by rotations. Finally, it is a compensation by post-processing of the image data acquired by the sensor, which does not make it possible to compensate for certain effects such as motion blur and wobble (image waviness). , of low amplitude and high frequency, caused by the vibrations of the drone's engines). The object of the invention is to propose a new technique of image capture by the camera of a drone, in particular a quadrocopter type, which overcomes the aforementioned drawbacks, and provides the following advantages: - large amplitude of angular compensation; - ability to compensate for very fast movements and strong acceleration; - No increase in the size or weight of the embedded elements; - great simplicity of implementation; - compensation for all optical phenomena, including those involving a change of perspective induced by the rotations of the drone; - Compensation of high amplitude and low frequency ripple effects (jelly) and low amplitude and high frequency (wobble).

L'invention propose à cet effet un système applicable à un drone à voilure tournante de type connu, par exemple d'après le EP 2 613 214 Al précité, comprenant une caméra, pourvue d'un objectif pointant dans une direction fixe par rapport au corps du drone ainsi qu'un capteur numérique recueil- lant l'image formée par l'objectif, et une centrale inertielle apte à mesurer les angles d'Euler caractérisant l'attitude du drone par rapport à un repère terrestre absolu. De façon caractéristique de l'invention, l'objectif est un objectif à champ hémisphérique de type fisheye, et le drone comporte en outre : - des moyens extracteurs, recevant en entrée un signal de sélection dé- finissant la position d'une zone de capture de dimension réduite sur l'étendue du capteur, et délivrant en sortie des données de pixel brutes correspondant à la zone de capture ; - des moyens d'asservissement, recevant en entrée au moins un angle d'Euler délivré par la centrale inertielle, et aptes à modifier le signal de sélection de façon dynamique dans un sens opposé de celui d'un changement d'attitude du drone détecté par la centrale inertielle et caractérisé par une variation correspondante dudit au moins un angle d'Euler ; - des moyens de traitement d'image, recevant en entrée les données de pixel brutes délivrées par les moyens extracteurs et délivrant en sortie des données de pixel rectifiées, compensées des distorsions géométriques introduites par l'objectif fisheye sur l'image recueillie par le capteur dans la région de la zone de capture sélectionnée par les moyens ex- tracteurs ; et - des moyens de délivrance en sortie des données de pixel rectifiées, pour transmission à un dispositif d'affichage ou d'enregistrement video. Selon diverses caractéristiques subsidiaires avantageuses : - les moyens d'asservissement sont aptes à modifier le signal de sélec- Lion de manière que les données de pixel délivrées par les moyens ex- tracteurs correspondent à une image centrée sur l'horizon, ou centrée sur une orientation fixe par rapport à l'horizon ; - la caméra est montée dans le drone de manière que la direction de balayage de trame du capteur numérique soit orientée parallèlement à l'axe de tangage du drone ; - ledit au moins un angle d'Euler est un angle de tangage du drone, et les moyens d'asservissement sont aptes à modifier le signal de sélection de manière à translater la zone de capture dans une première di- rection, parallèle à un axe principal du capteur ; - ledit au moins un angle d'Euler est un angle de lacet du drone, et les moyens d'asservissement sont aptes à modifier le signal de sélection de manière à translater la zone de capture dans une seconde direction, perpendiculaire à ladite première direction ; - le capteur numérique est un capteur à balayage délivrant les données de pixel ligne par ligne, et les moyens de traitement d'image sont aptes à appliquer à chaque ligne du capteur une correction additionnelle propre à compenser les déplacements relatifs de pixels d'une ligne à la suivante induits par des rotations du drone autour d'un axe de lacet, de tangage et/ou de roulis. 0 On va maintenant décrire un exemple de réalisation du drone selon l'in- vention, en référence aux dessins annexés où les mêmes références dé- signent d'une figure à l'autre des éléments identiques ou fonctionnellement semblables. La Figure 1 est une vue d'ensemble montrant le drone et l'appareil de télécommande associé permettant son pilotage à distance.The invention proposes for this purpose a system applicable to a rotary wing drone of known type, for example according to the aforementioned EP 2,613,214 A1, comprising a camera, provided with a lens pointing in a fixed direction relative to the body of the drone as well as a digital sensor collecting the image formed by the objective, and an inertial unit capable of measuring the Euler angles characterizing the attitude of the drone with respect to an absolute terrestrial reference. In a characteristic manner of the invention, the objective is a fisheye type hemispherical field objective, and the drone further comprises: extracting means, receiving as input a selection signal defining the position of a zone of reduced size capture over the range of the sensor, and outputting raw pixel data corresponding to the capture area; servo-control means, receiving as input at least one Euler angle delivered by the inertial unit, and capable of modifying the selection signal dynamically in a direction opposite to that of a change of attitude of the drone detected. by the inertial unit and characterized by a corresponding variation of said at least one Euler angle; image processing means, receiving as input the raw pixel data delivered by the extractor means and outputting corrected pixel data, compensated for the geometric distortions introduced by the fisheye lens onto the image collected by the sensor; in the region of the capture zone selected by the extracting means; and output means for outputting the corrected pixel data for transmission to a display or video recording device. According to various advantageous subsidiary characteristics: the servo-control means are able to modify the selection signal so that the pixel data delivered by the extracting means correspond to an image centered on the horizon, or centered on a fixed orientation relative to the horizon; the camera is mounted in the drone so that the scanning direction of the digital sensor is oriented parallel to the pitch axis of the drone; said at least one Euler angle is a pitch angle of the drone, and the servo means are able to modify the selection signal so as to translate the capture zone into a first direction, parallel to an axis. main sensor; said at least one Euler angle is a yaw angle of the drone, and the servo means are able to modify the selection signal so as to translate the capture zone in a second direction, perpendicular to said first direction; the digital sensor is a scanning sensor delivering the pixel data line by line, and the image processing means are able to apply to each line of the sensor an additional correction capable of compensating for the relative displacements of pixels of a line; to the next induced by rotations of the drone around a yaw, pitch and / or roll axis. We will now describe an exemplary embodiment of the drone according to the invention, with reference to the accompanying drawings in which the same references indicate from one figure to the other identical or functionally similar elements. Figure 1 is an overview showing the drone and associated remote control device for remote control.

Les Figures 2a et 2b illustrent les modifications des directions de visée de la caméra entrainées par un basculement vers l'avant du drone, par exemple lors d'une phase d'accélération. La Figure 3 est un schéma par blocs des différents organes de contrôle d'asservissement et de pilotage du drone, ainsi que de correction des dé- placements de l'image selon la technique de l'invention. La Figure 4 est un exemple d'une image formée sur le capteur de la caméra du drone. La Figure 5 illustre les étapes successives de fenêtrage et de correction des distorsions correspondantes au traitement selon l'invention appliqué à l'image de la Figure 4.Figures 2a and 2b illustrate the changes in camera sighting directions caused by a forward tilting of the drone, for example during an acceleration phase. FIG. 3 is a block diagram of the various servo control and steering control elements of the drone, as well as correction of the displacement of the image according to the technique of the invention. Figure 4 is an example of an image formed on the camera sensor of the drone. FIG. 5 illustrates the successive steps of windowing and correction of the distortions corresponding to the treatment according to the invention applied to the image of FIG. 4.

La Figure 6 illustre un autre exemple d'une image d'une scène captée avec la caméra du drone. La Figure 7 illustre diverses vues qu'il est possible d'extraire de l'image globale de la Figure 6, après fenêtrage et correction des distorsions.Figure 6 illustrates another example of an image of a scene captured with the drone camera. Figure 7 illustrates various views that can be extracted from the overall image of Figure 6, after windowing and distortion correction.

La Figure 8 illustre les déformations apportées à l'image centrale illustrée Figure 7 en cas de mouvement de roulis. La Figure 9 illustre la manière de positionner le capteur de façon optimale pour compenser de façon efficace des changements d'attitude du drone autour de son axe de tangage.Figure 8 illustrates the deformations made to the central image illustrated in Figure 7 in case of rolling motion. Figure 9 illustrates how to optimally position the sensor to effectively compensate for changes in attitude of the drone around its pitch axis.

La Figure 10 est homologue de la Figure 9, pour des rotations autour d'un axe de lacet. Les Figures 11, 12 et 13 illustrent les déformations de type wobble et jelly observables sur l'image d'un damier, et qui peuvent être compensées lors de la correction des distorsions selon les enseignements de l'invention. 0 On va maintenant décrire un exemple de mise en oeuvre de l'invention. Sur la Figure 1, la référence 10 désigne de façon générale un drone, qui est par exemple un quadricoptère tel que le modèle AR.Drone 2.0 de Parrot SA, Paris, France, décrit notamment dans les WO 2010/061099 A2 et EP 2 364 757 Al précités. Le drone 10 comporte quatre rotors coplanaires 12 dont les moteurs sont pilotés indépendamment par un système intégré de navigation et de contrôle d'attitude. Il est pourvu d'une première caméra 14 à visée frontale permettant d'obtenir une image de la scène vers laquelle est orienté le d rone. Le drone comporte également une seconde caméra à visée verticale (non représentée) pointant vers le bas, apte à capter des images successives du terrain survolé et utilisée notamment pour évaluer la vitesse du drone par rapport au sol. Des capteurs inertiels (accéléromètres et gyromètres) permettent de mesurer avec une certaine précision les vitesses angulaires et les angles d'attitude du drone, c'est-à-dire les angles d'Euler (tangage 9, roulis 6 et lacet p) décrivant l'inclinaison du drone par rapport à un plan horizontal d'un repère terrestre fixe, étant entendu que les deux composantes longitudinale et transversale de la vitesse horizontale sont intimement liées à l'inclinaison suivant les deux axes respectifs de tangage et de roulis. Un télémètre à ultrasons disposé sous le drone fournit par ailleurs une mesure de l'altitude par rapport au sol.Figure 10 is the counterpart of Figure 9 for rotations around a yaw axis. Figures 11, 12 and 13 illustrate the deformations of wobble and jelly type observable on the image of a checkerboard, and which can be compensated for the correction of distortions according to the teachings of the invention. We will now describe an example of implementation of the invention. In FIG. 1, the reference 10 designates in a general manner a drone, which is for example a quadricopter such as the AR.Drone 2.0 model of Parrot SA, Paris, France, described in particular in WO 2010/061099 A2 and EP 2 364 757 Al supra. The drone 10 comprises four coplanar rotors 12 whose engines are controlled independently by an integrated navigation system and attitude control. It is provided with a first camera 14 with a frontal aiming to obtain an image of the scene towards which the mirror is directed. The drone also includes a second vertical aiming camera (not shown) pointing downwards, capable of capturing successive images of the terrain overflown and used in particular to evaluate the speed of the drone relative to the ground. Inertial sensors (accelerometers and gyrometers) make it possible to measure the angular velocities and attitude angles of the drone with precision, ie the Euler angles (pitch 9, roll 6 and yaw p) describing the inclination of the drone relative to a horizontal plane of a fixed terrestrial reference, it being understood that the two longitudinal and transverse components of the horizontal velocity are intimately related to the inclination along the two respective axes of pitch and roll. An ultrasonic range finder disposed under the drone also provides a measurement of the altitude relative to the ground.

Le drone 10 est piloté par un appareil de télécommande distant 16 pourvu d'un écran tactile 18 affichant l'image embarquée par la caméra frontale 14, avec en superposition un certain nombre de symboles permettant l'activation de commandes de pilotage par simple contact du doigt 20 d'un utilisateur sur l'écran tactile 18. L'appareil 16 est pourvu de moyens de liai- son radio avec le drone, par exemple de type réseau local Wi-Fi (IEEE 802.11), pour l'échange bidirectionnel de données du drone 10 vers l'appareil 16, notamment pour la transmission de l'image captée par la caméra 14, et de l'appareil 16 vers le drone 10 pour l'envoi de commandes de pilotage.The drone 10 is controlled by a remote remote control device 16 provided with a touch screen 18 displaying the image embedded by the front camera 14, with a number of symbols superimposed enabling the activation of control commands by simple contact of the The apparatus 16 is provided with means for radio linkage with the drone, for example of the Wi-Fi local area network (IEEE 802.11), for bidirectional exchange of data. data from the drone 10 to the apparatus 16, in particular for transmitting the image picked up by the camera 14, and from the apparatus 16 to the drone 10 for sending pilot commands.

L'appareil de télécommande 16 est également pourvu de capteurs d'incli- naison permettant de contrôler l'attitude du drone en imprimant à l'appareil des inclinaisons correspondantes selon des axes de roulis et de tangage (on pourra se référer au WO 2010/061099 A2 précité pour plus de détails sur ces aspects du système). Le pilotage du drone 10 consiste à faire évoluer celui-ci par : a) rotation autour d'un axe de tangage 22, pour le faire avancer ou reculer , b) rotation autour d'un axe de roulis 24, pour le décaler vers la droite ou vers la gauche ; c) rotation autour d'un axe de lacet 26, pour faire pivoter vers la droite ou vers la gauche l'axe principal du drone - et donc aussi la direction de pointage de la caméra frontale 14 ; et d) translation vers le bas 28 ou vers le haut 30 par changement du régime des gaz, de manière à respectivement réduire ou augmenter l'al- titude du drone. Lorsque ces commandes de pilotage sont appliquées par l'utilisateur à partir de l'appareil de télécommande 16, les commandes a) et b) de pivotement autour des axes de tangage 22 et de roulis 24 sont obtenues par des inclinaisons de l'appareil 16 respectivement autour de son axe longi- tudinal 32 et de son axe transversal 34 : par exemple, pour faire avancer le drone il suffit d'incliner l'appareil de télécommande 16 vers l'avant en le penchant autour de l'axe 32, pour le déporter à droite il suffit d'incliner l'appareil de télécommande 16 en le penchant autour de l'axe 34 vers la droite, etc. Les commandes c) et d), quant à elles, résultent d'actions ap- pliquées par contact du doigt 20 de l'utilisateur sur des zones spécifiques correspondantes de l'écran tactile 18. Le drone possède également un système automatique et autonome de stabilisation en vol stationnaire, activé notamment dès que l'utilisateur retire son doigt de l'écran tactile de l'appareil, ou automatiquement à la fin de la phase de décollage, ou encore en cas d'interruption de la liaison ra- dio entre l'appareil et le drone. Le drone passe alors à un état de sustentation où il sera immobilisé et stabilisé automatiquement dans cette position fixe, sans aucune intervention de l'utilisateur. La Figure 2a illustre schématiquement, de profil, l'attitude du drone lors- que celui-ci est immobile, dans un état de sustentation. On a schématisé en 36 le champ couvert par une caméra frontale 14 de type conventionnel, par exemple une caméra couvrant un champ de 54° et dont l'axe de vision 8 est centré sur l'horizon. Si, comme illustré Figure 2b, le drone progresse vers l'avant avec une vi- Lesse horizontale non nulle, par conception l'axe 26 du drone sera incliné vers l'avant d'un angle 9 (angle de tangage) par rapport à la verticale V. Cette inclinaison vers l'avant, schématisée par la flèche 38, implique une inclinaison de même valeur, schématisée par la flèche 40, de l'axe 6 de la caméra par rapport au plan de l'horizon HZ. On comprend ainsi qu'au fil des évolutions du drone, de ses accélérations, ralentissements ..., l'axe oscille en permanence autour de la direction de l'horizon HZ, qui se traduiront sur l'image captée par des mouvements d'oscillation permanents vers le haut et vers le bas. De façon comparable, si le drone se décale vers la droite ou vers la gau- che, ce mouvement s'accompagnera d'un pivotement autour de l'axe de roulis 24, qui se traduira sur l'image par des rotations dans un sens ou dans l'autre de la scène captée par la caméra. Pour pallier cet inconvénient, l'invention propose, au lieu d'utiliser une caméra munie d'un objectif conventionnel, de munir cette caméra d'un ob- jectif à champ hémisphérique de type "fisheye" couvrant un champ d'environ 180°, comme schématisé en 42 sur la Figure 2a. L'image captée par la caméra munie de cet objectif fisheye subira certes les mêmes mouvements d'oscillation et de rotation qu'une caméra conventionnelle mais, de façon caractéristique de l'invention, on n'utilisera qu'une partie du champ capté par cette caméra en sélectionnant une fenêtre particulière, dite "fenêtre de capture", correspondant au secteur angulaire 36 capté par une caméra conventionnelle. Cette zone de capture sera déplacée en permanence en fonction des mouvements du drone tels que déterminés par la centrale inertielle de celui-ci, et en sens contraire du déplacement détecté. En d'autres termes, on définit une "caméra virtuelle" par extraction d'une zone particulière de l'image hémisphérique, cette zone étant dynamiquement déplacée dans l'image hémisphérique en sens inverse des mouve- ments du drone afin d'annihiler les oscillations qui sinon seraient obser- vées sur l'image. Ainsi, dans le cas illustré Figure 2b où le drone plonge vers le bas d'un angle de tangage go (flèche 38) par rapport à la verticale V, la fenêtre de capture sera déplacée vers le haut (flèche 44) d'un angle de même valeur, ramenant ainsi dans la direction de l'horizon HZ l'axe central du secteur 36 de la "caméra virtuelle". Comme on l'a illustré sur les figures, dans la mesure où les mouvements du drone vers l'avant sont plus fréquents que ceux vers l'arrière et que, d'autre part, les zones d'intérêt (terrain survolé) sont plutôt situées au- dessous du niveau du drone qu'au-dessus de celui-ci, il peut être avanta- geux d'incliner vers le bas l'axe principal A de l'objectif fisheye (par exemple d'un angle de site de -20°), de manière à couvrir un plus grand nombre de configurations d'évolution du drone et de faire en sorte que le secteur 36 correspondant à la zone de capture de la "caméra virtuelle" reste tou- jours dans le champ 42 de l'objectif fisheye. La Figure 3 est un schéma par blocs des différents organes de contrôle d'asservissement et de pilotage du drone, ainsi que de correction des déplacements de l'image selon la technique de l'invention. On notera que, bien que ces schémas soient présentés sous forme de circuits interconnectés, la mise en oeuvre des différentes fonctions est essentiellement logicielle, cette représentation n'ayant qu'un caractère illustratif. De façon générale, comme illustré Figure 3, le système de pilotage implique plusieurs boucles imbriquées pour le contrôle de la vitesse horizon- tale, de la vitesse angulaire de l'attitude du drone et des variations d'alti- tude, automatiquement ou sous commande de l'utilisateur. La boucle la plus centrale est la boucle 100 de contrôle de la vitesse angulaire, qui utilise d'une part les signaux fournis par des gyromètres 102 et d'autre part une référence constituée par des consignes de vitesse angu- laire 104. Ces informations sont appliquées en entrée d'un étage 106 de correction de la vitesse angulaire, qui pilote lui-même un étage 108 de contrôle des moteurs 110 afin de commander séparément le régime des différents moteurs pour corriger la vitesse angulaire du drone par l'action combinée des rotors entrainés par ces moteurs.The remote control apparatus 16 is also provided with inclination sensors for controlling the attitude of the drone by imparting corresponding inclinations to the apparatus along roll and pitch axes (reference may be made to WO 2010 / 061099 A2 cited above for more details on these aspects of the system). The piloting of the drone 10 consists in making it evolve by: a) rotating around a pitch axis 22, to advance or retract it, b) rotation about a roll axis 24, to shift it towards the right or left; c) rotation about a yaw axis 26, to pivot to the right or to the left the main axis of the drone - and therefore also the pointing direction of the front camera 14; and d) downward translation 28 or upward 30 by changing the speed of the gases so as to respectively reduce or increase the altitude of the drone. When these control commands are applied by the user from the remote control device 16, the commands a) and b) pivoting about the pitch axes 22 and the rolling axis 24 are obtained by inclinations of the apparatus 16 respectively around its longitudinal axis 32 and its transverse axis 34: for example, to advance the drone simply tilt the remote control device 16 forward by leaning it about the axis 32, for to depose it to the right it suffices to tilt the remote control device 16 by leaning it about the axis 34 to the right, and so on. The commands c) and d), as for them, result from actions performed by contact of the user's finger 20 with corresponding specific areas of the touch screen 18. The drone also has an automatic and autonomous system of Hover stabilization, activated in particular as soon as the user removes his finger from the touch screen of the aircraft, or automatically at the end of the take-off phase, or in the event of interruption of the radio link between the aircraft and the drone. The drone then moves to a state of levitation where it will be immobilized and automatically stabilized in this fixed position, without any intervention of the user. Figure 2a schematically illustrates, in profile, the attitude of the drone when it is immobile, in a state of levitation. The field covered by a front camera 14 of conventional type has been schematized at 36, for example a camera covering a field of 54 ° and whose axis of vision 8 is centered on the horizon. If, as shown in Figure 2b, the drone progresses forward with a nonzero horizontal velocity, by design the axis 26 of the drone will be tilted forward by an angle 9 (pitch angle) with respect to the vertical V. This inclination forward, shown schematically by the arrow 38, involves a tilt of the same value, shown schematically by the arrow 40, of the axis 6 of the camera relative to the plane of the horizon HZ. We thus understand that as the drone evolves, its accelerations, slowdowns ..., the axis oscillates permanently around the direction of the horizon HZ, which will be reflected in the image captured by movements of permanent oscillation up and down. Similarly, if the drone shifts to the right or to the left, this movement will be accompanied by a pivot about the roll axis 24, which will be reflected in the image by one-way rotations. or in the other of the scene captured by the camera. To overcome this drawback, the invention proposes, instead of using a camera provided with a conventional lens, to provide this camera with a hemispherical field objective of "fisheye" type covering a field of about 180 °. as schematized at 42 in Figure 2a. The image captured by the camera provided with this fisheye lens will certainly undergo the same movements of oscillation and rotation as a conventional camera but, in a characteristic manner of the invention, only part of the field captured by this camera by selecting a particular window, called "capture window", corresponding to the angular sector 36 captured by a conventional camera. This capture area will be permanently moved according to the movements of the drone as determined by the inertial unit thereof, and in the opposite direction of the displacement detected. In other words, a "virtual camera" is defined by extracting a particular zone from the hemispherical image, this zone being dynamically displaced in the hemispherical image in the opposite direction of the movements of the drone in order to annihilate the oscillations that would otherwise be observed on the image. Thus, in the case illustrated in FIG. 2b, where the drone plunges downward from a pitch angle δ (arrow 38) with respect to the vertical V, the capture window will be moved upwards (arrow 44) by an angle of the same value, thus reducing the central axis of the sector 36 of the "virtual camera" in the direction of the horizon HZ. As illustrated in the figures, as the movements of the drone forward are more frequent than those to the rear and that, on the other hand, the areas of interest (terrain overflown) are rather below the level of the drone above it, it may be advantageous to tilt down the main axis A of the fisheye lens (eg -20 °), so as to cover a greater number of configurations of evolution of the drone and to ensure that the sector 36 corresponding to the capture zone of the "virtual camera" always remains in the field 42 of the fisheye lens. FIG. 3 is a block diagram of the various servo control and steering control elements of the drone, as well as correction of the displacements of the image according to the technique of the invention. It will be noted that, although these diagrams are presented in the form of interconnected circuits, the implementation of the various functions is essentially software, this representation having only an illustrative character. In general, as shown in Figure 3, the control system involves several nested loops for the control of the horizontal speed, the angular speed of the attitude of the drone and the variations of altitude, automatically or under control. of the user. The most central loop is the angular velocity control loop 100, which uses, on the one hand, the signals supplied by gyrometers 102 and, on the other hand, a reference constituted by angular velocity instructions 104. applied at the input of an angular speed correction stage 106, which itself controls a motor control stage 110 in order to control separately the speed of the various motors to correct the angular velocity of the drone by the combined action of the rotors driven by these engines.

La boucle 100 de contrôle de la vitesse angulaire est imbriquée dans une boucle 112 de contrôle d'attitude, qui opère à partir des indications fournies par les gyromètres 102 et par des accéléromètres 114. Les données issues de ces capteurs sont appliquées à un étage 118 qui produit une estimation de l'attitude réelle du drone, appliquée à un étage 120 de cor- rection d'attitude. Cet étage 120 compare l'attitude réelle du drone à des consignes d'angle générées par un circuit 122 à partir de commandes directement appliquées par l'utilisateur 124 et/ou à partir de données générées en interne par le pilote automatique du drone via le circuit 126 de correction de vitesse horizontale. Les consignes éventuellement corrigées appliquées au circuit 120 et comparées à l'attitude réelle du drone sont transmises par le circuit 120 au circuit 104 pour commander les moteurs de manière appropriée. Enfin, une boucle de contrôle de vitesse horizontale 130 comporte une caméra video verticale 132 et un capteur télémétrique 134 faisant fonction d'altimètre. Un circuit 136 assure le traitement des images produites par la caméra verticale 132, en combinaison avec les signaux de l'accéléromètre 114 et du circuit d'estimation d'attitude 118, pour produire des données permettant d'obtenir une estimation des vitesses horizontales selon les deux axes de tangage et de roulis du drone, au moyen d'un circuit 138.The angular velocity control loop 100 is embedded in an attitude control loop 112, which operates from the indications provided by the gyros 102 and by accelerometers 114. The data from these sensors are applied to a stage 118. which produces an estimate of the real attitude of the drone, applied to an attitude correction stage 120. This stage 120 compares the actual attitude of the drone with angle commands generated by a circuit 122 from commands directly applied by the user 124 and / or from data generated internally by the autopilot of the drone via the circuit 126 for horizontal speed correction. The possibly corrected instructions applied to the circuit 120 and compared to the actual attitude of the drone are transmitted by the circuit 120 to the circuit 104 to control the motors appropriately. Finally, a horizontal speed control loop 130 includes a vertical video camera 132 and a telemetric sensor 134 acting as an altimeter. A circuit 136 processes the images produced by the vertical camera 132, in combination with the signals of the accelerometer 114 and the attitude estimation circuit 118, to produce data for obtaining an estimate of the horizontal speeds according to the two axes of pitch and roll of the drone, by means of a circuit 138.

Les vitesses horizontales estimées sont corrigées par l'estimation de vi- tesse verticale donnée par un circuit 140 et par une estimation de la valeur de l'altitude, donnée par le circuit 142 à partir des informations du capteur télémétrique 134. Pour le contrôle des déplacements verticaux du drone, l'utilisateur 124 applique des commandes à un circuit de calcul de consignes d'attitude 144, consignes qui sont appliquées à un circuit de calcul de consignes de vitesse ascensionnelle V, 146 via le circuit de correction d'altitude 148 recevant la valeur d'attitude estimée donnée par le circuit 142. La vitesse ascensionnelle V, calculée est appliquée à un circuit 150 qui compare cette vitesse de consigne à la vitesse correspondante estimée par le cir- cuit 140 et modifie en conséquence les données de commande des moteurs (circuit 108) en augmentant ou réduisant la vitesse de rotation simultanément sur tous les moteurs de façon à minimiser l'écart entre vitesse ascensionnelle de consigne et vitesse ascensionnelle mesurée.The estimated horizontal speeds are corrected by the vertical speed estimate given by a circuit 140 and by an estimate of the altitude value, given by the circuit 142 from the information of the telemetric sensor 134. For the control of vertical displacements of the drone, the user 124 applies commands to an attitude setting calculating circuit 144, which instructions are applied to a calculation circuit of ascending speed instructions V, 146 via the altitude correction circuit 148 receiving the estimated attitude value given by the circuit 142. The calculated climbing speed V is applied to a circuit 150 which compares this set speed with the corresponding speed estimated by the circuit 140 and modifies the control data accordingly. motors (circuit 108) by increasing or decreasing the speed of rotation simultaneously on all the motors so as to minimize the difference between speed asc ensionnelle setpoint and measured rate of climb.

En ce qui concerne plus spécifiquement la mise en oeuvre de l'invention, la caméra video frontale 14 délivre des données video brutes (données de pixel) appliquées à un circuit de fenêtrage 152 assurant la sélection des pixels utiles dans une zone de capture, dont la position dépend de l'attitude du drone à un instant donné, telle que déterminée par la centrale inertielle 154 (incluant les gyromètres 102, les accéléromètres 114 et le circuit d'estimation d'attitude 118). Les données video extraites de la zone de capture sont délivrées à un circuit 156 de correction des distorsions géométriques introduites par l'objectif fisheye, de manière à produire des données video rectifiées, elles- mêmes délivrées à un circuit émetteur 158 assurant la transmission de l'image video au dispositif de télécommande distant tenu par l'utilisateur, notamment pour affichage sur l'écran de ce dispositif de télécommande et enregistrement éventuel de la séquence video. La Figure 4 montre un exemple de scène, telle que capturée par l'objectif fisheye et détectée sur le capteur de la caméra video. Comme on peut le constater, cette image I comporte de très fortes distorsions géométriques, inhérentes à la couverture hémisphérique ou quasi-hémisphérique de l'objectif fisheye, qui est redressée sur la surface plane du capteur.As regards more specifically the implementation of the invention, the front video camera 14 delivers raw video data (pixel data) applied to a windowing circuit 152 ensuring the selection of the useful pixels in a capture area, of which the position depends on the attitude of the drone at a given moment, as determined by the inertial unit 154 (including the gyrometers 102, the accelerometers 114 and the attitude estimation circuit 118). The video data extracted from the capture zone are delivered to a circuit 156 for correcting the geometric distortions introduced by the fisheye lens, so as to produce rectified video data, themselves delivered to a transmitting circuit 158 ensuring the transmission of the video image remote control device held by the user, in particular for display on the screen of this remote control device and eventual recording of the video sequence. Figure 4 shows an example of a scene, as captured by the fisheye lens and detected on the camera sensor. As can be seen, this image I has very strong geometric distortions, inherent to the hemispherical or quasi-hemispherical coverage of the fisheye lens, which is rectified on the flat surface of the sensor.

Seule une partie de l'image I produite par l'objectif fisheye est utilisée. Cette partie est déterminée en fonction i) de la direction dans laquelle est pointée la "caméra virtuelle", ii) du champ de vision de celle-ci (schématisé en 36 sur les Figures 2a et 2b) et iii) de son ratio largeur/hauteur. On définit ainsi une "zone de capture" ZC contenant des données de pixel brutes incluant la "zone utile" ZU correspondant au champ de la caméra virtuelle après compensation des distorsions géométriques introduites par l'objectif fisheye. On notera qu'il n'est pas utile de capturer la totalité des pixels de l'image I formée sur le capteur de la caméra, mais seulement une fraction de ceux- ci (pour la zone de capture ZC). À titre d'exemple, si l'on souhaite obtenir une image finale en qualité HD (1920 x 1080 pixels, soit 2 Mpixel pour la zone utile ZU), il est nécessaire de disposer au départ d'une image fisheye de très haute résolution pour pouvoir en extraire une vue HD de bonne qualité quelle que soit la direc- tion dans laquelle pointe la caméra virtuelle, par exemple un capteur de résolution 14 Mpixel (4608 x 3288 pixels). Dans ces conditions, si l'on transférait la totalité de l'image I pour traitement, ceci correspondrait à un flux de données de pixel de 14 Mpixel pour chaque image, conduisant à une cadence d'images (framerate) de l'ordre de 6 images par seconde (ips) à cette résolution, ce qui serait insuffisant pour une séquence video fluide (imposant un framerate proche de 30 ips). On ne transfère donc que les données de pixel de la zone de capture ZC réellement nécessaire, par exemple une fenêtre de capture ZC d'environ 2 Mpixel, qui peut être ra- fraichie à une cadence de 30 ips sans difficulté particulière. On peut ainsi choisir un capteur de haute résolution tout en conservant un débit d'images élevé. Sur la Figure 5 on a illustré les différents traitements opérés sur les don- nées de pixel de la zone de capture ZC pour parvenir à l'image finale, compensée des distorsions géométriques. À partir des données de pixel transférées de la zone de capture ZC (Figure 5a) le processus extrait les données de pixel de la zone utile brute ZUB (Figure 5b) et leur applique un maillage de triangles (technique en elle-même connue), qui permettra de redresser l'image par étirement de chaque triangle pour donner une image utile redressée ZUR (Figure 5c) avec des données de pixel rectifiées. En particulier, les lignes horizontales fortement courbées de l'image fisheye seront corrigées pour les rendre rectilignes et produire une image correspondant à une vision naturelle, dépourvue de distorsions géométriques.Only part of the image I produced by the fisheye lens is used. This part is determined according to i) the direction in which the "virtual camera" is pointed, ii) its field of view (shown at 36 in Figures 2a and 2b) and iii) its ratio width / height. A "capture zone" ZC is thus defined containing raw pixel data including the "useful zone" ZU corresponding to the field of the virtual camera after compensation for geometric distortions introduced by the fisheye lens. It should be noted that it is not useful to capture all the pixels of the image I formed on the camera sensor, but only a fraction of them (for the capture zone ZC). For example, if you want to obtain a final image in HD quality (1920 x 1080 pixels, or 2 Mpixel for the useful area ZU), it is necessary to have a very high resolution fisheye image at the start. to be able to extract a good quality HD view regardless of the direction in which the virtual camera points, for example a 14 Mpixel resolution sensor (4608 x 3288 pixels). Under these conditions, if we transfer the entire image I for processing, this would correspond to a 14 Mpixel pixel data stream for each image, leading to a frame rate (framerate) of the order of 6 frames per second (fps) at this resolution, which would be insufficient for a fluid video sequence (imposing a framerate close to 30 fps). Therefore, only the pixel data of the capture zone ZC really needed is transferred, for example a capture window ZC of about 2 Mpixel, which can be retrieved at a rate of 30 fps without any particular difficulty. It is thus possible to choose a high resolution sensor while maintaining a high image rate. In FIG. 5, the various treatments performed on the pixel data of the capture zone ZC are illustrated to arrive at the final image, compensated for geometric distortions. From the pixel data transferred from the capture zone ZC (FIG. 5a), the process extracts the pixel data from the gross useful area ZUB (FIG. 5b) and applies to them a mesh of triangles (technique that is itself known), which will straighten the image by stretching each triangle to give a ZUR rectified useful image (Figure 5c) with rectified pixel data. In particular, the strongly curved horizontal lines of the fisheye image will be corrected to make them rectilinear and produce an image corresponding to a natural vision, devoid of geometric distortions.

On va maintenant décrire, en référence aux Figures 6 à 10, la manière dont la fenêtre de capture ZC est modifiée et déplacée en fonction de l'orientation de la caméra virtuelle. L'opération de fenêtrage implique en effet de déplacer la zone de capture (fenêtre d'acquisition des données de pixel, transférées depuis le capteur vers les circuits de traitement) pendant le transfert du flux video, en conservant un débit d'images élevé. La Figure 6 donne un exemple d'image I délivrée par l'objectif fisheye de la caméra qui, comme illustré Figure 7, peut produire après extraction de la zone de capture et correction des distorsions géométriques diverses images rectifiées au centre ZUR(c), en haut ZUR(h), en bas ZUR(b), à gau- che ZUR(g) ou à droite ZUR(d), toutes issues de la même image originelle L Dans le cas de mouvements de roulis à gauche ou à droite, l'image subit des rotations comme cela est illustré en a) et b) sur la Figure 8. La correc- tion de l'image ne pose pas de difficulté particulière, dans la mesure où il suffit de prévoir une zone de capture légèrement élargie et d'appliquer, après transfert des données de pixel, une correction d'image par rotation dans un sens ou dans l'autre, cette correction étant sans incidence notable sur le flux de données de pixel transférées du capteur au circuit de traitement. En revanche les rotations du drone autour de l'axe de tangage 22 (lorsque le drone plonge vers l'avant ou, au contraire, se cabre) introduisent des déplacements relativement importants de la zone de capture ZC, vers le haut ou vers le bas autour d'une position centrale.With reference to FIGS. 6 to 10, the manner in which the capture window ZC is modified and moved according to the orientation of the virtual camera will now be described. The windowing operation in fact involves moving the capture area (pixel data acquisition window, transferred from the sensor to the processing circuits) during the transfer of the video stream, while maintaining a high image rate. FIG. 6 gives an example of an image I delivered by the fisheye lens of the camera, which, as illustrated in FIG. 7, can produce various images corrected at the ZUR center (c) after extraction of the capture zone and correction of the geometrical distortions, at the top ZUR (h), at the bottom ZUR (b), at the left ZUR (g) or at the right ZUR (d), all from the same original image L In the case of roll movements on the left or right , the image is rotated as shown in a) and b) in Figure 8. The image correction is not particularly difficult, as it is sufficient to provide a light capture area. expanded and applying, after transfer of the pixel data, an image correction by rotation in one direction or the other, this correction being without significant impact on the flow of pixel data transferred from the sensor to the processing circuit. On the other hand, the rotations of the drone around the pitch axis 22 (when the drone plunges forward or, on the contrary, rears) introduce relatively large displacements of the catch zone ZC, upwards or downwards. around a central position.

Avec une configuration conventionnelle où le capteur est orienté selon un format "paysage", ces rotations provoquent des déplacements de la zone de capture parallèlement à la direction de balayage de trame du capteur, ce qui a pour conséquence d'introduire des chutes importantes du débit de transfert des données de pixel du capteur vers les circuits de traite- ment, avec un risque important de chute du framerate : le changement de la séquence de balayage du capteur pour extraire la zone de capture ZC peut en effet conduire, du fait du ralentissement du débit de données de pixel, à une perte de certaines images de la séquence, avec une diminution corrélative du framerate pouvant atteindre 50 %.With a conventional configuration where the sensor is oriented in a "landscape" format, these rotations cause displacements of the capture zone parallel to the direction of the frame of the sensor, which has the consequence of introducing significant drops in the flow rate. transfer of the pixel data from the sensor to the processing circuits, with a significant risk of falling the framerate: the change of the scanning sequence of the sensor to extract the capture zone ZC can indeed lead, because of the slowdown the pixel data rate, at a loss of some images of the sequence, with a correlative decrease of framerate up to 50%.

Or les oscillations autour de l'axe de tangage sont les plus fréquentes (avance/recul du drone, phases d'accélération/ralentissement...). Aussi, comme illustré Figure 9, pour compenser ces déplacements on choisit de tourner le capteur de 90° par rapport à une orientation conventionnelle, c'est-à-dire de le placer en configuration "portrait", de manière à privilégier les déplacements dans un sens perpendiculaire à la direction de balayage de trame DB (la position des lignes de balayage a été schématisée en e,, e2, e3, e4 ...) : dès lors, les déplacements des zones de capture liés à des mouvements en tangage (ZCh et ZCh autour de ZC0) n'auront pas d'impact sur le débit des données de pixel délivrées par le cap- teur. En d'autres termes, dans cette configuration le capteur est orienté de manière que sa direction de balayage de trame DB soit parallèle à l'axe de tangage 22 du drone. La Figure 10 est homologue de la Figure 9, pour un mouvement de la zone de capture ZC consécutive à un mouvement du drone autour de son axe de lacet 26. Si l'on oriente, comme dans le cas de la Figure 9, la ca- méra perpendiculairement à son positionnement "naturel", ces déplacements de la zone de capture ZC seront orientés dans le même sens que la direction de balayage DB du capteur. Mais comme les amplitudes de ces variations sont beaucoup plus faibles que celles correspondant à des mouvements de tangage, l'incidence sur le débit de données de pixel déli- vrées par le capteur sera minime, et le risque de perdre des images sera faible. Les Figures 11, 12 et 13 illustrent les déformations de type wobble et jelly observables sur l'image d'un damier, et qu'il convient de compenser en plus des distorsions géométriques de l'objectif fisheye. L'effet "jelly", illustré Figure 1, apparait en présence de rotations du drone de forte amplitude mais à relativement basse fréquence. Par exemple, dans le cas d'une rotation du drone de 100°/s et d'une capture video à 30 ips, entre le haut et le bas de l'image le drone aura tourné de 100 x 1/30 = 3,33°, ce qui correspond à un déplacement de plusieurs pixels sur l'image (environ un carreau du damier entre le haut et le bas de l'image dans l'exemple de la Figure 12). Ces artefacts sont particulièrement gênants sur des images mobiles, avec une distorsion permanente et variable des lignes droites.However, the oscillations around the pitch axis are the most frequent (drone advance / retreat, acceleration / deceleration phases ...). Also, as illustrated in FIG. 9, to compensate for these displacements, it is decided to turn the sensor by 90 ° with respect to a conventional orientation, that is to say to place it in the "portrait" configuration, so as to favor displacements in a direction perpendicular to the direction of frame scan DB (the position of the scan lines has been schematized in e ,, e2, e3, e4 ...): therefore, the movements of the capture areas related to pitching movements (ZCh and ZCh around ZC0) will have no impact on the bit rate of the pixel data delivered by the sensor. In other words, in this configuration the sensor is oriented so that its frame scanning direction DB is parallel to the pitch axis 22 of the drone. FIG. 10 is a counterpart of FIG. 9 for a movement of the capture zone ZC consecutive to a movement of the drone around its yaw axis 26. If, as in the case of FIG. - Mera perpendicular to its "natural" positioning, these movements of the capture zone ZC will be oriented in the same direction as the scanning direction DB of the sensor. But since the amplitudes of these variations are much smaller than those corresponding to pitching motions, the impact on the bit rate of pixel data delivered by the sensor will be minimal, and the risk of losing images will be small. Figures 11, 12 and 13 illustrate the deformations of wobble and jelly type observable on the image of a checkerboard, and that should be compensated in addition to geometric distortions of the fisheye lens. The "jelly" effect, illustrated in Figure 1, appears in the presence of rotations of the drone of high amplitude but relatively low frequency. For example, in the case of a rotation of the drone of 100 ° / s and a video capture at 30 fps, between the top and the bottom of the image the drone will have turned of 100 x 1/30 = 3, 33 °, which corresponds to a displacement of several pixels on the image (about one tile of the checkerboard between the top and the bottom of the image in the example of Figure 12). These artifacts are particularly troublesome on moving images, with permanent and variable distortion of straight lines.

Pour pallier ce phénomène, il est possible d'adapter à chaque ligne L de l'image le traitement d'obtention de la zone utile ZU lors de l'étape de reprojection et de redressement de la zone de capture ZC, cette correction ligne par ligne permettant d'annuler l'artefact introduit par la rotation rapide du drone.To overcome this phenomenon, it is possible to adapt to each line L of the image the processing for obtaining the useful area ZU during the step of reprojection and recovery of the capture zone ZC, this correction line by line to cancel the artifact introduced by the rapid rotation of the drone.

La Figure 13 illustre un autre type d'artefact dit "effet wobble", principale- ment causé par les vibrations du moteur : l'effet wobble est dû à des oscillations de haute fréquence et de faible amplitude, causées par les vibrations des moteurs, à la différence de l'effet jelly, qui est un effet de basse fréquence et de grande amplitude causé par les rotations du drone pour se déplacer. L'effet wobble est principalement corrigé par un amortisse- ment mécanique approprié du support de la caméra, permettant de filtrer les vibrations des moteurs. Les résidus de ce filtrage mécanique peuvent être éliminés de la même manière que pour l'effet jelly, en utilisant les mesures des gyromètres et en appliquant les corrections ligne par ligne.Figure 13 illustrates another type of "wobble effect" artefact, mainly caused by motor vibration: the wobble effect is due to high frequency and low amplitude oscillations caused by motor vibration. unlike the jelly effect, which is a low-frequency, high-amplitude effect caused by the drone's rotations to move. The wobble effect is mainly corrected by an appropriate mechanical damping of the camera support, allowing filtering of motor vibrations. The residues of this mechanical filtering can be eliminated in the same way as for the jelly effect, by using the measurements of the gyrometers and by applying the corrections line by line.

Claims

REVENDICATIONS1. A rotary wing drone (10), comprising: - a camera (14), comprising a lens pointing in a fixed direction (A) with respect to the body of the drone as well as a digital sensor collecting the image (I) formed by the objective; and an inertial unit (154) capable of measuring the Euler angles (9, 0, tp) characterizing the attitude of the drone with respect to an absolute terrestrial reference, characterized in that the objective is a field objective hemispherical fisheye type, and in that the drone further comprises: - extractor means (152), receiving as input a selection signal defining the position of a capture zone (ZC) of reduced size over the extent of sensor, and outputting raw pixel data corresponding to the capture area; servo-control means (152), receiving as input at least one Euler angle delivered by the inertial unit (154), and capable of modifying the selection signal dynamically in a direction opposite to that of a change the attitude of the drone detected by the inertial unit and characterized by a corresponding variation of said at least one Euler angle; image processing means (156), receiving as input the raw pixel data delivered by the extractor means and outputting corrected pixel data, compensated for the geometric distortions introduced by the fisheye lens onto the image collected by the sensor in the region of the capture zone selected by the extracting means; and output means (158) for outputting the corrected pixel data for transmission to a video display or recording device.

2. The drone of claim 1, wherein the servo means are adapted to modify the selection signal so that the pixel data delivered by the extractor means correspond to an image centered on the horizon, or centered on an orientation fixed in relation to the horizon.

3. The drone of claim 1, wherein the camera is mounted in the drone so that the raster scanning direction (Dg) of the digital sensor is oriented parallel to the pitch axis (22) of the drone.

4. The drone of claim 1, wherein said at least one Euler angle is a pitch angle (q) of the drone, and the servo means are adapted to modify the selection signal so as to translate the capture zone in a first direction, parallel to a main axis of the sensor.

5. The drone of claim 4, wherein said at least one Euler angle is a yaw angle (tif) of the drone, and the servo means are adapted to modify the selection signal so as to translate the zone. capture in a second direction, perpendicular to said first direction.

6. The drone of claim 1, wherein the digital sensor is a scanning sensor delivering the line-by-line pixel data (,), and the image processing means (156) is able to apply to each line. (e,) of the sensor an additional correction to compensate for relative displacements of pixels from one line to the next induced by rotations of the drone around a yaw, pitch and / or roll axis.