FR3094081A1 - Procédé d’estimation passive du temps avant collision pour un aéronef ou de tout objet volant pouvant être guidé, procédé de navigation associé - Google Patents
Procédé d’estimation passive du temps avant collision pour un aéronef ou de tout objet volant pouvant être guidé, procédé de navigation associé Download PDFInfo
- Publication number
- FR3094081A1 FR3094081A1 FR1902795A FR1902795A FR3094081A1 FR 3094081 A1 FR3094081 A1 FR 3094081A1 FR 1902795 A FR1902795 A FR 1902795A FR 1902795 A FR1902795 A FR 1902795A FR 3094081 A1 FR3094081 A1 FR 3094081A1
- Authority
- FR
- France
- Prior art keywords
- intruder
- aircraft
- before collision
- images
- time before
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000013528 artificial neural network Methods 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000007596 consolidation process Methods 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 230000001276 controlling effect Effects 0.000 description 14
- 238000012549 training Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- VREFGVBLTWBCJP-UHFFFAOYSA-N alprazolam Chemical compound C12=CC(Cl)=CC=C2N2C(C)=NN=C2CN=C1C1=CC=CC=C1 VREFGVBLTWBCJP-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
- G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
- G08G5/0078—Surveillance aids for monitoring traffic from the aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/04—Anti-collision systems
- G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
Abstract
L’invention concerne un procédé d’estimation d’un temps avant collision d’un aéronef (V) avec un intrus (I), caractérisé en ce qu’il comprend l’implémentation des étapes suivantes dans une unité de traitement (4), E0 : obtention d’une pluralité d’images successives d’une scène comprenant un intrus(I) ; E1 : traitement de la pluralité d’images successives de manière à obtenir au moins une pile d’images (P0), la pile d’images (P0) comprenant au moins deux images successives de la scène, dans lesquelles une zone d’intérêt (1) a été définie ; E2 : traitement de l’au moins une pile d’images (P0) au moyen d’un réseau de neurones (R) entrainé de manière à extraire de ladite pile d’images (P0) au moins deux informations caractéristiques de l’intrus (I) parmi, notamment : un type d’intrus, au moins une dimension de l’intrus (I), une dérivée temporelle de ladite au moins une dimension de l’intrus (I), une distance de l’intrus (I) à l’aéronef (V), un temps avant collision de l’aéronef (V) avec l’intrus (I) ; E3 : calcul d’au moins une estimation de temps avant collision (Tc) de l’aéronef (V) avec l’intrus (I), à partir de l’au moins une information caractéristique extraite par le réseau de neurones (R) entrainé. Figure pour l’abrégé : Fig. 2
Description
La présente invention concerne le domaine de la navigation des aéronefs ou de tout autre objet volant qui peut être guidé ou piloté et en particulier, l’invention concerne les procédés d’estimation de temps avant collision pour l’évitement d’obstacles ainsi que les procédés de navigation mettant en œuvre un tel temps avant collision estimé.
Afin de permettre à des véhicules volants de se déplacer sans risques de collision, il est nécessaire de détecter la présence d’obstacles sur la trajectoire. Il existe des systèmes actifs tels que les radars à extrêmement haute fréquence (en anglais « Millimeter-wave radar » ou MMW radar) ou des radars laser (en anglais « laser radar » ou LADAR). Cependant, ces systèmes sont généralement volumineux et chers, et ils ne peuvent pas être utilisés pour des aéronefs légers comme des drones ou des avions de tourisme par exemple, dont on cherche à réduire la masse et l’encombrement, et ainsi leur consommation de carburant. De plus, ces systèmes de détection d’intrus actifs peuvent rendre l’aéronef plus facilement détectable et donc augmenter sa vulnérabilité, par exemple dans un usage militaire.
Il est donc avantageux de proposer un système de détection d’intrus passif, c’est-à-dire utilisant uniquement des données optiques issues de caméras disposées sur l’aéronef par exemple. Afin de pouvoir éventuellement modifier la trajectoire de l’aéronef pour éviter une collision avec l’intrus détecté, il peut être nécessaire de déterminer un temps avant collision (en anglais « time to collision » ou TTC).
Il existe différentes approches d’estimation du temps avant collision à l’aide de vision par ordinateur, par exemple des méthodes basées sur les contours, utilisant par exemple le théorème de Green (voirR. Cipolla and A. Blake. Image divergence and deformation from closed curves. International Journal of Robotics Research, 16 :77–96, 1997), ou des méthodes basées sur le suivi affine des contours actifs pour estimer le temps avant collision (G. Alenyà, A. Nègre, and J. L. Crowley. A comparison of three methods for measure of time to contact. In Proceedings of the 2009 IEEE/RSJ international conference on Intelligent robots and systems, IROS’09, pages 4565–4570, Piscataway, NJ, USA, 2009. IEEE Press.).
Une autre méthode classique de l’estimation du temps avant collision est basée sur un modèle perspectif de projection, dans laquelle le temps avant collision est calculé localement en chaque point de l’image (voirT. Camus. Calculating time-to-contact using realtime quantized optical flow. In National Institute of Standards and Technology NISTIR 5609, 1995). Une telle méthode comprend classiquement les étapes suivantes : une caméra, orientée selon la direction de l’aéronef, acquiert une séquence vidéo. Pour chaque image de la séquence vidéo, une unité de traitement doit segmenter une zone d’intérêt correspondant à l’image de l’intrus dans l’image acquise, c’est-à-dire dans un premier temps identifier un obstacle en mouvement relatif par rapport à l’aéronef, puis estimer la surface de l’image de l’intrus, afin de calculer la dérivée de ses dimensions, c’est-à-dire la vitesse de grossissement dans l’image, puis d’en déterminer la vitesse d’approche par un calcul géométrique.
Cependant, ces méthodes ne sont pas adaptées à la détection d’intrus pour la navigation aérienne.
En effet, dans le cadre de la navigation aérienne, l’estimation du temps avant collision doit être calculée alors que l’intrus, pouvant se déplacer très rapidement, est encore loin, pour que l’aéronef puisse effectuer une manœuvre d’évitement. Ces méthodes, basées sur la segmentation, ne sont pas adaptées puisque l’image de l’intrus, encore loin, peut ne faire que quelques pixels. Ce qui rends les erreurs de calculs pour la segmentation et les dérivées très impactant pour la précision de l’estimation.
De plus, l’existence de bruits au niveau des capteurs et des effets atmosphériques, pouvant être importants et fortement variables, rendent une segmentation fiable et stable de l’image de l’intrus extrêmement difficile à obtenir. Ainsi l’estimation des dimensions de l’intrus dans l’image peut comprendre d’une image à l’autre une erreur de plusieurs pixels, qui pour un objet éloigné de faible dimension implique un calcul de vitesse très erroné. Le calcul de la dérivée est donc très instable et l’estimation du temps avant collision est faussé de façon importante.
Un but de l’invention est de remédier au moins en partie aux inconvénients précités en proposant un procédé permettant de fournir des informations permettant de calculer en temps réel et de manière fiable une estimation de temps avant collision entre un aéronef et un intrus, par une méthode passive.
Un autre but de l’invention est de fournir un procédé fiable de contrôle d’un aéronef permettant d’éviter un intrus et basé sur une estimation de temps avant collision.
A ce titre, l’invention concerne selon un premier aspect, un procédé d’estimation d’un temps avant collision d’un aéronef avec un intrus, caractérisé en ce qu’il comprend l’implémentation des étapes suivantes, mises en œuvre, dans une unité de traitement,
E0 : obtention d’une pluralité d’images successives d’une scène comprenant un intrus ;
E1 : traitement de la pluralité d’images successives de manière à obtenir au moins une pile d’images, la pile d’images comprenant au moins deux images successives de la scène, dans lesquelles une zone d’intérêt a été définie ;
E2 : traitement de l’au moins une pile d’images au moyen d’un réseau de neurones entrainé de manière à extraire de ladite pile d’images au moins deux informations caractéristiques de l’intrus parmi, notamment : un type d’intrus, au moins une dimension de l’intrus, une dérivée temporelle de ladite au moins une dimension de l’intrus, une distance de l’intrus à l’aéronef, un temps avant collision de l’aéronef avec l’intrus ;
E3 : calcul d’au moins une estimation de temps avant collision de l’aéronef avec l’intrus, à partir de l’au moins une information caractéristique extraite par le réseau de neurones entrainé.
L’invention est avantageusement complétée par les caractéristiques suivantes, prises seules ou en une quelconque de leur combinaison techniquement possible :
- l’étape d’obtention E1 de l’au moins une pile d’image comprend les sous-étapes suivantes : E10 : détection sur au moins une image de ladite au moins une pile d’images d’une zone d’intérêt comprenant l’intrus ; E11 : découpage de chaque image de l’au moins une pile d’images autour de la zone d’intérêt de manière à obtenir au moins une pile d’images de taille réduite ;
- le réseau de neurones entrainé est configuré pour extraire au moins deux informations caractéristiques de l’intrus, et dans lequel l’estimation de temps avant collision est calculée par une méthode géométrique à partir de l’au moins deux informations caractéristiques de l’intrus pour l’au moins une pile d’images ;
- l’estimation de temps avant collision est calculée par une méthode géométrique à partir d’au moins une information caractéristique extraite par le réseau de neurones entrainé pour au moins deux piles d’images distinctes ;
- le réseau de neurones est un réseau de neurones convolutionnel tridimensionnel, configuré pour extraire directement l’estimation de temps avant collision à partir de l’au moins une pile d’images ;
- le réseau de neurones « R » est un réseau de neurones convolutionnel tridimensionnel, configuré pour extraire d’une pile d’image P0, le type d’intrus et sa distance et dans lequel le temps avant collision est estimé comme le rapport entre la distance estimée et une vitesse a priori dépendant du type d’intrus ;
- au cours de l’étape E3 au moins deux estimations de temps avant collision différentes sont calculées pour l’au moins une pile d’images, le procédé comprenant en outre une étape E4 de consolidation de l’estimation de temps avant collision par calcul d’une valeur d’estimation de temps avant collision consolidée, à partir des au moins deux estimations de temps avant collision différentes ;
- la valeur d’estimation de temps avant collision consolidée, est la moyenne pondérée des au moins deux estimations de temps avant collision différentes calculées à l’étape E3.
- la valeur d’estimation de temps avant collision consolidée, est la médiane des au moins deux estimations de temps avant collision différentes calculées à l’étape E3.
- la valeur d’estimation de temps avant collision consolidée, est le minimum des au moins deux estimations de temps avant collision différentes calculées à l’étape E3.
- l’au moins une pile d’image comprend une pluralité de longueur d’ondes d’acquisitions.
L’invention concerne selon un deuxième aspect un procédé de contrôle d’un aéronef comprenant au moins un capteur caméra et un système de guidage configuré pour indiquer une trajectoire audit aéronef, caractérisé en ce qu’il comprend l’implémentation des étapes suivantes sur une unité de traitement :
acquisition d’une pluralité d’images vidéo par l’au moins un capteur caméra ;
traitement de la pluralité d’images vidéo par un procédé d’estimation d’un temps avant collision de l’aéronef avec un intrus selon l’une quelconque des revendications précédentes, afin d’obtenir au moins une valeur d’estimation de temps avant collision consolidée de l’aéronef avec l’intrus ;
modification d’une trajectoire de l’aéronef par le système de guidage, en fonction de la valeur d’estimation de temps avant collision consolidée de l’aéronef avec l’intrus afin d’éviter une collision avec l’intrus.
Le procédé de contrôle peut comprendre en outre une étape de consolidation de comparaison de la valeur d’estimation de temps avant collision consolidée à une valeur de temps critique, de sorte que si Tc,finale< Tcritique, le système de guidage est configuré pour modifier la trajectoire de l’aéronef lors de l’étape de modification de la trajectoire de l’aéronef.
Avantageusement, l’étape de traitement de la pluralité d’images vidéo comprend en outre l’obtention d’au moins une première valeur de vitesse de déplacement de l’intrus et une deuxième valeur de déplacement de l’intrus ; le procédé comprenant en outre une étape de consolidation de comparaison d’une marge de vitesse avec un indicateur
, de sorte que si
, le système de guidage est configuré pour modifier la trajectoire de l’aéronef lors de l’étape C3.
Avantageusement, l’étape de traitement comprend en outre l’obtention d’au moins une première estimation de temps avant collision, et une deuxième estimation de temps avant collision le procédé comprenant en outre une étape de consolidation de comparaison d’une marge de temps Mt avec un indicateur
, de sorte que si
, le système de guidage est configuré pour modifier la trajectoire de l’aéronef lors de l’étape C3.
Avantageusement, le procédé comprend une sélection automatique du type de réseau de neurones à utiliser en fonction du nombre d’intrus à traiter simultanément.
D’autres caractéristiques, buts et avantages de l’invention ressortiront de la description qui suit, qui est purement illustrative et non limitative, et qui doit être lue en regard des dessins annexés sur lesquels :
La figure 1 illustre de façon schématique un aéronef pouvant mettre en œuvre un procédé d’estimation de temps avant collision dans un exemple de réalisation.
La figure 2 est un organigramme illustrant des étapes d’un procédé d’estimation de temps avant collision.
La figure 3 illustre schématiquement des étapes d’obtention et de traitement d’images du procédé d’estimation de temps avant collision selon un exemple de réalisation de la figure 2.
La figure 4 illustre schématiquement des étapes de découpage d’images du procédé d’estimation de temps avant collision selon l’exemple de réalisation de la figure 2.
La figure 5 représente schématiquement une méthode géométrique d’estimation de temps avant collision.
La figure 6 est un logigramme illustrant des étapes d’un procédé de contrôle d’un aéronef selon un exemple de réalisation.
La figure 7 est un logigramme illustrant des étapes d’un procédé de contrôle d’un aéronef selon un autre exemple de réalisation.
Seuls les éléments nécessaires à la compréhension de l'invention ont été représentés. Pour faciliter la lecture des dessins, les éléments similaires portent des références identiques sur l’ensemble des figures.
Lafigure 1illustre schématiquement un aéronef ou véhicule volant V, dont la trajectoire peut croiser un intrus I, dans un exemple de réalisation. Afin d’éviter une collision, il peut être nécessaire de modifier convenablement la trajectoire de l’aéronef V.
L’aéronef V peut être un aéronef sans pilote, par exemple un drone, notamment un drone de taille moyenne, ou un aéronef avec pilote, par exemple, mais non limitativement, un planeur, un planeur ultra-léger motorisé (aussi appelé ULM), un hélicoptère ou encore un avion de tourisme, notamment un avion monomoteur ou bimoteur.
L’aéronef V comprend avantageusement une unité de traitement 4, par exemple un ordinateur de bord, configurée pour mettre en œuvre un procédé d’estimation de temps avant collision qui sera décrit ci-après et/ou un procédé de contrôle de la trajectoire de l’aéronef V en fonction d’un temps avant collision estimé qui sera également décrit ci-après.
De préférence, l’unité de traitement 4 a une puissance de calcul permettant la mise en œuvre en temps réel du procédé d’estimation de temps avant collision, c’est-à-dire est capable de calculer des estimations de temps avant collision Tc à une fréquence élevée, par exemple supérieure à 1 Hz. Cela permet à un utilisateur de l’aéronef V de suivre en temps réel l’évolution du temps avant collision Tc et éventuellement d’effectuer une manœuvre de contournement afin d’éviter une collision avec l’intrus I.
L’aéronef V est équipé d’au moins un capteur 10, comprenant une caméra permettant l’acquisition de vidéos. De préférence, le capteur 10 est configuré de sorte à modifier son orientation pour permettre l’acquisition de vidéos sur une zone élargie de l’environnement de l’aéronef V en vol.
De préférence, l’aéronef V peut être équipé de plusieurs caméras. Cela permet de couvrir avantageusement une plus grande zone de l’environnement de l’aéronef V en vol.
De préférence, l’au moins un capteur 10 permet l’acquisition de vidéos selon une pluralité de longueurs d’onde différentes, par exemple dans le domaine du visible et/ou de l’infrarouge, de préférence dans l’infrarouge semi-lointain et/ou dans l’infrarouge lointain, afin de permettre une mise en œuvre d’un procédé d’estimation du temps avant collision quelles que soient les conditions de visibilité, et de permettre en outre une détection nocturne de l’intrus I.
On décrit ci-après un procédé d’estimation du temps avant collision Tc entre l’intrus I et l’aéronef V, en relation avec lafigure 2.
Au cours d’une première étape E0, sont obtenues une pluralité d’images successives, correspondant à une séquence d’images vidéo (en anglais, « video frame ») d’une scène, c’est-à-dire de l’extérieur de l’aéronef V. La pluralité d’images successives peut comprendre l’intrus I.
La pluralité d’images vidéo est avantageusement acquise par le capteur 10, comme cela est illustré sur lafigure 3.
De manière générale, une image est une matrice de pixels de longueur L et de hauteur H, soit de dimension L×H. Une vidéo est une séquence de
images vidéo successives, numérotées de 1 à
. En d’autres termes, une image quelconque d’une vidéo correspond à une image vidéo
, avec
. On notera Δt la durée entre l’obtention de deux images consécutives c’est-à-dire la durée séparant une image t d’une image t+1, par exemple la durée d’acquisition du capteur 10.
Les images obtenues sont ensuite traitées au cours d’une étape E1 de traitement de la pluralité d’images successives de la scène, afin d’obtenir au moins une « pile d’images » P0, c’est-à-dire une sous-séquence de N images consécutives (2≤N≤T), dans lesquelles a été définie une zone d’intérêt 1. De préférence, la zone d’intérêt 1 comprend l’image de l’intrus I, comme cela est illustré sur lafigure 3.
On considère une quelconque pile d’images P0 de la vidéo d’entrée. La dimension (c’est-à-dire le nombre d’images N) de la pile d’images P0 est choisie de sorte que l’observation de l’intrus au travers des images de la pile P0 soit informative de son déplacement. Par exemple, dans le cadre de la détection de l’intrus I, la dimension N de la pile d’images P0 est choisie de sorte qu’entre la première image T0 de la pile, acquise à un instant T0, et la dernière image T(N-1) de la pile, acquise à un instant T0 +(N-1)Δt, la dimension de l’intrus I dans les images ait peu évoluée si par exemple l’intrus et lent ou très éloigné ou ait beaucoup évoluée si par exemple l’intrus est proche ou très rapide.
La valeur de N peut être inférieure à 100, de préférence inférieure à 50, de préférence encore N=16 ou N=32. Plus généralement, la valeur de N peut dépendre de la vitesse de déplacement de l’aéronef V, ou de la vitesse d’acquisition du capteur 10 fournissant la vidéo d’entrée, et/ou de la capacité de traitement de l’unité de traitement 4.
Dans un premier exemple de réalisation, illustré sur lafigure 3, les piles d’images (P0,P1,P2) sont obtenues par pas de N images successives. Autrement dit, si la première image de la première pile d’images P0 est l’image T0 et la dernière image de la première pile d’images P0 est l’image T(N-1), alors la première image TN de la pile suivante, ou deuxième pile d’images P1, sera l’image suivant l’image T(N-1) de la pluralité d’images successives de la vidéo d’entrée. Chaque image de la pluralité d’images successives appartient alors à une unique pile d’images.
Dans un exemple de réalisation alternatif, les piles d’images sont obtenues selon une fenêtre temporelle glissante de pas δ (par exemple δ=1). Autrement dit, si la première image de la première pile d’images P0 est l’image T0, alors la première image de la pile suivante P1, sera l’image située δ images après l’image T0, c’est-à-dire que la première image de la deuxième pile d’images P1 sera l’image Tδ. Chaque image de la pluralité d’images successives peut appartenir à plusieurs piles d’images différentes.
De préférence, les piles d’images peuvent comprendre une pluralité de longueur d’ondes d’acquisition.
Dans un exemple de réalisation, illustré schématiquement sur lafigure 4, l’étape de traitement E1 comprend une première sous-étape E10 de détection de l’intrus I dans au moins une image de la pile P0, afin de définir la zone d’intérêt 1 comprenant l’intrus I. Cette détection, si c’est la première, définie la zone d’intérêt et le début de la pile P0. Si ce n’est pas la première détection de l’intrus, elle permet de définir les piles successives Pi et les zones intérêt i associées.
Afin de détecter l’intrus I, différentes méthodes de détection d’objet en mouvement dans une scène de fond sensiblement uniforme peuvent être mises en œuvre et sont connues de l’état de la technique. Par exemple, on peut utiliser des méthodes de détection de premier plan (en anglais « foreground detection ») ou une méthode de recherche de points chauds.
Dans un exemple de réalisation, l’étape de traitement E1 comprend une deuxième sous-étape E20 de découpage de chaque image T0 à T(N-1) de la pile d’images P0 autour de la zone d’intérêt 1. On obtient alors une nouvelle pile d’images P0’ comprenant des images T0’ à T(N-1)’, dont la taille est inférieure à celle de l’image obtenue T0.
De préférence, les N images de la pile d’images P0 sont découpées autour de la zone d’intérêt 1 correspondant à une image de l’intrus I.
On peut déterminer des coordonnées (X,Y) d’un centre de l’intrus I détecté. Comme illustré sur lafigure 4, l’image de l’intrus I délimitant la zone d’intérêt 1 peut correspondre à une sous-matrice, correspondant à une matrice rectangulaire de dimension rx × ry centrée au point (X,Y) du centre de l’intrus I détecté, c’est-à-dire à un rectangle de sommets (X-rx/2,Y-ry/2), (X+rx/2, Y+ry/2).
De préférence, les dimensions rx et ry sont choisies pour que l’intrus I soit entièrement compris dans la sous-matrice. De manière avantageuse, rx < L et ry< H. Cela permet de réduire la dimension des matrices à traiter, et donc de réduire la quantité de données à traiter, en supprimant les zones « inutiles » de l’image T0, c’est-à-dire les zones ne portant pas d’informations sur l’intrus I, et en ne conservant que la zone d’intérêt 1 définie autour de l’intrus I. De préférence rx et ry sont égaux, par exemple, rx=400 et ry=400.
Au cours d’une troisième étape E2, l’au moins une pile d’images P0, comprenant les N images vidéo successives, est donnée en entrée à un réseau de neurones R préalablement entrainé.
De préférence, le réseau de neurones R prend en entrée la nouvelle pile d’images P0’ de taille réduite, par exemple comprenant N sous-matrices de dimension rx × ry.
De manière générale, le réseau de neurones R comprend une pluralité de neurones sur plusieurs couches connectées entre elles, et peut être implémenté selon un grand nombre d’architectures différentes.
Dans un exemple de réalisation, le réseau de neurones R peut être un réseau de neurones convolutionnel tridimensionnel (en anglais «3D convolutional neurol networks » ou 3D CNN). Un tel exemple de réseau de neurones est décrit dansS. Ji et al., 3D convolutional neural networks for human action recognition, PAMI 2013. Les réseaux de neurones convolutionnels 3D permettent de ne pas analyser des images vidéo comme des images fixes, afin de reconnaitre des actions dans les images et de suivre à la fois leur évolution spatiale et temporelle. Les réseaux de neurones convolutionnels 3D permettent d’obtenir en sortie plusieurs types d’informations.
Le réseau de neurones R est entrainé au cours d’un procédé d’apprentissage qui sera détaillé par la suite, de sorte que le réseau de neurones R entrainé est capable d’extraire, à partir de la pile d’images d’entrée P0, au moins deux informations caractéristiques de l’intrus I, parmi les informations suivantes :
- le type d’intrus ;
- une distance de l’intrus I à l’aéronef V ;
- au moins une dimension de l’intrus I;
- une dérivée temporelle de l’au moins une dimension de l’intrus I ;
- un temps avant collision de l’aéronef V avec l’intrus I.
Le réseau de neurones R entrainé peut être configuré pour estimer l’au moins deux des informations caractéristiques, pour une quelconque image de la pile d’image P0. Par exemple, il peut s’agir de la première image T0 de la pile d’images ou de la dernière image T0+N-1 de la pile d’images P0.
De préférence, le réseau de neurones R entrainé est capable de fournir toutes les informations. De manière avantageuse, les informations caractéristiques que le réseau de neurones R extrait lors de l’étape E2 peuvent être sélectionnées, par un utilisateur ou le système de navigation de l’aéronef V par exemple. Cette sélection peut être réalisée a priori au moment de la conception du système, ou de façon dynamique en fonction des capacités de traitement du système : si le système doit traiter des intrus multiples on utilisera les réseaux de neurones les plus simples par exemple avec seulement deux types de sorties.
On entendra par « type d’intrus » la classification de l’intrus I dans une classe de véhicules volants, une catégorie pouvant être par exemple « avion léger », « hélicoptère », « avion de ligne », « avion d’affaire », ou tout autre objet volant susceptible de faire obstacle à l’aéronef V.
La distance de l’intrus I à l’aéronef V correspond à une estimation de la distance entre l’intrus I identifié sur l’image T0 et un point d’origine, situé par exemple dans le plan du capteur 10, et avantageusement situé sur l’aéronef V. Ainsi, la distance D0 correspond à la distance de l’intrus avec l’aéronef V calculé avec la pile P0 et la distance D1 correspond à la distance de l’intrus avec l’aéronef V calculé avec la pile P1.
Les dimensions de l’intrus I correspondent à une surface apparente de l’intrus I dans l’image T0. Cependant, le réseau de neurones R n’extrait pas un nombre de pixels correspondant à l’intrus I par l’intermédiaire d’une segmentation de l’image T0, mais est entrainé pour extraire directement et précisément au moins une dimension de l’intrus I. Le réseau de neurones R entrainé est configuré pour extraire des dimensions subpixeliques (inférieures à 20 micromètres carrés c’est-à-dire à la taille des pixels), exprimées en mètre, de sorte à pouvoir permettre une meilleure estimation du temps avant collision Tc, comme il sera détaillé par la suite.
La dérivée temporelle de l’au moins une dimension de l’intrus I dans l’image T0 correspond aux variations des dimensions de l’intrus I entre des images de la pile d’images P0, et permet une estimation de la vitesse de déplacement de l’intrus I.
Afin que le réseau de neurones R entrainé puisse fournir en sortie des informations caractéristiques de l’intrus I fiables, et par conséquent permettre une estimation du temps avant collision Tc très précise, il convient de l’entrainer préalablement par un procédé d’apprentissage, par exemple un procédé d’apprentissage supervisé.
De manière générale et connue de l’homme du métier, un procédé d’apprentissage supervisé d’un réseau de neurones correspond à mettre en œuvre un algorithme d’apprentissage pouvant modifier des pondérations des neurones du réseau de neurones, jusqu’à ce que la sortie du réseau de neurones corresponde à la sortie attendue. L’homme du métier comprendra que de nombreux algorithmes d’apprentissage connus peuvent être utilisés pour entrainer le réseau de neurones.
Afin de mettre en œuvre le procédé d’apprentissage supervisé du réseau de neurones R, il est nécessaire de construire une base de données d’apprentissage comprenant un grand nombre de séquence vidéo de véhicules volants (par exemple plusieurs centaines, de préférence plusieurs milliers), telle que pouvant être acquises depuis un aéronef, par exemple par un capteur vidéo semblable au capteur 10.
De préférence, les images vidéo de la base de données d’apprentissage comprennent des intrus appartenant à toutes les classes de véhicules volants nécessaires, afin que le réseau de neurones R entrainé puisse en outre reconnaitre tout type d’intrus.
De préférence, les images vidéo de la base de données d’apprentissage comprennent des intrus situés à des distances différentes, et avec des dimensions différentes.
La base de données d’apprentissage comprend des images vidéo de sorte à pouvoir entrainer le réseau de neurones R pour qu’il soit capable d’identifier un comportement de l’intrus, avec une information temporelle, par exemple une vitesse de déplacement ou la dérivée temporelle des dimensions de l’intrus ou le temps avant collision.
Les images vidéo de la base de données d’apprentissage peuvent être obtenues par un simulateur d’images de croisement d’avions. Cela permet de générer une grande quantité de données d’apprentissage comprenant des informations variées, et d’entrainer efficacement le réseau de neurones R.
Les images vidéo de la base de données d’apprentissage sont associées à une vérité terrain, correspondant à la sortie attendue du réseau de neurones R entrainé. Les vérités terrain comprennent au moins une parmi les informations caractéristiques de l’intrus I précédentes.
De manière avantageuse, chaque image vidéo générée par le simulateur d’images est associée à une vérité terrain comprenant précisément toutes les informations sur l’intrus I, c’est-à-dire le type de l’intrus, la distance de l’intrus par rapport à l’aéronef V, les dimensions de l’intrus I, la dérivée temporelle des dimensions de l’intrus I dans l’image et le temps avant collision.
Les informations peuvent être des données d’entrée du simulateur d’images, le simulateur d’images étant de préférence configuré pour générer des images vidéo en fonction de ces informations. De manière alternative, les informations caractéristiques peuvent être extraites de métadonnées de simulation, à partir des trajectoires programmées de l’intrus I et de l’aéronef V dans plusieurs scénarios de simulation.
De manière avantageuse, les données de la base de données d’apprentissage comprennent des images vidéo réelles acquises en vol. Cela permet avantageusement de recaler correctement le modèle. Dans ce cas, la vérité terrain associée aux images vidéo réelles peut être construite à partir de l’expérience humaine du pilote ou d’un opérateur, qui identifie manuellement l’intrus dans les images vidéo réelles, ou à partir de données de localisation GPS par exemple.
De préférence, la base de données d’apprentissage comprend deux ensembles d’images vidéo distincts correspondant à des longueurs d’onde d’acquisition différentes. Par exemple, la base de données d’apprentissage comprend un premier ensemble d’images vidéo de scène dans le domaine du visible, et un deuxième ensemble d’images vidéo dans le domaine de l’infrarouge lointain ou semi-lointain. Cela permet d’entrainer selon deux procédés d’apprentissage distincts le réseau de neurones R, de sorte que le réseau de neurones R entrainé soit capable avantageusement d’extraire des informations caractéristiques de l’intrus I quelle que soit la nature de la pluralité d’images obtenues.
De manière avantageuse, chaque vidéo de la base de données d’apprentissage est composée d’image de l’intrus dans le domaine visible et dans le domaine de l’infrarouge lointain ou semi-lointain. Le réseau de neurone R est entrainé pour prendre en entrée une pile d’image P0 composée de ces deux types d’images (visible et infrarouge lointain). Lors de l’utilisation opérationnelle du réseau de neurone R, les piles d’image P0 fournies seront également composées d’images à ces différentes longueurs d’onde.
Les images vidéo de la base de données d’apprentissage et les vérités terrain associées sont regroupées en piles d’images consécutives, selon ce qui a été décrit précédemment, et permettent la mise en œuvre d’un procédé apprentissage efficace.
A partir de la pluralité d’informations caractéristiques de l’intrus extraites par le réseau de neurones R entrainé, il est possible, au cours d’une étape E3 de calculer une estimation du temps avant collision Tc de l’aéronef avec l’intrus, selon différents exemples de réalisation qui vont être détaillés.
Afin d’illustrer ces exemples, on considère comme illustré sur lafigure 3, une première pile d’image P0 comprenant N images vidéo, de première image T0 (acquise par exemple par le capteur 10 à l’instant T0), et une deuxième pile d’image P1 comprenant N images vidéo, de première image TN (acquise par exemple par le capteur 10 à l’instant T0 +NΔt).
Dans un premier exemple de réalisation, de réalisation, le réseau de neurones R entrainé est capable d’extraire des piles d’image P0 une valeur fiable de la distance de l’intrus et de type de l’intrus, il est possible de calculer une première estimation du temps avant collision Tc0 : Tc0 = D0/Va
Dans un second exemple de réalisation, le réseau de neurones R entrainé est capable d’extraire des piles d’image (P0, P1) une valeur fiable de la distance de l’intrus. A partir de la valeur de la distance de l’intrus I à l’aéronef V, il est possible de calculer une première estimation du temps avant collision Tc1, par une méthode géométrique.
En effet, l’information précise et fiable de distance de l’intrus à l’aéronef V pour une succession de piles d’images (P0, P1) permet un premier calcul de la vitesse de déplacement v de l’intrus I.
Par exemple, si le réseau de neurones R entrainé estime une distance D0 pour la première pile d’images P0 et une distance D1 pour la deuxième pile d’images P1, la vitesse Ve de déplacement relative de l’intrus peut être calculée de la manière suivante :
avec NΔt le temps écoulé entre l’obtention de l’image de la première pile P0 pour laquelle a été extraite la distance D0 et l’obtention de l’image de la deuxième pile P1 pour laquelle a été extraite la distance D1.
La deuxième estimation du temps avant collision Tc1 est alors : TC1 = D1/Ve.
De préférence, le réseau de neurones R entrainé peut également fournir l’information du type d’intrus identifié dans les piles d’images (P0, P1). Cela permet avantageusement d’avoir une informationa prioriimportante de la vitesse de déplacement Va de l’intrus, ainsi qu’un a priori de taille réelle de l’intrus I.
Par exemple, une valeur moyenne de vitesse de déplacement Va, ou de préférence des plages de vitesses de déplacement Va, peuvent être stockées dans l’unité de traitement 4 pour chaque type d’intrus. Par exemple, un avion de ligne peut se déplacer à une vitesse comprise entre 810 km/h et 920 km/h, et un avion léger monomoteur peut se déplacer à une vitesse comprise entre 170 km/h et 300 km/h.
La figure 5 illustre schématiquement un exemple de configuration géométrique permettant un calcul géométrique de Tc1 à partir des distance (D0, D1) extraites par le réseau de neurones R entrainé pour deux piles d’images successives (P0,P1), et à partir de la vitesse Va de l’intrus extraite par le réseau ne neurones R. A un instant T0, l’intrus I est identifié à la distance D0 de l’aéronef V, et à l’instant
, l’intrus I est identifié à la distance D1 de l’intrus. L’intrus I a parcouru la distance
entre ces deux instants.
On peut faire les hypothèses de calcul suivantes :
- On suppose que le temps
- [Math. 12]
- est très petit devant les vitesses de déplacement de l’aéronef V. Ainsi on peut négliger la distance parcourue par l’aéronef V au cours de l’obtention d’une nouvelle pile d’images.
- On considère qu’il y a collision quand l’intrus I arrive au niveau de l’aéronef V.
- On néglige la focale f du capteur 10, situé sur l’aéronef, devant les distances (D0,D1).
En référence à la figure 5, on note φ0 et φ1 des angles entre une direction de déplacement de l’aéronef V et la position de l’intrus I, on note θ1 et θ2 des angles de construction, caractéristiques d’une orientation de la trajectoire de l’intrus I dans le référentiel de l’aéronef V.
Suite à des calculs géométriques on obtient :
D’autres méthodes géométriques plus complexes de calcul de l’estimation du temps avant collision Tc1 peuvent être mises en œuvre à partir de l’information caractéristique de la distance de l’intrus I à l’aéronef V, et de l’évolution de cette distance entre les piles d’images, selon par exemple les trajectoires et les positions relatives de l’aéronef V et de l’intrus I.
Dans un deuxième exemple de réalisation, alternatif ou complémentaire, le réseau de neurones R entrainé est capable de fournir une valeur fiable d’au moins une dimension avec une précision subpixelique de l’intrus I, de préférence deux dimensions de l’intrus I. A partir de la valeur de l’au moins une dimension de l’intrus, il est possible de calculer une deuxième estimation du temps avant collision Tc2.
L’information de la dimension précise et fiable de l’intrus pour une succession d’au moins deux piles d’images permet une estimation fiable de flot optique, et une estimation fiable du temps avant collision Tc2 peut être calculée par l’unité de traitement 4 selon des méthodes géométriques classiques (voir par exempleT. Camus. Calculating time-to-contact using realtime quantized optical flow. In National Institute of Standards and Technology NISTIR 5609, 1995.cité dansEstimation des Cartes du Temps de Collision (TTC) en Vision Paracatadioptrique, Article in Traitement du Signal · October 2014).
La dérivée temporelle des dimensions de l’intrus dans l’image peut être calculée par l’unité de traitement 4 selon des méthodes géométriques classiques, par différentiation temporelle.
De préférence, le réseau de neurones R entrainé est capable de fournir directement une valeur fiable de la dérivée temporelle de l’au moins une dimension de l’intrus I dans l’image. Ainsi, l’unité de traitement 4 peut calculer directement l’estimation du temps avant collision Tc2, comme un rapport entre l’au moins une dimension de l’intrus et la dérivée temporelle de la dimension de l’intrus dans l’image.
Dans un troisième exemple de réalisation, alternatif ou complémentaire, le réseau de neurones R entrainé est capable de fournir directement une estimation fiable du temps avant collision Tc3.
Quel que soit l’exemple de réalisation, le procédé d’estimation du temps avant collision décrit précédemment présente les avantages d’utiliser une pile d’images P0, donnant ainsi une information sur la cinématique de l’intrus I identifiée plus fiable que dans des méthodes antérieures traitant les images comme des images fixes et non des images vidéo. Le procédé d’estimation du temps avant collision décrit présente l’avantage de ne jamais nécessiter une segmentation explicite de l’intrus I dans l’image, qui est une opération difficile à effectuer et coûteuse en temps de calcul.
Dans un exemple de réalisation préférentiel, plusieurs informations caractéristiques de l’intrus sont extraites par le réseau de neurones à l’étape E2, de sorte qu’à l’étape E3, différentes estimations du temps avant collision (Tc0, Tc1, Tc2, Tc3) peuvent être calculées.
Il alors est possible lors d’une étape E4 de consolider les estimations de temps avant collision grâce aux informations fournies par le réseau de neurones R entrainé, notamment en vue d’une utilisation de l’estimation du temps avant collision pour le contrôle de l’aéronef V.
Dans un exemple de réalisation, on peut consolider l’estimation du temps avant collision en calculant une unique valeur d’estimation du temps avant collision consolidée Tc,finaleà partir des différentes estimations du temps avant collision calculées lors de l’étape E3.
Dans un exemple de réalisation, il est possible d’effectuer une consolidation de la valeur d’estimation de temps avant collision en comparant, pour une même pile d’images P0, les estimations de temps avant collision calculées selon les différentes méthodes proposées.
Un premier exemple simple de consolidation est une consolidation par la moyenne arithmétique des différentes estimations calculées.
Par exemple, si lors de l’étape E3, les estimations du temps avant collision Tc0, Tc1, Tc2 et Tc3 ont été calculées, l’estimation du temps avant collision consolidée Tc,finaleest calculée à l’étape de consolidation E4 par :
De manière générale, la valeur d’estimation de temps avant collision peut être consolidée par une moyenne pondérée :
Avec a, b, c d fixés et choisis a priori.
Cette consolidation permet notamment de réduire les variations dans les différentes estimations.
Un deuxième exemple de consolidation par utilisation d’un indicateur statistique peut être une consolidation par la médiane.
Par exemple, si lors de l’étape E3, les estimations du temps avant collision Tc0, Tc1, Tc2 et Tc3 ont été calculées, l’estimation du temps avant collision finale Tc,finaleest calculée de la manière suivante :
On note que cette consolidation est plus robuste. En outre on pourra utiliser tout sous ensemble estimation parmi Tc0, Tc1, Tc2, Tc3 pour calculer une médiane.
Un troisième exemple de consolidation peut être une consolidation au pire cas, c’est-à-dire que l’estimation du temps avant collision consolidée Tc,finaleest la valeur minimale des différentes estimations de temps avant collision calculées lors de l’étapes E3.
Par exemple, si lors de l’étape E3, les estimations du temps avant collision Tc0, Tc1, Tc2 et Tc3 ont été calculées, l’estimation du temps avant collision consolidée Tc,finaleest calculée de la manière suivante :
Cette consolidation permet d’envisager le pire des cas, c’est-à-dire de considérer le cas dans lequel la collision risque d’arriver le plus rapidement, et où par conséquent l’aéronef V peut avoir à modifier immédiatement sa trajectoire. En outre on pourra utiliser tout sous ensemble estimation parmi Tc0, Tc1, Tc2, Tc3 pour calculer le minimum des valeurs de ce sous ensemble
On a décrit plusieurs possibilités de consolidation. Toutefois, l’homme du métier pourra utiliser d’autres règles de consolidation sans sortir du cadre du procédé.
Par exemple, si lors de l’étape E3, les estimations du temps avant collision Tc1, Tc2 et Tc3 ont été calculées, il est possible de manière avantageuse de prendre en compte la variance des différentes estimations du temps avant collision Var(Tc0, Tc1,Tc2,Tc3) dans le calcul de l’estimation de temps avant collision consolidée Tc,finale. En outre on pourra utiliser tout sous ensemble estimation parmi Tc0, Tc1, Tc2, Tc3 pour calculer la variance des valeurs de ce sous ensemble
Par exemple, dans le cas où la variance est élevée, il est plus probable que l’une des trois estimations du temps avant collision (Tc0,Tc1,Tc2,Tc3) soit erronée. Lorsque la variance anormalement élevée est détectée par l’unité de traitement 4, l’estimation finale Tc,finalepeut être réduite d’un facteur de sécurité par exemple.
On pourra également choisir d’éliminer du calcul de la valeur consolidée Tc,finall’estimation de temps avant collisionila plus en désaccord avec les autres estimations.
Par exemple, si le réseau de neurones R entrainé extrait à l’étape E2 l’estimation directe du temps avant collision Tc3 et une information sur la dimension de l’intrus, on peut calculer lors de l’étape E3 la deuxième estimation du temps avant collision Tc2 comme expliqué précédemment. L’unité de traitement 4 peut calculer lors de l’étape E4 un indicateur de temps It dépendant de Tc3 et Tc2. Par exemple,
. Comme il sera décrit par la suite, un tel indicateur It peut être utilisé pour un procédé de contrôle de l’aéronef V.
Par exemple, si le réseau de neurones R entrainé fournit en sortie l’estimation directe du temps avant collision Tc3 et une information sur la distance de l’intrus I, on peut calculer lors de l’étape E3 la première estimation du temps avant collision Tc1 comme expliqué précédemment. L’unité de traitement 4 peut calculer lors de l’étape E4 un indicateur de temps It dépendant de Tc3 et Tc1. Par exemple,
. Comme il sera décrit par la suite, un tel indicateur It peut être utilisé pour un procédé de contrôle de l’aéronef V.
On définit une marge d’erreur en vitesse Mv. La marge d’erreur en vitesse Mv correspond à un niveau d’écart toléré sur les vitesses de déplacement.
De préférence, la marge d’erreur en vitesse Mv est comprise entre 0% et 10%, de préférence inférieure à 5%. Elle peut dépendre du type de l’aéronef V, ou des conditions de vol par exemple. Elle peut être prédéterminée dans l’unité de traitement 4 ou modifiée par un utilisateur de l’aéronef V.
Par exemple, si le réseau de neurones R entrainé extrait lors de l’étape E2 le type d’intrus et une valeur D de la distance de l’intrus, l’unité de traitement 4 peut calculer lors de l’étape E3 une estimation géométrique de la vitesse de l’intrus Ve à partir de la distance de l’intrus et une estimation de la vitesse a priori de l’intrus Va. L’unité de traitement 4 peut calculer lors de l’étape E4 un indicateur de vitesse Iv dépendant de Ve et Va. Par exemple,
. Comme il sera décrit par la suite, un tel indicateur Iv peut être utilisé pour un procédé de contrôle de l’aéronef V.
Comme indiqué précédemment, le procédé d’estimation de temps avant collision peut être mis en œuvre dans un procédé de contrôle d’un aéronef V.
En revenant à lafigure 1,on considère un aéronef V comprenant au moins un capteur 10 embarqué et une unité de traitement 4. Le capteur 10 est destiné à fournir une séquence d’images vidéo ou pluralité d’images successives à l’unité de traitement 4, sur laquelle peut être implémenté le réseau de neurones R entrainé.
De préférence, l’unité de traitement 4 peut comprendre au moins un processeur, par exemple un processeur graphique de type GPU (en anglais, «Graphics Processing Unit»), destiné à traiter images vidéo, avec une puissance de calcul élevée.
L’aéronef V peut comprendre un système de guidage 6 avec un système anticollision passif configuré pour commander la trajectoire de l’aéronef V. L’unité de traitement 4 peut imposer au système de guidage 6 d’effectuer une modification de la trajectoire, en fonction de l’estimation du temps avant collision Tc.
Comme cela est illustré sur lafigure 6, le procédé de contrôle de l’aéronef V peut comprendre plusieurs étapes :
- (C1) acquisition d’une pluralité d’images vidéo par l’au moins un capteur 10 ;
- (C2) traitement de la pluralité d’images vidéo par un procédé d’estimation d’un temps avant collision de l’aéronef V avec un intrus I décrit ci-avant, afin d’obtenir au moins une valeur d’estimation de temps avant collision Tc, de l’aéronef V avec l’intrus I ;
- (C3) modification d’une trajectoire de l’aéronef V par le système de guidage 6, en fonction de l’au moins une valeur d’estimation de temps avant collision Tc, de l’aéronef V avec l’intrus I afin d’éviter une collision avec l’intrus I si nécessaire. A noter qu’il est possible ici de considérer le temps avant collision consolidée.
De manière générale, l’acquisition de séquences d’images vidéo par le capteur 10 peut avoir lieu automatiquement, lorsque l’aéronef V est en vol.
De préférence, le capteur 10 peut comprendre une caméra dans le domaine du visible et une caméra dans le domaine de l’infrarouge semi lointain ou lointain, de sorte que l’utilisateur ou pilote de l’aéronef V peut choisir l’acquisition de la pluralité d’images par le capteur 10 dans le domaine du visible ou dans le domaine de l’infrarouge lointain ou semi-lointain, ou les deux, en fonction notamment des conditions de luminosité de la scène et de visibilité.
La pluralité d’images vidéo acquises par le capteur 10 sont transmises à l’unité de traitement 4 pour être traitées selon un procédé d’estimation de temps avant collision entre un intrus et l’aéronef V décrit précédemment. Les séquences d’images vidéo sont découpées en piles d’images successives, puis le réseau de neurones R entrainé extrait au moins une des informations de l’intrus permettant à l’unité de traitement 4 de calculer au moins une estimation du temps avant collision Tc. Dans un exemple de réalisation illustré sur lafigure 6, les estimations de temps avant collision Tc peuvent ensuite être consolidées par le calcul de la valeur d’estimation du temps avant collision consolidée Tcfinaleselon l’un des exemples de réalisation de l’étape E4 décrits précédemment. Ainsi, la valeur de l’estimation du temps avant collision consolidée Tc,finale, calculée peut être la moyenne (éventuellement pondérée), la médiane ou le minimum des différentes estimations de temps avant collision calculées lors de l’étape C2 par exemple.
De préférence, le procédé d’estimation de temps avant collision n’est mis en œuvre, que lorsqu’un intrus est détecté, par exemple, par une méthode de détection de premier plan (en anglais, «foreground detection») ou une méthode de recherche de points chauds, comme cela est illustré sur la figure 6. Plus généralement, le procédé d’estimation de temps avant collision est mis en œuvre quand une condition est remplie. Par exemple, en référence avec l’exemple illustré sur la figure 5, on peut choisir de mettre en œuvre le procédé dans le cas où
. Cela correspond à une configuration où l’intrus Ise déplace probablement selon une trajectoire de collision pour l’aéronef V.
De manière générale, la valeur d’estimation du temps avant collision Tc ou consolidée Tc,finaleest transmise au système de guidage 6 de l’aéronef V. Dans ce cas, le système de guidage 6 est configuré pour modifier la trajectoire de l’aéronef V, en fonction de l’estimation du temps avant collision Tc, par une manœuvre d’évitement par exemple.
Dans l’exemple de réalisation illustré sur lafigure 6, le système de guidage 6 peut être configuré pour ne pas modifier la trajectoire de l’aéronef V tant que l’estimation Tc est supérieure à un temps Tcritique. Cela permet de ne pas modifier la trajectoire de l’aéronef V dès qu’un intrus est détecté et de laisser une opportunité à l’intrus I identifié de modifier sa trajectoire.
La durée Tcritiquepeut correspondre à une durée de manœuvre d’évitement pondérée d’un facteur de sécurité par exemple. De telles valeurs sont régularisées par le trafic aérien, et peuvent dépendre de la dimension et du type de l’intrus I, de la dimension et du type de l’aéronef V, de la vitesse maximale de déplacement de l’aéronef V.
Si l’estimation du temps avant collision Tc est inférieure au temps critique Tcritique, le système de guidage 6 est configuré pour modifier la trajectoire de l’aéronef V. Par exemple, il peut commander une manœuvre d’évitement consistant à réduire ou à augmenter temporairement l’altitude de vol de l’aéronef V, de sorte à sortir de la trajectoire de l’intrus I et à éviter une collision. Une autre possibilité est de faire effectuer un virage à l’aéronef V en conservant son altitude. De manière alternative, le système de guidage 6 peut être configuré pour passer en mode manuel, de sorte à laisser le guidage de l’aéronef V au pilote. Avantageusement, Tc pourra correspondre à une estimation consolidée Tcfinaledu temps avant collision.
De manière avantageuse, le procédé de contrôle de l’aéronef V comprend une étape de consolidation C4 de la prise de décision de modification de trajectoire lors de l’étape C3.
Par exemple, la prise de décision d’une manœuvre d’évitement peut dépendre du nombre d’estimations de temps avant collision inférieures à la valeur de temps critique Tcritique, parmi les différentes estimations disponibles.
Ainsi, si lors de l’étape E3 du procédé d’estimation de temps avant collision mis en œuvre dans le procédé de contrôle de l’aéronef V, les estimations du temps avant collision Tc0, Tc1, Tc2 et Tc3 ont été calculées, il y aura modification de la trajectoire de l’aéronef V par le système de guidage 6 si au moins k > 0 estimations (par exemple k égal à deux) parmi les quatres estimations de temps avant collision sont inférieures au temps critique Tcritique. On parle de vote majoritaire si k = 2.
Dans un exemple de réalisation alternatif ou complémentaire, l’unité de traitement 4 peut effectuer une consolidation par comparaison de grandeurs, comme décrite précédemment, avant une prise de décision d’une manœuvre d’évitement. De tels exemples de prises de décision sont illustrés sur lafigure 7.
Lors de l’étape de consolidation C4, l’unité de traitement 4 peut comparer la valeur de l’indicateur de vitesse Iv à la marge de vitesse Mv. Si l’indicateur de vitesse Iv est supérieur à la marge de vitesse, alors une manœuvre d’évitement est commandée : une nouvelle consigne de trajectoire de l’aéronef V est calculée par le système de guidage 6, de sorte à ne pas croiser la trajectoire de l’intrus I identifié.
Par exemple, si lors de l’étape E2 du procédé d’estimation de temps avant collision mis en œuvre dans le procédé de contrôle de l’aéronef V lors de l’étape C2, le réseau de neurones R entrainé extrait le type d’intrus et une valeur de la distance de l’intrus, l’unité de traitement 4 peut calculer une estimation géométrique de la vitesse de l’intrus Ve à partir de la distance de l’intrus et une estimation de la vitesse a priori de l’intrus Va.
L’unité de traitement 4 peut comparer l’indicateur de vitesse
=
avec la marge en vitesse Mv, de sorte que si
alors la trajectoire de l’aéronef V est modifiée. On définitepsilonpetit, par exemple
, et on définit par exemple la fonction f comme :
.
De manière générale, la marge de vitesse
peut dépendre de la situation observée. Par exemple, on pourra considérer deux constantes différentes.
L’unité de traitement 4 peut comparer la valeur de l’indicateur de temps It à la marge de temps Mt. Si l’indicateur de vitesse Iv est supérieur à la marge de vitesse, alors une manœuvre d’évitement est commandée : une nouvelle consigne de trajectoire de l’aéronef V est calculée par le système de guidage 6, de sorte à ne pas croiser la trajectoire de l’intrus I identifié.
Par exemple, si lors de l’étape E2 du procédé d’estimation de temps avant collision mis en œuvre dans le procédé de contrôle de l’aéronef V lors de l’étape C2, le réseau de neurones R entrainé extrait directement l’estimation du temps avant collision Tc3 et une information sur la dimension de l’intrus I, l’unité de traitement 4 peut calculer la deuxième estimation du temps avant collision Tc2 à l’étape C2. L’unité de traitement 4 compare lors de l’étape de consolidation C4 la marge de temps Mt avec l’indicateur It2, de sorte que si
, la trajectoire de l’aéronef V est modifiée par le système de guidage 6 lors de l’étape C3.
Par exemple, si lors de l’étape E2 du procédé d’estimation de temps avant collision mis en œuvre dans le procédé de contrôle de l’aéronef V lors de l’étape C2, le réseau de neurones R entrainé extrait l’estimation directe du temps avant collision Tc3 et une information sur la distance de l’intrus, l’unité de traitement 4 peut calculer la première estimation du temps avant collision Tc1 lors de l’étape C2. L’unité de traitement 4 compare lors de l’étape de consolidation C4 la marge de temps Mt avec l’indicateur It1, de sorte que si
, la trajectoire de l’aéronef V est modifiée par le système de guidage 6 lors de l’étape C3.
D’autres indicateur It peuvent être calculés à l’aide de n’importe quel couple d’estimation du temps avant collision calculés à partir des sorties du réseau de neurone. Par exemple It3 = |Tc0 – Tc2|/Tc3.
De préférence, l’utilisateur ou pilote de l’aéronef V peut sélectionner les informations fournies par le réseau de neurones R par l’intermédiaire d’une interface utilisateur, par exemple par l’intermédiaire du tableau de bord. Cela permet au pilote de sélectionner la méthode de consolidation la plus adaptée à l’intrus identifié, dans une situation de risque de collision.
Ces consolidations permettent au système de guidage de l’aéronef V porteur du système anticollision de faire la manœuvre adéquate en tenant compte de l’incertitude liée à toute méthode d’estimation. Le procédé de contrôle peut également être employé pour piloter de manière autonome un aéronef sans pilote, par exemple un drone.
REFERENCES BIBLIOGRAPHIQUES
R. Cipolla and A. Blake. Image divergence and deformation from closed curves. International Journal of Robotics Research, 16 :77–96, 1997
G. Alenyà, A. Nègre, and J. L. Crowley. A comparison of three methods for measure of time to contact. In Proceedings of the 2009 IEEE/RSJ international conference on Intelligent robots and systems, IROS’09, pages 4565–4570, Piscataway, NJ, USA, 2009. IEEE Press.
T. Camus. Calculating time-to-contact using realtime quantized optical flow. In National Institute of Standards and Technology NISTIR 5609, 1995.
S. Ji et al., 3D convolutional neural networks for human action recognition, PAMI 2013
Estimation des Cartes du Temps de Collision (TTC) en Vision Paracatadioptrique, Article in Traitement du Signal · October 2014.
Claims (16)
- Procédé d’estimation d’un temps avant collision d’un aéronef (V) avec un intrus (I), caractérisé en ce qu’il comprend l’implémentation des étapes suivantes dans une unité de traitement (4),
E0 : obtention d’une pluralité d’images successives d’une scène comprenant un intrus(I) ;
E1 : traitement de la pluralité d’images successives de manière à obtenir au moins une pile d’images (P0), la pile d’images (P0) comprenant au moins deux images successives de la scène, dans lesquelles une zone d’intérêt (1) a été définie ;
E2 : traitement de l’au moins une pile d’images (P0) au moyen d’un réseau de neurones (R) entrainé de manière à extraire de ladite pile d’images (P0) au moins deux informations caractéristiques de l’intrus (I) parmi, notamment : un type d’intrus, au moins une dimension de l’intrus (I), une dérivée temporelle de ladite au moins une dimension de l’intrus (I), une distance de l’intrus (I) à l’aéronef (V), un temps avant collision de l’aéronef (V) avec l’intrus (I) ;
E3 : calcul d’au moins une estimation de temps avant collision (Tc) de l’aéronef (V) avec l’intrus (I), à partir de l’au moins une information caractéristique extraite par le réseau de neurones (R) entrainé. - Procédé d’estimation d’un temps avant collision selon la revendication 1, dans lequel l’étape d’obtention E1 de l’au moins une pile d’image (P0) comprend les sous-étapes suivantes
E10 : détection sur au moins une image (T0) de ladite au moins une pile d’images (P0) d’une zone d’intérêt (1) comprenant l’intrus (I) ;
E11 : découpage de chaque image de l’au moins une pile d’images (P0) autour de la zone d’intérêt (1) de manière à obtenir au moins une pile d’images (P0’) de taille réduite. - Procédé d’estimation d’un temps avant collision selon l’une des revendications 1 à 2, dans lequel le réseau de neurones (R) entrainé est configuré pour extraire au moins deux informations caractéristiques de l’intrus, et dans lequel l’estimation de temps avant collision (Tc) est calculée par une méthode géométrique à partir de l’au moins deux informations caractéristiques de l’intrus (I) pour l’au moins une pile d’images (P0).
- Procédé d’estimation d’un temps avant collision selon l’une des revendications 1 à 2, dans lequel l’estimation de temps avant collision (Tc) est calculée par une méthode géométrique à partir d’au moins une information caractéristique extraite par le réseau de neurones (R) entrainé pour au moins deux piles d’images distinctes (P0, P1).
- Procédé d’estimation d’un temps avant collision selon l’une des revendications 1 à 4, dans lequel le réseau de neurones (R) est un réseau de neurones convolutionnel tridimensionnel, configuré pour extraire directement l’estimation de temps avant collision (Tc) à partir de l’au moins une pile d’images (P0).
- Procédé d’estimation d’un temps avant collision selon l’une des revendications de 1 à 4, dans lequel le réseau de neurones « R » est un réseau de neurones convolutionnel tridimensionnel, configuré pour extraire d’une pile d’image P0, le type d’intrus et sa distance et dans lequel le temps avant collision est estimé comme le rapport entre la distance estimée et une vitesse a priori dépendant du type d’intrus.
- Procédé d’estimation d’un temps avant collision selon l’une des revendications 1 à 6, dans lequel au cours de l’étape E3 au moins deux estimations de temps avant collision différentes (Tc,Tc’) sont calculées pour l’au moins une pile d’images (P0), le procédé comprenant en outre une étape E4 de consolidation de l’estimation de temps avant collision par calcul d’une valeur d’estimation de temps avant collision consolidée (Tc,finale), à partir des au moins deux estimations de temps avant collision différentes (Tc,Tc’).
- Procédé d’estimation d’un temps avant collision selon la revendication 7, dans lequel la valeur d’estimation de temps avant collision consolidée (Tcfinale), est la moyenne pondérée des au moins deux estimations de temps avant collision différentes (Tc,Tc’) calculées à l’étape E3.
- Procédé d’estimation d’un temps avant collision selon la revendication 7, dans lequel la valeur d’estimation de temps avant collision consolidée (Tcfinale), est la médiane des au moins deux estimations de temps avant collision différentes (Tc,Tc’) calculées à l’étape E3.
- Procédé d’estimation d’un temps avant collision selon la revendication 7, dans lequel la valeur d’estimation de temps avant collision consolidée (Tcfinale), est le minimum des au moins deux estimations de temps avant collision différentes (Tc,Tc’) calculées à l’étape E3.
- Procédé d’estimation d’un temps avant collision selon l’une des revendications précédentes, dans lequel l’au moins une pile d’image (P0) comprend une pluralité de longueur d’ondes d’acquisitions.
- Procédé de contrôle d’un aéronef (V) comprenant au moins un capteur caméra (10) et un système de guidage (6) configuré pour indiquer une trajectoire audit aéronef (V), caractérisé en ce qu’il comprend l’implémentation des étapes suivantes sur une unité de traitement (4) :
(C1) acquisition d’une pluralité d’images vidéo par l’au moins un capteur caméra (10) ;
(C2) traitement de la pluralité d’images vidéo par un procédé d’estimation d’un temps avant collision de l’aéronef (V) avec un intrus (I) selon l’une quelconque des revendications 7 à 11, afin d’obtenir au moins une valeur d’estimation de temps avant collision consolidée (Tc,finale) de l’aéronef (V) avec l’intrus (I) ;
(C3) modification d’une trajectoire de l’aéronef (V) par le système de guidage (6), en fonction de la valeur d’estimation de temps avant collision consolidée (Tc,finale) de l’aéronef (V) avec l’intrus (I) afin d’éviter une collision avec l’intrus (I). - Procédé de contrôle d’un aéronef (V) selon la revendication 12, comprenant en outre une étape de consolidation (C4) de comparaison de la valeur d’estimation de temps avant collision consolidée (Tc,finale) à une valeur de temps critique (Tcritique), de sorte que si Tc,finale< Tcritique, le système de guidage (6) est configuré pour modifier la trajectoire de l’aéronef (V) lors de l’étape de modification (C3) de la trajectoire de l’aéronef (V).
- Procédé de contrôle d’un aéronef (V) selon l’une des revendications 12 ou 13, dans lequel
l’étape (C2) de traitement de la pluralité d’images vidéo comprend en outre l’obtention d’au moins une première valeur de vitesse de déplacement (v) de l’intrus (I) et une deuxième valeur de déplacement (v’) de l’intrus(I);
le procédé comprenant en outre une étape de consolidation (C4) de comparaison d’une marge de vitesse (Mv) avec un indicateur
si - Procédé de contrôle d’un aéronef (V) selon l’une quelconque des revendication 10 à 12, dans lequel
l’étape de traitement (C2) comprend en outre l’obtention d’au moins une première estimation de temps avant collision (Tc), et une deuxième estimation de temps avant collision (Tc’) ;
le procédé comprenant en outre une étape de consolidation (C4) de comparaison d’une marge de temps Mt avec un indicateur
si - Procédé de contrôle d’un aéronef (V) selon l’une des revendications 10 à 12, comprenant une sélection automatique du type de réseau de neurones à utiliser en fonction du nombre d’intrus à traiter simultanément.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1902795A FR3094081B1 (fr) | 2019-03-19 | 2019-03-19 | Procédé d’estimation passive du temps avant collision pour un aéronef ou de tout objet volant pouvant être guidé, procédé de navigation associé |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1902795 | 2019-03-19 | ||
| FR1902795A FR3094081B1 (fr) | 2019-03-19 | 2019-03-19 | Procédé d’estimation passive du temps avant collision pour un aéronef ou de tout objet volant pouvant être guidé, procédé de navigation associé |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3094081A1 true FR3094081A1 (fr) | 2020-09-25 |
| FR3094081B1 FR3094081B1 (fr) | 2021-02-26 |
Family
ID=68072515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1902795A Active FR3094081B1 (fr) | 2019-03-19 | 2019-03-19 | Procédé d’estimation passive du temps avant collision pour un aéronef ou de tout objet volant pouvant être guidé, procédé de navigation associé |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3094081B1 (fr) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024056956A1 (fr) | 2022-09-16 | 2024-03-21 | Safran Electronics & Defense | Procédé de contrôle de la trajectoire d'un aéronef |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110160950A1 (en) * | 2008-07-15 | 2011-06-30 | Michael Naderhirn | System and method for preventing a collision |
| WO2013164237A1 (fr) * | 2012-05-02 | 2013-11-07 | Sagem Defense Securite | Procede d'evitement d'un aeronef et drone equipe d'un systeme mettant en oeuvre ce procede |
| US20190051191A1 (en) * | 2017-08-11 | 2019-02-14 | The Boeing Company | Automated detection and avoidance system |
| EP3451314A1 (fr) * | 2017-08-31 | 2019-03-06 | Airbus Helicopters | Procede et dispositif d'evitement d'un objet par detection de son rapprochement d'un aeronef |
-
2019
- 2019-03-19 FR FR1902795A patent/FR3094081B1/fr active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110160950A1 (en) * | 2008-07-15 | 2011-06-30 | Michael Naderhirn | System and method for preventing a collision |
| WO2013164237A1 (fr) * | 2012-05-02 | 2013-11-07 | Sagem Defense Securite | Procede d'evitement d'un aeronef et drone equipe d'un systeme mettant en oeuvre ce procede |
| US20190051191A1 (en) * | 2017-08-11 | 2019-02-14 | The Boeing Company | Automated detection and avoidance system |
| EP3451314A1 (fr) * | 2017-08-31 | 2019-03-06 | Airbus Helicopters | Procede et dispositif d'evitement d'un objet par detection de son rapprochement d'un aeronef |
Non-Patent Citations (7)
| Title |
|---|
| "Estimation des Cartes du Temps de Collision (TTC) en Vision Paracatadioptrique", ARTICLE IN TRAITEMENT DU SIGNAL, October 2014 (2014-10-01) |
| G. ALENYÀA. NÈGREJ. L. CROWLEY: "Proceedings of the 2009 IEEE/RSJ international conference on Intelligent robots and systems, IROS'09", 2009, IEEE PRESS, article "A comparison of three methods for measure of time to contact", pages: 4565 - 4570 |
| R. CIPOLLAA. BLAKE: "Image divergence and déformation from closed curves", IN TERNATIONAL JOURNAL OF ROBOTICS RESEARCH, vol. 16, 1997, pages 77 - 96, XP000688557 |
| R. CIPOLLAA. BLAKE: "Image divergence and deformationfrom closed curves", INTERNATIONAL JOURNAL OF ROBOTICS RESEARCH, vol. 16, 1997, pages 77 - 96, XP000688557 |
| S. JI ET AL.: "3D convolutional neural networks for human action recognition", PAMI, 2013 |
| T. CAMUS: "Calculating time-to-contact using realtime quantized optical flow", NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY NISTIR 5609, 1995 |
| T. CAMUS: "Calculating time-to-contact using realtime quantized opticalflow", NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY NISTIR 5609, 1995 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024056956A1 (fr) | 2022-09-16 | 2024-03-21 | Safran Electronics & Defense | Procédé de contrôle de la trajectoire d'un aéronef |
| FR3139919A1 (fr) | 2022-09-16 | 2024-03-22 | Safran Electronics & Defense | Procédé de contrôle de la trajectoire d’un aéronef |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3094081B1 (fr) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11276230B2 (en) | Inferring locations of 3D objects in a spatial environment | |
| Barry et al. | High‐speed autonomous obstacle avoidance with pushbroom stereo | |
| Asvadi et al. | 3D object tracking using RGB and LIDAR data | |
| EP3137355B1 (fr) | Dispositif de signalisation d'objets a un module de navigation de vehicule equipe de ce dispositif | |
| Gosala et al. | Redundant perception and state estimation for reliable autonomous racing | |
| US11885886B2 (en) | Systems and methods for camera-LiDAR fused object detection with LiDAR-to-image detection matching | |
| Hartmann et al. | Towards autonomous self-assessment of digital maps | |
| Knyaz et al. | Intelligent mobile object monitoring by unmanned aerial vehicles | |
| FR3094081A1 (fr) | Procédé d’estimation passive du temps avant collision pour un aéronef ou de tout objet volant pouvant être guidé, procédé de navigation associé | |
| EP4176286A1 (fr) | Système et procédé de détection d'un obstacle dans un environnement d'un véhicule | |
| WO2020165544A1 (fr) | Identification de zones roulables avec prise en compte de l'incertitude par une méthode d'apprentissage profond | |
| FR3056531B1 (fr) | Detection d'obstacles pour vehicule automobile | |
| WO2023094347A1 (fr) | Système et procédé de navigation autonome base vision d'un satellite | |
| FR3054672B1 (fr) | Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile | |
| EP4055349A1 (fr) | Procede et dispositif de generation de donnees d'apprentissage pour machine d'intelligence artificielle pour l'aide a l'atterrissage d'aeronef | |
| FR3106108A1 (fr) | Procédé et dispositif de détermination de trajectoire d’une route | |
| John et al. | Sensor fusion and registration of lidar and stereo camera without calibration objects | |
| EP3757943B1 (fr) | Procédé et dispositif de télémétrie passive par traitement d'image et utilisation de modeles en trois dimensions | |
| Rekha et al. | Vision Based Collision Detection And Avoidance | |
| WO2023111189A1 (fr) | Procédé de détection d'un objet dans l'environnement d'un aéronef, système et programme d'ordinateur associés | |
| KR102388335B1 (ko) | 샴 랜덤 포레스트를 이용한 다수 객체 추적 방법 및 장치 | |
| WO2023052448A1 (fr) | Procédé de détection d'obstacles | |
| Weiwei et al. | Autonomous track and land a MAV using a modified tracking-learning-detection framework | |
| Hildebrand | Uncertainty Measurement as a Sensor Performance Metric in Adverse Conditions | |
| EP3757942A1 (fr) | Procédé et dispositif de télémétrie passive par traitement d'image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20200925 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |