CA3149267A1

CA3149267A1 - Method for assisting in the detection of elements, and associated device and platform

Info

Publication number: CA3149267A1
Application number: CA3149267A
Authority: CA
Inventors: Alain LE MEUR; Arnaud Beche; Gilles Henaff; Benoit Seguineau De Preval
Original assignee: Thales SA
Current assignee: Thales SA
Priority date: 2019-08-27
Filing date: 2020-08-26
Publication date: 2021-03-04
Also published as: WO2021037890A1; FR3100357A1; FR3100357B1; EP4022506A1; IL290873A; ZA202202482B

Abstract

The present invention relates to a method for assisting in the detection of elements in an environment, the method comprising, at each point in time, the steps of: - acquiring a first image of the environment having a first resolution and a first field of view, - detecting elements captured in the first image, - classifying each detected element to obtain an initial classification of the element, - acquiring at least a second image of at least one of the detected elements having a second resolution and a second field of view, the second resolution being greater than the first resolution, the second field of view being more restricted than the first field of view, and - re-assessing, for each detected element captured in the second image, the classification of the element according to the second image to obtain a re-assessed classification of the element.

Description

DESCRIPTION
TITRE : Procédé d'aide à la détection d'éléments, dispositif et plateforme associés La présente invention concerne un procédé d'aide à la détection d'éléments fixes et mobiles dans un environnement. La présente invention concerne également un dispositif associé d'aide à la détection, ainsi qu'une plateforme comprenant un tel dispositif.
Dans le domaine militaire, les équipages de véhicules de combat sont exposés à
de nombreuses menaces. De telles menaces proviennent notamment de combattants débarqués, de véhicules terrestres ou aériens et de drones terrestres ou aériens.
Afin d'identifier de telles menaces, certaines missions de reconnaissance consistent à aller au plus près de l'ennemi pour déceler son dispositif, notamment le type d'engins de combat mis en uvre, et déterminer précisément le volume et les unités d'appartenance de l'ennemi. Tout l'enjeu consiste à voir sans être vu, et transmettre un maximum de renseignements tactiques au poste de commandement.
Néanmoins, les menaces sont plus ou moins visibles, suivant le niveau de camouflage que peut apporter l'environnement, ce dernier pouvant être urbain, rural, montagneux ou encore forestier.
En outre, les véhicules blindés confèrent à l'équipage du véhicule un champ de vision qui peut être très réduit.
De plus, la charge de travail, ainsi que le niveau de fatigue du personnel sont susceptibles d'entraîner une perte de vigilance vis-à-vis de l'environnement extérieur du véhicule.
Tout ceci concourt à ce que les équipages soient exposés à des menaces qu'ils n'ont pas systématiquement vues et anticipées.
Il existe donc un besoin pour un procédé d'aide à la détection qui permette une meilleure détection des éléments d'un environnement, et notamment des menaces dans un contexte militaire.
A cet effet, l'invention a pour objet un procédé d'aide à la détection d'éléments fixes et mobiles dans un environnement, le procédé comprenant à chaque instant les étapes de:
- acquisition d'une première image, la première image étant une image panoramique de l'environnement, la première image ayant une première résolution et imageant l'environnement selon un premier champ de vision, DESCRIPTION
TITLE: Method for assisting in the detection of elements, device and platform associates The present invention relates to a method for assisting in the detection of elements fixed and mobile in an environment. The present invention also relates to a associated detection aid device, as well as a platform comprising such device.
In the military field, the crews of combat vehicles are exposed to many threats. Such threats come in particular from combatants landed vehicles, land or air vehicles and land drones or aerial.
In order to identify such threats, some reconnaissance missions consist of going as close as possible to the enemy to detect his device, especially the type of combat machinery used, and precisely determine the volume and units belonging to the enemy. The challenge is to see without being seen, and transmit a maximum tactical intelligence to the command post.
Nevertheless, the threats are more or less visible, depending on the level of camouflage that the environment can bring, the latter being able to be urban, rural, mountainous or forested.
In addition, armored vehicles provide the vehicle crew with a field of vision which can be very reduced.
In addition, the workload, as well as the level of fatigue of the staff are likely to lead to a loss of vigilance vis-à-vis the environment exterior of vehicle.
All of this contributes to the fact that the crews are exposed to threats that they have not systematically seen and anticipated.
There is therefore a need for a detection aid method which allows a better detection of elements of an environment, including threats in a military context.
To this end, the subject of the invention is a method for assisting in the detection of elements stationary and mobile in an environment, the method comprising at each instant the stages of:
- acquisition of a first image, the first image being an image panoramic of the environment, the first image having a first resolution and imaging the environment according to a first field of vision,

2 - détection, le cas échéant, d'éléments fixes et mobiles imagés sur la première image par un classifieur entraîné en fonction d'une base de données d'images d'éléments et par un détecteur de mouvements utilisant des premières images acquises aux instants précédents, - classification, par le classifieur, de chaque élément détecté pour obtenir une classification initiale de l'élément, - acquisition d'au moins une deuxième image, la deuxième image imageant au moins l'un des éléments détectés, la deuxième image ayant une deuxième résolution et imageant l'environnement selon un deuxième champ de vision, la ici deuxième résolution étant supérieure à
la première résolution, le deuxième champ de vision étant plus restreint que le premier champ de vision, et - réévaluation, par le classifieur, pour chaque élément détecté imagé sur la ou une deuxième image, de la classification de l'élément en fonction de la deuxième image pour obtenir une classification réévaluée de l'élément.
Selon d'autres aspects avantageux de l'invention, le procédé d'aide à la détection comprend une ou plusieurs des caractéristiques suivantes, prises isolément ou suivant toutes les combinaisons techniquement possibles :
- chaque classification est associée à une probabilité représentative d'un niveau de confiance en la classification, - pour chaque élément détecté lorsque la classification réévaluée est différente de la classification initiale et que la probabilité de classification associée à la classification réévaluée est supérieure ou égale à un seuil prédéterminé, le procédé comprend une étape d'enregistrement de l'image de l'élément détecté issue de la première image et/ou de la deuxième image, ainsi que de la classification réévaluée de l'élément pour une mise à jour ultérieure de la base de données par ajout de la ou des images de l'élément détecté et entraînement du classifieur avec la base de données mise à jour, - pour chaque élément détecté, lorsque la probabilité de classification associée à la dernière classification de l'élément est strictement inférieure à un seuil prédéterminé, le procédé comprend une étape de vérification, par un opérateur ou par un outil de classification additionnel, de la dernière classification de l'élément, l'étape de vérification comprenant, le cas échéant, la correction de la dernière classification de l'élément, - pour chaque élément détecté, le procédé comprend, en outre, une étape de mise à
jour de la base de données par ajout de l'image de l'élément détecté issue de la première image et/ou de la deuxième image, ainsi que de la classification vérifiée de l'élément, et avantageusement d'entraînement du classifieur avec la base de données mise à
jour, 2 - detection, where appropriate, of fixed and mobile elements imaged on the first image by a classifier trained according to an image database of elements and by a motion detector using first images acquired at the previous instants, - classification, by the classifier, of each element detected to obtain a initial classification of the element, - acquisition of at least a second image, the second image imaging at the least one of the detected elements, the second image having a second resolution and imaging the environment according to a second field of view, the here second resolution being greater than the first resolution, the second field of vision being more restricted than the first field of vision, and - re-evaluation, by the classifier, for each detected element imaged on the or one second image, of the classification of the element according to the second picture to get a re-evaluated classification of the item.
According to other advantageous aspects of the invention, the method of aiding the detection includes one or more of the following characteristics, taken alone or next all technically possible combinations:
- each classification is associated with a probability representative of a level of confidence in the classification, - for each element detected when the reassessed classification is different from the initial classification and that the probability of classification associated with the classification reassessed is greater than or equal to a predetermined threshold, the method comprises a step of recording the image of the detected element resulting from the first picture and/or of the second image, as well as the re-evaluated classification of the element for a bet subsequent update of the database by adding the image(s) of the element detected and trained the classifier with the updated database, - for each element detected, when the probability of classification associated with the last classification of the element is strictly below a threshold predetermined, the method includes a verification step, by an operator or by a tool of additional classification, of the last classification of the element, verification step including, if necessary, the correction of the last classification of the element, - for each element detected, the method further comprises a step of update update the database by adding the image of the detected element from the first one image and/or the second image, as well as the verified classification of the element, and advantageously training the classifier with the updated database day,

3 - chaque image comprend une signature, l'étape de mise à jour comprenant la vérification de la signature de l'image et la non-prise en compte de l'image lorsque la signature de l'image n'est pas conforme à une signature prédéterminée, - chaque image comprend des pixels, le procédé comprenant une étape d'affichage d'au moins une image parmi la première image et la ou les deuxièmes images, les pixels détectés par le classifieur comme correspondants à ou aux éléments détectés sur l'image affichée étant mis en évidence sur l'image affichée, - les éléments détectés sont choisis dans la liste constituée de: un humain, un animal, un système d'arme, un véhicule terrestre, un véhicule maritime et un véhicule -na aérien.
L'invention concerne, en outre, un dispositif d'aide à la détection d'éléments fixes et mobiles dans un environnement, le dispositif comprenant :
- un système d'acquisition d'images configuré pour mettre en oeuvre les étapes d'acquisition d'une première image et d'acquisition d'au moins une deuxième image du procédé selon l'une quelconque des revendications tel que décrit précédemment.
- un calculateur en interaction avec un classifieur entraîné en fonction d'une base de données d'images d'éléments et un détecteur de mouvements, le calculateur étant configuré pour mettre en oeuvre les étapes de détection, de classification et de réévaluation du procédé tel que décrit précédemment.
L'invention concerne aussi une plateforme, notamment une platefornne mobile telle qu'un véhicule, comprenant un dispositif tel que décrit précédemment.
L'invention a, également, pour objet un procédé d'aide à la détection d'éléments dans un environnement, le procédé comprenant les étapes de:
- acquisition simultanée d'une première image et d'une deuxième image imageant une même portion de l'environnement, la première image étant une image dans une première bande spectrale, la deuxième image étant une image dans une deuxième bande spectrale, la deuxième bande spectrale étant différente de la première bande spectrale, - détection, le cas échéant, d'éléments imagés dans la première image par un premier classifieur entraîné en fonction d'une première base de données d'images d'éléments dans la première bande spectrale, - détection, le cas échéant, d'éléments imagés dans la deuxième image par un deuxième classifieur entraîné en fonction d'une deuxième base de données d'images d'éléments dans la deuxième bande spectrale, - classification, pour chaque image, des éléments détectés par le classifieur correspondant, 3 - each image includes a signature, the update step including the image signature verification and image disregard when the signature of the image does not conform to a predetermined signature, - each image comprises pixels, the method comprising a step display at least one image from among the first image and the second image or images, pixels detected by the classifier as corresponding to the element(s) detected on the image displayed being highlighted on the displayed image, - the detected elements are chosen from the list consisting of: a human, a animal, a weapon system, a land vehicle, a sea vehicle and a vehicle -na aerial.
The invention also relates to a device for assisting in the detection of elements fixed and mobile in an environment, the device comprising:
- an image acquisition system configured to implement the steps acquiring a first image and acquiring at least a second picture of the method according to any one of the claims as described previously.
- a computer interacting with a classifier trained according to from a basis of element image data and a motion detector, the calculator being configured to implement the steps of detection, classification and of reassessment of the process as previously described.
The invention also relates to a platform, in particular a mobile platform such than a vehicle, comprising a device as described above.
The invention also relates to a method for assisting in the detection of elements in an environment, the method comprising the steps of:
- simultaneous acquisition of a first image and a second image imaging the same portion of the environment, the first image being an image in a first spectral band, the second image being an image in a second bandaged spectral, the second spectral band being different from the first band spectral, - detection, if necessary, of elements imaged in the first image by a first classifier trained according to a first database pictures of elements in the first spectral band, - detection, if necessary, of elements imaged in the second image by a second classifier trained based on a second database pictures of elements in the second spectral band, - classification, for each image, of the elements detected by the classifier corresponding,

4 - comparaison de la classification des éléments détectés obtenue pour la première image et pour la deuxième image, et - lorsque la classification d'au moins l'un des éléments détectés est différente pour la première image et la deuxième image ou lorsqu'un élément a été détecté
seulement pour l'une des deux images, mémorisation de la première et de la deuxième image et des classifications correspondantes pour une mise à jour ultérieure d'au moins l'une des bases de données, et un entraînement ultérieur du classifieur correspondant avec la base de données mise à jour.
Selon d'autres aspects avantageux de l'invention, le procédé d'aide à la détection 11:1 comprend une ou plusieurs des caractéristiques suivantes, prises isolément ou suivant toutes les combinaisons techniquement possibles :
- l'une de la première bande spectrale et de la deuxième bande spectrale est comprise entre 380 nanomètres et 780 nanomètres et l'autre de la première bande spectrale et de la deuxième bande spectrale est comprise entre 780 nanomètres et 3 micromètres ou entre 3 micromètres et 5 micromètres ou entre 8 micromètres et 12 micromètres, - le procédé comprend une étape de mise à jour d'au moins l'une des bases de données en fonction de la ou des images et des classifications correspondantes mémorisées, - chaque classification est associée à une probabilité représentative d'un niveau de confiance en la classification, pour chaque élément détecté, lorsque la probabilité
associée à la classification obtenue pour la première image est supérieure ou égale à un seuil prédéterminé et la probabilité associée à la classification obtenue pour la deuxième image est strictement inférieure au seuil prédéterminé, l'étape de mise à jour comprenant la mise à jour de la deuxième base de données par ajout de l'image de l'élément détecté issue de la deuxième image, ainsi que de la classification obtenue pour l'élément imagé sur la première image et l'entraînement du deuxième classifieur avec la deuxième base de données mise à

jour, - chaque classification est associée à une probabilité représentative d'un niveau de confiance en la classification, pour chaque élément détecté, lorsque la probabilité
associée à la classification obtenue pour chacune de la première et de la deuxième image est inférieure à un seuil prédéterminé, l'étape de mise à jour comprenant la vérification, par un opérateur ou par un outil de classification additionnel, de la ou des classifications de l'élément détecté et, le cas échéant, la correction de la ou des classifications, l'étape de mise à jour comprenant la mise à

jour d'au moins une base de données par ajout de l'image de l'élément détecté
issue de l'image acquise dans la bande spectrale de la base de données, ainsi que de la classification vérifiée de l'élément, et l'entraînement du classifieur correspondant avec la base de données mise à jour, 4 - comparison of the classification of the detected elements obtained for the first image and for the second image, and - when the classification of at least one of the detected elements is different for the first image and the second image or when an element has been detected only for one of the two images, memorization of the first and the second picture and corresponding classifications for a subsequent update of at least one of databases, and subsequent training of the corresponding classifier with base updated data.
According to other advantageous aspects of the invention, the method of aiding the detection 11:1 includes one or more of following characteristics, taken separately or according to all technically possible combinations:
- one of the first spectral band and the second spectral band is between 380 nanometers and 780 nanometers and the other of the first bandaged spectral and the second spectral band is between 780 nanometers and 3 micrometers or between 3 micrometers and 5 micrometers or between 8 micrometers and 12 micrometers, - the method includes a step of updating at least one of the databases of data according to the corresponding image(s) and classifications memorized, - each classification is associated with a probability representative of a level of confidence in the classification, for each element detected, when the probability associated with the classification obtained for the first image is greater than or equal to a predetermined threshold and the probability associated with the classification obtained for the second image is strictly below the predetermined threshold, step update comprising the update of the second database by added the image of the detected element from the second image, as well as the classification obtained for the element imaged on the first image and training the second classifier with the second updated database day, - each classification is associated with a probability representative of a level of confidence in the classification, for each element detected, when the probability associated with the classification obtained for each of the first and the second image is below a predetermined threshold, the updating step including verification, by an operator or by a classification tool additional, of the classification(s) of the element detected and, if applicable, the correction of the classification(s), the updating step comprising the update update of at least one database by adding the image of the detected element from the image acquired in the spectral band of the database, as well as only the verified classification of the element, and the training of the classifier corresponding with the updated database,

5 - la première et la deuxième image sont des images panoramiques de l'environnement ayant une même première résolution et un même premier champ de vision, le procédé comprenant, en outre, les étapes de:
- acquisition d'au moins une troisième image pour au moins l'un des éléments détectés sur l'une de la première ou de la deuxième image, la troisième image étant Io une image dans la première ou la deuxième bande spectrale, la troisième image ayant une deuxième résolution et un deuxième champ de vision, la deuxième résolution étant supérieure à la première résolution, le deuxième champ de vision étant plus restreint que le premier champ de vision, - réévaluation, par le classifieur correspondant, pour chaque élément détecté
imagé

sur la ou une troisième image, de la classification de l'élément en fonction de la troisième image pour obtenir une classification réévaluée de l'élément, chaque classification étant associée à une probabilité représentative d'un niveau de confiance en la classification, pour chaque élément détecté, lorsque la probabilité associée à la classification réévaluée est supérieure ou égale à un seuil prédéterminé et que la probabilité
associée à la classification obtenue à partir de la première et/ou la deuxième image est strictement inférieure au seuil prédéterminé, l'étape de mémorisation comprenant la mémorisation de ladite première et/ou deuxième image, de la troisième image et des classifications correspondantes pour une mise à jour ultérieure de la base de données dans la même bande spectrale que la troisième image, et l'entraînement du classifieur correspondant avec la base de données mise à jour.
- chaque image comprend une signature, l'étape de mise à jour comprenant la vérification de la signature de chaque image acquise et la non-prise en compte de l'image lorsque la signature de l'image n'est pas conforme à une signature prédéterminée, - les éléments détectés sont choisis dans la liste constituée de: un humain, un animal, un système d'arme, un véhicule terrestre, un véhicule maritime et un véhicule aérien.

L'invention concerne, en outre, un dispositif d'aide à la détection d'éléments dans un environnement, le dispositif comprenant : 5 - the first and the second image are panoramic images of the environment having the same first resolution and the same first field of vision, the method further comprising the steps of:
- acquisition of at least a third image for at least one of the elements detected on one of the first or second image, the third image being Io an image in the first or second spectral band, the third image having a second resolution and a second field of view, the second resolution being higher than the first resolution, the second field of vision being more restricted than the first field of vision, - re-evaluation, by the corresponding classifier, for each element detected picture on the or a third image, of the classification of the element according to the third image to obtain a re-evaluated classification of the element, each classification being associated with a probability representative of a level of confidence in the classification, for each element detected, when the probability associated with the classification revalued is greater than or equal to one predetermined threshold and that the probability associated with the classification obtained from the first and/or second picture is strictly less than the predetermined threshold, the storage step comprising storing said first and/or second image, the third image and corresponding classifications for an update later from the database in the same spectral band as the third image, and training the corresponding classifier with the database bet up to date.
- each image includes a signature, the update step including the verification of the signature of each acquired image and the non-consideration of the image when the signature of the image does not conform to a signature predetermined, - the detected elements are chosen from the list consisting of: a human, a animal, a weapon system, a land vehicle, a sea vehicle and a aerial vehicle.

The invention further relates to a device for assisting in the detection of elements in a environment, the device comprising:

6 - un système d'acquisition d'images configuré pour mettre en oeuvre l'étape d'acquisition du procédé tel que décrit précédemment, et - un calculateur en interaction avec un premier classifieur entraîné en fonction d'une première base de données d'images d'éléments et avec un deuxième classifieur entraîné en fonction d'une deuxième base de données d'images d'éléments, le calculateur étant configuré pour mettre en oeuvre les étapes de détection, de classification, de comparaison, et de mémorisation du procédé tel que décrit précédemment.
L'invention concerne aussi une plateforme, notamment une plateforme mobile telle Io qu'un véhicule, comprenant un dispositif tel que décrit précédemment.
D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui suit de modes de réalisation de l'invention, donnée à titre d'exemple uniquement, et en référence aux dessins qui sont :
- [Fig 1] figure 1, une représentation schématique d'une plateforme comprenant un dispositif d'aide à la détection d'éléments, - [Fig 2] figure 2, un organigramme d'un exemple de mise en oeuvre d'un procédé
d'aide à la détection d'éléments, et - [Fig 3] figure 3, un organigramme d'un autre exemple de mise en oeuvre d'un procédé d'aide à la détection d'éléments.
Une plateforme 10 est représentée sur la figure 1. Dans cet exemple, la plateforme 10 est un véhicule terrestre, en particulier un véhicule de type tout-terrain. Un tel véhicule est, par exemple, commandé par un opérateur à l'intérieur du véhicule. En variante, un tel véhicule est, par exemple, télécommandé à partir d'un autre véhicule.
Avantageusement, la plateforme 10 est un véhicule de type militaire, tel qu'un char d'assaut. Un tel véhicule militaire est notamment adapté pour comporter une pluralité
d'armes et pour protéger le ou les opérateurs installés à l'intérieur du véhicule.
En variante, la plateforme 10 est tout autre plateforme mobile, tel qu'un véhicule aérien (avion, hélicoptère, drone ou satellite) ou un véhicule maritime (bâtiment naval).
Encore en variante, la plateforme 10 est une plateforme fixe, telle qu'une tourelle ou tour de contrôle.
La plateforme 10 comprend un dispositif 12 d'aide à la détection d'éléments E
dans un environnement. Le dispositif 12 est propre à aider un opérateur pour la détection des éléments E dans l'environnement.
De préférence, les éléments E sont choisis dans la liste constituée de: un humain, un animal, un système d'arme, un véhicule terrestre, un véhicule maritime et un véhicule aérien. 6 - an image acquisition system configured to implement the step acquisition of the method as described above, and - a computer in interaction with a first classifier trained in function of a first element image database and with a second classifier trained according to a second element image database, the computer being configured to implement the steps of detection, classification, comparison, and memorization of the process as described previously.
The invention also relates to a platform, in particular a mobile platform such Io a vehicle, comprising a device as described above.
Other characteristics and advantages of the invention will appear on reading the following description of embodiments of the invention, given as of example only, and with reference to the drawings which are:
- [Fig 1] Figure 1, a schematic representation of a platform comprising a element detection assistance device, - [Fig 2] figure 2, a flowchart of an example of implementation of a process element detection assistance, and - [Fig 3] figure 3, a flowchart of another example of implementation of one method for assisting in the detection of elements.
A platform 10 is represented in FIG. 1. In this example, the platform 10 is a land vehicle, in particular a vehicle of the type All Terrain. A
such a vehicle is, for example, controlled by an operator inside the vehicle. In variant, such a vehicle is, for example, remote-controlled from another vehicle.
Advantageously, the platform 10 is a military-type vehicle, such as a tank by assault. Such a military vehicle is in particular suitable for comprising a plurality weapons and to protect the operator(s) installed inside the vehicle.
Alternatively, the platform 10 is any other mobile platform, such as a vehicle aerial (plane, helicopter, drone or satellite) or a maritime vehicle (naval building).
Still as a variant, the platform 10 is a fixed platform, such as a turret or control tower.
The platform 10 comprises a device 12 for aiding in the detection of elements E
in an environment. The device 12 is suitable for helping an operator to detection E elements in the environment.
Preferably, the elements E are chosen from the list consisting of: a human, animal, weapon system, land vehicle, sea vehicle and a vehicle air.

7 Plus précisément, pour les éléments E de type humains, il est par exemple fait la distinction entre un humain non armé, un humain armé avec une arme légère et un humain armé avec une arme lourde.
Pour les éléments E de type véhicule terrestre, il est par exemple fait la distinction entre un véhicule civil non armé (voiture, camion, moto), un véhicule civil armé (véhicule tout terrain avec tourelle) et un véhicule militaire (char, camion logistique, véhicule de transport de troupes, véhicule de reconnaissance), voire un véhicule militaire de type précis (char Leclerc, char Challenger, char T72).
Pour les éléments E de type véhicule aérien, il est par exemple fait la distinction entre un élément volant défini de type avion, un élément volant défini de type hélicoptère, un élément volant défini de type drone et un élément volant défini de type drone armé. En outre, il est également fait la distinction entre un élément volant défini de type oiseau (animal) et un véhicule aérien.
Pour les éléments E de type véhicule maritime, il est par exemple fait la distinction entre un navire civil non armé, un navire civil armé, un navire militaire de type précis et un sous-marin.
Les éléments E à détecter sont aussi bien fixes (par exemple : véhicule à
l'arrêt) que mobiles (par exemple : humain ou véhicule en mouvement).
Dans un contexte militaire, l'élément E indique la présence d'une menace potentielle pour les opérateurs de la plateforme 10 que le dispositif 12 permet de classifier.
Dans l'exemple illustré par la figure 1, deux éléments E sont représentés : un premier élément El de type humain non armé et un deuxième élément E2 de type humain armé avec une arme légère. Dans cet exemple, l'environnement est de type forestier.
Le dispositif 12 d'aide à la détection comporte un système d'acquisition d'images 14, un calculateur 16 et un dispositif d'affichage 18.
Le système d'acquisition d'images 14 est propre à capter des images d'une partie de l'environnement de la plate-forme 10.
Le système d'acquisition d'images 14 est propre à capter un ensemble d'images à
une cadence faible de manière à obtenir une série d'images fixes comme avec un appareil photo ou à une cadence plus importante de manière à acquérir assez d'images pour former un flux vidéo.
Par exemple, le système d'acquisition d'images 14 est propre à fournir un flux vidéo, par exemple, en format vidéo HD-SDI. L'acronyme HD renvoie à la haute définition.
La HD-SDI (High Definition - Serial digital interface) ou interface numérique série haute définition est un protocole de transport ou de diffusion des différents formats de vidéo 7 More precisely, for human type E elements, it is for example made the distinction between an unarmed human, an armed human with a light weapon and a armed human with heavy weapon.
For elements E of the land vehicle type, it is for example made the distinction between an unarmed civilian vehicle (car, truck, motorbike), a civilian vehicle armed (vehicle all terrain with turret) and a military vehicle (tank, logistics truck, vehicle of troop transport, reconnaissance vehicle), or even a military vehicle Of type accurate (Leclerc tank, Challenger tank, T72 tank).
For elements E of the air vehicle type, it is for example made the distinction between a defined flying element of airplane type, a defined flying element of type helicopter, a defined flying element of drone type and a defined flying element of type armed drone. In Besides, a distinction is also made between a defined flying element of bird type (animal) and an air vehicle.
For elements E of the maritime vehicle type, it is for example made the distinction between an unarmed civilian ship, an armed civilian ship, a military ship of precise type and a submarine.
The elements E to be detected are both fixed (for example: vehicle with stop) than mobile (for example: human or moving vehicle).
In a military context, the E element indicates the presence of a threat potential for operators of the platform 10 than the device 12 allows classify.
In the example illustrated by figure 1, two elements E are represented: a first element El of unreinforced human type and a second element E2 of type human armed with a light weapon. In this example, the environment is of type forest.
The detection aid device 12 includes an acquisition system images 14, a computer 16 and a display device 18.
The image acquisition system 14 is capable of capturing images of a part of the platform environment 10.
The image acquisition system 14 is capable of capturing a set of images to a low frame rate so as to obtain a series of still images as with a camera or at a higher frame rate so as to acquire enough pictures to form a video stream.
For example, the image acquisition system 14 is capable of supplying a stream video, for example, in HD-SDI video format. The acronym HD refers to high definition.
HD-SDI (High Definition - Serial digital interface) or digital interface high series definition is a protocol for transporting or broadcasting the various video formats

8 numériques. Le protocole HD-SDI est défini par la norme ANSI/SMPTE 292M. Le protocole HD-SDI est particulièrement adapté pour un traitement en temps réel d'images.
En variante, le système d'acquisition d'images 14 est propre à fournir un flux vidéo dans un autre standard, par exemple, un flux vidéo au format CoaxPress ou un flux vidéo au format Ethernet compressé par exemple au standard H264 ou H265.
Avantageusement, le système d'acquisition d'images 14 est adapté pour la prise d'images en couleurs pour la vision de jour et/ou pour la prise d'images infra-rouge pour la vision de nuit et/ou pour la prise d'images permettant un &camouflage de nuit comme de jour.
Dans un premier mode de réalisation, le système d'acquisition d'images 14 comprend au moins deux entités 14A et 14B illustrées sur la figure 1:
- une première entité 14A comprenant au moins un capteur de type panoramique propre à acquérir des images panoramiques de l'environnement. Les images acquises par ce capteur ont une première résolution et imagent l'environnement selon un premier champ de vision. Dans l'exemple illustré par la figure 1, la première entité
14A est fixe.
- une deuxième entité 14B comprenant au moins un capteur de type non-panoramique propre à acquérir des images non-panoramiques de l'environnement.
Les images acquises par ce capteur ont une deuxième résolution et imagent l'environnement selon un deuxième champ de vision. La deuxième résolution est supérieure à la première résolution. Le deuxième champ de vision est plus restreint que le premier champ de vision. Avantageusement, la deuxième entité 14B est orientable (par exemple en site et en gisement) de sorte à régler l'orientation du capteur. Par exemple, comme illustré par la figure 1, la deuxième entité 14B est montée sur un organe 19, tel qu'un tourelleau, permettant d'orienter le capteur. En variante ou en complément, la deuxième entité 14B
est une caméra pan tilt zoom.
Un capteur est dit de type panoramique dès lors que le capteur est propre à
fournir des images de l'environnement sur 3600. L'élévation est alors, par exemple, comprise entre 75 et -15 . Un tel capteur panoramique est, par exemple, formé par une seule caméra, telle qu'une caméra fisheye. En variante, un tel capteur panoramique est formé
par un ensemble de caméras.
Dans le premier mode de réalisation, le capteur de type panoramique et le capteur de type non-panoramique sont propres à acquérir des images de l'environnement dans au moins une bande spectrale, par exemple, la bande visible. La bande visible est une bande spectrale comprise entre 380 nanornètres (nm) et 780 nm.
Dans un deuxième mode de réalisation, le système d'acquisition 14 comprend au moins deux capteurs : 8 digital. The HD-SDI protocol is defined by the ANSI/SMPTE 292M standard. the HD-SDI protocol is particularly suitable for real-time processing pictures.
As a variant, the image acquisition system 14 is capable of supplying a stream video into another standard, for example, a video stream in CoaxPress format or a video stream in compressed Ethernet format, for example in the H264 or H265 standard.
Advantageously, the image acquisition system 14 is suitable for taking color images for daytime vision and/or for taking infra-red for night vision and/or for taking images allowing &camouflage of night like by day.
In a first embodiment, the image acquisition system 14 comprises at least two entities 14A and 14B illustrated in Figure 1:
- a first entity 14A comprising at least one type sensor panoramic capable of acquiring panoramic images of the environment. Images acquired by this sensor have a first resolution and image the environment according to a first field of view. In the example illustrated by figure 1, the first entity 14A is fixed.
- a second entity 14B comprising at least one sensor of the non-panoramic capable of acquiring non-panoramic images of the environment.
The images acquired by this sensor have a second resolution and image the environment according to a second field of view. The second resolution is higher than the first resolution. The second field of vision is more restricted than the first field of vision. Advantageously, the second entity 14B is orientable (for example by website and in bearing) so as to adjust the orientation of the sensor. For example, as illustrated by the Figure 1, the second entity 14B is mounted on a member 19, such as a cupola, to orient the sensor. Alternatively or in addition, the second entity 14B
is a pan tilt zoom camera.
A sensor is said to be of the panoramic type when the sensor is specific to provide images of the environment over 3600. The elevation is then, for example, included between 75 and -15. Such a panoramic sensor is, for example, formed by a only camera, such as a fisheye camera. Alternatively, such a panoramic sensor is formed by a set of cameras.
In the first embodiment, the panoramic type sensor and the sensor of the non-panoramic type are suitable for acquiring images of the environment in at least one spectral band, for example, the visible band. The visible band is a band spectral between 380 nanometers (nm) and 780 nm.
In a second embodiment, the acquisition system 14 comprises at least two sensors:

9 - un capteur propre à acquérir des images d'une portion de l'environnement dans une première bande spectrale.
- un capteur propre à acquérir des images d'une même portion de l'environnement dans une deuxième bande spectrale, la deuxième bande spectrale étant différente de la première bande spectrale.
Par exemple, l'une de la première bande spectrale et de la deuxième bande spectrale est comprise entre 380 nm et 780 nm (visible) et l'autre de la première bande spectrale et de la deuxième bande spectrale est comprise entre 780 nm et 3 micromètres ( m) (proche infrarouge) et/ou entre 3 m et 5 rri (infrarouge bande II) et/ou entre 8 iim et 12 prn (infrarouge bande III). Dans le deuxième mode de réalisation, les deux capteurs sont tous les deux du même type (afin d'acquérir le même champ de vision), c'est à dire soit panoramique, soit non-panoramique.
Par exemple, lorsque les deux capteurs sont tous les deux de type panoramique, les deux capteurs sont, par exemple, intégrés dans une même entité qui est, par exemple, identique à la première entité 14A du premier mode de réalisation. Lorsque les deux capteurs sont tous les deux de type non-panoramique, les deux capteurs sont, par exemple, intégrés dans une même entité qui est, par exemple, identique à la deuxième entité 14B du premier mode de réalisation.
Dans un troisième mode de réalisation, le système d'acquision 14 comprend les deux capteurs du premier mode de réalisation, ainsi que l'un au moins des composants suivants :
- un capteur panoramique additionnel propre à acquérir des images panoramiques de la même portion d'environnement et selon le même champ de vision que le capteur panoramique mais dans une bande spectrale différente, et/ou - un capteur non-panoramique additionnel propre à acquérir des images non-panoramiques de la même portion d'environnement et selon le même champ de vision que le capteur non-panoramique mais dans une bande spectrale différente.
L'une des bandes spectrales est, par exemple, comprise entre 380 nm et 780 nm et l'autre des bandes spectrales est, par exemple, comprise entre 780 nm et 3 m et/ou entre 3 m et 5 lm et/ou entre 8 'lm et 12 m.
Par exemple, le capteur panoramique additionnel est intégré dans la même première entité 14A que le capteur panoramique du premier mode de réalisation.
Le capteur non-panoramique additionnel est, par exemple, intégré dans la même deuxième entité 14B que le capteur non-panoramique du deuxième mode de réalisation.
Le calculateur 16 est notamment configuré pour faire fonctionner un classifieur et, le cas échéant, un outil de détection de mouvements et pour collecter des images en provenance du système d'acquision 14 afin de pouvoir alimenter une base de données images qui servira, hors mission, à perfectionner le classifieur.
Le calculateur 16 est, par exemple, un processeur. Le calculateur 16 comprend, par exemple, une unité de traitement de données, des mémoires, un lecteur de support 5 d'informations et une interface homme/machine, telle qu'un clavier ou un afficheur.
Le calculateur 16 est, par exemple, en interaction avec un produit-programme d'ordinateur qui comporte un support d'informations.
Le support d'informations est un support lisible par le calculateur 16, usuellement par l'unité de traitement de données du calculateur 16. Le support lisible d'informations 9 - a sensor capable of acquiring images of a portion of the environment in a first spectral band.
- a sensor capable of acquiring images of the same portion of the environment in a second spectral band, the second spectral band being different of the first spectral band.
For example, one of the first spectral band and the second band spectral is between 380 nm and 780 nm (visible) and the other of the first band spectral and the second spectral band is between 780 nm and 3 micrometers ( m) (near infrared) and/or between 3 m and 5 rri (infrared band II) and/or between 8 µm and 12 prn (band III infrared). In the second mode of realization, the two sensors are both of the same type (in order to acquire the same field of vision), ie either panoramic or non-panoramic.
For example, when the two sensors are both pan type, the two sensors are, for example, integrated into the same entity which is, for example, identical to the first entity 14A of the first embodiment. When the of them sensors are both non-panoramic type, both sensors are, by example, integrated into the same entity which is, for example, identical to the second entity 14B of the first embodiment.
In a third embodiment, the acquisition system 14 comprises the two sensors of the first embodiment, as well as at least one of the components following:
- an additional panoramic sensor able to acquire panoramic images of the same portion of environment and according to the same field of vision as the sensor panoramic but in a different spectral band, and/or - an additional non-panoramic sensor able to acquire non-panoramic images pans of the same portion of environment and according to the same field of vision than the non-panoramic sensor but in a different spectral band.
One of the spectral bands is, for example, between 380 nm and 780 nm and the other of the spectral bands is, for example, between 780 nm and 3 and/or between 3 m and 5 lm and/or between 8 'lm and 12 m.
For example, the additional panoramic sensor is integrated in the same first entity 14A as the panoramic sensor of the first embodiment.
the additional non-panoramic sensor is, for example, integrated in the same second entity 14B as the non-panoramic sensor of the second embodiment.
The computer 16 is in particular configured to operate a classifier and, if necessary, a motion detection tool and to collect pictures in coming from the acquisition system 14 in order to be able to feed a database data images which will be used, outside mission, to improve the classifier.
Computer 16 is, for example, a processor. Computer 16 includes, for example, a data processing unit, memories, a reader of support 5 information and a man / machine interface, such as a keyboard or a display.
The computer 16 is, for example, interacting with a program product computer which includes an information medium.
The information medium is a medium readable by the computer 16, usually by the data processing unit of the computer 16. The readable medium information

10 est un médium adapté à mémoriser des instructions électroniques et capable d'être couplé à un bus d'un système informatique. A titre d'exemple, le support lisible d'informations est une disquette ou disque souple (de la dénomination anglaise floppy disk), un disque optique, un CD-ROM, un disque magnéto-optique, une mémoire ROM, une mémoire RAM, une mémoire EPROM, une mémoire EEPROM, une carte magnétique ou une carte optique. Sur le support d'informations est mémorisé le produit-programme d'ordinateur comprenant des instructions de programme.
Avantageusement, au moins un classifieur et, le cas échéant, au moins un outil de détection de mouvements sont mémorisés sur le support d'informations. En variante, le classifieur et l'outil de détection de mouvements sont mémorisés dans une mémoire du calculateur 16.
Le classifieur, aussi appelé outil de classification dans la suite de la description, est configuré pour détecter et classifier des éléments E. La classification consiste à
affecter une classe à chaque élément E détectée. Les classes possibles sont, par exemple, des classes générales telles que par exemple : la classe humain , la classe animal , la classe système d'arme , la classe véhicule terrestre , la classe véhicule maritime et la classe véhicule aérien . Avantageusement, les classes sont des classes plus précises, par exemple, conformes aux distinctions entre les éléments qui ont été décrites précédemment.
Avantageusement, le classifieur a été entraîné au préalable, hors mission, en fonction d'une base de données d'images comprenant des images des éléments E à
détecter. Le classifieur comprend notamment au moins un algorithme de détection d'éléments E et un algorithme de classification d'éléments E. Le classifieur est, par exemple, un réseau de neurones ayant été préalablement entraîné via la base de données images comprenant des images des éléments E à détecter.
Avantageusement, la phase d'apprentissage ou d'entraînement n'est pas réalisée dans le véhicule, mais hors mission. 10 is a medium suitable for memorizing electronic instructions and able to be coupled to a bus of a computer system. For example, support legible information is a diskette or floppy disk (from the English name floppy disk), an optical disk, a CD-ROM, a magneto-optical disk, a memory roms, a RAM memory, an EPROM memory, an EEPROM memory, a magnetic card or an optical card. On the information carrier is stored the product-program computer including program instructions.
Advantageously, at least one classifier and, where applicable, at least one tool of motion detection are stored on the information carrier. In variant, the classifier and the motion detection tool are stored in a memory of calculator 16.
The classifier, also called classification tool in the rest of the description, is configured to detect and classify E elements. The classification consists of assign a class to each element E detected. The possible classes are, by example, general classes such as for example: the human class, the class animal, the weapon system class, the land vehicle class, the classroom sea vehicle and the air vehicle class. Advantageously, the classes are more precise classes, for example, consistent with the distinctions between elements that have been described previously.
Advantageously, the classifier has been trained beforehand, outside the mission, in function of an image database comprising images of elements E to detect. The classifier notably comprises at least one algorithm for detection of elements E and an algorithm for classifying elements E. The classifier is, by example, a neural network having been previously trained via the database of image data comprising images of the elements E to be detected.
Advantageously, the learning or training phase is not carried out in the vehicle, but off-duty.

11 Dans un mode de réalisation particulier (deuxième et troisième modes de réalisation notamment), deux classifieurs sont utilisés : un premier classifieur entraîné au préalable, hors mission, en fonction d'une première base de données d'images dans une première bande spectrale et un deuxième classifieur entraîné au préalable, hors mission, en fonction d'une deuxième base de données d'images dans une deuxième bande spectrale. L'une des bandes spectrales est, par exemple, comprise entre 380 nm et 780 nm et l'autre des bandes spectrales est, par exemple, comprise entre 780 nm et 3 pm et/ou entre 3 pm et 5 pm et/ou entre 8 pm et 12 m.
L'outil de détection de mouvements, aussi appelé détecteur de mouvements dans la suite de la description, est configuré pour détecter des éléments E mobiles en fonction d'images acquises aux instants précédents. L'outil de détection de mouvements comprend notamment un algorithme de détection de mouvements. L'outil de détection de mouvements est, par exemple, un algorithme basé sur la méthode de flot optique.
ou chaque base de données d'images comprend notamment des images d'éléments E associées à une classification, les éléments E étant par exemple imagés dans un environnement ou un contexte particulier, ou encore sous un angle de vue particulier. Les classifications mémorisées dans la base de données ont été, par exemple, obtenus via un opérateur ou un autre outil de classification, notamment lors du dépouillement post-mission d'une mission de reconnaissance antérieure.
Le programme d'ordinateur est chargeable sur l'unité de traitement de données et est adapté pour entraîner la mise en oeuvre de procédés d'aide à la détection d'éléments E lorsque le programme d'ordinateur est mis en oeuvre sur l'unité de traitement du calculateur 16 comme cela sera décrit dans la suite de la description.
En variante, au moins une partie du calculateur 16 est intégrée à l'un ou plusieurs des capteurs du système d'acquisition 14 pour former ce que l'on appelle des capteurs intelligents (en anglais smart sensors ).
En variante, au moins une partie du calculateur 16 est déportée de la plateforme 10, les transmissions de données se faisant par exemple sans fil, si la puissance de calcul du processeur intégré à la plateforme est trop réduite.
Le dispositif d'affichage 18 est, selon l'exemple de la figure 1, un écran propre à
afficher des images à l'opérateur, par exemple les images en provenance du système d'acquision 14 ou les mêmes images après traitement par le calculateur 16.
Un premier mode de fonctionnement du dispositif 12 va maintenant être décrit en référence à la mise en uvre par le calculateur 16 d'un procédé d'aide à la détection d'éléments E dans un environnement. Une telle mise en oeuvre est illustrée par l'organigramme de la figure 2. En outre, dans ce premier mode de fonctionnement, le 11 In a particular embodiment (second and third modes of realization in particular), two classifiers are used: a first classifier trained in prior, off-mission, based on an initial image database in first spectral band and a second classifier previously trained, off-duty, based on a second database of images in a second band spectral. One of the spectral bands is, for example, between 380 nm and 780 nm and the other of the spectral bands is, for example, between 780 nm and 3 p.m.
and/or between 3 pm and 5 pm and/or between 8 pm and 12 m.
The motion detection tool, also called motion detector in the rest of the description, is configured to detect mobile elements E
active of images acquired at the previous instants. motion detection tool notably includes a motion detection algorithm. The tool of detection of movements is, for example, an algorithm based on the flow method optical.
wherein each image database includes images of elements E associated with a classification, the elements E being for example pictorial in a particular environment or context, or from an angle of seen particular. The classifications stored in the database have been, for example, obtained via an operator or another classification tool, in particular when of post-mission recount of a previous reconnaissance mission.
The computer program is loadable on the data processing unit and is adapted to bring about the implementation of detection aid methods of elements E when the computer program is implemented on the unit of treatment of computer 16 as will be described later in the description.
As a variant, at least a part of the computer 16 is integrated into one or many sensors of the acquisition system 14 to form what are called sensors smart sensors.
As a variant, at least part of the computer 16 is remote from the platform 10, the data transmissions taking place for example wirelessly, if the computing power of the processor integrated into the platform is too low.
The display device 18 is, according to the example of FIG. 1, a screen specific to display images to the operator, for example images from the system acquisition 14 or the same images after processing by the computer 16.
A first mode of operation of device 12 will now be described.
in reference to the implementation by the computer 16 of a process for aiding the detection of elements E in an environment. Such an implementation is illustrated by the flowchart of FIG. 2. In addition, in this first mode of operation, the

12 système d'acquisition 14 du dispositif 12 est conforme au premier mode de réalisation décrit précédemment.
Le procédé comprend une étape 100 d'acquisition d'une première image IM1. La première image IM1 est acquise en temps réel, c'est-à-dire à la fréquence d'acquisition image (par exemple 100 Hertz (Hz) ou 50 Hz ou 25 Hz ou 12,5 Hz), le temps d'acquisition de l'image aussi nommé temps d'intégration étant de l'ordre de quelques millisecondes (par exemple de 100 microsecondes à 10 millisecondes suivant la luminosité de la scène et la sensibilité du détecteur).
La première image IM1 est une image panoramique de l'environnement. La première image IM1 comprend un ensemble de pixels. La première image IM1 a une première résolution et image l'environnement selon un premier champ de vision.
La résolution d'une image est définie comme étant le nombre de pixels par pouce dans l'image (1 pouce = 2,54 centimètres). Le champ de vision d'un système d'acquisition d'images, aussi appelé champ visuel ou angle de vue, correspond à la zone totale de l'espace que le système d'acquisition perçoit lorsque le système fixe un point.
Pour simplifier, il est supposé qu'à cette étape d'acquisition 100, une seule première image IM1 est acquise. Le raisonnement est évidemment le même si un flux vidéo comprenant un ensemble d'images est considéré_ L'étape d'acquisition 100 est, par exemple, mise en oeuvre par le capteur panoramique du système d'acquisition 14.
Le procédé comprend une étape 110 de détection, le cas échéant, d'éléments E
fixes et mobiles imagés sur la première image IM1 en utilisant l'outil de classification (algorithme de classification décrit précédemment et auquel à accès le calculateur 16) et en utilisant simultanément un outil de détection de mouvement exploitant des premières images acquises aux instants précédents. De telles images sont, par exemple, mémorisées temporairement ou de façon permanente dans une mémoire du calculateur 16. L'étape de détection 110 est mise en oeuvre en temps réel par le calculateur 16.
En particulier, le classifieur permet de détecter les éléments E bien définis (nombre de pixels suffisants) fixes ou mobiles. Le détecteur de mouvements permet de détecter les éléments E mobiles bien définis ou mal définis (nombre de pixels insuffisants). Les images acquises aux instants précédents permettent notamment la détection, par l'outil de détection de mouvements, d'éléments E mobiles qui ne sont pas suffisamment résolus (nombre de pixels insuffisant) par le capteur panoramique pour être reconnus à l'aide de l'outil de classification, mais qui pourront l'être lors de l'étape de 12 acquisition system 14 of device 12 conforms to the first mode of realization previously described.
The method comprises a step 100 of acquiring a first image IM1. The first image IM1 is acquired in real time, that is to say at the frequency acquisition image (for example 100 Hertz (Hz) or 50 Hz or 25 Hz or 12.5 Hz), the time acquisition of the image also called integration time being of the order of a few milliseconds (for example from 100 microseconds to 10 milliseconds depending on the brightness of the scene and detector sensitivity).
The first image IM1 is a panoramic image of the environment. The first image IM1 comprises a set of pixels. The first image IM1 has a first resolution and images the environment according to a first field of view.
The resolution of an image is defined as the number of pixels per inch in image (1 inch = 2.54 centimeters). The field of view of a system acquisition of images, also called visual field or angle of view, corresponds to the area total of the space that the acquisition system perceives when the system fixes a point.
For simplicity, it is assumed that at this acquisition step 100, a single first IM1 image is acquired. The reasoning is obviously the same if a flow video comprising a set of images is considered_ The acquisition step 100 is, for example, implemented by the sensor panoramic of the acquisition system 14.
The method comprises a step 110 of detecting, where appropriate, elements E
fixed and mobile imaged on the first image IM1 using the classification (classification algorithm described previously and to which the calculator 16) and simultaneously using a motion detection tool using raw images acquired at the previous instants. Such images are, for example, stored temporarily or permanently in a memory of the computer 16. The detection step 110 is implemented in real time by the calculator 16.
In particular, the classifier allows to detect well-defined E elements (sufficient number of pixels) fixed or mobile. The motion detector allows detect well-defined or ill-defined mobile E elements (number of pixels insufficient). The images acquired at the previous instants allow in particular the detection, by the motion detection tool, of mobile elements E that do not are not sufficiently resolved (insufficient number of pixels) by the panoramic sensor to be recognized using the classification tool, but which may be recognized when of the step of

13 réévaluation décrite dans ce qui suit, à partir d'une nouvelle acquisition d'images par un capteur non-panoramique plus résolu.
Les premières images acquises sont, par exemple, mémorisées temporairement ou de façon permanente dans une mémoire du calculateur 16.
L'étape de détection 110 comprend, par exemple, la réalisation d'un traitement d'images par l'outil de classification pour détecter les éléments E imagés sur la première image IM1. Un tel traitement est, par exemple, réalisé préférentiellement à la fréquence image (par exemple 100 Hertz (Hz) ou 50 Hz ou 25 Hz ou 12,5 Hz) ou suivant les capacités du calculateur 16 à 1 Hz ou au moins une fois toutes les 3 secondes.
Le procédé comprend une étape 120 de classification de chaque élément détecté E pour obtenir une classification initiale de l'élément E, cette classification dénotant au moins une suspicion d'intérêt pour l'élément E. L'étape de classification 120 est mise en oeuvre en temps réel par le calculateur 16.
De préférence, chaque classification est associée à une probabilité
représentative d'un niveau de confiance en la classification. La probabilité de classification est, déterminée par l'outil de classification.
Avantageusement, l'étape de classification 120 permet de catégoriser les éléments détectés E dans au moins les catégories suivantes :
Première catégorie : élément détecté E fixe ou mobile, bien résolu, classifié
avec un bon niveau de probabilité par l'outil de classification, - Deuxième catégorie : élément détecté E fixe, moyennement ou mal résolu, classifié avec un niveau médiocre par l'outil de classification (par exemple probabilité comprise entre 85% et 70%) ou classifié comme étant un élément dangereux, demandant une confirmation par un capteur plus précis dans l'étape de réévaluation 150, - Troisième catégorie : élément déctecté E mobile, moyennement ou mal résolu ou très mal résolu (déterminé par un seul pixel), demandant une classification spécifique par pistage (suivi de mouvement) et quand l'élément est suffisamment résolu (quelques pixels) demandant une confirmation par un capteur plus résolu lors de l'étape de réévaluation 150.
L'étape de classification 120 dépend notamment de la résolution des images des éléments E obtenue par le capteur panoramique lors de l'étape d'acquisition 100.
Avantageusement, dans le cas de la détection d'un élément E mobile moyennement résolu, mal résolu, voire très mal résolu, l'étape de classification 120 comprend la fourniture d'un vecteur comprenant la position de l'élément E dans l'image, sa vitesse, son accélération, ainsi que la vignette image de l'élément E. Le classifieur 13 revaluation described in the following, from a new acquisition images per one more resolved non-panoramic sensor.
The first images acquired are, for example, temporarily stored or permanently in a computer memory 16.
The detection step 110 comprises, for example, performing a processing of images by the classification tool to detect the elements E imaged on the first one picture IM1. Such processing is, for example, carried out preferentially at the frequency image (for example 100 Hertz (Hz) or 50 Hz or 25 Hz or 12.5 Hz) or according to the ECU capabilities 16 at 1 Hz or at least once every 3 seconds.
The method includes a step 120 of classifying each element detected E to obtain an initial classification of the element E, this classification denoting at least a suspicion of interest for the element E. The stage of classification 120 is implemented in real time by the computer 16.
Preferably, each classification is associated with a probability representative a level of confidence in the classification. The probability of classification is, determined by the classification tool.
Advantageously, the classification step 120 makes it possible to categorize the elements detected E in at least the following categories:
First category: element detected E fixed or mobile, well resolved, classified with a good level of probability by the classification tool, - Second category: element detected E fixed, moderately or badly resolved, classified with a poor level by the classification tool (for example probability between 85% and 70%) or classified as an element dangerous, requiring confirmation by a more precise sensor in the re-evaluation step 150, - Third category: element detected E mobile, moderately or badly resolved or very poorly resolved (determined by a single pixel), requiring classification specific by tracking (motion tracking) and when the item is sufficiently resolved (a few pixels) requiring confirmation by a more resolved sensor during re-evaluation step 150.
The classification step 120 depends in particular on the resolution of the images of the elements E obtained by the panoramic sensor during the acquisition step 100.
Advantageously, in the case of the detection of a mobile element E
moderately resolved, badly solved, even very badly solved, the stage of classification 120 includes providing a vector comprising the position of element E in the image, its speed, its acceleration, as well as the image thumbnail of element E. The classifier

14 comprend alors une fonction spécifique utilisée pour classifier l'élément E
mobile détecté
en fonction de sa trajectoire. Par exemple, cet outil de classification vise à
distinguer une trajectoire d'oiseau de celle d'un drone.
Le procédé comprend, optionnellement, une étape 130 d'affichage de la première image IM1. L'étape d'affichage 130 est, par exemple, mise en oeuvre en temps réel par le dispositif d'affichage 18.
Avantageusement, les éléments E détectés sont mis en évidence par un symbole, classiquement un rectangle ou une ligne courbe fermée entourant au plus près l'élément E.
Avantageusement, sur demande de l'opérateur, les pixels correspondants à ou aux éléments détectés E sont mis en évidence sur l'image affichée, par exemple, par changement de couleur ou surbrillance. Cela permet à l'opérateur de vérifier que ce sont les pixels de l'élément E qui ont servi à la classification et non ceux du contexte.
En outre, la classification des éléments E est, par exemple, affichée sur l'image, ainsi qu'avantageusement la probabilité associée à la classification. Cela permet à
l'opérateur de vérifier une classification associée à une probabilité non satisfaisante, typiquement inférieure à un seuil prédéterminé (par exemple inférieure à 80 clo).
Eventuellement, l'étape d'affichage 130 comprend la mise à disposition de l'opérateur des contenus suivants :
- un modèle en trois dimensions (3D) de l'élément E notamment quand il s'agit d'un véhicule, avec possibilité de visualiser l'élément E sous différents angles, et/ou - d'autres classes (par exemple de deux à cinq) vers lesquelles l'outil de classification a convergé avec une probabilité plus faible, ainsi que la probabilité de classification associée à de telles classes et, éventuellement, le modèle 3D de l'élément E, et/ou - le cas échéant, des images de l'élément E acquises dans d'autres bandes spectrales.
Le procédé comprend, optionnellement, une étape 140 de mémorisation de l'image de l'élément E détecté issue de la première image IM1, ainsi que de la classification et éventuellement de la probabilité associée à la classification. Cela permet de vérifier ultérieurement la classification de l'élément E et éventuellement d'enrichir la base de données utilisée pour entraîner le classifieur. L'étape de mémorisation 140 est, par exemple, mise en oeuvre en temps réel par une mémoire du calculateur 16.
Avantageusement, seuls les éléments E imagés dont la classification est associée à une probabilité inférieure à un seuil prédéterminé considérée comme faible (par exemple inférieure à 80%) sont sauvegardés (images et données de contexte associées à
l'image), pour un post-traitement d'amélioration de l'apprentissage réalisé
après la mission.
Le procédé comprend une étape 150 d'acquisition d'au moins une deuxième image IM2 d'au moins l'un des éléments E
détectés lors de l'étape de détection 110. La deuxième image IM2 est, par exemple, acquise en temps réel par le capteur non-panoramique du système d'acquisition 14 après que le capteur non-panoramique ait été
orienté préalablement en direction de l'élément E (par exemple au moyen de l'organe 19 de l'entité 146).

Ainsi, dans ce premier mode de mise en oeuvre, l'acquisition de la deuxième image IM2 a lieu après la mise en oeuvre des étapes d'acquisition de la première image IM1, ainsi que de détection et de classification d'éléments sur la première image IM1. Ces étapes sont donc des étapes successives.
La deuxième image IM2 a une deuxième résolution et image l'environnement 14 then includes a specific function used to classify the element E
mobile detected depending on its trajectory. For example, this classification tool aims to distinguish a trajectory of a bird from that of a drone.
The method optionally comprises a step 130 of displaying the first picture IM1. The display step 130 is, for example, implemented in time real by the display device 18.
Advantageously, the elements E detected are highlighted by a symbol, classically a rectangle or a closed curved line closely enclosing the E element.
Advantageously, at the operator's request, the pixels corresponding to or to the detected elements E are highlighted on the displayed image, by example, by color change or highlight. This allows the operator to check that these are the pixels of the element E which were used for the classification and not those of the context.
In addition, the classification of E elements is, for example, displayed on the image, as well as advantageously the probability associated with the classification. That allows to the operator to verify a classification associated with a probability not satisfactory, typically less than a predetermined threshold (for example less than 80 clo).
Optionally, the display step 130 includes the provision of the operator of the following content:
- a three-dimensional (3D) model of element E, especially when it comes to of a vehicle, with the possibility of viewing the element E under different angles, and or - other classes (for example from two to five) towards which the tool classification converged with a lower probability, as well as the probability of classification associated with such classes and, possibly, the 3D model of element E, and/or - if necessary, images of the element E acquired in other bands spectral.
The method optionally comprises a step 140 of storing the image of the detected element E coming from the first image IM1, as well as from the classification and possibly the probability associated with the classification. This allows to later check the classification of the element E and possibly to enrich the database used to train the classifier. The step of memorization 140 is, for example, implemented in real time by a memory of the computer 16.
Advantageously, only the imaged elements E whose classification is associated at a probability lower than a predetermined threshold considered low (by example less than 80%) are saved (images and context data associated with the image), for a post-processing of improvement of the learning carried out After the assignment.
The method comprises a step 150 of acquiring at least a second IM2 image of at least one of the E elements detected during the detection step 110. The second image IM2 is, for example, acquired in real time by the non-panning of the acquisition system 14 after the non-panoramic sensor have been oriented beforehand in the direction of the element E (for example by means of the organ 19 of entity 146).

Thus, in this first mode of implementation work, the acquisition of the second image IM2 takes place after the implementation of the acquisition steps of the first image IM1, as well as detection and classification of elements on the first picture IM1. These steps are therefore successive steps.
The second IM2 image has a second resolution and image the environment

15 selon un deuxième champ de vision. La deuxième résolution est supérieure à la première résolution. Le deuxième champ de vision est plus restreint que le premier champ de vision. De préférence, le deuxième champ de vision est contenu dans le premier champ de vision. La deuxième image IM2 est avantageusement sensiblement centré sur l'élément E détecté correspondant. En option, le capteur non-panoramique est également susceptible d'être orienté sur des éléments désignés par d'autres moyens que l'image panoramique IM1. Les autres moyens sont, par exemple, un Détecteur d'Alerte Laser (DAL), un Détecteur de Départ Missile (DOM), ou encore un détecteur acoustique de coup de feu. Dans ce cas, le capteur non-panoramique image une image IM2 qui n'a pas d'antécédent IM1 (c'est-à-dire à. laquelle ne correspond aucune première image IM1).
La deuxième image IM2 est, par exemple, acquise automatiquement sans intervention de l'opérateur. Dans ce cas, une deuxième image IM2 est acquise pour chaque élément E détecté. Un algorithme de priorité peut être utilisé tenant compte de la dangerosité supposée de l'élément E (avec par exemple par ordre de priorité
décroissante : alerte DDM, alerte DAL, alerte coup de feu, première classification via la première image IM1 d'un élément dangereux mais ayant eu une probabilité
inférieure à
80% lors des étapes 110 et 120, élément mobile proche (composé de nombreux pixels) mais mal classifié dans les étapes 110 et 120, les animaux, hommes non armés et véhicules non armés étant mis en basse priorité).
En variante, la deuxième image IM2 est acquise de manière semi-automatique, l'opérateur validant les éléments E à acquérir. Pour certaines menaces, par exemple la 15 according to a second field of view. The second resolution is higher than the first resolution. The second field of vision is more restricted than the first field of vision. Preferably, the second field of vision is contained in the first field of vision. The second image IM2 is advantageously substantially centered on the corresponding detected element E. As an option, the non-panoramic sensor is also capable of being oriented towards elements designated by means other than the image panoramic IM1. Other means are, for example, an Alert Detector Laser (DAL), a Missile Departure Detector (DOM), or an acoustic detector suddenly of fire. In this case, the non-panoramic sensor images an image IM2 which has no not of antecedent IM1 (i.e. to which no first image corresponds IM1).
The second image IM2 is, for example, acquired automatically without operator intervention. In this case, a second IM2 image is acquired for each element E detected. A priority algorithm can be used taking account of the supposed dangerousness of element E (with for example by order of priority descending: DDM alert, DAL alert, gunshot alert, first classification via the first image IM1 of a dangerous element but having had a probability lower than 80% during steps 110 and 120, close mobile element (composed of numerous pixels) but misclassified in stages 110 and 120, animals, unarmed men and unarmed vehicles being set to low priority).
Alternatively, the second image IM2 is acquired semi-automatically, the operator validating the elements E to be acquired. For some threats, for example the

16 Détection de Départ Missile ou Détection d'Alerte Laser le système pourra réagir automatiquement pour être plus rapide.
Encore en variante, la deuxième image IM2 est acquise par commande manuelle de l'opérateur. Dans ce cas, l'opérateur choisit l'un après l'autre les éléments E détectés à
acquérir_ Le procédé comprend une étape 160 de réévaluation, pour chaque élément E
détecté imagé sur la ou une deuxième image IM2, de la classification de l'élément E en fonction de la deuxième image IM2 et de la base de données d'images pour obtenir une classification réévaluée de l'élément E. L'étape de réévaluation 160 est, par exemple, mise en oeuvre en temps réel par le calculateur 16.
L'étape de réévaluation 160 comprend la classification de l'élément E imagé
sur la deuxième image IM2 au moyen de l'outil de classification (avantageusement adapté aux images IM2), par exemple, de la même manière que lors de l'étape de classification 120.
La classification obtenue à l'issue de cette nouvelle classification est appelée classification réévaluée. La classification réévaluée est ainsi identique ou différente de la classification initiale.
Avantageusement, la classification réévaluée obtenue est également associée à
une probabilité de classification_ Optionnellement, l'étape de réévaluation 160 comprend l'alerte de l'opérateur lorsque la classification réévaluée est différente de la classification initiale.
Le procédé comprend optionnellement une étape 170 d'affichage de la deuxième image IM2. L'étape d'affichage 170 est, par exemple, mise en oeuvre en temps réel par le dispositif d'affichage 18.
Avantageusement, les éléments E détectés sont mis en évidence par un symbole, classiquement un rectangle ou une ligne courbe fermée entourant au plus près l'élément E.
Avantageusement, sur demande de l'opérateur, les pixels correspondants à ou aux éléments E détectés sont mis en évidence sur l'image affichée, par exemple, par changement de couleur ou surbrillance_ Cela permet à l'opérateur de vérifier que ce sont les pixels de l'élément E qui ont servi à la classification et non ceux du contexte.
En outre, la classification des éléments E est, par exemple, affichée sur l'image, ainsi qu'avantageusement la probabilité associée à la classification. Cela permet à
l'opérateur de vérifier une classification associée à une probabilité non satisfaisante, typiquement inférieure à un seuil prédéterminé (par exemple inférieure à 80 %).
Avantageusement, la deuxième image IM2 est intégrée dans la première image IM1 lors de l'affichage conformément à la demande de brevet WO 2017/211672. 16 Missile Departure Detection or Laser Alert Detection the system will be able to react automatically to be faster.
Still as a variant, the second image IM2 is acquired by manual command of the operator. In this case, the operator chooses one after the other the E elements detected at acquire_ The method includes a step 160 of re-evaluation, for each element E
detected imaged on the or a second image IM2, of the classification of the element E in function of second IM2 image and image database for get a re-evaluated classification of element E. The re-evaluation step 160 is, for example, implemented in real time by the computer 16.
The re-evaluation step 160 includes the classification of the element E imaged on the second image IM2 using the classification tool (advantageously suitable for images IM2), for example, in the same way as during the step of classification 120.
The classification obtained at the end of this new classification is called classification reassessed. The reassessed classification is thus identical or different from the initial classification.
Advantageously, the reassessed classification obtained is also associated with a probability of classification_ Optionally, the reassessment step 160 includes alerting the operator when the reassessed classification is different from the classification initial.
The method optionally comprises a step 170 of displaying the second IM2 picture. The display step 170 is, for example, implemented in time real by the display device 18.
Advantageously, the elements E detected are highlighted by a symbol, classically a rectangle or a closed curved line closely enclosing the E element.
Advantageously, at the operator's request, the pixels corresponding to or to the detected E elements are highlighted on the displayed image, by example, by color change or highlighting_ This allows the operator to check that these are the pixels of the element E which were used for the classification and not those of the context.
In addition, the classification of E elements is, for example, displayed on the image, as well as advantageously the probability associated with the classification. That allows to the operator to verify a classification associated with a probability not satisfactory, typically less than a predetermined threshold (for example less than 80 %).
Advantageously, the second image IM2 is integrated into the first image IM1 when displayed in accordance with patent application WO 2017/211672.

17 Eventuellement, l'étape d'affichage 170 comprend la mise à disposition de l'opérateur des contenus suivants :
- le modèle 3D de l'élément E notamment quand il s'agit d'un véhicule, avec possibilité de visualiser l'élément E sous différents angles, et/ou - les autres classes (par exemple de deux à cinq) vers lesquelles l'outil de classification a convergé avec une probabilité plus faible, ainsi que la probabilité de classification associée à de telles classes et, éventuellement, le modèle 3D de l'élément E, et/ou - le cas échéant, des images de l'élément E acquises dans d'autres bandes spectrales.
Le procédé comprend, optionnellement, une étape 180 de mémorisation de l'image de l'élément E détecté issue de la deuxième image IM2, ainsi que de la classification de l'élément E et de la probabilité associée à la classification. Cela permet de vérifier ultérieurement la classification de l'élément E et éventuellement d'enrichir la base de données utilisée pour entraîner le classifieur. L'étape de mémorisation 180 est, par exemple, mise en uvre en temps réel par une mémoire du calculateur 16.
Avantageusement, seuls les éléments E imagés dont la classification est associée à une probabilité faible, typiquement inférieure à un seuil prédéterminé (par exemple inférieure à 80%) sont sauvegardés (images et données de contexte associées à
l'image), pour un post-traitement d'amélioration de l'apprentissage réalisé après la mission.
Optionnellement, le procédé comprend une étape 190 de vérification de la classification d'au moins un élément E détecté.
Typiquement, l'étape de vérification 190 est mise en oeuvre, pour chaque élément E détecté, lorsque la probabilité de classification associée à la dernière classification de l'élément E est strictement inférieure à un seuil prédéterminé (typiquement 80 %). La dernière classification de l'élément E désigne la classification réévaluée lorsque cette dernière existe et la classification initiale sinon. L'étape de vérification 190 comprend, le cas échéant, la correction de la dernière classification de l'élément E pour obtenir une classification corrigée de l'élément E.
L'étape de vérification 190 est, par exemple, mise en oeuvre ultérieurement (hors mission) par un opérateur ou par un outil de classification additionnel. Dans ce cas, l'image de l'élément E détecté a été mémorisée au préalable, par exemple, lors d'une étape de mémorisation 140, 180.
En variante, l'étape de vérification 190 est mise en uvre en temps réel par un opérateur lors de la mission_ Dans ce cas, un nombre limité d'images modèle sont, par exemple, embarquées dans le véhicule pour vérification par l'opérateur. 17 Optionally, the display step 170 includes the provision of the operator of the following content:
- the 3D model of element E, especially when it is a vehicle, with possibility of viewing the element E from different angles, and/or - the other classes (for example from two to five) towards which the tool classification converged with a lower probability, as well as the probability of classification associated with such classes and, possibly, the 3D model of element E, and/or - if necessary, images of the element E acquired in other bands spectral.
The method optionally comprises a step 180 of storing the image of the detected element E coming from the second image IM2, as well as from the classification of the element E and the probability associated with the classification. This allows to later check the classification of the element E and possibly to enrich the database used to train the classifier. The step of memorization 180 is, for example, implemented in real time by a memory of the computer 16.
Advantageously, only the imaged elements E whose classification is associated at a low probability, typically less than a predetermined threshold (for example less than 80%) are saved (images and context data associated with the image), for learning enhancement post-processing performed after the assignment.
Optionally, the method includes a step 190 of verifying the classification of at least one element E detected.
Typically, the verification step 190 is implemented, for each element E detected, when the probability of classification associated with the last classification of element E is strictly less than a predetermined threshold (typically 80 %). The last classification of the element E denotes the re-evaluated classification when this last exists and the initial classification otherwise. The verification step 190 includes, the if necessary, the correction of the last classification of the element E for get a corrected classification of element E.
The verification step 190 is, for example, implemented subsequently (except mission) by an operator or by an additional classification tool. In that case, the image of the detected element E has been stored beforehand, for example, during of one memorization step 140, 180.
Alternatively, the verification step 190 is implemented in real time by a operator during the mission_ In this case, a limited number of model images are, by example, on board the vehicle for verification by the operator.

18 Le procédé comprend option nellement une étape 200 de mise à jour de la base de données ayant servi à entraîner le classifieur et d'entraînement du classifieur sur la base de données mise à jour en fonction des images et des classifications mémorisées lors des étapes de mémorisation 140, 180.
L'étape 200 est, par exemple, mise en oeuvre ultérieurement (hors mission). En particulier, dans le contexte militaire, cette étape de mise à jour 200 est de préférence réalisée après la mission soit dans une base avancée, soit sur un site militaire arrière. Elle consiste à collecter l'ensemble des images classifiées par un dispositif 12 d'aide à la détection lors d'une mission ou d'un ensemble de missions, la classification ayant été
Io éventuellement corrigée par l'équipage.
Lorsqu'une étape de vérification 190 a été mise en uvre, l'étape de mise à
jour 200 comprend, avantageusement, l'ajout, dans la base de données, de l'image de l'élément E détecté issue de la première image IM1 et/ou de la deuxième image IM2, ainsi que de la classification vérifiée de l'élément E. L'image ajoutée est, par exemple, une portion (vignette) de la première et/ou de la deuxième image IM2, ce qui permet de limiter le volume de l'image.
De préférence, pour chaque élément E détecté, lorsque la classification réévaluée est différente de la classification initiale et que la probabilité de classification associée à la classification réévaluée est supérieure ou égale à un seuil prédéterminé, l'étape de mise à
jour 200 comprend l'ajout dans la base de données de l'image de l'élément E
détecté
issue de la première et/ou de la deuxième image IM2, ainsi que de la classification réévaluée de l'élément E. Dans ce cas, la classification réévaluée a avantageusement été
vérifiée au préalable par un opérateur ou par un outil de classification externe.
Optionnellement, lorsqu'une image dans une autre bande spectrale a été obtenue simultanément à la première ou la deuxième image IM2, la classification de chaque élément E obtenue à partir de la première et/ou la deuxième image IM2 est reportée à
l'image dans l'autre bande spectrale. L'étape 200 de mise à jour comprend alors l'ajout dans une base de données d'images dans l'autre bande spectrale, de l'image de l'élément E détecté issue de l'image dans l'autre bande spectrale, ainsi que de la classification reportée pour les éléments E de cette image.
Avantageusement, l'étape de mise à jour 200 comprend, en outre, une optimisation de l'outil de classification utilisé lors des étapes de détection, classification et réévaluation par entraînement de l'outil de classification avec la base de données mise à
jour. Après cette optimisation, une nouvelle version de l'outil de classification pourra être déployée dans chaque plateforme 10, par exemple, en mémorisant la nouvelle version de 18 The method optionally comprises a step 200 of updating the database of data used to train the classifier and to train the based classifier updated data based on images and classifications memorized during storage steps 140, 180.
Step 200 is, for example, implemented subsequently (outside the mission). In particular, in the military context, this update step 200 is to preference carried out after the mission either in a forward base or on a site military rear. She consists in collecting all the images classified by a device 12 help with detection during a mission or set of missions, the classification having been Io possibly corrected by the crew.
When a verification step 190 has been implemented, the update step day 200 advantageously includes the addition, in the database, of the picture of the element E detected from the first image IM1 and/or the second image IM2, so only of the verified classification of the element E. The added image is, for example, a portion (thumbnail) of the first and/or second image IM2, which allows to limit the volume of the picture.
Preferably, for each element E detected, when the classification reassessed is different from the initial classification and that the probability of classification associated with reassessed classification is greater than or equal to a predetermined threshold, the update step day 200 includes the addition in the database of the image of the element E
detected from the first and/or second image IM2, as well as from the classification reassessed of element E. In this case, the reassessed classification has advantageously been checked beforehand by an operator or by a classification tool external.
Optionally, when an image in another spectral band has been obtained simultaneously with the first or second IM2 image, the classification of each element E obtained from the first and/or the second image IM2 is postponed to the image in the other spectral band. Update step 200 includes then adding in an image database in the other spectral band, of the image of the element E detected from the image in the other spectral band, as well as of the classification reported for the E elements of this image.
Advantageously, the update step 200 further comprises a optimization of the classification tool used during the stages of detection, classification and reassessment by training of the classification tool with the database updated data day. After this optimization, a new version of the tool classification could be deployed in each platform 10, for example, by storing the new version of

19 l'outil dans une mémoire du calculateur 16 ou en mettant à jour le programme d'ordinateur utilisé.
En complément facultatif, chaque image acquise comprend une signature. La signature définit l'origine de l'image et garantit l'intégrité de l'image.
L'étape de mise à jour 200 comprend alors la vérification de la signature de l'image considérée et la non-prise en compte de l'image lorsque la signature de l'image n'est pas conforme à une signature prédéterminée. La vérification de la signature de l'image s'effectue, par exemple, par un algorithme de hachage. Eventuellement, il est aussi vérifié que le capteur ayant acquis l'image appartient bien à une liste de capteurs actifs et valides.
Ainsi, le procédé d'aide à la détection permet la détection et la classification des éléments E d'un environnement que ces éléments E soient fixes ou mobiles. Un tel procédé est particulièrement adapté pour être mis en oeuvre dans un véhicule militaire (blindé, de transport) dont les missions dans des zones dangereuses exigent une vigilance de tous les instants et dans toutes les directions.
Le procédé permet notamment de présenter et recueillir automatiquement une situation locale tactique autour du véhicule présentant en temps réel l'ensemble des menaces détectées et classifiées automatiquement par un outil de classification par apprentissage. De telles menaces sont susceptibles de survenir lors de missions de reconnaissance, mais également de transport ou d'attaque. Un tel procédé
permet donc d'effectuer une veille automatique et vigilante de l'environnement.
Dans le cadre d'une mission de reconnaissance, un tel procédé permet de déterminer les unités adverses, notamment le nombre et le type de véhicules.
Cela permet de donner une cartographie de la situation locale aux membres de l'équipage d'un véhicule et d'alerter de façon efficace ceux-ci en cas d'hypo-vigilance due à
un niveau de fatigue élevé ou à une concentration importante sur une autre tâche.
L'affichage des éléments E détectés et classifiés sur un écran permet de présenter une situation locale tactique autour d'une plateforme, par exemple un véhicule, et notamment d'aider un opérateur à détecter une menace.
La classification des éléments E et l'association d'une probabilité de classification permet à l'opérateur de connaître le niveau de confiance donné par l'outil de classification automatique formé par apprentissage à partir d'une base de données d'images.
Sur les niveaux de confiance incertains (par exemple un indice de confiance inférieur à 80%), l'opérateur ou plus généralement l'équipage du véhicule pourra confirmer ou infirmer la classification obtenue.
Les étapes de mémorisation 140, 180 et de mise à jour 200 permettent également de recueillir les données (images et données de contexte associées aux images) de nouvelles menaces ou de menaces mal classifiées du fait d'un contexte (camouflage, point de vue nouveau) dans le but de renforcer l'apprentissage de l'outil de classification au retour de la mission (apprentissage de nouvelle menaces et/ou amélioration de l'apprentissage de menaces connues mais ne bénéficiant pas encore d'une base de 5 données images suffisante). Par exemple, si l'équipage du véhicule est confronté à un nouveau type de blindé non connu de l'outil de classification, il sauvegardera les informations utiles pour pouvoir réaliser un complément d'apprentissage au retour à la base.
Enfin, le procédé est particulièrement avantageux puisqu'il permet, du fait de 10 l'acquisition d'images panoramiques, de détecter des menaces dans toutes les directions autour du véhicule. Par rapport à un équipage seul, le procédé permet de détecter de telles menaces le plus loin possible et le plus rapidement possible, pour permettre d'avoir un temps de réaction le plus long possible. Le procédé permet la détection de telles menaces malgré les camouflages de la menace qui empêchent soit sa détection, soit son 15 identification précise et malgré les blindages entourant les personnels qui empêchent d'avoir une vision détaillée dans toutes les directions. En outre, un tel procédé est mis en uvre indépendamment du niveau de vigilance variable de l'opérateur dû à son niveau de fatigue ou au fait qu'il soit déjà concentré sur une autre tâche. Un tel procédé permet donc une meilleure détection des éléments E d'un environnement, et notamment des 19 the tool in a memory of the computer 16 or by updating the program computer used.
As an optional addition, each acquired image includes a signature. The signature defines the origin of the image and guarantees the integrity of the image.
The update step 200 then includes the verification of the signature of the image considered and the not taken into account of the image when the signature of the image does not conform to a signature predetermined. The verification of the image signature is carried out, by example, by a hashing algorithm. If necessary, it is also checked that the sensor having acquired the image belongs to a list of active and valid sensors.
Thus, the detection aid method allows the detection and classification of elements E of an environment whether these elements E are fixed or mobile. A
Phone method is particularly adapted to be implemented in a vehicle military (armoured, transport) whose missions in dangerous areas require a vigilance at all times and in all directions.
The method makes it possible in particular to present and automatically collect a tactical local situation around the vehicle presenting in real time all of the threats detected and classified automatically by a classification by learning. Such threats are likely to arise when missions of reconnaissance, but also transport or attack. Such a process therefore allows to carry out an automatic and vigilant monitoring of the environment.
In the context of a reconnaissance mission, such a process makes it possible to Determine enemy units, including number and type of vehicles.
That makes it possible to provide a map of the local situation to the members of the crew of a vehicle and to effectively alert them in the event of hypo-vigilance due to a level of high fatigue or high concentration on another task.
The display of the detected and classified E elements on a screen makes it possible to to present a tactical local situation around a platform, for example a vehicle, and in particular to help an operator detect a threat.
The classification of E elements and the association of a probability of classification allows the operator to know the level of confidence given by the tool of classification machine trained by learning from an image database.
On the uncertain confidence levels (e.g. lower confidence index at 80%), the operator or more generally the crew of the vehicle will be able to confirm or invalidate the classification obtained.
The storage steps 140, 180 and update 200 also allow to collect the data (images and context data associated with the images) of new threats or threats misclassified due to a context (camouflage, new point of view) with the aim of reinforcing the learning of the tool of classification on return from the mission (learning of new threats and/or improvement of learning about known threats but not yet benefiting from a database of 5 sufficient image data). For example, if the vehicle crew is faced with a new type of armor not known to the classification tool, it will save the useful information to be able to carry out additional learning at the back to the base.
Finally, the method is particularly advantageous since it allows, because of 10 the acquisition of panoramic images, to detect threats in all directions around the vehicle. Compared to a single crew, the process makes it possible to detect from such threats as far and as quickly as possible, to allow to have the longest possible reaction time. The method allows the detection of threats despite the camouflages of the threat which prevent either its detection, be his 15 precise identification and despite the shielding surrounding the personnel which prevent to have a detailed vision in all directions. Furthermore, such process is implemented works independently of the variable level of vigilance of the operator due to his level fatigue or the fact that he is already concentrating on another task. Such process allows thus a better detection of the elements E of an environment, and in particular from

20 menaces dans un contexte militaire.
L'homme du métier comprendra que l'ordre des étapes du procédé est donné à
titre d'exemple et que les étapes peuvent être mises en oeuvre dans un ordre différent.
Par exemple, les étapes de mémorisation 140, 180 peuvent avoir lieu avant les étapes d'affichage 130, 170 respectives.
Un deuxième mode de fonctionnement du dispositif 12 va maintenant être décrit en référence à la mise en oeuvre par le calculateur 16 d'un procédé d'aide à
la détection d'éléments E dans un environnement. Une telle mise en oeuvre est illustrée par l'organigramme de la figure 3. En outre, dans ce deuxième mode de fonctionnement, le système d'acquisition 14 du dispositif 12 est conforme au deuxième mode de réalisation décrit précédemment.
Dans ce deuxième mode de fonctionnement, les termes première image et deuxième image sont employés pour désigner des images spécifiques à ce mode de fonctionnement. De telles images sont donc différentes de celles décrites dans le premier mode de fonctionnement. 20 threats in a military context.
Those skilled in the art will understand that the order of the steps of the method is given to by way of example and that the steps can be implemented in any order different.
For example, the storage steps 140, 180 can take place before the steps display 130, 170 respectively.
A second mode of operation of device 12 will now be described.
with reference to the implementation by the computer 16 of a method for assisting in detection of elements E in an environment. Such an implementation is illustrated by the flowchart of FIG. 3. In addition, in this second mode of operation, the acquisition system 14 of device 12 conforms to the second mode of realization previously described.
In this second mode of operation, the terms first image and second image are used to designate images specific to this mode of working. Such images are therefore different from those described in the first operating mode.

21 Le procédé comprend une étape 300 d'acquisition simultanée d'une première image IM1 et d'une deuxième image IM2 imageant une même portion de l'environnement.
Par acquisition simultanée, il est entendu que les deux images sont acquises au même instant.
La première image IM1 est une image dans une première bande spectrale. La première image IM1 est acquise par le capteur du système d'acquisition 14 dans la première bande spectrale.
La deuxième image IM2 est une image dans une deuxième bande spectrale. La deuxième image IM2 est acquise par le capteur du système d'acquisition 14 dans la deuxième bande spectrale. Il est rappelé que la première bande spectrale et la deuxième bande spectrale sont différentes (par exemple visible et infrarouge bande III
à V).
La première et la deuxième image IM2 imagent la même portion de l'environnement selon le même champ de vision.
Pour simplifier, il est supposé qu'à cette étape d'acquisition 300, une seule première image IM1 et une seule deuxième image IM2 sont acquises. Le raisonnement est évidemment le même si un flux vidéo comprenant un ensemble d'images est considéré.
L'étape d'acquisition 300 est, par exemple, mise en oeuvre par les capteurs du système d'acquisition 14.
Le procédé comprend une étape 310 de détection, le cas échéant, d'éléments E
imagés sur la première image IM1 en utilisant un premier outil de classification (algorithme de classification) qui aura réalisé préalablement son apprentissage en fonction d'une première base de données d'images dans la première bande spectrale.
L'étape de détection 310 est mise en oeuvre par le calculateur 16.
Optionnellernent, pour la détection d'éléments E mobiles, il est également utilisé
lors de l'étape de détection 310 un outil de détection de mouvements exploitant des premières images acquises aux instants précédents. De telles images sont, par exemple, mémorisés temporairement ou de façon permanente dans une mémoire du calculateur 16.
L'étape de détection 310 comprend, par exemple, la réalisation d'un traitement d'images par un outil de classification pour détecter et classifier les éléments E imagés sur la première image IM1. Un tel traitement est, par exemple, réalisé au plus à la fréquence image (par exemple 50 Hertz (Hz) ou 25 Hz ou 12,5 Hz) ou préférentiellement à 1 Hz ou au moins une fois toutes les 3 secondes Le procédé comprend une étape 320 de détection, le cas échéant, d'éléments E
imagés sur la deuxième image IM2 en utilisant un deuxième outil de classification 21 The method comprises a step 300 of simultaneous acquisition of a first image IM1 and a second image IM2 imaging the same portion of the environment.
By simultaneous acquisition, it is understood that the two images are acquired the same instant.
The first image IM1 is an image in a first spectral band. The first image IM1 is acquired by the sensor of the acquisition system 14 in the first spectral band.
The second image IM2 is an image in a second spectral band. The second image IM2 is acquired by the sensor of the acquisition system 14 in the second spectral band. It is recalled that the first spectral band and the second spectral band are different (e.g. visible and infrared band III
to V).
The first and the second image IM2 image the same portion of environment in the same field of view.
For simplicity, it is assumed that at this acquisition step 300, a single first image IM1 and a single second image IM2 are acquired. the reasoning is obviously the same if a video stream comprising a set of images is considered.
The acquisition step 300 is, for example, implemented by the sensors of the acquisition system 14.
The method comprises a step 310 of detecting, where appropriate, elements E
imaged on the first image IM1 using a first tool for classification (classification algorithm) which will have previously carried out its learning in function of a first database of images in the first band spectral.
The detection step 310 is implemented by the computer 16.
Optionally, for the detection of moving E elements, it is also used during the detection step 310 a movement detection tool operator of first images acquired at the previous instants. Such images are, for example, stored temporarily or permanently in a memory of the calculator 16.
The detection step 310 comprises, for example, performing a processing images by a classification tool to detect and classify the imaged E elements on the first image IM1. Such processing is, for example, carried out at most to the image frequency (e.g. 50 Hertz (Hz) or 25 Hz or 12.5 Hz) or preferentially at 1 Hz or at least once every 3 seconds The method comprises a step 320 of detecting, where appropriate, elements E
imaged on the second IM2 image using a second image tool classification

22 (algorithme de classification) qui aura réalisé préalablement son apprentissage en fonction d'une deuxième base de données d'images dans la deuxième bande spectrale.
L'étape de détection 320 est mise en oeuvre par le calculateur 16.
Optionnellement, pour la détection d'éléments E mobiles, il est également utilisé, lors de l'étape de détection 310, un outil de détection de mouvements exploitant des deuxièmes images IM2 acquises aux instants précédents. De telles images sont, par exemple, mémorisés temporairement ou de façon permanente dans une mémoire du calculateur 16.
L'étape de détection 320 est, par exemple, identique à l'étape de détection précédente en remplaçant le premier outil de classification par le deuxième outil de classification obtenu.
Le procédé comprend une étape 330 de classification, pour chaque image, des éléments E détectés par chaque outil de classification. L'étape de classification 330 est mise en oeuvre par le calculateur 16. L'étape de classification 330 est, par exemple, mise en oeuvre par les mêmes outils de classification que les étapes de détection 310 et 320 respectives. L'étape de classification 330 dépend notamment de la résolution des images des éléments E obtenue par les capteurs lors de l'étape d'acquisition 300.
Avantageusement, dans le cas de la détection d'un élément E mobile, l'étape de classification 330 comprend la fourniture d'un vecteur comprenant la position de l'élément E dans l'image, sa vitesse, son accélération, ainsi que la vignette image de l'élément E. L'outil de classification est alors configuré pour classifier l'élément E mobile détecté en fonction de sa trajectoire. Par exemple, l'outil de classification vise à distinguer une trajectoire d'oiseau de celle d'un drone.
De préférence, chaque classification est associée à une probabilité
représentative d'un niveau de confiance en la classification. La probabilité de classification est, par exemple, déterminé par l'outil de classification correspondant.
Le procédé comprend une étape 340 de comparaison de la classification des éléments E détectés obtenue pour la première image IM1 et pour la deuxième image IM2.
L'étape de comparaison 340 permet de déterminer si pour un même élément E
détecté, la classification obtenue dans la première bande spectrale (i.e. à
partir de la première image IM1) est identique ou différente de celle obtenue dans la deuxième bande spectrale (i.e. à partir de la deuxième image IM2) et si un élément E n'a été
détecté et classifié que dans une seule bande spectrale.
Le procédé comprend une étape 350 de mémorisation de la première et de la deuxième image et des classifications correspondantes au moins lorsque la classification d'au moins l'un des éléments détectés E est différente pour la première image IM1 et la 22 (classification algorithm) which will have previously carried out its learning in function of a second image database in the second band spectral.
The detection step 320 is implemented by the computer 16.
Optionally, for the detection of mobile E elements, it is also used, during the detection step 310, a movement detection tool operator of second IM2 images acquired at previous instants. Such pictures are, by example, stored temporarily or permanently in a memory of the calculator 16.
The detection step 320 is, for example, identical to the detection step previous one by replacing the first classification tool by the second tool classification obtained.
The method comprises a step 330 of classification, for each image, of the E elements detected by each classification tool. The step of classification 330 is implemented by the computer 16. The classification step 330 is, by example, put implemented by the same classification tools as the detection steps 310 and 320 respective. The classification step 330 depends in particular on the resolution images elements E obtained by the sensors during the acquisition step 300.
Advantageously, in the case of the detection of a mobile element E, the step of classification 330 includes providing a vector comprising the position of the element E in the image, its speed, its acceleration, as well as the thumbnail image of element E. The classification tool is then configured to classify the movable E element detected according to its trajectory. For example, the classification tool aims to distinguish a bird's trajectory from that of a drone.
Preferably, each classification is associated with a probability representative a level of confidence in the classification. The probability of classification is, by example, determined by the corresponding classification tool.
The method includes a step 340 of comparing the classification of the detected E elements obtained for the first image IM1 and for the second IM2 picture.
The comparison step 340 makes it possible to determine whether for the same element E
detected, the classification obtained in the first spectral band (ie at from the first image IM1) is identical to or different from that obtained in the second band spectral (ie from the second image IM2) and if an element E has not been detected and classified only in one spectral band.
The method comprises a step 350 of memorizing the first and the second image and corresponding classifications at least when the classification of at least one of the detected elements E is different for the first image IM1 and the

23 deuxième image IM2 ou lorsqu'un élément E a été détecté seulement pour l'une des deux images. En variante, ces données sont systématiquement mémorisées.
Les données enregistrées sont destinées à être utilisées pour une mise à jour ultérieure d'au moins l'une des bases de données, et un entraînement ultérieur du classifieur correspondant avec la base de données mise à jour. Cela permet de vérifier ultérieurement la classification de l'élément E et éventuellement d'enrichir les bases de données respectives. L'étape de mémorisation 350 est, par exemple, mise en oeuvre par une mémoire du calculateur 16.
Le procédé comprend, optionnellement, une étape 360 d'affichage d'au moins -Io l'une de la première et de la deuxième image IM2. L'étape d'affichage 360 est, par exemple, mise en oeuvre par le dispositif d'affichage 18.
Avantageusement, les éléments E détectés sont mis en évidence par un symbole, classiquement un rectangle ou une ligne courbe fermée entourant au plus près l'élément E.
Avantageusement, sur demande de l'opérateur, les pixels correspondants à ou aux éléments E détectés sont mis en évidence sur l'image affichée, par exemple, par changement de couleur ou surbrillance. Cela permet à l'opérateur de vérifier que ce sont les pixels de l'élément E qui ont servi à la classification et non ceux du contexte.
En outre, la classification des éléments E est, par exemple, affichée sur l'image, ainsi qu'avantageusement la probabilité associée à la classification. Cela permet à
l'opérateur de vérifier une classification associée à une probabilité non satisfaisante, typiquement inférieure à un seuil prédéterminé (par exemple inférieure à 80 /0).
Eventuellement, l'étape d'affichage 360 comprend la mise à disposition de l'opérateur des contenus suivants :
- le modèle 3D de l'élément E notamment quand il s'agit d'un véhicule, avec possibilité de visualiser l'élément E sous différents angles, et/ou - les autres classes (par exemple de deux à cinq) vers lesquelles l'outil de classification a convergé avec une probabilité plus faible, ainsi que la probabilité de classification associée à de telles classes et, éventuellement, le modèle 3D de l'élément E, et/ou - le cas échéant, des images de l'élément E acquises dans d'autres bandes spectrales.
Le procédé comprend une étape 370 de mise à jour d'au moins l'une de la première et de la deuxième base de données et avantageusement d'entraînement du classifieur correspondant avec la base de données mise à jour. L'étape de mise à jour est 23 second IM2 image or when an E element was detected only for one both pictures. As a variant, these data are systematically stored.
The recorded data is intended to be used for an update subsequent training of at least one of the databases, and subsequent training of corresponding classifier with the updated database. This allows to to verify later the classification of the element E and possibly to enrich the basics of respective data. The storage step 350 is, for example, put into work by a computer memory 16.
The method optionally comprises a step 360 of displaying at least -Io one of the first and second IM2 picture. The 360 display stage is, for example, implemented by the display device 18.
Advantageously, the elements E detected are highlighted by a symbol, classically a rectangle or a closed curved line closely enclosing the E element.
Advantageously, at the operator's request, the pixels corresponding to or to the detected E elements are highlighted on the displayed image, by example, by color change or highlight. This allows the operator to check that these are the pixels of the element E which were used for the classification and not those of the context.
In addition, the classification of E elements is, for example, displayed on the image, as well as advantageously the probability associated with the classification. That allows to the operator to verify a classification associated with a probability not satisfactory, typically less than a predetermined threshold (for example less than 80 /0).
Optionally, the display step 360 includes the provision of the operator of the following content:
- the 3D model of element E, especially when it is a vehicle, with possibility of viewing the element E from different angles, and/or - the other classes (for example from two to five) towards which the tool of classification converged with a lower probability, as well as the probability of classification associated with such classes and, possibly, the 3D model of element E, and/or - if necessary, images of the element E acquired in other bands spectral.
The method includes a step 370 of updating at least one of the first and second database and advantageously training of corresponding classifier with the updated database. The betting step up to date is

24 effectuée en fonction de la ou des images et des classifications correspondantes mémorisées dans la mémoire du calculateur.
L'étape 370 est avantageusement mise en oeuvre ultérieurement (hors mission) par un calculateur externe. En particulier, dans le contexte militaire, cette étape de mise à
jour 370 est de préférence réalisée après la mission soit dans une base avancée, soit sur un site militaire arrière. Elle consiste à collecter l'ensemble ou au moins une partie des images classifiées par un dispositif 12 d'aide à la détection lors d'une mission ou d'un ensemble de missions, les classifications ayant été éventuellement corrigées par l'équipage.
Avantageusement, la au moins une base de données est mise à jour au moins lorsque la classification d'au moins l'un des éléments E détectés est différente pour la première image IM1 et la deuxième image IM2 ou lorsqu'un élément E a été
détecté
seulement pour l'une des deux images.
De préférence, pour chaque élément E détecté, lorsque la probabilité associée à la classification obtenue pour la première image IM1 (respectivement la deuxième image IM2) est supérieure ou égale à un seuil prédéterminé (par exemple 80%) et la probabilité
associée à la classification obtenue pour la deuxième image IM2 (respectivement la première image IM1) est strictement inférieure au seuil prédéterminé, l'étape de mise à
jour 370 comprend la mise à jour de la deuxième (respectivement la première) base de données par ajout de l'image de l'élément E détecté issue de la deuxième image (respectivement de la première image IM1), ainsi que de la classification obtenue pour l'élément E imagé sur la première image IM1 (respectivement de la deuxième image IM2).
Avantageusement, la classification obtenue pour la première image IM1 (respectivement la deuxième image IM2) a été vérifiée au préalable par un opérateur. Le classifieur correspondant est ensuite entraîné sur la base de données mise à jour.
De préférence, pour chaque élément E détecté, lorsque la probabilité associée à
la classification obtenue pour chacune de la première et de la deuxième image IM2 est inférieure à un seuil prédéterminé, l'étape de mise à jour 370 comprend la vérification, par un opérateur ou par un outil de classification additionnel, de la ou des classifications de l'élément E détecté. La vérification comprend, le cas échéant, la correction de la ou des classifications pour obtenir une ou des classification corrigées. Dans ce cas, l'étape de mise à jour 370 comprend avantageusement la mise à jour d'au moins une base de données par ajout de l'image de l'élément E détecté issue de l'image acquise dans la bande spectrale de la base de données, ainsi que de la classification vérifiée de l'élément E. Le classifieur correspondant est ensuite entraîné sur la base de données mise à jour.

L'étape de mise à jour 370 comprend donc une optimisation de chaque outil de classification utilisé lors des étapes de détection 310, 320 et de classification 330 par entraînement de l'outil avec la base de données correspondante mise à jour.
Après cette optimisation, une nouvelle version de l'outil de classification pourra être déployée dans 5 chaque platefomne 10, par exemple, en mémorisant la nouvelle version de l'outil dans une mémoire du calculateur 16 ou en mettant à jour le programme d'ordinateur utilisé.
En complément facultatif, chaque image acquise comprend une signature. La signature définit l'origine de l'image et garantit l'intégrité de l'image.
L'étape de mise à jour 370 comprend alors la vérification de la signature de l'image et la non-prise en compte de 10 l'image lorsque la signature de l'image n'est pas conforme à une signature prédéterminée.
La vérification de la signature de l'image s'effectue, par exemple, par un algorithme de hachage. Eventuellennent, il est aussi vérifié que le capteur ayant acquis l'image appartient bien à une liste de capteurs actifs et valides.
Les étapes 300 à 330 et 360 du procédé d'aide à la détection sont 15 avantageusement effectuées en temps réel, ce qui permet d'aider un opérateur au cours d'une mission, par exemple de reconnaissance. Les étapes 340 de comparaison et de mise à jour peuvent quant à elles être effectuées ultérieurement En variante, les étapes 340 de comparaison et 370 de mise à jour sont également effectuées en temps réel, ce qui permet de mettre à jour la ou les bases de données concernées au cours de 20 la mission et de tenir compte de la base de données mise à jour lors de cette mission.
L'homme du métier comprendra que l'ordre des étapes du procédé est donné à
titre d'exemple et que les étapes peuvent être mises en oeuvre dans un ordre différent.
Par exemple, l'étape de mise à jour 370 peut avoir lieu en parallèle ou avant l'étape d'affichage 360. 24 performed based on the image(s) and classifications corresponding stored in the computer memory.
Step 370 is advantageously implemented later (off mission) by an external computer. In particular, in the military context, this update step day 370 is preferably carried out after the mission either in a base advanced, either on a rear military site. It consists of collecting all or at least part of images classified by a detection aid device 12 during a mission or a set of missions, the classifications having been possibly corrected by the crew.
Advantageously, the at least one database is updated at least when the classification of at least one of the detected E elements is different for the first image IM1 and the second image IM2 or when an element E has been detected only for one of the two images.
Preferably, for each element E detected, when the associated probability to the classification obtained for the first IM1 image (respectively the second picture IM2) is greater than or equal to a predetermined threshold (for example 80%) and the probability associated with the classification obtained for the second image IM2 (respectively the first image IM1) is strictly below the predetermined threshold, the step update update 370 includes the update of the second (respectively the first) base of data by adding the image of the element E detected from the second image (respectively of the first image IM1), as well as the classification obtained for the element E imaged on the first image IM1 (respectively of the second picture IM2).
Advantageously, the classification obtained for the first image IM1 (respectively the second image IM2) has been checked beforehand by an operator. the classifier correspondent is then trained on the updated database.
Preferably, for each element E detected, when the associated probability to the classification obtained for each of the first and second image IM2 is below a predetermined threshold, the update step 370 includes the verification, by an operator or by an additional classification tool, of the classifications of the element E detected. The verification includes, where appropriate, the correction of the classifications to obtain one or more corrected classifications. In this case, the step of update 370 advantageously comprises updating at least one database data by adding the image of the element E detected from the acquired image in the spectral band of the database, as well as the verified classification of the E element. The corresponding classifier is then trained based on data update.

The update step 370 therefore includes an optimization of each tool for classification used during the detection steps 310, 320 and classification 330 by tool training with the corresponding updated database.
After this optimization, a new version of the classification tool may be deployed in 5 each platform 10, for example, by memorizing the new version of the tool in a ECU 16 memory or by updating the computer program used.
As an optional addition, each acquired image includes a signature. The signature defines the origin of the image and guarantees the integrity of the image.
The update step 370 then includes verifying the signature of the image and not taking in account of 10 the image when the signature of the image does not conform to a predetermined signature.
Verification of the image signature is carried out, for example, by a algorithm hash. If necessary, it is also verified that the sensor having acquired the image belongs to a list of active and valid sensors.
Steps 300 to 330 and 360 of the detection aid method are 15 advantageously carried out in real time, which makes it possible to help a operator during of a mission, for example reconnaissance. The steps 340 of comparison and updates can be carried out at a later date.
variant, the steps 340 of comparison and 370 of update are also carried out in weather real, which makes it possible to update the database(s) concerned during 20 the mission and to take account of the updated database when this mission.
Those skilled in the art will understand that the order of the steps of the method is given to by way of example and that the steps can be implemented in any order different.
For example, the update step 370 can take place in parallel or before step 360 display.

25 Ainsi, outre les avantages exposés dans le premier mode de fonctionnement et qui s'appliquent également pour le deuxième mode de fonctionnement, le procédé
selon le deuxième mode de fonctionnement permet d'enrichir les bases de données utilisées, ce qui permet d'améliorer la classification des éléments E détectés dans des bandes spectrales initialement moins fournies en données d'entrée. En particulier, dans le contexte militaire, les bases de données visibles étant généralement plus fournies que les bases de données infrarouge, l'acquisition d'éléments E connus en voie visible, mais cc mal reconnus ou nouveaux en voie infrarouge permet, par la double acquisition en voie visible et infrarouge, en retour de mission une labélisation automatique des menaces en voie infrarouge en s'appuyant sur les menaces reconnues en visible.
L'avantage est ainsi de permettre la reconnaissance de nuit des menaces, quand les caméras visibles ne 25 Thus, in addition to the advantages set out in the first mode of functioning and who also apply for the second mode of operation, the method according to second operating mode makes it possible to enrich the databases used, this which makes it possible to improve the classification of the E elements detected in bands spectral initially less provided in input data. Specifically, in the military context, visible databases being generally more provided as the infrared databases, the acquisition of known E elements on the way visible, but misrecognized or new ccs in the infrared path allows, by the double acquisition in visible and infrared way, in return of mission an automatic labeling threats in the infrared way, relying on the threats recognized in the visible.
The advantage is thus allowing the recognition of threats at night, when the cameras visible

26 sont plus exploitables, la classification de ces menaces ayant été faite précédemment de jour.
Un tel procédé de détection permet donc une meilleure détection des éléments d'un environnement, et notamment des menaces dans un contexte militaire, et ce dans différentes bandes spectrales, en particulier de nuit.
Un troisième mode de fonctionnement du dispositif 12 va maintenant être décrit en référence à la mise en oeuvre par le calculateur 16 d'un procédé d'aide à la détection d'éléments E dans un environnement. En outre, dans ce troisième mode de fonctionnement, le système d'acquisition 14 du dispositif 12 est conforme au troisième mode de réalisation décrit précédemment.
Dans ce troisième mode de fonctionnement, le procédé d'aide à la détection comprend toute combinaison des étapes du premier et du deuxième mode de fonctionnement lorsqu'une telle combinaison est possible.
Par exemple, en partant des étapes et des termes employés pour le procédé
décrit dans le deuxième mode de fonctionnement, et en considérant que la première et la deuxième image IM2 sont des images panoramiques de l'environnement ayant une même première résolution et un même premier champ de vision, le procédé met également en oeuvre les étapes suivantes.
Le procédé comprend, par exemple, une étape d'acquisition d'au moins une troisième image IM3 pour au moins l'un des éléments E détectés sur l'une de la première ou de la deuxième image IM2.
La troisième image IM3 correspond en fait à la deuxième image IM2 du premier mode de fonctionnement. La troisième image IM3 a donc une deuxième résolution et un deuxième champ de vision. La deuxième résolution est supérieure à la première résolution et le deuxième champ de vision est plus restreint que le premier champ de vision.
Le procédé comprend alors, par exemple, la réévaluation, pour chaque élément E

détecté imagé sur la ou une troisième image IM3, de la classification de l'élément E en fonction de la troisième image IM3 et de la base de données d'images de même bande spectrale que la troisième image IM3.
En outre, avantageusement, pour chaque élément E détecté, lorsque la probabilité
associée à la classification obtenue à partir de la troisième image IM3 est supérieure ou égale à un seuil prédéterminé (par exemple 80 %) et que la probabilité
associée à la classification obtenue à partir de la première image IM1 (respectivement la deuxième image IM2) est strictement inférieure au seuil prédéterminé, l'étape de mémorisation 350 26 are more exploitable, the classification of these threats having been made previously from day.
Such a detection method therefore allows better detection of the elements of an environment, and in particular threats in a military context, and this in different spectral bands, especially at night.
A third mode of operation of device 12 will now be described.
in reference to the implementation by the computer 16 of a method for aiding the detection of elements E in an environment. Moreover, in this third mode of operation, the acquisition system 14 of the device 12 complies with the third embodiment described above.
In this third mode of operation, the detection aid method includes any combination of the steps of the first and second mode of operation when such a combination is possible.
For example, starting from the steps and terms used for the process describe in the second operating mode, and considering that the first and the second image IM2 are panoramic images of the environment having a same first resolution and the same first field of vision, the process puts also in perform the following steps.
The method comprises, for example, a step of acquiring at least one third image IM3 for at least one of the elements E detected on one of the first or the second image IM2.
The third image IM3 actually corresponds to the second image IM2 of the first operating mode. The third image IM3 therefore has a second resolution and one second field of view. The second resolution is higher than the first resolution and the second field of view is more restricted than the first field of vision.
The method then comprises, for example, the revaluation, for each element E

detected imaged on the or a third IM3 image, of the classification of the element E in function of the third IM3 image and the image database of the same bandaged spectral than the third image IM3.
Furthermore, advantageously, for each element E detected, when the probability associated with the classification obtained from the third image IM3 is higher or equal to a predetermined threshold (for example 80%) and that the probability associated with the classification obtained from the first image IM1 (respectively the second image IM2) is strictly lower than the predetermined threshold, the step of memorization 350

27 comprenant la mémorisation de ladite première (respectivement deuxième image), de la troisième image et des classifications correspondantes. L'étape de mise à jour comprend la mise à jour de la première base de données (respectivement de la deuxième base de données) par ajout de l'image de l'élément E détecté issue de la première image IM1 (respectivement de la deuxième image IM2) et/ou de la troisième image IM3 lorsque cette dernière est dans la même bande spectrale que la première base de données (respectivement deuxième base de données), ainsi que de la classification de l'élément E obtenue à partir de la troisième image IM3. L'étape de mise à jour comprenant avantageusement l'entraînement du classifieur correspondant avec la base de données mise à jour.
L'homme du métier comprendra que les modes de réalisation ou de fonctionnement précédemment décrits peuvent être combinés pour former de nouveaux modes de réalisation ou de fonctionnement pourvu qu'ils soient compatibles techniquement.
Par exemple, de manière similaire au troisième mode de fonctionnement, les étapes décrites pour la troisième image pourraient être répétées pour une quatrième image dans une autre bande spectrale que celle de la troisième image. 27 comprising the storage of said first (respectively second image), of the third image and corresponding classifications. The update step includes the update of the first database (respectively of the second database) by adding the image of the detected element E from the first image IM1 (respectively of the second image IM2) and/or of the third IM3 picture when the latter is in the same spectral band as the first base of data (respectively second database), as well as the classification of the element E obtained from the third image IM3. The update step including advantageously the training of the corresponding classifier with the base of data update.
Those skilled in the art will understand that the embodiments or operation previously described can be combined to form new embodiments or modes of operation provided they are compatible technically.
For example, similar to the third mode of operation, the steps described for the third image could be repeated for a fourth image in another spectral band than that of the third image.

Claims

28

1. Method for assisting in the detection of fixed and mobile elements (E) in a environment, the method comprising at each instant the steps of:
- acquisition of a first image (IM1), the first image (IM1) being a picture panorama of the environment, the first image (IM1) having a first resolving and imaging the environment according to a first field of vision, - detection, where applicable, of fixed and mobile elements (E) imaged on the first image (IM1) by a database-trained classifier pictures of elements (E) and by a motion detector using first pictures acquired at the previous instants, - classification, by the classifier, of each detected element (E) for get a initial classification of the element (E), - acquisition of at least a second image (IM2), the second image (IM2) imaging at least one of the detected elements (E), the second image (IM2) having a second resolution and imaging the environment according to a second field of vision, the second resolution being higher than the first resolution, the second field of view being more restricted than the first field of view, and - re-evaluation, by the classifier, for each detected element (E) imaged on the second image (IM2), of the classification of the element (E) according to the second image (IM2) to obtain a re-evaluated classification of the element (E).

2. Method according to claim 1, in which each classification is associated with a probability representative of a level of confidence in the classification.

3. Method according to claim 2, in which for each element detected (E), when the reassessed classification is different from the classification initial and that the probability of classification associated with the classification reassessed is greater than or equal to a predetermined threshold, the method comprises a step recording of the image of the detected element (E) resulting from the first picture (IM1) and/or the second image (IM2), as well as the classification reassessed from the element (E) for a later update of the database by addition of the or images of the detected element (E) and training the classifier with the base updated data.

4. Process according to claim 2 or 3, in which, for each element detected (E), when the probability of classification associated with the last classification of the element (E) is strictly below a threshold predetermined, the method includes a verification step, by an operator or by a tool of additional classification, of the last classification of the element (E), the step of verification including, where applicable, the correction of the last classification of the element (E).

5. Method according to claim 4, in which, for each element detected (E), the method further comprises a step of updating the base of data by adding the image of the detected element (E) from the first image (IM1) and/or the second image (IM2), as well as the classification verified of the element (E), and advantageously of the training of the classifier with the base updated data.

6. Method according to claim 5, in which each image comprises a signature, the updating step comprising verification of the signature of the image and the disregard of the image when the signature of the image is not does not conform to a predetermined signature.

7. Method according to any one of claims 1 to 6, in which each image comprises pixels, the method comprising a step of displaying at least one image from among the first image (IM1) and the second or second images (IM2), the pixels detected by the classifier as corresponding to or to the detected elements (E) on the displayed image being highlighted on the image displayed.

8. Method according to any one of claims 1 to 7, in which the elements detected (E) are chosen from the list made up of: a human, a animal, a weapon system, a land vehicle, a sea vehicle and a aerial vehicle.

9. Device (12) to aid in the detection of fixed and mobile elements (E) in an environment, the device (12) comprising:
- an image acquisition system (14) configured to implement the steps acquisition of a first image (IM1) and acquisition of at least one second image (IM2) of the method according to any one of Claims 1 to 8, and - a computer (16) interacting with a classifier trained as a function of one element image database (E) and a motion detector, the computer (16) being configured to implement the detection steps, of classification and reassessment of the process according to any of the claims 1 to 8.

10. Platform (10), in particular a mobile platform such as a vehicle, comprising a device (12) according to claim 9.