FR3018124A1

FR3018124A1 - HELMET VISUALIZATION SYSTEM COMPRISING A DIGITAL ZOOM

Info

Publication number: FR3018124A1
Application number: FR1400507A
Authority: FR
Inventors: Xavier Servantie; Laurent Laluque; Cecile Andre
Original assignee: Thales SA
Current assignee: Thales SA
Priority date: 2014-02-28
Filing date: 2014-02-28
Publication date: 2015-09-04
Anticipated expiration: 2034-02-28
Also published as: FR3018124B1

Abstract

Le domaine général de l'invention est celui des systèmes de visualisation de casque comportant au moins : - un casque équipé d'un dispositif de visualisation apte à générer des images en superposition sur un terrain ; - un système de détection de posture dudit casque par rapport à un référentiel connu ; - des moyens de géolocalisation ; Le système de visualisation de casque selon l'invention comporte de plus : - une base de données cartographiques et/ou orthophotographiques représentatives dudit terrain ; - des moyens de calcul permettant de déterminer la localisation d'une zone dudit terrain disposée à un emplacement connu du champ du dispositif de visualisation ; - des moyens de sélection et d'affichage de données cartographiques et/ou orthophotographiques par le dispositif de visualisation, lesdites données représentant une vue agrandie de ladite zone.The general field of the invention is that of helmet visualization systems comprising at least: a helmet equipped with a display device capable of generating images superimposed on a field; a system for detecting the posture of said helmet with respect to a known reference frame; - Geolocation means; The helmet visualization system according to the invention further comprises: a map and / or orthophotographic database representative of said terrain; calculating means making it possible to determine the location of an area of said ground disposed at a known location in the field of the display device; means for selecting and displaying cartographic and / or orthophotographic data by the display device, said data representing an enlarged view of said zone.

Description

Système de visualisation de casque comportant un zoom numérique Le domaine de l'invention est celui des systèmes de visualisation de casque, utilisés notamment dans le domaine aéronautique. Les systèmes de visualisation de casque sont couramment utilisés pour des applications aéronautiques depuis plusieurs décennies. Un système de visualisation de casque comporte principalement deux sous-ensembles. Le premier est un casque équipé d'un système de visualisation projetant vers l'oeil ou les yeux de l'utilisateur une image collimatée en superposition sur l'extérieur. Le second est un système de détection de posture de casque permettant de repérer dans l'espace, par rapport à un repère connu, généralement lié à un aéronef, la position et l'orientation du casque. La principale fonction du système de visualisation de casque est de pouvoir présenter, en superposition sur le paysage extérieur, des informations dites « conformes », c'est-à-dire affichées virtuellement dans la direction exacte qu'elles occuperaient dans le paysage extérieur. Ainsi, si le système affiche une image vidéo issue d'un capteur et comportant un certain nombre d'objets, les objets représentés de cette image se superposent exactement aux objets présents sur le terrain. Actuellement, si l'utilisateur souhaite observer une zone agrandie du paysage extérieur, il doit avoir recours à des moyens de grossissement optiques qui peuvent être soit des jumelles optiques soit des capteurs vidéo comportant un zoom optique. Ces dispositifs présentent plusieurs inconvénients. Les jumelles optiques sont difficilement compatibles de l'utilisation de visuels de casque et plus généralement sont difficilement compatibles du pilotage d'aéronefs. L'ajout de zooms sur des capteurs optiques peut poser des problèmes importants de coût et d'encombrement. De plus, selon les conditions de visibilité extérieure liées à la pluie, au brouillard, à la nuit ou à l'éblouissement sous fort éclairement solaire, les capteurs ne sont pas toujours efficaces.The field of the invention is that of helmet visualization systems, used in particular in the aeronautical field. Helmet visualization systems have been used extensively for aeronautical applications for several decades. A helmet visualization system mainly comprises two subsets. The first is a helmet equipped with a visualization system projecting to the eye or the eyes of the user a collimated image superimposed on the outside. The second is a helmet posture detection system for locating in space, relative to a known marker, generally related to an aircraft, the position and orientation of the helmet. The main function of the helmet visualization system is to be able to present, in superposition on the external landscape, information said "conform", that is to say, displayed virtually in the exact direction that they would occupy in the external landscape. Thus, if the system displays a video image from a sensor and having a certain number of objects, the represented objects of this image are superimposed exactly on the objects present in the field. Currently, if the user wishes to observe an enlarged area of the exterior landscape, it must use optical magnification means that can be either optical binoculars or video sensors with optical zoom. These devices have several disadvantages. The optical binoculars are hardly compatible with the use of helmet visuals and, more generally, are hardly compatible with flying aircraft. Adding zooms to optical sensors can pose significant cost and space problems. In addition, depending on outdoor visibility conditions related to rain, fog, night or glare under strong sunlight, the sensors are not always effective.

Or, il existe aujourd'hui des bases de données cartographiques comportant une représentation tridimensionnelle de la surface terrestre. Ces bases sont complétées par des bases de données orthophotographiques comportant, en particulier, une représentation précise des infrastructures disposées au sol telles que les bâtiments, les routes et les ouvrages d'art. Le système de visualisation de casque selon l'invention utilise ces différentes bases de données couplées au système de détection de posture de casque pour présenter une image numérique dite « zoomée » d'une portion du terrain survolé, permettant ainsi au pilote de voir des détails qu'il ne percevrait pas autrement. Plus précisément, l'invention a pour objet un système de visualisation de casque comportant au moins : - un casque équipé d'un dispositif de visualisation apte à générer des images en superposition sur un terrain ; - un système de détection de posture dudit casque par rapport à un référentiel connu ; - des moyens de géolocalisation ; caractérisé en ce que le système de visualisation de casque comporte : - une base de données cartographiques et/ou orthophotographiques représentatives dudit terrain ; - des moyens de calcul permettant de déterminer la localisation d'une zone dudit terrain disposée à un emplacement connu du champ du dispositif de visualisation ; - des moyens de sélection et d'affichage de données cartographiques et/ou orthophotographiques par le dispositif de visualisation, lesdites données représentant une vue agrandie de ladite zone. Avantageusement, le système de visualisation comporte des 25 moyens permettant de faire varier le grossissement des données cartographiques et/ou orthophotographiques affichées. Avantageusement, les données cartographiques et/ou orthophotographiques affichées comportent des informations sur la zone agrandie. 30 L'invention sera mieux comprise et d'autres avantages apparaîtront à la lecture de la description qui va suivre donnée à titre non limitatif et grâce aux figures annexées parmi lesquelles : La figure 1 représente une image d'un paysage extérieur dans un 35 visuel de casque ; La figure 2 représente une image partielle agrandie d'un paysage extérieur dans un visuel de casque. Un système de visualisation de casque selon l'invention comporte 5 principalement : - un casque équipé comprenant un ensemble optoélectronique d'affichage. Cet ensemble peut être monoculaire ou binoculaire. Lorsque le casque est porté par un utilisateur, cet ensemble donne une image collimatée issue d'un afficheur et superposée au paysage extérieur par un 10 combineur ou mélangeur optique qui peut être intégré à la visière ; - un système de détection de posture du casque permettant de déterminer la position et l'orientation du casque dans le repère de l'aéronef. Il existe différents systèmes de détection qui sont bien connus de l'homme du métier. On citera les systèmes à détection magnétique dans lesquels un 15 récepteur mesure les composantes d'un champ électromagnétique connu et les systèmes à détection optique comportant un émetteur et un récepteur apte à déterminer la position et l'orientation de cet émetteur par reconnaissance de forme. La position de l'aéronef dans un repère terrestre est elle-même connue au moyen de différents capteurs comme la centrale 20 inertielle de l'aéronef ; - une base de données cartographiques et/ou orthophotographiques représentatives dudit terrain. On entend par orthophotographie ou orthoimage une image obtenue par traitement d'une première image aérienne ou satellitaire dont la géométrie a été redressée de 25 sorte que chaque point soit superposable à une carte plane qui lui correspond. Par conséquent, une orthophotographie semble être prise à la verticale de tous les points qu'elle représente ; - un ensemble ou un calculateur électronique assurant plusieurs fonctions détaillées ci-dessous. 30 La première fonction du calculateur électronique est d'assurer la génération d'une symbologie conforme superposée sur le paysage extérieur par l'ensemble optoélectronique d'affichage. Cette symbologie comporte généralement les informations de base nécessaires au pilotage telles que les indications de vitesse, d'altitude ou d'assiette. Pour assurer cette fonction, 35 les différents capteurs de l'aéronef fournissent au calculateur les informations nécessaires. Le système de détection d'orientation du casque lui donne les informations de position et d'orientation permettant d'afficher la symbologie de façon conforme, c'est-à-dire dans un repère terrestre indépendant des mouvements de l'aéronef et des mouvements du casque.Today, there are cartographic databases with a three-dimensional representation of the Earth's surface. These databases are supplemented by orthophotographic databases that include, in particular, a precise representation of the infrastructures placed on the ground such as buildings, roads and bridges. The helmet visualization system according to the invention uses these various databases coupled to the helmet posture detection system to present a digital image called "zoomed" a portion of the terrain overflown, allowing the pilot to see details that he would not perceive otherwise. More specifically, the subject of the invention is a helmet visualization system comprising at least: a helmet equipped with a display device capable of generating images superimposed on a field; a system for detecting the posture of said helmet with respect to a known reference frame; - Geolocation means; characterized in that the helmet display system comprises: - a map and / or orthophotographic database representative of said terrain; calculating means making it possible to determine the location of an area of said ground disposed at a known location in the field of the display device; means for selecting and displaying cartographic and / or orthophotographic data by the display device, said data representing an enlarged view of said zone. Advantageously, the display system includes means for varying the magnification of the displayed map and / or orthophotographic data. Advantageously, the map and / or orthophotographic data displayed comprise information on the enlarged area. The invention will be better understood and other advantages will become apparent on reading the following description, which is given in a nonlimiting manner and by virtue of the appended figures in which: FIG. 1 represents an image of an external landscape in a visual helmet; Figure 2 shows an enlarged partial image of an exterior landscape in a helmet visual. A helmet visualization system according to the invention comprises mainly: an equipped helmet comprising an optoelectronic display assembly. This set can be monocular or binocular. When the helmet is worn by a user, this set gives a collimated image from a display and superimposed on the outside landscape by a combiner or optical mixer that can be integrated into the visor; - A helmet posture detection system to determine the position and orientation of the helmet in the reference of the aircraft. There are different detection systems that are well known to those skilled in the art. Magnetic detection systems in which a receiver measures the components of a known electromagnetic field and optical detection systems comprising a transmitter and a receiver capable of determining the position and the orientation of this transmitter by shape recognition. The position of the aircraft in a landmark is itself known by means of different sensors such as the inertial unit of the aircraft; a map and / or orthophotographic database representative of said terrain. By orthophotography or orthoimage is meant an image obtained by processing a first aerial or satellite image whose geometry has been straightened so that each point is superimposable on a corresponding flat map. Therefore, an orthophotography seems to be taken vertically from all the points it represents; - a set or an electronic calculator providing several functions detailed below. The first function of the electronic computer is to ensure the generation of a conforming symbology superimposed on the external landscape by the optoelectronic display assembly. This symbology generally includes the basic information necessary for the piloting such as the indications of speed, altitude or attitude. To provide this function, the various sensors of the aircraft provide the computer with the necessary information. The helmet orientation detection system gives it position and orientation information for displaying the symbology in a compliant manner, ie in a landmark independent of aircraft movements and movements. helmet.

La seconde fonction du calculateur et qui est plus particulièrement dédiée à la mise en oeuvre de l'invention est la gestion de l'affichage des données de la base cartographiques et/ou orthophotographiques documentaire en fonction de la posture du casque. Toutes ces fonctions électroniques ne posent pas de difficultés de 10 réalisation particulière pour l'homme du métier. A titre d'exemple, les figures 1 et 2 illustrent la mise en oeuvre d'un système de visualisation de casque selon l'invention en conditions opérationnelles, le système étant monté dans un aéronef. Bien entendu, le 15 système selon l'invention peut être utilisé dans d'autres types de véhicules que les aéronefs. La figure 1 représente un paysage vu d'un utilisateur depuis son aéronef. Ce paysage comporte un certain nombre de bâtiments B1, B2, B3 et B4 représentés schématiquement par des parallélépipèdes rectangles. Les 20 limites du champ visuel CV occupées par la fonction d'agrandissement du dispositif de visualisation sont représentées par un premier rectangle en pointillés. Généralement, ce champ est centré sur le champ visuel du dispositif de visualisation et correspond à l'axe naturel du regard de l'utilisateur. Les limites du champ Z destiné à être agrandi ou zoomé sont 25 représentés par un second rectangle en pointillés plus petit que le premier rectangle. La position de ce champ est fournie au calculateur par les informations issues à la fois du système de détection de posture du casque et des systèmes de navigation classiques de l'aéronef tels que les centrales inertielles et les GPS. Dans le cas de la figure 1, ce champ Z est centré sur 30 le bâtiment B1. Sur commande, l'utilisateur déclenche la fonction « zoom ». Dans ce cas, Connaissant la position du champ Z, le calculateur calcule une image agrandie dudit champ de façon que cette image occupe la totalité du champ visuel CV. Dans le cas de la figure 2, on obtient une image agrandie B1z 35 d'une partie du bâtiment B1. Cette image agrandie peut provenir de différentes sources. Généralement, elle est issue d'une base de données cartographiques et/ou orthophotographiques. Cette image peut être représentée selon la même perspective que l'image vue, comme si elle était issue d'un zoom optique ou selon une perspective différente de façon à donner à l'utilisateur de meilleures informations sur la structure de la zone agrandie ou pour lui présenter des parties cachées. Bien entendu, la fonction zoom peut être réglable. Il est possible également sur commande de changer la perspective ou le point de vue de l'image agrandie.The second function of the computer and which is more particularly dedicated to the implementation of the invention is the management of the display of the data base map and / or orthophotographic documentary depending on the posture of the helmet. All these electronic functions do not pose particular difficulties for the skilled person. By way of example, FIGS. 1 and 2 illustrate the implementation of a helmet visualization system according to the invention under operational conditions, the system being mounted in an aircraft. Of course, the system according to the invention can be used in other types of vehicles than aircraft. Figure 1 shows a landscape seen from a user from his aircraft. This landscape includes a number of buildings B1, B2, B3 and B4 shown schematically by rectangular parallelepipeds. The limits of the visual field CV occupied by the magnification function of the display device are represented by a first dashed rectangle. Generally, this field is centered on the visual field of the viewing device and corresponds to the natural axis of the user's gaze. The boundaries of the Z field to be enlarged or zoomed are represented by a second dashed rectangle smaller than the first rectangle. The position of this field is provided to the computer by the information from both the posture detection system of the helmet and conventional navigation systems of the aircraft such as inertial units and GPS. In the case of FIG. 1, this field Z is centered on building B1. On command, the user triggers the "zoom" function. In this case, Knowing the position of the Z field, the computer calculates an enlarged image of said field so that this image occupies the entire field of view CV. In the case of FIG. 2, an enlarged image B1z 35 of part of the building B1 is obtained. This enlarged image can come from different sources. Generally, it comes from a map and / or orthophotographic database. This image can be represented according to the same perspective as the viewed image, as if it were from an optical zoom or from a different perspective so as to give the user better information on the structure of the enlarged area or for present hidden parts. Of course, the zoom function can be adjustable. It is also possible to change the perspective or point of view of the enlarged image.

Un des avantages principaux de cette technique est que l'image fournie est, par nature, totalement indépendante des conditions météorologiques.One of the main advantages of this technique is that the image provided is, by nature, totally independent of the weather conditions.

Claims

REVENDICATIONS1. Helmet visualization system comprising at least: a helmet equipped with a display device capable of generating images superimposed on a landscape; a system for detecting the posture of said helmet with respect to a known reference frame; - Geolocation means; characterized in that the helmet display system comprises: - a map and / or orthophotographic database representative of said terrain; calculating means making it possible to determine the location of an area of said ground disposed at a known location in the field of the display device; means for selecting and displaying cartographic and / or orthophotographic data by the display device, said data representing an enlarged view of said zone.

2. helmet display system according to claim 1, characterized in that the display system comprises means for varying the magnification of the map and / or orthophotographic data displayed.

Headset display system according to claim 1, characterized in that the displayed map and / or orthophotographic data comprise information on the enlarged area.