EP2616864B1 - Optronic supra hemispheric vision system - Google Patents

Optronic supra hemispheric vision system Download PDF

Info

Publication number
EP2616864B1
EP2616864B1 EP11754427.0A EP11754427A EP2616864B1 EP 2616864 B1 EP2616864 B1 EP 2616864B1 EP 11754427 A EP11754427 A EP 11754427A EP 2616864 B1 EP2616864 B1 EP 2616864B1
Authority
EP
European Patent Office
Prior art keywords
image
des
detector
scene
supra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP11754427.0A
Other languages
German (de)
French (fr)
Other versions
EP2616864A1 (en
Inventor
Thierry Midavaine
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Priority to PL11754427T priority Critical patent/PL2616864T3/en
Publication of EP2616864A1 publication Critical patent/EP2616864A1/en
Application granted granted Critical
Publication of EP2616864B1 publication Critical patent/EP2616864B1/en
Priority to HRP20170843TT priority patent/HRP20170843T1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Definitions

  • the field of the invention is that of observation and monitoring for the protection of a vehicle, a convoy of vehicles, a platform (ground, naval or airborne), or a site .
  • This observation or surveillance is generally provided by an observer or a crew embedded in a platform; it can possibly be remote controlled.
  • optronic type means deliver signals which are optionally processed and then restored on screens.
  • Other optronic systems are described in the documents US-A-5,023,725 , US-B1-6,449,103 , US-A1-2008 / 151084 , US-A1-2004 / 169726 , EP-A2-0 776 124 , WO-A1-2005 / 029865 and US-A1-2005 / 046715 .
  • the invention comprises means for defining the focal length of the optics and means for correcting the distortions as a function of a sector of the scene observed.
  • the sensor provides hemispheric coverage or better, with a resolution adapted to the dimensions and positions of potential threats.
  • the multi-mega pixel sensor can be read at video rate or even at higher frame rates with adjustable sensitivity level from daylight levels to night illumination levels consistent with the presence of sources bright in the scene. This last aspect is advantageous for jobs in urban areas.
  • a set of processing distributed in the sensor and in the computer makes it possible to deliver images on the screen or screens of the HMI (Human Machine Interfaces) with incrustations adapted to the missions of the users.
  • HMI Human Machine Interfaces
  • the invention also relates to a platform capable of moving, equipped with a video optronic system supra hemispherical vision as described.
  • the invention thus allows the user to have the perception of his external environment in real time while remaining within the platform without asking him out. Especially in a military context or dangerous environment the system helps to protect the crew. It makes it possible to offer the user a total day-and-night vision at real time at a video rate, with a resolution adapted to the angular dimension of these images. threats given their distance and potential positions in the panorama.
  • the system 100 comprises a sensor 10, a computer 20, a user interface 30 such as an image display device and an HMI interface 40 such as a device for controlling the user of certain functions of the user. system.
  • the system can receive information from the platform or other equipment 50 integrated on the platform, such as the measurement of its speed of movement, its location and its orientation on a map (delivered for example by a GPS system), or the receipt of information giving the location of soldiers or other friendly mobile platforms, for example.
  • information from the platform or other equipment 50 integrated on the platform such as the measurement of its speed of movement, its location and its orientation on a map (delivered for example by a GPS system), or the receipt of information giving the location of soldiers or other friendly mobile platforms, for example.
  • the sensor 10 comprises an optical and a detector.
  • the very open optics cover an angular domain greater than a hemisphere whose axis is oriented towards the zenith.
  • the optics may furthermore exhibit significant distortions in order to provide increased resolutions in certain angular domains, for example in the equatorial plane, to increase its range.
  • the angular coverage in the 220 ° meridian planes may be different depending on the azimuth to optimize the implantation on the vehicle and increase the coverage for example on the front sector and 3 ⁇ 4 rear left and right where the vehicle can progress or maneuver .
  • This supra-hemispherical optic has a variable focal length defined as a function of the elevation angle, the focal length being the longest in the equatorial plane, and with a numerical aperture f / D of between 0.9 and 1.6, D being the diameter of the optics.
  • the detector operates at video rate (25 to 50 Hz) or higher in the visible or near infrared day and night and has at least 5 Mega pixels. It comprises for example 2560 lines (L) x 2160 columns (C) of pixels.
  • the CMOS type detector also allows read modes and display and exposure time controls adapted to the conditions as discussed below. Finally this type of detector can directly deliver a digital signal.
  • the detector located in the focal plane is typically a CMOS 4T (with 4 transistors in the pixel) matrix or more, operating at 25Hz, low noise (less than 2 electrons) and high dynamics (greater than 80dB).
  • Each pixel is correlatively double-sampled and the charge-voltage conversion is performed in each pixel, which provides the detector with a very low noise level and instantaneous high dynamics.
  • the control of the exposure time (or integration) since durations of less than 10 ⁇ s at times of 40ms for example, allows it to operate day and night. In night atmosphere, at very low level, it is possible to increase the exposure time for example to 100ms and reduce the frame rate for example at 10Hz to improve the S / B of the restored image.
  • the detector operates in the near IR (650 nm - 1 ⁇ m), which may be preferred to the visible range for night vision, in order to exploit the photonic fluxes and contrasts of the upper albedos of this band.
  • the measurement of the discontinuities of the optical flow in the image allows to detect the unmasked zones and thus to attract the attention of the crew on the fields to be watched likely to unmask new threats.
  • the image display means are either system-specific or use already existing display means for which adaptations are made in the processes to render exploitable images.
  • These image display means may be flat screen type (or multi flat screen) possibly touch, collimated screen, or collimated micro-screens attached to the head or worn on the helmet. They can be integrated into existing observation systems such as the episcopes or the means of restitution of tank commander camera. These screens and images displayed meet the specific needs of each vehicle and its crew in light of their missions.
  • the system according to the invention may comprise 2 or 3 sensors in order to manage possible problems of masking the platform or to offer stereovision capabilities.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Secondary Cells (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

Le domaine de l'invention est celui de l'observation et de la surveillance pour la protection d'un véhicule, d'un convoi de véhicules, d'une plate-forme (terrestre, navale ou aéroportée), ou d'un site.The field of the invention is that of observation and monitoring for the protection of a vehicle, a convoy of vehicles, a platform (ground, naval or airborne), or a site .

Cette observation ou surveillance est généralement assurée par un observateur ou un équipage embarqué dans une plate-forme ; elle peut être éventuellement télécommandée.This observation or surveillance is generally provided by an observer or a crew embedded in a platform; it can possibly be remote controlled.

Parmi les dispositifs existant pour assurer cette mission de surveillance, on peut citer les dispositifs suivants qui utilisent :

  • une couronne d'épiscopes ou de périscopes qui traversent les blindages, parois et moyens de protection dans les chars blindés, ou
  • une caméra montée sur une monture orientable selon deux axes, de type PTZ, acronyme de l'expression anglo-saxonne Pan Tilt Zoom, qui ne permet pas de couvrir l'ensemble du panorama instantanément ou
  • un réseau de plusieurs caméras réparties et couvrant le panorama, qui nécessitent de gérer un réseau de flux vidéo, ou
  • un capteur à barrette, au foyer d'une optique, le tout balayant sur 360° la scène dans le plan équatorial par exemple à des cadences de 1 à 10Hz
Existing devices for this monitoring mission include the following devices that use:
  • a crown of episcopes or periscopes that cross the armor, walls and means of protection in armored tanks, or
  • a camera mounted on a steerable frame on two axes, PTZ type, acronym for the English expression Pan Tilt Zoom, which does not cover the entire panorama instantly or
  • a network of several cameras distributed and covering the panorama, which require managing a network of video streams, or
  • a sensor with a bar, at the focus of an optics, all scanning 360 ° the scene in the equatorial plane for example at rates of 1 to 10Hz

Ces moyens de type optronique délivrent des signaux qui sont éventuellement traités puis restitués sur des écrans. D'autres systèmes optroniques sont décrits dans les documents US-A-5 023 725 , US-B1-6 449 103 , US-A1-2008/151084 , US-A1-2004/169726 , EP-A2-0 776 124 , WO-A1-2005/029865 et US-A1-2005/046715 .These optronic type means deliver signals which are optionally processed and then restored on screens. Other optronic systems are described in the documents US-A-5,023,725 , US-B1-6,449,103 , US-A1-2008 / 151084 , US-A1-2004 / 169726 , EP-A2-0 776 124 , WO-A1-2005 / 029865 and US-A1-2005 / 046715 .

Ces moyens sont très insuffisants :

  • soit parce qu'ils ne permettent pas d'avoir une perception complète de tout l'environnement pouvant présenter de nombreux angles morts ; c'est important par exemple pour un véhicule se déplaçant en milieu urbain et pouvant manoeuvrer également dans différentes directions, avec des menaces pouvant provenir de différentes directions,
  • soit parce que la résolution est très insuffisante par rapport aux dimensions angulaires des objets, évènements ou menaces à détecter compte tenu de la distance à laquelle il faut pouvoir les discriminer. Il s'agit en effet de :
    • ❖ reconnaître jusqu'à une distance de 150 m, des tireurs isolés susceptibles d'être menaçants avec un lance-grenade (ou RPG acronyme de l'expression anglo-saxonne Rocket Propelled Grenade), ou qui peuvent se placer sur les toits des immeubles en milieu urbain,
    • ❖ reconnaître des véhicules se déplaçant au sol, dans un rayon pouvant atteindre 500 m ; en milieu urbain il est rare d'aller au-delà, en milieu ouvert la détection est possible à des distances de 1500m,
    • ❖ reconnaître des objets posés au sol tels que des mines (ou IED, acronyme de l'expression anglo-saxonne Improvised Explosive Device) : des objets de dimension de quelques dizaines de cm ou de m, situés à quelques dizaines de mètres doivent pouvoir être détectés afin de décider de les éviter en roulant,
  • soit parce que la cadence de renouvellement est très insuffisante pour se substituer à une perception proche de la capacité humaine, c'est-à-dire pour avoir une perception continue en temps réel de l'environnement et de son évolution compte tenu de la vitesse de déplacement du véhicule et des décisions de réaction pouvant être prises par l'équipage. Il existe par exemple des dispositifs reposant sur l'emploi d'une optique associée à une caméra CCD, qui balaient le plan équatorial à 360° à des cadences de 1 à 10 Hz et sont limités en hauteur angulaire à une vingtaine de degrés : ces dispositifs reposent soit sur des petites matrices (2 Mpixel ou moins) pour être compatibles d'une cadence vidéo Haute Définition (HD 25 à 50 Hz), soit sur des grandes matrices supérieures à 2Mpixel mais limitées en cadence (de l'ordre de 1 à 10 Hz) ou encore sur des barrettes balayant les 360° qui sont elles aussi limitées à des fréquences de balayage de 1 à 10Hz.
These means are very insufficient:
  • either because they do not allow to have a complete perception of the whole environment that can have many blind spots; this is important, for example, for a vehicle traveling in an urban environment that can also maneuver in different directions, with threats coming from different directions,
  • or because the resolution is very insufficient in relation to the angular dimensions of the objects, events or threats to be detected, given the distance at which they must be discriminated. It is indeed about:
    • ❖ to recognize, up to a distance of 150 m, snipers who may be threatening with a grenade launcher (or RPG), or who may be placed on the roofs of buildings in an urban environment,
    • ❖ recognize vehicles moving on the ground within a radius of up to 500 m; in urban areas it is rare to go beyond, open detection is possible at distances of 1500m,
    • ❖ Recognize objects placed on the ground such as mines (or IED, acronym for the English expression Improvised Explosive Device): objects of dimensions of a few tens of cm or m, located a few tens of meters must be able to be detected in order to decide to avoid them while driving,
  • either because the rate of renewal is very insufficient to substitute for a perception close to human capacity, that is, to have a continuous real-time perception of the environment and its evolution taking into account the speed vehicle movement and reaction decisions that can be made by the crew. There are for example devices based on the use of an optical associated with a CCD camera, which sweep the equatorial plane 360 ° at rates of 1 to 10 Hz and are limited in angular height to twenty degrees: these devices rely either on small matrices (2 Mpixel or less) to be compatible with a High Definition video rate (HD 25 at 50 Hz), or on large matrices greater than 2Mpixel but limited in frame rate (of the order of 1 at 10 Hz) or on bars scanning the 360 ° which are also limited to scanning frequencies of 1 to 10 Hz.

Enfin tous ces moyens antérieurs sont limités à un fonctionnement de jour, en étant sensibles dans le domaine visible ou du proche infrarouge ou peuvent offrir une capacité de vision nocturne de type infrarouge thermique insuffisante pour apprécier les menaces et délivrant de jour des images moins facilement exploitables que les images données par les caméras visibles ou proche infrarouges.Finally all these prior means are limited to daytime operation, being sensitive in the visible range or the near infrared or can offer an infrared night vision capability insufficient to appreciate the threats and delivering day less easily exploitable images than the images given by visible or near-infrared cameras.

En conséquence, il demeure à ce jour un besoin pour un système donnant simultanément satisfaction à l'ensemble des exigences précitées, en termes de champ de vision, de résolution, de permanence d'observation, de cadence et de vision jour-nuit.As a result, it remains to this day a need for a system simultaneously satisfying all the aforementioned requirements, in terms of field of view, resolution, observation permanence, cadence and day-night vision.

Plus précisément l'invention a pour objet un système optronique vidéo de vision supra hémisphérique d'une scène, qui comprend un capteur avec une optique supra hémisphérique et un détecteur matriciel situé dans le plan focal de l'optique, une unité de traitement des images captées et des moyens d'affichage des images traitées. Il est principalement caractérisé en ce que :

  • le détecteur matriciel est à cadence vidéo et comprend :
    1. i. L lignes x C colonnes de pixels, avec L et C > 2000, chaque pixel étant à double échantillonnage corrélé et apte à assurer la conversion charges-tension, et
    2. ii. 2 C éléments de conversion analogique-numérique (ou CAN) de tension parallélisés, respectivement associés à chaque colonne de la matrice du détecteur, chaque élément de conversion comportant lui-même un premier CAN à faible niveau en entrée et fort gain et un deuxième CAN à niveau élevé en entrée et faible gain,
  • en ce que l'optique supra hémisphérique présente une focale f contrôlée en fonction de l'angle de site, la focale étant la plus longue dans le plan équatorial, et a une ouverture numérique f/D comprise entre 0,9 et 1,6, D étant le diamètre de l'optique,
  • des moyens d'adaptation de la dynamique de l'image captée à la dynamique de la scène, par un contrôle du temps d'exposition, et/ou du gain,
  • et en ce que le détecteur comportant une température, un temps d'exposition et des bruits temporels prédéterminés, l'image captée et les moyens d'affichage ayant une dynamique prédéterminée, l'image captée ayant des hautes et basses fréquences spatiales et la scène ayant un éclairement prédéterminé, l'unité de traitement comprend :
    1. i. des moyens de correction des non uniformités du détecteur au moyen de tables de pilotage adaptées en fonction de la température et du temps d'exposition du détecteur,
    2. ii. des moyens de sommation pondérée de plusieurs pixels voisins,
    3. iii. des moyens d'adaptation de la dynamique de l'image captée à la dynamique de la scène, des moyens de compression de la dynamique de l'image captée en fonction des bruits temporels du détecteur, croissant avec l'éclairement de la scène, des moyens d'adaptation de la dynamique de l'image captée à la dynamique de l'écran d'affichage et/ou à celle de l'oeil, par restitution des hautes fréquences spatiales de l'image et compensation des basses fréquences spatiales.
More specifically, the subject of the invention is a video optronic system of supra-hemispherical vision of a scene, which comprises a sensor with a supra-hemispherical optics and a matrix detector located in the focal plane of the optics, an image processing unit. captured and display means processed images. It is mainly characterized in that:
  • the matrix detector is at video rate and comprises:
    1. i. L rows x C columns of pixels, with L and C> 2000, each pixel being correlatively double-sampled and capable of ensuring the charge-voltage conversion, and
    2. ii. 2 C parallelized analog-to-digital conversion elements (or ADCs), respectively associated with each column of the detector matrix, each conversion element comprising itself a first low-input and high-gain ADC and a second ADC high level input and low gain,
  • in that the supra-hemispherical optic has a focal length f controlled as a function of the elevation angle, the focal length being the longest in the equatorial plane, and has a numerical aperture f / D of between 0.9 and 1.6 , D being the diameter of the optics,
  • means for adapting the dynamic of the captured image to the dynamics of the scene, by controlling the exposure time, and / or the gain,
  • and in that the detector has a predetermined temperature, exposure time and temporal noises, the captured image and the display means having a predetermined dynamic, the captured image having high and low spatial frequencies and the scene having a predetermined illumination, the treatment unit comprises:
    1. i. means for correcting the nonuniformities of the detector by means of control tables adapted according to the temperature and the exposure time of the detector,
    2. ii. weighted summation means of several neighboring pixels,
    3. iii. means for adapting the dynamics of the captured image to the dynamics of the scene, means for compressing the dynamic of the captured image as a function of the temporal noises of the detector, increasing with the illumination of the scene, means for adapting the dynamics of the captured image to the dynamics of the display screen and / or that of the eye, by restitution of the spatial high frequencies of the image and compensation of the low spatial frequencies.

Selon une caractéristique de l'invention, il comprend des moyens de définition de la focale de l'optique et des moyens de correction des distorsions en fonction d'un secteur de la scène observée.According to one characteristic of the invention, it comprises means for defining the focal length of the optics and means for correcting the distortions as a function of a sector of the scene observed.

Le capteur assure une couverture hémisphérique ou supérieure, avec une résolution adaptée aux dimensions et positions des menaces potentielles. Le capteur multi-mega pixels peut être lu à cadence vidéo ou même à des cadences supérieures avec un niveau de sensibilité ajustable depuis des niveaux d'éclairement de jour jusqu'à des niveaux d'éclairement de nuit en étant compatible avec la présence de sources lumineuses dans la scène. Ce dernier aspect est avantageux pour des emplois en zone urbaine.The sensor provides hemispheric coverage or better, with a resolution adapted to the dimensions and positions of potential threats. The multi-mega pixel sensor can be read at video rate or even at higher frame rates with adjustable sensitivity level from daylight levels to night illumination levels consistent with the presence of sources bright in the scene. This last aspect is advantageous for jobs in urban areas.

Un ensemble de traitements répartis dans le capteur et dans le calculateur permet de délivrer des images sur le ou les écrans des IHM (Interfaces Homme Machine) avec des incrustations adaptées aux missions des utilisateurs.A set of processing distributed in the sensor and in the computer makes it possible to deliver images on the screen or screens of the HMI (Human Machine Interfaces) with incrustations adapted to the missions of the users.

L'invention a aussi pour objet une plate-forme apte à se déplacer, équipée d'un système optronique vidéo à vision supra hémisphérique tel que décrit.The invention also relates to a platform capable of moving, equipped with a video optronic system supra hemispherical vision as described.

L'invention permet ainsi à l'utilisateur d'avoir la perception de son environnement extérieur en temps réel tout en restant au sein de la plate-forme sans lui demander de sortir. En particulier dans un contexte militaire ou d'environnement dangereux le système concourt à protéger l'équipage. Il permet en effet d'offrir à l'utilisateur une vision totale jour et nuit temps réel à cadence vidéo, avec une résolution adaptée à la dimension angulaire de ces menaces compte tenu de leur distance et de leurs positions potentielles dans le panorama.The invention thus allows the user to have the perception of his external environment in real time while remaining within the platform without asking him out. Especially in a military context or dangerous environment the system helps to protect the crew. It makes it possible to offer the user a total day-and-night vision at real time at a video rate, with a resolution adapted to the angular dimension of these images. threats given their distance and potential positions in the panorama.

D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description détaillée qui suit, faite à titre d'exemple non limitatif et en référence à la figure 1 qui représente schématiquement un exemple de système selon l'invention.Other features and advantages of the invention will appear on reading the detailed description which follows, given by way of non-limiting example and with reference to the figure 1 which schematically represents an example of a system according to the invention.

Le système 100 selon l'invention montré figure 1, comprend un capteur 10, un calculateur 20, une interface IHM 30 destinée à l'utilisateur telle qu'un dispositif d'affichage d'images et une interface IHM 40 telle qu'un dispositif de contrôle par l'utilisateur de certaines fonctions du système.The system 100 according to the invention shown figure 1 , comprises a sensor 10, a computer 20, a user interface 30 such as an image display device and an HMI interface 40 such as a device for controlling the user of certain functions of the user. system.

De plus le système peut recevoir des informations provenant de la plate-forme ou d'autres équipements 50 intégrés sur la plate-forme, comme la mesure de sa vitesse de déplacement, sa localisation et son orientation sur une cartographie (délivrées par exemple par un système GPS), ou encore la réception d'informations donnant la localisation des soldats ou d'autres plates-formes mobiles amies par exemple.In addition, the system can receive information from the platform or other equipment 50 integrated on the platform, such as the measurement of its speed of movement, its location and its orientation on a map (delivered for example by a GPS system), or the receipt of information giving the location of soldiers or other friendly mobile platforms, for example.

Il est installé à bord d'une plate-forme telle qu'un véhicule terrestre.It is installed on board a platform such as a land vehicle.

Le capteur 10 comporte une optique et un détecteur.The sensor 10 comprises an optical and a detector.

L'optique très ouverte, à résolution variable dans le champ couvre un domaine angulaire supérieur à un hémisphère dont l'axe est orienté vers le zénith. L'optique peut en outre présenter d'importantes distorsions afin d'offrir des résolutions augmentées dans certains domaines angulaires, par exemple dans le plan équatorial, pour augmenter sa portée.The very open optics, with variable resolution in the field, cover an angular domain greater than a hemisphere whose axis is oriented towards the zenith. The optics may furthermore exhibit significant distortions in order to provide increased resolutions in certain angular domains, for example in the equatorial plane, to increase its range.

Cette optique est par exemple de type :

  • Fish eye avec une focale de 4.5 mm et 12 pixels/° ; 1 ou 2 optiques suffisent pour couvrir un champ de 360°,
  • Fish eye avec une focale de 8 mm et 21 pixels/° sur 120 °; il faut 3 optiques pour couvrir un champ de 360°,
  • Optique à très forte distorsion ou de type Panomorphe™ permettant de couvrir un champ de 360°, avec une résolution radiale variable suivant l'angle de site pouvant aller de 20 à 22 pixels/° ou plus en résolution radiale (1 telle optique suffit) ; l'orientation verticale d'une telle optique permet d'avoir une résolution tangentielle croissante avec la diminution de l'angle de site et meilleure pour les sites négatifs. L'optique Panomorphe™ est un objectif anamorphique grand-angle développé par la société Immervision et décrit dans les brevets FR 2826221 et FR 2827680 , qui contrôle les distorsions et produit une image agrandie couvrant un champ de vision d'au moins 360 degrés par 180 degrés. La géométrie de l'image formée par une telle optique (adaptée à notre besoin comme indiqué) sur le détecteur, montre une couverture de 360° en gisement ou dans un plan équatorial, par 220° en site ou dans les plans méridiens.
This optic is for example of type:
  • Fish eye with a focal length of 4.5 mm and 12 pixels / ° ; 1 or 2 optics are enough to cover a field of 360 °,
  • Fish eye with a focal length of 8 mm and 21 pixels / ° on 120 °; it takes 3 optics to cover a 360 ° field,
  • Extremely high distortion or Panomorph ™ optics that can cover a 360 ° field, with a variable radial resolution depending on the elevation angle of 20 to 22 pixels / ° or more in radial resolution (1 such optics suffice); the vertical orientation of such optics makes it possible to have an increasing tangential resolution with the decrease in the angle of elevation and better for the negative sites. Panomorph® optics is a wide-angle anamorphic lens developed by Immervision and described in FR 2826221 and FR 2827680 , which controls the distortions and produces an enlarged image covering a field of view of at least 360 degrees by 180 degrees. The geometry of the image formed by such an optics (adapted to our needs as indicated) on the detector, shows a coverage of 360 ° in deposit or in an equatorial plane, by 220 ° in site or in the meridian planes.

La couverture angulaire dans les plans méridiens sur 220° peut être différente en fonction de l'azimut pour optimiser l'implantation sur le véhicule et augmenter la couverture par exemple sur le secteur avant et ¾ arrière gauche et droit où le véhicule peut progresser ou manoeuvrer. Cette optique supra hémisphérique présente une focale f variable définie en fonction de l'angle de site, la focale étant la plus longue dans le plan équatorial, et avec une ouverture numérique f/D comprise entre 0,9 et 1,6, D étant le diamètre de l'optique.The angular coverage in the 220 ° meridian planes may be different depending on the azimuth to optimize the implantation on the vehicle and increase the coverage for example on the front sector and ¾ rear left and right where the vehicle can progress or maneuver . This supra-hemispherical optic has a variable focal length defined as a function of the elevation angle, the focal length being the longest in the equatorial plane, and with a numerical aperture f / D of between 0.9 and 1.6, D being the diameter of the optics.

Le détecteur fonctionne à cadence vidéo (25 à 50 Hz) ou supérieure dans le visible ou le proche infrarouge de jour comme de nuit et comporte au moins 5 Mega pixels. Il comporte par exemple 2560 lignes (L) x 2160 colonnes (C) de pixels. Le détecteur de type CMOS permet en outre des modes de lecture et d'affichage et des contrôles de temps d'exposition adaptés aux conditions comme on le verra plus loin. Enfin ce type de détecteur peut directement délivrer un signal numérique.The detector operates at video rate (25 to 50 Hz) or higher in the visible or near infrared day and night and has at least 5 Mega pixels. It comprises for example 2560 lines (L) x 2160 columns (C) of pixels. The CMOS type detector also allows read modes and display and exposure time controls adapted to the conditions as discussed below. Finally this type of detector can directly deliver a digital signal.

Le détecteur situé dans le plan focal est typiquement une matrice CMOS 4T (à 4 transistors dans le pixel) ou plus, fonctionnant à 25Hz, à faible bruit (inférieur à 2 électrons) et grande dynamique (supérieure à 80dB). Chaque pixel est à double échantillonnage corrélé et la conversion charges-tension est réalisée dans chaque pixel, ce qui assure au détecteur un très faible niveau de bruit et une grande dynamique instantanée. En outre le contrôle du temps d'exposition (ou d'intégration), depuis des durées inférieures à 10µs à des durées de 40ms par exemple, lui permet de fonctionner de jour et de nuit. En ambiance de nuit, à très faible niveau, il est possible d'augmenter le temps d'exposition par exemple à 100ms et de réduire la cadence images par exemple à 10Hz afin d'améliorer le S/B de l'image restituée.The detector located in the focal plane is typically a CMOS 4T (with 4 transistors in the pixel) matrix or more, operating at 25Hz, low noise (less than 2 electrons) and high dynamics (greater than 80dB). Each pixel is correlatively double-sampled and the charge-voltage conversion is performed in each pixel, which provides the detector with a very low noise level and instantaneous high dynamics. In addition, the control of the exposure time (or integration), since durations of less than 10μs at times of 40ms for example, allows it to operate day and night. In night atmosphere, at very low level, it is possible to increase the exposure time for example to 100ms and reduce the frame rate for example at 10Hz to improve the S / B of the restored image.

Le détecteur fonctionne dans le proche IR (650 nm - 1µm), qui peut être préféré au domaine visible pour une vision de nuit, afin d'exploiter les flux photoniques et les contrastes des albedos supérieurs de cette bande.The detector operates in the near IR (650 nm - 1μm), which may be preferred to the visible range for night vision, in order to exploit the photonic fluxes and contrasts of the upper albedos of this band.

A chaque colonne de la matrice sont associés par exemple deux CAN parallélisés identiques, l'un ayant une entrée à faible gain à haut niveau de lumière permettant de coder le niveau saturant des pixels (par exemple 35000 électrons) et l'autre ayant une entrée à fort gain à bas niveau de lumière grâce à un gain (codant les photoélectrons avec un niveau de quantification inférieur au bruit ou inférieur à 1 électron sur une dynamique de N bits). Ces deux gains sont éventuellement contrôlables : ceci permet d'assurer le codage du signal sans perte de la sortie des pixels de chaque colonne pour différents niveaux de lumière. En plus de cette dynamique instantanée et de cette dynamique de gains des sorties du détecteur, on a une dynamique des temps d'exposition contrôlable permettant de faire varier le temps d'exposition entre 10µs et 40 ms voire même 100ms en réduisant la cadence à 10Hz. Ce pilotage en temps réel des niveaux du temps d'exposition, du gain faible et du niveau de gain fort sortant en parallèle est obtenu soit par l'IHM 40 qui commande ces niveaux, soit par un automatisme assuré par un processeur dans la caméra. L'opérateur ajuste par deux curseurs contrôlant la brillance et le contraste de l'image restituée sur écran de la manière suivante :

  • en passage en mode manuel la caméra conserve les derniers réglages générés par le mode automatique,
  • ou l'opérateur choisit d'initialiser la caméra à son état « par défaut » où la caméra est réglée avec un temps de pose minimum de 10µs et un gain faible. S'il constate qu'il ne peut apprécier le signal dans les zones sombres de l'image il commande une brillance plus forte par une commande d'offset sur le signal. Si le signal ne sature pas dans les zones brillantes utiles de l'image, il commande un contraste plus fort. Cette commande de contraste agit : sur la commande du temps d'exposition en l'augmentant dans la limite de 40ms, puis sur le gain employé. A très fort gain (pour des conditions d'éclairement très faible), s'il constate un bruit trop important dans les zones sombres de l'image, il peut encore augmenter le temps d'exposition au-delà de 40ms et commander le mode de sommation des pixels adjacents (ou « binning » en anglais) 2x2 puis 4x4. De manière préférée cette sommation ou « binning » peut être pondérée par le niveau de bruit de chaque pixels. Il réajuste si nécessaire le niveau de brillance afin d'ajuster les zones sombres de l'image à un niveau juste au-dessus du noir de l'écran. Il peut ainsi fonctionner à haut débit, à 25 images par seconde, soit de l'ordre de 138 Mpixel/sec sans dégrader le S/B dans la dynamique de l'image.
To each column of the matrix are associated, for example, two identical parallelized ADCs, one having a low-gain, high-level input for coding the saturation level of the pixels (for example 35,000 electrons) and the other having an input high gain at low light level thanks to a gain (encoding photoelectrons with a quantization level less than noise or less than 1 electron on an N-bit dynamics). These two gains are possibly controllable: this makes it possible to ensure the coding of the signal without loss of the output of the pixels of each column for different levels of light. In addition to this instantaneous dynamics and this dynamics of gains of the outputs of the detector, one has a dynamics of the controllable exposure times making it possible to vary the time of exposure between 10μs and 40 ms or even 100ms by reducing the rate with 10Hz . This real-time control of the exposure time levels, the low gain and the high gain level coming out in parallel is obtained either by the HMI 40 which controls these levels, or by an automatism provided by a processor in the camera. The operator adjusts by two sliders controlling the brightness and contrast of the image rendered on screen as follows:
  • when switching to manual mode, the camera retains the last settings generated by the automatic mode,
  • or the operator chooses to initialize the camera to its "default" state where the camera is set with a minimum exposure time of 10μs and a low gain. If it finds that it can not appreciate the signal in the dark areas of the image it commands a stronger brightness by an offset command on the signal. If the signal does not saturate in useful bright areas of the picture, it commands a stronger contrast. This contrast control acts: on the control of the exposure time by increasing it in the limit of 40ms, then on the gain used. At very high gain (for very low lighting conditions), if there is too much noise in the areas dark in the image, it can further increase the exposure time beyond 40ms and control the mode of summation of adjacent pixels (or "binning" in English) 2x2 and 4x4. Preferably this summation or "binning" can be weighted by the noise level of each pixel. It adjusts the brightness level if necessary to adjust the dark areas of the image to a level just above the black of the screen. It can thus operate at high speed, at 25 frames per second, ie of the order of 138 Mpixel / sec without degrading the S / B in the dynamics of the image.

Le système 100 assure les fonctions suivantes :

  • Une correction en temps réel des non uniformités du détecteur, réalisée par un FPGA ou un DSP intégré au capteur 10 ou réalisée au niveau du calculateur 20. Elle effectue au moins la soustraction de l'offset, la soustraction du courant d'obscurité au moyen de tables de corrections adaptées en fonction de la température et du temps d'exposition du détecteur, et la division par une plage de luminance uniforme qui assure la correction des non uniformités de réponse des pixels. En plus le calculateur pourra prendre en compte les non linéarités de réponse pour chaque pixel et des non uniformités du niveau de bruit temporel de chaque pixel pour améliorer le rapport signal sur bruit global dans l'image ainsi restituée.
  • Un contrôle de la cadence image réalisé par l'électronique de la caméra contrôlant le détecteur, soit automatiquement soit commandé manuellement par l'opérateur pour faire varier la cadence de 25 à 100 Hz. Un tel mode peut être très utile en roulant en ambiance diurne ou si les niveaux d'éclairement plus faible le permettent afin d'augmenter la fluidité des images et réduire le temps de latence,
  • un mode « binning » pondéré de sommation des signaux S des pixels voisins pondérés par exemple avec l'inverse du bruit (1/B) de chaque pixel et en multipliant le tout par la somme des bruits. Ce mode « binning » pondéré peut être sur 2x2, 3x3 ou 4x4 pixels par exemple.
  • Une sortie linéaire sur 16 bits du détecteur car une sortie linéaire sur 12 bits est insuffisante vis à vis de la dynamique de scène et de la dynamique du capteur ; la numérisation sur 2x11 bits est à la limite de la performance analogique du capteur et sur la finesse des opérations de correction de non uniformité. Le pixel est susceptible d'avoir un niveau de bruit RMS (acronyme de l'expression anglo-saxonne Root Mean Square) inférieur à 1 électron. Un bruit RMS de 0.5 électron a été mesuré sur les pixels les moins bruyants pour un signal numérique codé à 0.6 électron par pas et des niveaux de bruit plus faible sont sans doute accessibles. Les signaux les plus faibles peuvent être en fait avec un signal à 0 à l'obscurité totale, puis de 1 photoélectron sur un pixel ; donc un pas de codage inférieur à 1 électron voire inférieur au niveau de bruit RMS est appréciable pour le traitement du signal afin de limiter le bruit apporté par le codage numérique Ce bruit RMS de quantification est égal au pas de quantification divisé par √12. Ici ce bruit de quantification est égal à 0,6/√12=0.17 ce qui est effectivement petit devant le bruit RMS de 0.5 électron. Le pixel peut avoir un niveau saturant supérieur à 35000 électrons. Donc un codage linéaire sur 65536 niveaux ou 16 bits approche notre besoin. Un codage par deux convertisseurs de dynamique plus faible avec deux gains d'entrée différents peut être mieux adapté (codage à deux pentes). Ainsi le codage à faible gain sur 11 bits va coder les niveaux forts sur 2048 niveaux de 17 à 35000 électrons par pas de 17 électrons. Le codage à fort gain va coder depuis les niveaux les plus faibles adaptés au bruit dans l'obscurité (0.5 électron par exemple) à des niveaux supérieurs au carré du niveau minimum du convertisseur à faible gain soit 292 au minimum. En effet le bruit RMS d'un signal d'amplitude égal à N photo-électrons suivant une statistique décrite par la loi de Poisson a une amplitude égale à √/N ; ainsi à partir de ce niveau de 292 le bruit RMS devient inférieur au pas de quantification. Ainsi un codage de 0 à 1024 électrons peut être réalisé avec un pas de codage de 0.5 électron sous 11 bits pour la sortie à fort gain. Le rapport des gains entre la sortie fort gain et faible gain est ainsi de 35000/1024 soit 34. Une conversion sur 2x12 bits est préférable pour avoir de la marge par rapport à l'analyse précédente pour réaliser les opérations arithmétiques des corrections des non uniformités et de non linéarité en limitant l'impact des niveaux de quantification sur le bruit final résultant et pour permettre d'accéder à un niveau de bruit plus faible et à des niveaux de saturation plus forts potentiellement accessibles, - Une gestion de la table de conversion du signal en sortie (désignée « look up table » en anglais) après les opérations de correction de non uniformité et de non linéarité afin de comprimer les niveaux images corrigés par des lois différentes sur toute la dynamique de la scène : réponse à plusieurs pentes, réponse en racine, réponse logarithmique, égalisation d'histogramme par exemple. Cela permet de conserver la dynamique du signal tout en réduisant avec un minimum de perte le débit de données.
  • Lecture et affichage haute cadence des régions d'intérêt pilotées par un automatisme ou par l'interface homme machine 40. Ces régions d'intérêt sont définies de différentes manières en fonction de la mission, des opérations réalisées par chaque homme et de l'état du véhicule soit en train de rouler soit en position fixe. Par exemple, un chef d'engin surveillera les secteurs de menaces potentielles, un tireur pourra employer une image couvrant le secteur de sa direction de visée, un pilote de véhicule pourra employer une image couvrant le secteur avant du véhicule en roulant (ou secteur arrière en cas de marche arrière ou pour avoir une fonction rétroviseur). En cas de progression du véhicule, un logiciel de traitement d'image par l'analyse du flot optique peut afficher automatiquement les secteurs nouvellement découverts de la scène pour le chef d'engin. Dans le cas du véhicule à l'arrêt un logiciel de traitement d'image peut automatiquement détecter les évènements dans la scène (apparition, disparitions, détection de mouvements) en générant des alertes pour l'équipage, des plots de détection et des pistes sur un écran de situation présentant l'environnement du véhicule et en générant ainsi des images à haute cadence et à pleine résolution pour permettre à l'opérateur d'apprécier s'il y a ou non une menace et engager la réaction. Enfin le véhicule ou le réseau dans lequel il s'inscrit peut être équipé d'autres capteurs susceptibles de générer des alertes et des désignations d'objectif pour lesquels notre système va pouvoir délivrer une image du secteur angulaire aux opérateurs.
The system 100 performs the following functions:
  • A real-time correction of non-uniformity of the detector, performed by an FPGA or a DSP integrated in the sensor 10 or made at the computer 20. It performs at least the subtraction of the offset, the subtraction of the dark current by means of correction tables adapted according to the temperature and the exposure time of the detector, and the division by a uniform luminance range which ensures the correction of non-uniformities of response of the pixels. In addition, the computer can take into account the nonlinearities of response for each pixel and nonuniformities of the temporal noise level of each pixel to improve the overall signal-to-noise ratio in the image thus restored.
  • A control of the frame rate realized by the electronics of the camera controlling the detector, either automatically or manually controlled by the operator to vary the rate of 25 to 100 Hz. Such a mode can be very useful while driving in daytime environment or if the lower illumination levels allow it to increase the fluidity of the images and reduce the latency,
  • a weighted "binning" mode for summing the S signals of neighboring pixels weighted for example with the noise inverse (1 / B) of each pixel and multiplying the whole by the sum of the noises. This weighted "binning" mode can be on 2x2, 3x3 or 4x4 pixels for example.
  • A 16-bit linear output of the detector because a 12-bit linear output is insufficient with respect to the dynamics of the scene and the dynamics of the sensor; scanning on 2x11 bits is at the limit of the analog performance of the sensor and on the fineness of the nonuniformity correction operations. The pixel is likely to have an RMS noise level (acronym of the English expression Root Mean Square) less than 1 electron. An RMS noise of 0.5 electron was measured on the least noisy pixels for a digital signal coded at 0.6 electron per step and lower noise levels are probably accessible. The weakest signals can be in fact with a signal at 0 in total darkness, then with 1 photoelectron on a pixel; therefore a coding step less than 1 electron or less than the RMS noise level is appreciable for the signal processing in order to limit the noise provided by the digital coding. This quantization RMS noise is equal to the quantization step divided by √12. Here this quantization noise is equal to 0.6 / √12 = 0.17 which is actually small in front of the RMS noise of 0.5 electron. The pixel can have a saturation level greater than 35000 electrons. So a linear coding on 65536 levels or 16 bits approaches our need. Encoding by two weaker dynamic converters with two different input gains may be better suited (two-slope coding). Thus the low gain coding on 11 bits will encode the strong levels on 2048 levels of 17 to 35000 electrons in steps of 17 electrons. The high-gain coding will encode from the lowest levels adapted to the noise in the dark (0.5 electron for example) to levels higher than the square of the minimum level of the low-gain converter is 292 minimum. Indeed the RMS noise of a signal of amplitude equal to N photo-electrons according to a statistic described by the Poisson's law has an amplitude equal to √ / N; thus from this level of 292 the RMS noise becomes smaller than the quantization step. Thus an encoding of 0 to 1024 electrons can be performed with a coding step of 0.5 electron to 11 bits for the high gain output. The ratio of the gains between the high gain and low gain output is thus 35000/1024 or 34. A conversion on 2x12 bits is preferable to have margin compared to the previous analysis to perform the arithmetic operations of the nonuniformity corrections. and non-linearity by limiting the impact of the quantization levels on the resulting final noise and to provide access to a lower noise level and higher potentially accessible saturation levels, - Conversion table management of the output signal (called "look up table" in English) after the nonuniformity and non-linearity correction operations in order to compress the corrected image levels by different laws over the entire dynamics of the scene: response to several slopes, root response, logarithmic response, histogram equalization for example. This maintains the signal dynamics while minimizing data loss with minimal loss.
  • Reading and high-speed display of the regions of interest controlled by an automation or by the man-machine interface 40. These regions of interest are defined in different ways according to the mission, the operations performed by each man and the state the vehicle is either rolling or in a fixed position. For example, a machine gunner will monitor potential threat areas, a shooter may use an image covering the sector of his aiming direction, a vehicle pilot may use an image covering the front sector of the vehicle while driving (or aft sector in case of reverse or to have a mirror function). In the event of vehicle progression, image processing software by optical flow analysis may automatically display the newly discovered areas of the scene for the aircraft commander. In the case of the stationary vehicle, an image processing software can automatically detect the events in the scene (appearance, disappearances, motion detection) by generating alerts for the crew, detection pads and tracks on the scene. a situation screen presenting the environment of the vehicle and thus generating images at high speed and full resolution to allow the operator to assess whether or not there is a threat and initiate the reaction. Finally, the vehicle or network in which it is registered can be equipped with other sensors capable of generating alerts and target designations for which our system will be able to deliver an image of the angular sector to the operators.

Le capteur 10 et le calculateur 20 assurent des fonctions de traitement en temps réel de différents types :

  • Traitements à bas niveau des signaux issus du détecteur afin de traiter les sources de bruit et de restaurer dans leur plus grande dynamique les signaux.
  • Traitement de compensation des distorsions de la combinaison optique et du détecteur par des moyens algorithmiques exploitant la définition de la focale de l'optique en fonction du secteur de l'image affichée, afin de délivrer sur un écran 30, des images ou des sous images en fonction des angles de sites et gisements couverts effectivement par chaque élément d'image ou pixel.
  • Traitements des images en cohérence avec les informations de la plate-forme et en fonction de l'environnement pour assurer des fonctions variées telles que détection, génération d'alarme incrustée dans l'image affichée selon le référentiel de la plate-forme.
  • Traitements d'adaptation de la dynamique de l'image détectée à celle des moyens d'affichage et/ou à celle de l'oeil, pour restituer les images sur ces écrans ou interfaces hommes machines 30, en répondant aux besoins ergonomiques et opérationnels des utilisateurs. Ainsi par exemple le système détecte les éclairements crêtes, ou les suréclairements saturant les pixels, ponctuels ou quasi ponctuels dans l'image. Ils sont à associer par exemple au Soleil de jour, aux lampadaires et phares de nuit. Ces zones sont affichées en blanc sur l'image et ne contribuent pas au contrôle automatique du temps d'exposition et du gain décrit précédemment. Par ailleurs, en cas de très forte dynamique de la scène, par exemple en présence de zones en plein soleil et simultanément de zones sombres dans l'ombre, l'affichage de l'image restitue les fréquences spatiales élevées (les détails de l'image) et compense les variations de luminances à basse fréquence par exemple par la technique du masque flou ou par normalisation multi-zone ou par filtrage par ondelettes.
The sensor 10 and the computer 20 provide real-time processing functions of different types:
  • Low-level processing of signals from the detector to process noise sources and restore their signal dynamics.
  • Compensation processing of the distortions of the optical combination and the detector by algorithmic means exploiting the definition of the focal length of the optics according to the sector of the displayed image, in order to deliver on a screen 30, images or sub-images according to the angles of sites and deposits actually covered by each pixel or pixel.
  • Image processing consistent with platform information and environment-based to provide various functions such as detection, alarm generation embedded in the image displayed according to the platform's repository.
  • Treatments for adapting the dynamic range of the detected image to that of the display means and / or that of the eye, in order to restore the images on these screens or human machine interfaces 30, by responding to the ergonomic and operational needs of the users. Thus, for example, the system detects peak illumination, or over-illumination saturating the pixels, punctual or quasi-punctual in the image. They are to be associated for example with the daytime sun, streetlights and night lights. These areas are displayed in white on the image and do not contribute to the automatic control of the exposure time and gain described above. Moreover, in case of very strong dynamics of the scene, for example in the presence of zones in full sun and simultaneously of dark areas in the shadow, the display of the image renders the high spatial frequencies (the details of the image) and compensates for variations in low-frequency luminance, for example by the fuzzy mask technique or by multi-zone normalization or by wavelet filtering.

Les traitements réalisés par le système 100, et répartis entre le capteur 10, le calculateur 20 et l'IHM 30 et 40 sont les suivants :

  • L'optique du capteur comportant en outre un diaphragme, commande de l'ouverture et fermeture du diaphragme (éventuel) du capteur, contrôle en température du capteur, désembuage et dégivrage du dioptre frontal de l'optique, commande de focalisation de l'optique.
  • Commande des temps d'exposition,
  • Commande du gain du détecteur,
  • Gestion des affichages des images de type bandeau panoramique, radar, loupe sur des secteurs de l'image ou zones d'intérêt avec correction des distorsions et des mouvements véhicules.
Ces commandes des temps d'exposition, du gain du détecteur, des affichages, sont par exemple réalisées successivement. Par défaut le diaphragme du capteur est par exemple fermé et le temps d'exposition et le gain sont au minimum ; on fait alors l'histogramme de l'image, qui est en l'occurrence une image noire. Puis on ouvre le diaphragme, et on fait l'histogramme de l'image obtenue en vérifiant qu'il est étalé du niveau le plus bas jusqu'au niveau le plus haut. Puis le diaphragme étant ouvert, on augmente le temps d'exposition : si ce n'est pas suffisant (c'est-à-dire si l'histogramme n'est pas convenablement étalé), on augmente encore le temps d'exposition et éventuellement le gain. On peut partir à l'inverse d'une image blanche, totalement saturée. Comme indiqué plus haut, on peut également supprimer le diaphragme et ajuster le temps d'exposition et le gain. On peut aussi utiliser un filtre que l'on applique à l'optique pour atténuer le signal et/ou limiter la bande spectrale.The treatments performed by the system 100, and distributed between the sensor 10, the computer 20 and the HMI 30 and 40 are as follows:
  • The optics of the sensor further comprising a diaphragm, control of the opening and closing of the diaphragm (if any) of the sensor, temperature control of the sensor, defogging and defrosting of the front diopter of the optics, focusing control of the optics .
  • Control of exposure times,
  • Control of the gain of the detector,
  • Management of displays of panoramic strip, radar, magnifying image on sectors of the image or areas of interest with correction of distortions and vehicle movements.
These commands of the exposure times, the gain of the detector, displays, are for example carried out successively. By default For example, the sensor's diaphragm is closed and the exposure time and gain are at a minimum; we then make the histogram of the image, which is in this case a black image. Then we open the diaphragm, and we make the histogram of the image obtained by checking that it is spread from the lowest level to the highest level. With the diaphragm open, the exposure time is increased: if this is not sufficient (that is, the histogram is not properly spread), the exposure time is further increased. possibly the gain. We can start from the opposite of a white image, totally saturated. As noted above, the diaphragm can also be removed and the exposure time and gain adjusted. It is also possible to use a filter that is applied to the optics to attenuate the signal and / or to limit the spectral band.

On peut également citer comme traitements réalisés par le système 100, et répartis entre le capteur 10, le calculateur 20 et l'IHM 30 et 40 :

  • Incrustation des données de contexte dans l'image (Nord, Direction du vecteur vitesse, cartographie, positions des amis, zones de menaces...).
  • Détection automatique des évènements, mouvements et nouveautés dans l'image (issus de la scène) afin de générer des alarmes et les incruster dans l'image restituée.
  • Affichage d'images fenêtrées avec correction des distorsions et des mouvements du véhicule.
  • Réalisation du blindage transparent avec des lunettes micro afficheur collimatées, portées sur le casque et commandées par le contrôle d'orientation de la tête de l'utilisateur dans le référentiel terrestre porté par le véhicule.
  • Fonction d'affichage sous forme de mosaïque, dans le référentiel terrain de l'ensemble des images acquises du sol (ou en 3 D du panorama terrestre) lors d'un déplacement et restitution de ces images dans le référentiel terrain ou véhicule.
  • Distribution des images et d'incrustations délivrées par chaque utilisateur au reste de l'équipage par exemple pour permettre au chef de véhicule d'indiquer la direction où le pilote doit s'engager ou indiquer au tireur les zones à surveiller avec son moyen de visée.
  • En déplacement, détourage des zones de l'image nouvellement démasquées, par un traitement automatique détectant les discontinuités du flot optique dans l'image ou au moyen d'un clavier ou d'un joystick par l'opérateur.
  • Emission de désignations d'objectifs vers des systèmes d'armes par exemple.
It may also be mentioned as treatments performed by the system 100, and distributed between the sensor 10, the computer 20 and the HMI 30 and 40:
  • Overlay of context data in the image (North, Direction of velocity vector, cartography, positions of friends, zones of threats ...).
  • Automatic detection of events, movements and news in the image (from the scene) to generate alarms and embed them in the rendered image.
  • Display of windowed images with correction of distortions and movements of the vehicle.
  • Realization of transparent shielding with collimated micro display glasses, worn on the helmet and controlled by the orientation control of the head of the user in the terrestrial reference carried by the vehicle.
  • Display function in the form of a mosaic, in the field reference of all the images acquired from the ground (or in 3 D of the terrestrial panorama) during a displacement and restitution of these images in the field or vehicle reference frame.
  • Distribution of the images and incrustations delivered by each user to the rest of the crew for example to enable the vehicle commander to indicate the direction in which the pilot must engage or indicate to the gunman the areas to be monitored with his aiming means .
  • In displacement, clipping of the newly unmasked areas of the image, by an automatic processing detecting the discontinuities of the optical flow in the image or by means of a keyboard or a joystick by the operator.
  • Issuing target designations to weapon systems, for example.

Le capteur 10 étant solidaire du véhicule, le calculateur 20 est de préférence pourvu de moyens pour réaliser :

  • Une stabilisation de l'image dans un référentiel inertiel porté (écran monté sur véhicule) ou situation de zoom avec un grandissement >1, au moyen d'un logiciel de stabilisation d'image sur référence inertielle ou sur détection des mouvements globaux de l'image.
  • Une sortie directe avec un retard limité pour afficher les images sur un écran collimaté avec un grandissement de 1, solidaire du véhicule (même référentiel que le véhicule).
  • Une sortie compensant des mouvements relatifs entre le capteur et l'écran collimaté (mouvement tourelle, plate-forme senseur...) et traitant les retards entre l'acquisition et l'affichage des images,
  • Une sortie compensant les mouvements relatifs de la tête de l'utilisateur vis-à-vis de la plate-forme au moyen d'un dispositif « Head Tracker » monté sur la tête et regardant des points de référence dans la cabine, ou monté dans la cabine, ou encore d'un capteur inertiel monté sur la tête et d'un capteur inertiel monté sur le véhicule et d'un calcul différentiel entre les deux.
The sensor 10 being integral with the vehicle, the computer 20 is preferably provided with means for carrying out:
  • Image stabilization in an inertial reference frame (vehicle-mounted screen) or zoom situation with a magnification> 1, using image stabilization software on inertial reference or detection of global movements of the image picture.
  • A direct exit with a limited delay to display the images on a collimated screen with a magnification of 1, integral with the vehicle (same reference as the vehicle).
  • An output compensating for relative movements between the sensor and the collimated screen (turret movement, sensor platform, etc.) and dealing with the delays between the acquisition and the display of the images,
  • An output that compensates for the relative movements of the user's head towards the platform by means of a Head Tracker device mounted on the head and looking at reference points in the cabin, or mounted in the cabin, or an inertial sensor mounted on the head and an inertial sensor mounted on the vehicle and a differential calculation between the two.

Cela offre la possibilité de consolider l'ensemble des images du sol acquises en roulant, permettant de rendre accessible une vision du sol ou de la chaussée y compris au pied ou sous le véhicule donnant ainsi une capacité de vision totale.This offers the possibility of consolidating all the images of the soil acquired while driving, making accessible a vision of the ground or the pavement including at the foot or under the vehicle thus giving a total vision capability.

En outre, en roulant, la mesure des discontinuités du flot optique dans l'image, permet de détecter les zones démasquées et ainsi d'attirer l'attention de l'équipage sur les champs à surveiller susceptibles de démasquer de nouvelles menaces.Moreover, by rolling, the measurement of the discontinuities of the optical flow in the image, allows to detect the unmasked zones and thus to attract the attention of the crew on the fields to be watched likely to unmask new threats.

Les moyens d'affichage d'images sont soit spécifiques au système, soit utilisent des moyens d'affichage déjà existants pour lesquels des adaptations sont réalisées dans les traitements pour restituer des images exploitables. Ces moyens d'affichage des images peuvent être de type écran plat (ou multi écran plats) éventuellement tactile, écran collimaté, ou encore micro-écrans collimatés solidaire de la tête ou porté sur le casque. Ils peuvent être intégrés dans des systèmes d'observation existants tels que les épiscopes ou les moyens de restitution de caméra chef de char. Ces écrans et images affichées répondent aux besoins particuliers de chaque véhicule et de son équipage compte tenu de leurs missions.The image display means are either system-specific or use already existing display means for which adaptations are made in the processes to render exploitable images. These image display means may be flat screen type (or multi flat screen) possibly touch, collimated screen, or collimated micro-screens attached to the head or worn on the helmet. They can be integrated into existing observation systems such as the episcopes or the means of restitution of tank commander camera. These screens and images displayed meet the specific needs of each vehicle and its crew in light of their missions.

Le système selon l'invention peut comporter 2 ou 3 capteurs afin de gérer les éventuels problèmes de masquage de la plateforme ou pour offrir des capacités de stéréovision.The system according to the invention may comprise 2 or 3 sensors in order to manage possible problems of masking the platform or to offer stereovision capabilities.

Le système selon l'invention apporte une vision panoramique jour et nuit, en temps réel pour l'équipage d'un blindé. Il répond à de multiples besoins de perception de l'environnement et de protection de l'équipage vis-à-vis des menaces potentielles. Il permet la reconnaissance:

  • d'un tireur isolé sur un immeuble de 25m de haut jusqu'à 150m de distance,
  • d'un char à 500 m,
  • d'un objet (Mine, IED) de 30cm posé au sol à 20 m.
Pour en priorité :
  • assurer la protection de l'équipage,
  • supporter la coopération des acteurs,
  • acquérir des informations tactiques.
The system of the invention provides a panoramic view day and night, in real time for the crew of an armored vehicle. It meets multiple needs of perception of the environment and protection of the crew vis-à-vis the potential threats. It allows recognition:
  • a sniper on a building 25m high up to 150m distance,
  • a tank at 500 m,
  • an object (Mine, IED) of 30cm placed on the ground at 20 m.
For priority:
  • ensure the protection of the crew,
  • support the cooperation of the actors,
  • acquire tactical information.

Il constitue une aide à l'homme et assure les fonctions suivantes :

  • imagerie en roulant,
  • veille automatique à l'arrêt : traitement automatique pour générer des alarmes sur la détection d'un mouvement ou mieux la classification d'une menace,
  • enregistrement et compte rendu de la mission,
  • incrustation en réalité augmentée de la situation issue du SIT (Système d'Informations Tactiques). En effet le véhicule s'inscrit dans un réseau partageant des informations du champ de bataille numérisé. A ce titre il reçoit et envoie au réseau des informations géolocalisées. De nombreuses informations pourraient être ainsi incrustées dans l'image panoramique restituée par notre système tel que la localisation des amis et la localisation des menaces faites par le réseau par exemple.
  • serveur d'images en temps différé ou en temps réel.
It constitutes a help to the man and ensures the following functions:
  • rolling imagery,
  • automatic standby at shutdown: automatic processing to generate alarms on the detection of a movement or better the classification of a threat,
  • recording and reporting of the mission,
  • incrementation in augmented reality of the situation resulting from the SIT (Tactical Information System). Indeed the vehicle is part of a network sharing information of the battlefield digitized. As such he receives and sends geolocated information to the network. Many information could be embedded in the panoramic image rendered by our system such as the location of friends and the location of threats made by the network for example.
  • image server in deferred time or in real time.

Les avantages du système selon l'invention sont les suivants :

  • vision jour et nuit
  • protection contre de multi menaces telles que tireurs isolés, véhicules, mines
  • portée de reconnaissance de véhicule jusqu'à 500 m
  • système mono détecteur de 5.5 Mpixels
  • vision supra hémisphérique temps réel
  • optique panoramique à résolution adaptée suivant la hauteur
  • facile à intégrer sur la plate-forme
  • bas coût
  • IHM facile d'utilisation
  • capteur statique « furtif » car n'ayant pas d'élément tournant, ne permettant donc pas de savoir où nous observons
  • traitements : BNL acronyme de l'expression Bas Niveau de Lumière, détection automatique, gestion du mouvement plateforme, localiser les zones démasquées avec la progression.
The advantages of the system according to the invention are the following:
  • day and night vision
  • protection against multiple threats such as snipers, vehicles, mines
  • vehicle recognition range up to 500 m
  • 5.5 megapixel mono detector system
  • supra-hemispheric real-time vision
  • Panoramic optics with resolution adapted to the height
  • easy to integrate on the platform
  • low cost
  • Easy-to-use HMI
  • static sensor "stealth" because having no rotating element, thus not allowing to know where we observe
  • treatments: BNL acronym for Low Light Level expression, automatic detection, motion management platform, locate unmasked areas with progression.

Claims (5)

  1. Optronic supra-hemispheric vision video system (100) for a scene, which comprises a sensor (10) with a supra-hemispheric optical unit and a matrix detector which is located in the focal plane of the optical unit, a processing unit (20) for the captured images, means (30) for displaying the processed images, characterised in that:
    the matrix detector is at video rate and comprises:
    i. L rows x C columns of pixels, with L and C > 2000, each pixel having correlated double sampling and being capable of ensuring a charge/voltage conversion, and
    ii. 2 C parallelised analogue/digital conversion elements (or ADC) for voltage, which are associated with each column of the matrix of the detector, respectively, each conversion element itself comprising a first ADC having a low input level and high gain and a second ADC with a high input level and low gain,
    in that the supra-hemispheric optical unit has a focal length f which is controlled as a function of the elevation angle, the focal length being the longest in the equatorial plane, and has a digital opening f/D between 0.9 and 1.6, D being the diameter of the optical unit,
    means for adaptation of the dynamic of the captured image to the dynamic of the scene by means of control of the exposure time and/or the gain,
    and in that, the detector comprising a predetermined temperature, exposure time and temporal noises, the captured image and the display means having a predetermined dynamic, the captured image having high and low spatial frequencies and the scene having a predetermined illumination, the processing unit comprises:
    i. means for correcting occurrences of non-uniformity of the detector using correction tables which are adapted as a function of the temperature and the exposure time of the detector,
    ii. means for weighted summation of a plurality of adjacent pixels,
    iii. means for compressing the dynamic of the image captured as a function of the temporal noises of the detector, increasing with the illumination of the scene, means for adapting the dynamic of the image captured to the dynamic of the display means and/or that of the eye, by means of restoring the high spatial frequencies of the image and compensating for the low spatial frequencies.
  2. Optronic supra-hemispheric vision video system according to the preceding claim, characterised in that, the optical unit of the sensor comprising a diaphragm, it comprises means for adapting the dynamic of the captured image to the dynamic of the scene by means of control of the opening of the diaphragm.
  3. Optronic supra-hemispheric vision video system according to either of the preceding claims, characterised in that it comprises means for defining the focal length and means for correcting the distortions of the optical unit as a function of a sector of the scene which is intended to be displayed, as a function of the requirements of the users of the system or as a function of automatic processing operations carried out by the processing unit.
  4. Optronic supra-hemispheric vision video system according to any one of the preceding claims, characterised in that the processing unit comprises means for controlling the exposure time, the gain and the image rate of the detector as a function of the environmental conditions, means for stabilising the image as a function of the movements of the system or display means, means for detecting the regions of the scene which have been newly exposed, for detecting and tracking events or movements in the scene, for incorporating in the displayed image information originating from other interfaces (50).
  5. Optronic supra-hemispheric vision video system according to any one of the preceding claims which comprises 2 or 3 sensors (10).
EP11754427.0A 2010-09-14 2011-09-12 Optronic supra hemispheric vision system Active EP2616864B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PL11754427T PL2616864T3 (en) 2010-09-14 2011-09-12 Optronic supra hemispheric vision system
HRP20170843TT HRP20170843T1 (en) 2010-09-14 2017-06-02 Optronic supra hemispheric vision system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1003654A FR2964818B1 (en) 2010-09-14 2010-09-14 OPTRONIC SYSTEM WITH SUPRA HEMISPHERIC VISION
PCT/EP2011/065721 WO2012034963A1 (en) 2010-09-14 2011-09-12 Optoelectronic system having super-hemispheric vision

Publications (2)

Publication Number Publication Date
EP2616864A1 EP2616864A1 (en) 2013-07-24
EP2616864B1 true EP2616864B1 (en) 2017-04-19

Family

ID=43769195

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11754427.0A Active EP2616864B1 (en) 2010-09-14 2011-09-12 Optronic supra hemispheric vision system

Country Status (12)

Country Link
US (1) US9025004B2 (en)
EP (1) EP2616864B1 (en)
JP (1) JP6132767B2 (en)
CN (1) CN103097935B (en)
CA (1) CA2811231C (en)
DK (1) DK2616864T3 (en)
ES (1) ES2632550T3 (en)
FR (1) FR2964818B1 (en)
HR (1) HRP20170843T1 (en)
IL (1) IL225141A (en)
PL (1) PL2616864T3 (en)
WO (1) WO2012034963A1 (en)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
JP6164846B2 (en) * 2012-03-01 2017-07-19 キヤノン株式会社 Imaging device, imaging system, and driving method of imaging device
USRE47984E1 (en) 2012-07-02 2020-05-12 Nvidia Corporation Near-eye optical deconvolution displays
US9841537B2 (en) 2012-07-02 2017-12-12 Nvidia Corporation Near-eye microlens array displays
US9494797B2 (en) 2012-07-02 2016-11-15 Nvidia Corporation Near-eye parallax barrier displays
US9557565B2 (en) * 2012-07-02 2017-01-31 Nvidia Corporation Near-eye optical deconvolution displays
US9582075B2 (en) 2013-07-19 2017-02-28 Nvidia Corporation Gaze-tracking eye illumination from display
US9880325B2 (en) 2013-08-14 2018-01-30 Nvidia Corporation Hybrid optics for near-eye displays
FR3017480B1 (en) * 2014-02-07 2017-09-08 Thales Sa METHOD FOR DETECTING AND CLASSIFYING EVENTS OF A SCENE
FR3019279B1 (en) 2014-03-28 2018-06-22 Safran Electronics & Defense OPTRONIC ARMY TURTLE
DE102014222855B4 (en) * 2014-11-10 2019-02-21 Siemens Healthcare Gmbh Optimized signal acquisition from quantum counting detectors
DE102014226342B4 (en) * 2014-12-18 2020-02-20 Robert Bosch Gmbh Thermal camera
CN105698848B (en) * 2015-12-14 2018-03-30 杭州九极科技有限公司 A kind of intelligent ice thermal monitoring robot
RU2703967C1 (en) * 2019-05-06 2019-10-22 Вячеслав Михайлович Смелков Television color image camera for panoramic computer scanning
RU2703965C1 (en) * 2019-05-06 2019-10-22 Вячеслав Михайлович Смелков Primary color video signal sensor for panoramic television-computer color image viewing

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5919483A (en) * 1982-07-24 1984-01-31 Sankyo Seiki Mfg Co Ltd Dark current compensating method of solid-state image pickup element
US5023725A (en) * 1989-10-23 1991-06-11 Mccutchen David Method and apparatus for dodecahedral imaging system
FI97665C (en) * 1995-11-21 1997-01-27 Planmed Oy Procedures and apparatus for photographing an object
US6449103B1 (en) * 1997-04-16 2002-09-10 Jeffrey R. Charles Solid catadioptric omnidirectional optical system having central coverage means which is associated with a camera, projector, medical instrument, or similar article
FR2826221B1 (en) 2001-05-11 2003-12-05 Immervision Internat Pte Ltd METHOD FOR OBTAINING AND DISPLAYING A VARIABLE RESOLUTION DIGITAL PANORAMIC IMAGE
FR2827680B1 (en) 2001-07-20 2003-10-10 Immervision Internat Pte Ltd METHOD FOR CAPTURING A PANORAMIC IMAGE USING A RECTANGULAR IMAGE SENSOR
US7456879B2 (en) * 2003-08-29 2008-11-25 Aptina Imaging Corporation Digital correlated double sampling using dual analog path
US7966642B2 (en) * 2003-09-15 2011-06-21 Nair Ajith N Resource-adaptive management of video storage
JP4283794B2 (en) * 2005-09-14 2009-06-24 ディーエスオー株式会社 Monitoring device
JP2008134494A (en) * 2006-11-29 2008-06-12 Topcon Corp Super wide angle optical system and imaging lens device
US7733397B2 (en) * 2006-12-22 2010-06-08 Palo Alto Research Center Incorporated Sensor surface with 3D curvature formed by electronics on a continuous 2D flexible substrate
JP4609428B2 (en) * 2006-12-27 2011-01-12 ソニー株式会社 Solid-state imaging device, driving method of solid-state imaging device, and imaging device
JP2009152881A (en) * 2007-12-20 2009-07-09 Sony Corp Image signal processing circuit, image signal processing apparatus, and image signal processing method
JP5377035B2 (en) * 2008-05-27 2013-12-25 キヤノン株式会社 Image forming apparatus
JP2010166528A (en) * 2009-01-19 2010-07-29 Toshiba Corp Solid-state imaging device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None *

Also Published As

Publication number Publication date
JP6132767B2 (en) 2017-05-24
CA2811231C (en) 2018-10-23
ES2632550T3 (en) 2017-09-14
DK2616864T3 (en) 2017-07-31
JP2013542637A (en) 2013-11-21
RU2013116986A (en) 2014-10-20
CN103097935A (en) 2013-05-08
CN103097935B (en) 2015-11-25
EP2616864A1 (en) 2013-07-24
US9025004B2 (en) 2015-05-05
CA2811231A1 (en) 2012-03-22
FR2964818B1 (en) 2012-09-28
WO2012034963A1 (en) 2012-03-22
US20130176386A1 (en) 2013-07-11
IL225141A (en) 2016-12-29
FR2964818A1 (en) 2012-03-16
PL2616864T3 (en) 2017-08-31
HRP20170843T1 (en) 2017-08-25

Similar Documents

Publication Publication Date Title
EP2616864B1 (en) Optronic supra hemispheric vision system
US10033944B2 (en) Time spaced infrared image enhancement
EP2936799B1 (en) Time spaced infrared image enhancement
US9635285B2 (en) Infrared imaging enhancement with fusion
US10244190B2 (en) Compact multi-spectrum imaging with fusion
EP3103062B1 (en) Method for detecting and classifying events of a scene
WO2009102700A2 (en) Thermography camera configured for gas leak detection
Bender et al. Comparison of additive image fusion vs. feature-level image fusion techniques for enhanced night driving
CA3170481A1 (en) Method for assisting in the detection of elements, and associated device and platform
Baldacci et al. Infrared detection of marine mammals
FR3065537B1 (en) OPTRONIC SYSTEM FOR PLATFORM AND ASSOCIATED PLATFORM
RU2574324C2 (en) Optic-electronic system having superhemispheric view
US20240163565A1 (en) Zoned anti-glint filter for cameras in high consequence environments
WO2023274842A1 (en) Observing device comprising independent optical and optronic channels and vehicle equipped with such a device
Tektonidis et al. Evaluation of a HDR image sensor with logarithmic response for mobile video-based applications
Paunescu et al. SWIR imaging through strong atmospheric turbulence: comparing a focal-plane-array camera and a compressive sensor
CA2943912C (en) Optoelectronic surveillance system with variable optical field
Ashley The Anatomy of a Video Camera
FR2964203A1 (en) Image acquiring device e.g. camera, for use in photograph field of two-dimensional effects, has target determining unit determining part of panoramic, where viewing axis of device is passed through optical center of lens and sensor

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20130308

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 602011037135

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G02B0013060000

Ipc: H04N0005365000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: H04N 5/3745 20110101ALI20161014BHEP

Ipc: H04N 5/33 20060101ALI20161014BHEP

Ipc: H04N 5/378 20110101ALI20161014BHEP

Ipc: G02B 27/00 20060101ALI20161014BHEP

Ipc: G02B 13/06 20060101ALI20161014BHEP

Ipc: H04N 5/347 20110101ALI20161014BHEP

Ipc: G02B 27/01 20060101ALI20161014BHEP

Ipc: H04N 5/365 20110101AFI20161014BHEP

INTG Intention to grant announced

Effective date: 20161108

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: THALES

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 886941

Country of ref document: AT

Kind code of ref document: T

Effective date: 20170515

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: SERVOPATENT GMBH, CH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602011037135

Country of ref document: DE

REG Reference to a national code

Ref country code: HR

Ref legal event code: TUEP

Ref document number: P20170843

Country of ref document: HR

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

Effective date: 20170724

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20170419

REG Reference to a national code

Ref country code: HR

Ref legal event code: T1PR

Ref document number: P20170843

Country of ref document: HR

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 7

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

Ref country code: NO

Ref legal event code: T2

Effective date: 20170419

REG Reference to a national code

Ref country code: ES

Ref legal event code: FG2A

Ref document number: 2632550

Country of ref document: ES

Kind code of ref document: T3

Effective date: 20170914

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170419

REG Reference to a national code

Ref country code: NO

Ref legal event code: CREP

Representative=s name: TANDBERG INNOVATION AS, POSTBOKS 1570 VIKA, 0118 O

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170419

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170720

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170819

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170719

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170419

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170419

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602011037135

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170419

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170419

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170419

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170419

26N No opposition filed

Effective date: 20180122

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170419

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170419

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170912

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170912

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 8

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170419

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20110912

REG Reference to a national code

Ref country code: HR

Ref legal event code: ODRP

Ref document number: P20170843

Country of ref document: HR

Payment date: 20190827

Year of fee payment: 9

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170419

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170419

REG Reference to a national code

Ref country code: AT

Ref legal event code: UEP

Ref document number: 886941

Country of ref document: AT

Kind code of ref document: T

Effective date: 20170419

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170419

REG Reference to a national code

Ref country code: CH

Ref legal event code: PCAR

Free format text: NEW ADDRESS: WANNERSTRASSE 9/1, 8045 ZUERICH (CH)

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170419

REG Reference to a national code

Ref country code: HR

Ref legal event code: ODRP

Ref document number: P20170843

Country of ref document: HR

Payment date: 20200903

Year of fee payment: 10

REG Reference to a national code

Ref country code: HR

Ref legal event code: ODRP

Ref document number: P20170843

Country of ref document: HR

Payment date: 20210910

Year of fee payment: 11

REG Reference to a national code

Ref country code: HR

Ref legal event code: ODRP

Ref document number: P20170843

Country of ref document: HR

Payment date: 20220912

Year of fee payment: 12

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 602011037135

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: H04N0005365000

Ipc: H04N0025670000

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230529

REG Reference to a national code

Ref country code: HR

Ref legal event code: ODRP

Ref document number: P20170843

Country of ref document: HR

Payment date: 20230829

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: TR

Payment date: 20230911

Year of fee payment: 13

Ref country code: NO

Payment date: 20230911

Year of fee payment: 13

Ref country code: IT

Payment date: 20230829

Year of fee payment: 13

Ref country code: GB

Payment date: 20230817

Year of fee payment: 13

Ref country code: FI

Payment date: 20230912

Year of fee payment: 13

Ref country code: CZ

Payment date: 20230818

Year of fee payment: 13

Ref country code: AT

Payment date: 20230825

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: SE

Payment date: 20230830

Year of fee payment: 13

Ref country code: PL

Payment date: 20230817

Year of fee payment: 13

Ref country code: HR

Payment date: 20230829

Year of fee payment: 13

Ref country code: FR

Payment date: 20230821

Year of fee payment: 13

Ref country code: DK

Payment date: 20230914

Year of fee payment: 13

Ref country code: DE

Payment date: 20230816

Year of fee payment: 13

Ref country code: BE

Payment date: 20230818

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: ES

Payment date: 20231005

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20231001

Year of fee payment: 13