EP3198625B1 - Dispositif d'acquisition d'images bimode a photocathode - Google Patents

Dispositif d'acquisition d'images bimode a photocathode Download PDF

Info

Publication number
EP3198625B1
EP3198625B1 EP15766546.4A EP15766546A EP3198625B1 EP 3198625 B1 EP3198625 B1 EP 3198625B1 EP 15766546 A EP15766546 A EP 15766546A EP 3198625 B1 EP3198625 B1 EP 3198625B1
Authority
EP
European Patent Office
Prior art keywords
zone
sensor
pixels
filters
flux
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP15766546.4A
Other languages
German (de)
English (en)
Other versions
EP3198625A1 (fr
Inventor
Damien LETEXIER
Franck Robert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Photonis France SAS
Original Assignee
Photonis France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Photonis France SAS filed Critical Photonis France SAS
Publication of EP3198625A1 publication Critical patent/EP3198625A1/fr
Application granted granted Critical
Publication of EP3198625B1 publication Critical patent/EP3198625B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J31/00—Cathode ray tubes; Electron beam tubes
    • H01J31/08—Cathode ray tubes; Electron beam tubes having a screen on or from which an image or pattern is formed, picked up, converted, or stored
    • H01J31/50—Image-conversion or image-amplification tubes, i.e. having optical, X-ray, or analogous input, and optical output
    • H01J31/56—Image-conversion or image-amplification tubes, i.e. having optical, X-ray, or analogous input, and optical output for converting or amplifying images in two or more colours
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J31/00—Cathode ray tubes; Electron beam tubes
    • H01J31/08—Cathode ray tubes; Electron beam tubes having a screen on or from which an image or pattern is formed, picked up, converted, or stored
    • H01J31/50—Image-conversion or image-amplification tubes, i.e. having optical, X-ray, or analogous input, and optical output
    • H01J31/508—Multistage converters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2231/00—Cathode ray tubes or electron beam tubes
    • H01J2231/50—Imaging and conversion tubes
    • H01J2231/50005—Imaging and conversion tubes characterised by form of illumination
    • H01J2231/5001—Photons
    • H01J2231/50015—Light
    • H01J2231/50026—Infrared

Definitions

  • the present invention relates to the field of night vision image acquisition devices, comprising a photocathode adapted to convert a stream of photons into a stream of electrons.
  • the field of the invention is more particularly that of such devices, using matrix color filters.
  • Such a device is for example an image intensifier tube, comprising a photocathode, adapted to convert an incident flux of photons into an initial flow of electrons.
  • This initial flow of electrons propagates inside the intensifier tube, where it is accelerated by a first electrostatic field towards multiplication means.
  • These multiplying means receive said initial flow of electrons, and in response provide a secondary electron flow.
  • Each initial electron incident on an input side of the multiplication means causes the emission of several secondary electrons on the side of the output face of these same means.
  • an intense secondary electron flux is generated from a low initial electron flux, and thus ultimately from very low intensity light radiation.
  • the secondary electron flux is accelerated by a third electrostatic field in the direction of a phosphor screen, which converts the secondary electron flux into a photon flux.
  • the photon flux provided by the phosphor screen corresponds to the flux of photons incident on the photocathode, but in more intense.
  • each photon of the photon flux incident on the photocathode corresponds to several photons of the photon flux supplied by the phosphor screen.
  • the photocathode and the multiplying means are placed in a vacuum tube having an entrance window to let the incident photon flux enter the photocathode.
  • the vacuum tube can be closed by the phosphor screen.
  • the photon flux provided by the phosphor screen corresponds to a monochrome image.
  • the document GB 2,302,444 proposes an intensifier tube of images making it possible to restore a poly-chromatic image.
  • a first primary color filter array is disposed upstream of the photocathode to filter incident photon flux before it reaches the photocathode.
  • a primary color filter is a spectral filter, which does not transmit part of the visible spectrum complementary to this primary color.
  • a primary color filter is a spectral filter that transmits part of the visible spectrum corresponding to this primary color, and possibly part of the infrared spectrum, and even part of the near-UV spectrum (200 to 400 nm) or even UV (10 to 200 nm).
  • the first primary color filter matrix consists of red, green, and blue filters that draw primary color pixels on the primary color filter.
  • photocathode a photon flux incident on a given pixel of the photocathode corresponds to a given primary color.
  • the electron flow supplied in response by the photocathode does not directly contain chromatic information, but corresponds to this given primary color.
  • the photon flux supplied by the phosphor screen corresponds to a white light, a combination of several wavelengths corresponding in particular to red, green and blue.
  • This stream is filtered by a second matrix of primary color filters.
  • This second matrix draws pixels of primary color on the phosphor screen.
  • a flux of photons emitted by a given pixel of the phosphor screen is filtered by a primary color filter.
  • a flux of photons corresponding to a given primary color is obtained.
  • the second matrix is identical to and aligned with the first matrix.
  • the pixels of the phosphor screen are therefore aligned with the pixels of the photocathode.
  • the image supplied at the output of the second matrix is thus composed of pixels of three primary colors, corresponding to an intensified image of the pixelated image at the output of the first matrix.
  • this intensifier tube has high energy losses, detrimental in a field characterized by the need for a strong intensification of a photon flux.
  • An object of the present invention is to provide an image acquisition device for acquiring color images while minimizing the damage caused by energy losses.
  • the photocathode is disposed inside a vacuum chamber, and the matrix of elementary filters is located on an inlet window of said vacuum chamber.
  • the photocathode is placed inside a closed vacuum chamber by a bundle of optical fibers, and each elementary filter of the matrix of elementary filters is deposited on an end of an optical fiber of said bundle.
  • the senor may be an electron-sensitive sensor adapted to receive the electron flux emitted by the photocathode, and the processing means may be adapted to calculate a magnitude representative of an average electron surface flux.
  • the panchromatic filters represent 75% of the elementary filters.
  • the processing means are advantageously adapted to combining a monochrome image and the color image of said zone, the monochrome image of said zone being obtained from the panchromatic pixels of this zone. zoned.
  • the matrix of elementary filters may furthermore comprise infrared filters that do not transmit the visible part of the spectrum, with each infrared filter being associated with at least one pixel of the so-called infrared pixel sensor.
  • the matrix of elementary filters may consist of an image projected by a projection optical system.
  • the figure 1 schematically illustrates the principle of an image acquisition device 100 according to the invention.
  • the device 100 comprises a photocathode 120, operating as described in the introduction, and a matrix 110 of elementary filters 111 located upstream of the photocathode.
  • a GaAs photocathode is used. (gallium arsenide). Any other type of photocathode, in particular sensitive photocathodes, can be used in a widest wavelength spectrum, including the visible (about 400 to 800 nm), and possibly the near infra-red or even the same. infra-red, and / or the near UV (ultraviolet), or even the UV.
  • Each elementary filter 111 filters the incident light at a location of the photocathode 120. Each elementary filter 111 thus defines a pixel on the photocathode 120.
  • the elementary filters 111 are transmission filters of at least two different categories: primary color filters, and transparent (or panchromatic) filters.
  • a primary color elementary filter is defined in the introduction.
  • the elementary filters of the matrix 110 include three types of primary color filters, i.e. filters of three primary colors. This allows an additive or subtractive synthesis of all the colors of the visible spectrum.
  • each type of primary color filter transmits only a portion of the visible spectrum, i.e., a band of the 400-700 nm wavelength range, and the different types of primary color pixels. cover all this gap.
  • each primary color filter can transmit a portion of the near infra-red or even infra-red spectrum and / or a portion of the near UV or UV spectrum.
  • the color filters can be red, green, blue filters, in the case of an additive synthesis, or yellow, magenta, cyan filters, in the case of a subtractive synthesis.
  • Other sets of primary colors may be contemplated by those skilled in the art without departing from the scope of the present invention.
  • panchromatic elementary filters let pass the whole visible spectrum. Where appropriate, they may also transmit at least a portion of the near-infrared and even infrared spectrum and / or at least a portion of the near UV and even UV spectrum.
  • Elementary filters panchromatic can be transparent elements in the visible, or openings (or savings) in the matrix 110. In this second case, the pixels of the photocathode located under these panchromatic elementary filters receive unfiltered light.
  • the different types of primary color filters, and the panchromatic filters, are scattered on the elementary filter matrix.
  • the elementary filters are advantageously arranged in the form of a periodic repeating pattern in two distinct, generally orthogonal directions in the plane of the photocathode 120.
  • Each pattern preferably comprises at least one primary color filter of each type. , and panchromatic filters.
  • elementary filters of square shape have been illustrated, these may have any other geometrical shape, for example a hexagon, a disk, or a surface defined according to constraints relating to the transfer function of the device 100 according to the invention.
  • the matrix of elementary filters according to the invention can be real, or virtual.
  • the matrix of elementary filters is said to be real when it comprises elementary filters having a certain thickness, for example elementary filters made of polymer material or interference filters.
  • the matrix of elementary filters is called virtual when it consists of an image of a second matrix of elementary filters, projected upstream of the photocathode.
  • the second matrix of elementary filters consists of a real matrix of elementary filters. It is located in the object plane of a projection optical system. The image formed in the image plane of this projection optical system corresponds to said matrix of virtual elementary filters.
  • the example of a real elementary filter matrix has been developed.
  • Many variants can be envisaged, by replacing the matrix of real elementary filters by a matrix of virtual elementary filters.
  • the device according to the invention will then comprise the second matrix of elementary filters and the projection optical system, as mentioned above.
  • the proportion of panchromatic elementary filters in the matrix 110 is greater than or equal to 50%.
  • the proportion of panchromatic elementary filters is equal to 75%.
  • the elementary filters of primary color can be divided in equal proportions.
  • the elementary filters of primary color are distributed in unequal proportions.
  • the proportion of a first type of primary color filter does not exceed twice the proportion of the other types of primary color filters.
  • the proportion of panchromatic elementary filters is equal to 75%
  • the proportion of filters of a first primary color is equal to 12.5%
  • the proportion of filters of a second and a third primary color is equal to at 6.25% and 6.25%.
  • Matrix 120 receives an initial photon flux.
  • initial elementary fluxes of photons 101 each associated with an elementary filter 111, are represented.
  • the initial elementary fluxes of photons 101 together form a poly-chromatic image, and may comprise photons located in the visible spectrum, which are close to one another. infrared and even infrared.
  • An elementary filter 111 transmits a filtered elementary flux 102, the filtered elementary streams together forming a flux of photons incident on the photocathode.
  • the photocathode 120 emits a stream of electrons.
  • Each filtered elementary flux 102 corresponds to an elementary electron flux 103.
  • An elementary electron flux 103 is all the more important that the corresponding filtered elementary flux 102 comprises photons.
  • the elementary electron fluxes 103 do not directly convey chromatic information, but depend directly on a number of photons transmitted by a corresponding elementary filter 111.
  • the elementary electron fluxes 103 together form a stream of electrons emitted by the photocathode 120.
  • the device 100 further comprises a digital sensor 130.
  • the sensor 130 can directly receive the stream of electrons emitted by the photocathode 120.
  • this stream of electrons emitted by the photocathode 120 can be converted into a photon flux so that the sensor 130 finally receives a photon flux.
  • the figure 1 being a simple illustration of principle, the sensor 130 is shown directly following the photocathode 120.
  • the sensor 130 may be a photon-sensitive or electron-sensitive sensor, and other elements may be interposed between the photocathode 120 and the sensor 130.
  • the sensor is sensitive to electrons as emitted by the photocathode, or to photons obtained from these electrons.
  • Each elementary filter 111 is associated with at least one pixel 131 of the sensor.
  • each elementary filter 111 is aligned with at least one pixel 131 of the sensor, so that a major part of a stream of electrons or photons, resulting from the photons transmitted by this elementary filter 111, reaches this at least one pixel 131.
  • each elementary filter 111 is associated with exactly one pixel 131 of the sensor.
  • the surface of an elementary filter 111 corresponds to the surface of a pixel 131 of the sensor or to a surface corresponding to the juxtaposition of an integer number of pixels 131 of the sensor.
  • panchromatic pixel can be called a pixel of the sensor associated with a panchromatic elementary filter, and "primary color pixel” a pixel of the sensor associated with an elementary filter. of primary color.
  • the panchromatic pixels detect electrons or photons associated with the spectral band transmitted by the panchromatic filters.
  • Each type of primary color pixel detects electrons or photons associated with the spectral band transmitted by the corresponding primary color filter type.
  • the sensor 130 is connected to processing means 140, that is to say calculation means including a processor or a microprocessor.
  • the processing means 140 receive as input electrical signals supplied by the sensor 130, and corresponding, for each pixel 131, to the stream of photons received and detected by this pixel when the sensor is sensitive to photons, or to the electron flow received. and detected by this pixel when the sensor is sensitive to electrons.
  • the processing means 140 output an image, corresponding to the initial flux of incident photons on the matrix of elementary filters, this flux having been intensified.
  • the processing means 140 are adapted to assign, to each pixel of the sensor, information on a type of elementary filter associated with this pixel. For this purpose, they store information making it possible to connect each pixel of the sensor and a type of elementary filter. This information can be in the form of a deconvolution matrix. Thus, the spectral information that is lost during the passage through the photocathode, is restored by the processing means 140.
  • the processing means 140 are adapted to implement a treatment, as illustrated in FIG. figure 2 .
  • the processing means realize a monochrome image by interpolation of all the panchromatic pixels of the sensor. This image is called “monochrome image of the sensor”. They then implement a segmentation of the sensor in several zones, each zone being homogeneous in terms of the flux of photons or electrons detected by the corresponding panchromatic pixels.
  • the processing means then implement the following steps.
  • a magnitude is estimated F , representative of an average surface flux of photons or electrons received and detected by the panchromatic pixels of an area of the sensor, sensitive respectively to photons or electrons.
  • the useful magnitude may be equal to the average surface flux of photons or electrons. If the sensor 130 is sensitive to photons, the useful magnitude may be an average luminance on the panchromatic pixels of the sensor area. Thus, the useful magnitude may be an average surface flux of photons or electrons detected on a set of so-called panchromatic pixels of the sensor.
  • the useful quantity provides a measurement of the illumination on said sensor zone.
  • Conditions of high illumination are associated for example with a higher illuminance at a first threshold between 450 and 550 ⁇ Lux.
  • Conditions of low illumination are associated for example with a light illumination less than a second threshold of between 400 and 550 ⁇ Lux, the first and the second threshold being equal. If the first and second thresholds are not equal, the first threshold is strictly greater than the second threshold.
  • the useful magnitude is compared F and a threshold value F th . If the usefulness F is greater than the threshold value F th , the sensor zone is in conditions of high illumination. If the usefulness F is below the threshold value F th , the sensor area is in low light conditions.
  • Steps 280 and 281 together form a step to determine whether the sensor zone 130 is in low or high light conditions.
  • a strong illumination corresponds for example to the acquisition of an image of a night scene, illuminated by the moon (night level 1 to 3).
  • a low illumination corresponds for example to the acquisition of an image of a night scene, not illuminated by the moon (night level 4 to 5, or a luminous illumination less than 500 ⁇ Lux).
  • step 282A If the area is under high illumination conditions, a color image of this area is formed using the primary color pixels of this area (step 282A). It is said that the device operates in high illumination mode.
  • an image is formed of each primary color, and the images of each primary color are combined with each other.
  • An image of a primary color is formed by interpolating the pixels of this area associated with said primary color. The interpolation makes it possible to compensate for the small proportion of pixels of the sensor of a given primary color.
  • the interpolation of the pixels of a primary color is to use the values taken by these pixels to estimate the values that would be taken by the neighboring pixels if these were also pixels of this primary color.
  • Primary color images can be optionally processed to sharpen image sharpening .
  • the proportion of panchromatic pixels in the matrix is higher than that of the primary color pixels, the resolution of the primary color images is thus improved.
  • a monochrome image of said zone is formed from the panchromatic pixels of this zone.
  • a monochrome image is formed using the panchromatic pixels of this area (step 282B), and without using the primary color pixels of this area.
  • the monochrome image can be obtained by interpolation of the panchromatic pixels of this zone.
  • the device is said to operate in low illumination mode.
  • the color or monochrome images of the different areas of the sensor are combined to obtain an image of the entire sensor.
  • the image of the entire sensor can be displayed, or stored in memory for further processing.
  • a color image of each zone of strong is formed illumination, then, in the monochrome image of the sensor used for segmentation, the areas corresponding to these zones of high illumination are replaced by the color images of these zones.
  • a linear combination of the monochrome image of the sensor and these color images is performed.
  • the color image and the monochrome image are superimposed.
  • the zones of the sensor are treated separately. Alternatively, it is determined whether the entire sensor is in conditions of low or high illumination, and is treated in the same way the entire sensor. In this case, there is no segmentation of the monochrome image of the sensor, or combination of the images obtained. Steps 280, 281 and 282A or 282B are implemented over the entire surface of the sensor. In other words, the sensor zone as mentioned above corresponds to the entire sensor.
  • the processing means 140 receive as input signals from the sensor, store information for associating each pixel of the sensor with a type of elementary filter, and output a color image, or a monochrome image or a combination of a color image and a monochrome image.
  • the invention thus provides an image acquisition device for acquiring a color image of an area of the sensor, when the illumination of the scene detected on this area allows it.
  • the device provides an image of the area obtained from the panchromatic elementary filters, thus with a minimal energy loss.
  • the device automatically selects one or the other mode of operation.
  • switching from one mode to another operates with hysteresis so as to avoid any switching noise ( chattering ).
  • a first threshold for the useful magnitude is provided for the transition from the high illumination mode to the low illumination mode and a second threshold for the useful magnitude is provided for the inverse transition, the first threshold being chosen lower than the second threshold.
  • the switching from one mode to the other is done progressively through a transition phase.
  • the image acquisition device operates in low illumination mode when the useful magnitude is less than a first threshold and in high illumination mode when it is greater than a second threshold, the second threshold being chosen greater than the first threshold.
  • the image acquisition device performs a linear combination of the image obtained by the treatment in high illumination mode and that obtained by the low light mode treatment, the weighting coefficients being given by the deviations of the useful magnitude with the first and second thresholds respectively.
  • each elementary filter 111 is aligned with at least one pixel 131 of the sensor, so that each pixel of the sensor associated with an elementary filter receives only photons or electrons corresponding to this elementary filter.
  • This disadvantage can be countered by an initial calibration step making it possible to compensate for the misalignment between an elementary filter and a sensor pixel.
  • This calibration aims to compensate for the slight degradation due to the transfer function of the optical elements of the device according to the invention (photocathode and, if appropriate, multiplication means and phosphor screen).
  • the geometric shape of the filters composing the matrix of elementary filters is calibrated so as to compensate for the effect of said spatial spread.
  • the image of an elementary filter is then superimposed perfectly on one or more pixels of the sensor.
  • Interstices between adjacent elementary filters are advantageously opaque, in order to block any radiation likely to reach the photocathode without having passed through an elementary filter.
  • FIGS. 3A and 3B schematically illustrate two variants of a first embodiment of a matrix 110 of elementary filters according to the invention.
  • Primary elementary filters are red (R), green (G) or blue (B) filters.
  • the matrix has 75% panchromatic filters (W).
  • the matrix 110 is generated by a two-dimensional periodic repetition of the 4x4 basic pattern: R W BOY WUT W W W W W BOY WUT W B W W W W W W
  • Variations of this matrix can be obtained by permutation of the filters R, G, B in the pattern (1).
  • the green pixels are twice as many as the red pixels, respectively blue.
  • This imbalance can be corrected by weighting coefficients adapted when combining three primary color images to form a color image.
  • the matrix of the figure 3B corresponds to the matrix of the figure 3A , in which the primary color elementary filters R, G, B are replaced respectively by elementary primary color filters yellow (Ye), magentas (Ma), cyans (Cy). Again, the filters Ye, Ma, Cy can be switched.
  • the filters R, G, B of the pattern (2) are replaced by filters Ye, Ma, Cy.
  • the figure 4 schematically illustrates a first embodiment of a device 400 according to the invention.
  • the figure 4 will only be described for its differences in the figure 1 .
  • the use of a calibration step such that detailed above, is particularly advantageous in this embodiment.
  • the device 400 is based on the so-called intensified CMOS or intensified CCD technology (ICMOS or ICCD, for the English “ Intensified CMOS” or “ Intensified CCD”).
  • the photocathode 420 is disposed inside a vacuum tube 450 of the vacuum tube type of an image intensifier tube according to the prior art and as described in the introduction.
  • a vacuum tube designates a vacuum chamber having more particularly a tube shape.
  • the vacuum tube 450 has an inlet window 451, transparent in particular in the visible, and optionally in the near infrared or even the infrared.
  • the input window allows to let enter, inside the vacuum tube, the flux of photons incident on the photocathode.
  • the entrance window is in particular glass.
  • the input window is preferably a simple plate.
  • the matrix of elementary filters 410 is glued on one face of the inlet window 451, preferably on the inside of the vacuum tube.
  • the photocathode is pressed against the matrix of elementary filters 410.
  • a metal layer (not shown) may be deposited on the input window, around the matrix of elementary filters 410, to form an electrical contact point for the application. an electrostatic field.
  • the phosphor screen emits a stream of photons, called useful flux, which is received by the sensor 430.
  • the sensor 430 is photosensitive. It is in particular a CCD ( Charge-Coupled Device ) sensor, or a CMOS sensor ( Complementary Metal Oxide Semiconductor ).
  • CCD Charge-Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the processing means 440 operates as described with reference to the figure 2 , the useful quantity being representative of the surface flux of photons detected by the panchromatic pixels of the sensor 430.
  • the sensor 430 may be in direct contact with the phosphor screen, to limit any spatial spread of the photon beam emitted by the phosphor screen.
  • the sensor 430 may be inside the vacuum tube, or outside and against an outlet face of the vacuum tube, formed by the phosphor screen.
  • the sensor 430 may be offset outside the vacuum tube 450.
  • a bundle of optical fibers can connect the phosphor screen and the pixels of the sensor 430, the bundle of optical fibers forming an exit window of the vacuum tube.
  • Such an optical fiber bundle is particularly suitable in the case where the surface of the sensor 430 is smaller than the inside diameter of the vacuum tube.
  • each fiber has a diameter on the phosphor screen side greater than its diameter on the sensor side.
  • the bundle of optical fibers is said to thin, and performs a reduction of the image provided by the phosphor screen.
  • FIGS. 5A and 5B illustrate schematically two variants of a second embodiment of a device 500 according to the invention.
  • the device 500 is based on the electro-bombarded CMOS technology, or EBCMOS for the English " Electron Bombarded CMOS”.
  • the photocathode 520 is disposed inside a vacuum tube 550.
  • the vacuum tube 550 has an inlet window 551, transparent in particular in the visible, and if necessary in the near infrared or even the infrared.
  • the elementary filter matrix 510 is adhered to one face of the input window 551, preferably on the inside of the vacuum tube.
  • the sensor 530 is disposed inside the vacuum tube 550, and directly receives the stream of electrons emitted by the photocathode.
  • the photocathode 520 and the sensor 530 are within a few millimeters of each other, and subjected to a potential difference to create an electrostatic field in the interstice between them. This electrostatic field accelerates the electrons emitted by the photocathode 520 towards the sensor 530.
  • the sensor 530 is sensitive to electrons. It is typically a CMOS sensor, adapted to make it sensitive to electrons.
  • the electron-sensitive sensor is illuminated on the back side (" back side illuminated ").
  • back side illuminated CMOS sensor whose substrate is thinned and passivated (in English, " back - thinned ").
  • the sensor may include a passivation layer, forming an outer layer on the side of the photocathode.
  • the passivation layer is deposited on the thinned substrate.
  • the substrate receives detection diodes, each associated with a pixel of the sensor.
  • the electron-sensitive sensor is illuminated on the front face.
  • CMOS sensor whose front face is treated so as to remove the protective layers covering the diodes.
  • the front face of a standard CMOS sensor is thus made sensitive to electrons.
  • the processing means 540 operate as described with reference to the figure 2 , the useful quantity being representative of the surface flux of electrons detected by the panchromatic pixels of the sensor 530.
  • the Figure 5B illustrates a variant of the device 500 of the Figure 5A , in which the vacuum tube 550 is closed by a beam 552 of optical fibers receiving the matrix of elementary filters.
  • the beam 552 of optical fibers is traversed by photons coming from the scene to be imaged.
  • a first end of the fiber optic bundle 552 closes the vacuum tube.
  • a second end of the beam 552 of optical fibers is in front of the scene to be imaged.
  • the vacuum tube 550 no longer has the input window 551, which is replaced by the optical fiber bundle which allows the vacuum tube of the scene to be imaged to be displaced.
  • Each elementary filter of the matrix 510 is associated with an optical fiber of the beam 552.
  • each elementary filter is directly attached to an optical fiber end, advantageously on the opposite side to the vacuum tube.
  • the matrix of elementary filters 510 is outside the vacuum tube, which simplifies its assembly.
  • each elementary filter is directly attached to an end of optical fiber, the side of the vacuum tube.
  • each elementary filter is directly attached to an end of optical fiber, the side of the vacuum tube.
  • the figure 6 schematically illustrates a second embodiment of a matrix of elementary filters according to the invention.
  • the matrix of elementary filters of the figure 6 differs from the matrices described above, in that it comprises infrared (IR) filters, not transmitting the visible part of the spectrum and allowing the near infrared to pass.
  • Infrared filters let the wavelengths pass in the near infrared, or even in the infrared (wavelengths greater than 700 nm).
  • Infrared filters transmit in particular the spectral band between 700 and 900 nm, or even between 700 and 1100 nm, and even between 700 and 1700 nm.
  • the filter matrix of the figure 6 differs from the matrix of the figure 3A in that in the elementary pattern, one of the two green pixels (G) is replaced by an infrared pixel (IR).
  • the figure 7 schematically illustrates a processing implemented by the processing means according to the invention, when the matrix of elementary filters comprises infrared pixels.
  • Steps 780, 781 and 782B correspond to steps 280, 281 and 282B, respectively, as described with reference to FIG. figure 2 .
  • the processing means measure a quantity, called secondary quantity, representative of the average surface flux of photons or electrons F IR detected by the infrared pixels of this area (step 783).
  • this average surface flux is an average surface flux of photons if the sensor is photosensitive, or an average surface flux of electrons if the sensor is sensitive to electrons.
  • the processing means then make a comparison between this secondary quantity and an infrared threshold F IR th (step 784).
  • step 782A If the secondary size F IR is below the infrared threshold F IR th , a color image of the zone is constructed, as described with reference to the figure 2 about step 282A (step 782A).
  • a false-color image of the zone is created, that is to say an image in which a given color is attributed to the infrared pixels of this zone.
  • the false color image can be constructed by interpolating the infrared pixels of the considered area.
  • the false color image is therefore a monochrome image, of a different color from the monochrome image associated with the panchromatic pixels. Then, we superimpose this image in false color to the monochrome image obtained using the panchromatic pixels of the same area of the sensor.
  • step 782C These steps of constructing a false color image and superposition with the monochrome image together form a step 782C.
  • zone infrared pixels belonging to this zone have an intensity greater than a predetermined infrared threshold and, if so, it is superimposed on the monochrome image of this zone.
  • a single secondary quantity for the same zone is not calculated, but a secondary quantity per infrared pixel of the zone is calculated separately. Only the infrared pixels, for which the corresponding secondary quantity is greater than the infrared threshold, are superimposed on the monochrome image obtained from the panchromatic pixels. Thus, if a sensor zone has a high intensity in the infrared range, it will be easily identifiable in the resulting image.
  • sub-zones of said sensor zone are identified, detecting an average surface flux of pixels or electrons homogeneous in the infrared spectrum, and each sub-zone is then treated separately as detailed above.
  • the comparison with the infrared threshold is done by homogeneous sub-areas of the sensor.
  • a false color image is obtained by interpolation of the infrared pixels of said sub-zone. These false color images are then superimposed on the corresponding locations on the monochrome image of the sensor area.
  • a segmentation is performed on the basis of an image made by interpolation of the infrared pixels.
  • sub-zones of this zone are identified, having a uniform intensity in the infrared spectrum, and it is determined, for each sub-zone thus identified, whether the The average of the infrared intensity in this sub-area is greater than a predetermined infrared threshold and, if so, this sub-area is represented by a false-color image based on the infrared pixels of that sub-area. false-color image of said sub-area then being superimposed with the monochrome image of the area to which it belongs.

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Image-Pickup Tubes, Image-Amplification Tubes, And Storage Tubes (AREA)

Description

    DOMAINE TECHNIQUE
  • La présente invention concerne le domaine des dispositifs d'acquisition d'images à vision nocturne, comprenant une photocathode adaptée à convertir un flux de photons en un flux d'électrons. Le domaine de l'invention est plus particulièrement celui de tels dispositifs, utilisant des filtres matriciels de couleurs.
    • ÉTAT DE LA TECHNIQUE ANTÉRIEURE
  • On connaît dans l'art antérieur différents dispositifs d'acquisition d'images à vision nocturne, comprenant une photocathode.
  • Un tel dispositif est par exemple un tube intensificateur d'images, comprenant une photocathode, adaptée à convertir un flux incident de photons en un flux initial d'électrons. Ce flux initial d'électrons se propage à l'intérieur du tube intensificateur, où il est accéléré par un premier champ électrostatique en direction de moyens de multiplication.
  • Ces moyens de multiplication reçoivent ledit flux initial d'électrons, et fournissent en réponse un flux secondaire d'électrons. Chaque électron initial incident sur une face d'entrée des moyens de multiplication, provoque l'émission de plusieurs électrons secondaires du côté de la face de sortie de ces mêmes moyens. On génère ainsi un flux secondaire d'électrons intense, à partir d'un faible flux initial d'électrons, donc in fine à partir d'un rayonnement lumineux de très faible intensité.
  • Le flux secondaire d'électrons est accéléré par un troisième champ électrostatique en direction d'un écran phosphore, qui convertit le flux secondaire d'électrons en un flux de photons. Grâce aux moyens de multiplication, le flux de photons fourni par l'écran phosphore correspond au flux de photons incident sur la photocathode, mais en plus intense. En d'autres termes, à chaque photon du flux de photons incident sur la photocathode correspondent plusieurs photons du flux de photons fourni par l'écran phosphore.
  • La photocathode et les moyens de multiplication sont placés dans un tube à vide présentant une fenêtre d'entrée pour laisser entrer le flux de photons incident sur la photocathode. Le tube à vide peut être fermé par l'écran phosphore.
  • Lorsque le flux de photons incident sur la photocathode est converti en un flux initial d'électrons, l'information relative à la longueur d'onde des photons est perdue. Ainsi, le flux de photons fourni par l'écran phosphore correspond à une image monochrome.
  • Le document GB 2 302 444 propose un tube intensificateur d'images permettant de restituer une image poly-chromatique.
  • Une première matrice de filtres de couleur primaire est disposée en amont de la photocathode, pour filtrer un flux incident de photons avant qu'il n'atteigne la photocathode.
  • Un filtre de couleur primaire est un filtre spectral, qui ne transmet pas une partie du spectre visible complémentaire de cette couleur primaire. Ainsi, un filtre de couleur primaire est un filtre spectral qui transmet une partie du spectre visible correspondant à cette couleur primaire, et éventuellement une partie du spectre infrarouge, et même une partie du spectre proche-UV (200 à 400 nm) voire même UV (10 à 200 nm).
  • La première matrice de filtres de couleur primaire est constituée de filtres rouge, vert et bleu, qui dessinent des pixels de couleur primaire sur la photocathode. Ainsi, un flux de photons incident sur un pixel donné de la photocathode correspond à une couleur primaire donnée. Le flux d'électrons fourni en réponse par la photocathode ne contient pas directement d'information chromatique, mais correspond à cette couleur primaire donnée.
  • En sortie du tube intensificateur, le flux de photons fourni par l'écran phosphore correspond à une lumière blanche, combinaison de plusieurs longueurs d'onde correspondant notamment au rouge, au vert et au bleu. Ce flux est filtré par une deuxième matrice de filtres de couleur primaire. Cette deuxième matrice dessine des pixels de couleur primaire sur l'écran phosphore. Ainsi, un flux de photons émis par un pixel donné de l'écran phosphore est filtré par un filtre de couleur primaire. En sortie de ce filtre de couleur primaire, on obtient un flux de photons correspondant à une couleur primaire donnée. La deuxième matrice est identique à la première matrice, et alignée avec celle-ci. Les pixels de l'écran phosphore sont donc alignés avec les pixels de la photocathode. L'image fournie en sortie de la deuxième matrice est donc composée de pixels de trois couleurs primaires, correspondant à une image intensifiée de l'image pixellisée en sortie de la première matrice.
  • On réalise ainsi un tube intensificateur à vision nocturne offrant une image couleurs. Cependant, du fait de la présence des deux matrices de filtres de couleur primaire, ce tube intensificateur présente de fortes pertes énergétiques, préjudiciables dans un domaine caractérisé par le besoin d'une forte intensification d'un flux de photons.
  • Un objectif de la présente invention est de fournir un dispositif d'acquisition d'images permettant l'acquisition d'images couleurs tout en minimisant le préjudice causé par des pertes énergétiques.
    • EXPOSÉ DE L'INVENTION
  • Cet objectif est atteint avec un dispositif d'acquisition d'images comprenant :
    • une photocathode, adaptée à convertir un flux incident de photons en un flux d'électrons ;
    • un capteur constitué d'une matrice d'éléments, dits pixels ; et
    • des moyens de traitement.
  • Selon l'invention :
    • le dispositif comprend une matrice de filtres élémentaires, chacun associé à au moins un pixel du capteur, ladite matrice étant disposée en amont de la photocathode, de sorte qu'un flux initial de photons traverse ladite matrice avant d'atteindre la photocathode ;
    • la matrice comprend des filtres de couleur primaire, un filtre de couleur primaire ne transmettant pas une partie du spectre visible complémentaire de ladite couleur primaire, et des filtres transmettant l'intégralité du spectre visible, dits filtres panchromatiques ; et
    • les moyens de traitement sont adaptés à :
      • calculer une grandeur, dite grandeur utile, pour déterminer si au moins une zone du capteur est dans des conditions de faible ou de fort éclairement, la grandeur utile étant représentative d'un flux surfacique moyen de photons ou d'électrons détecté sur un ensemble de pixels dits panchromatiques du capteur, chaque pixel panchromatique étant associé à un filtre panchromatique ;
      • uniquement si ladite zone est dans des conditions de fort éclairement, former une image couleur de ladite zone à partir des pixels de cette zone associés à des filtres de couleur primaire.
  • Selon un mode de réalisation avantageux, la photocathode est disposée à l'intérieur d'une chambre à vide, et la matrice de filtres élémentaires est située sur une fenêtre d'entrée de ladite chambre à vide.
  • En variante, la photocathode est disposée à l'intérieur d'une chambre à vide fermée par un faisceau de fibres optiques, et chaque filtre élémentaire de la matrice de filtres élémentaires est déposé sur une extrémité d'une fibre optique dudit faisceau.
  • Le capteur peut être un capteur photosensible, les moyens de traitement peuvent être adaptés à calculer une grandeur représentative d'un flux surfacique moyen de photons, et le dispositif peut comprend en outre :
    • des moyens de multiplication, adaptés à recevoir le flux d'électrons émis par la photocathode, et à fournir en réponse un flux secondaire d'électrons ; et
    • un écran phosphore, adapté à recevoir le flux secondaire d'électrons et à fournir en réponse un flux de photons, dit flux utile de photons, le capteur étant agencé pour recevoir ledit flux utile de photons.
  • En variante, le capteur peut être un capteur sensible aux électrons, adapté à recevoir le flux d'électrons émis par la photocathode, et les moyens de traitement peuvent être adaptés à calculer une grandeur représentative d'un flux surfacique moyen d'électrons.
  • De préférence, les filtres panchromatiques représentent 75% des filtres élémentaires.
  • La matrice de filtres élémentaires est avantageusement générée par la répétition périodique bidimensionnelle du motif suivant : M = R W G W W W W W G W B W W W W W
    Figure imgb0001
     où R, G, B représentent respectivement des filtres de couleur primaire rouge, vert, bleu, et W représente un filtre panchromatique, le motif étant défini à une permutation près de R, G, B.
  • En variante, la matrice de filtres élémentaires peut être générée par la répétition périodique bidimensionnelle du motif suivant : M = Ye W Ma W W W W W Ma W Cy W W W W W
    Figure imgb0002
     où Ye, Ma, Cy représentent respectivement des filtres de couleur primaire jaune, magenta et cyan, et W représente un filtre panchromatique, le motif étant défini à une permutation près de Ye, Ma, Cy.
  • De préférence, les moyens de traitement sont adaptés à :
    • déterminer que ladite zone est à faible éclairement, si la grandeur utile est inférieure à un premier seuil ; et
    • déterminer que ladite zone est à fort éclairement, si la grandeur utile est supérieure à un second seuil, le second seuil étant supérieur au premier seuil.
  • Si la grandeur utile est comprise entre les premier et second seuils, les moyens de traitement sont avantageusement adaptés à combiner une image monochrome et l'image couleur de ladite zone, l'image monochrome de ladite zone étant obtenue à partir des pixels panchromatiques de cette zone.
  • De préférence, les moyens de traitement sont adaptés à :
    • former une image monochrome à partir de l'ensemble des pixels panchromatiques du capteur;
    • segmenter cette image monochrome en régions homogènes ; et
    • pour chaque zone du capteur associée à une région homogène, calculer indépendamment la grandeur utile correspondante pour déterminer si ladite zone est dans des conditions de faible ou de fort éclairement.
  • La matrice de filtres élémentaires peut comprendre en outre des filtres infrarouges ne transmettant pas la partie visible du spectre, à chaque filtre infrarouge étant associé au moins un pixel du capteur dit pixel infrarouge.
  • Lorsqu'une zone est dans des conditions de faible éclairement, les moyens de traitement sont avantageusement adaptés à :
    • comparer un seuil infrarouge prédéterminé et une grandeur, dite grandeur secondaire, représentative d'un flux surfacique moyen de photons ou d'électrons détecté par les pixels infrarouges de cette zone ;
    • lorsque ladite grandeur secondaire est supérieure au seuil infrarouge prédéterminé, superposer une image monochrome obtenue à partir des pixels panchromatiques de cette zone et une image en fausse couleur obtenue à partir des pixels infrarouges de cette zone.
  • En variante, lorsqu'une zone est dans des conditions de faible éclairement, les moyens de traitement sont avantageusement adaptés à :
    • à partir des pixels infrarouges de cette zone, identifier des sous-zones de cette zone, détectant un flux surfacique moyen de photons ou d'électrons homogène dans le spectre infrarouge ;
    • pour chaque sous-zone ainsi identifiée, comparer un seuil infrarouge prédéterminé et une grandeur, dite grandeur secondaire, représentative d'un flux surfacique moyen de photons ou d'électrons détecté par les pixels infrarouges de cette sous-zone ;
    • lorsque ladite grandeur secondaire est supérieure au seuil infrarouge prédéterminé, superposer une image monochrome obtenue à partir des pixels panchromatiques de cette sous-zone et une image en fausse couleur obtenue à partir des pixels infrarouges de cette sous-zone.
  • La matrice de filtres élémentaires peut consister en une image projetée par un système optique de projection.
  • L'invention concerne également un procédé de formation d'une image, mis en oeuvre dans un dispositif comprenant une photocathode adaptée à convertir un flux incident de photons en un flux d'électrons, et un capteur constitué d'une matrice d'éléments, dits pixels, le procédé comprenant les étapes suivantes :
    • filtrage d'un flux initial de photons, pour fournir ledit flux incident de photons, ce filtrage mettant en oeuvre une matrice de filtres élémentaires comprenant des filtres de couleur primaire, un filtre de couleur primaire ne transmettant pas une partie du spectre visible complémentaire de ladite couleur primaire, et des filtres transmettant l'intégralité du spectre visible, dits filtres panchromatiques ;
    • calcul d'une grandeur, dite grandeur utile, pour déterminer si au moins une zone du capteur est dans des conditions de faible ou de fort éclairement, la grandeur utile étant représentative d'un flux surfacique moyen de photons ou d'électrons détecté sur un ensemble de pixels dits panchromatiques du capteur, chaque pixel panchromatique étant associé à un filtre panchromatique ;
    • uniquement si ladite zone est dans des conditions de fort éclairement, formation d'une image couleur de ladite zone à partir des pixels de cette zone associés à des filtres de couleur primaire.
    BRÈVE DESCRIPTION DES DESSINS
  • La présente invention sera mieux comprise à la lecture de la description d'exemples de réalisation donnés à titre purement indicatif et nullement limitatif, en faisant référence aux dessins annexés sur lesquels :
    • la figure 1 illustre de manière schématique le principe d'un dispositif selon l'invention ;
    • la figure 2 illustre de manière schématique un premier mode de réalisation d'un traitement mis en oeuvre par les moyens de traitement selon l'invention ;
    • les figures 3A et 3B illustrent de manière schématique deux variantes d'un premier mode de réalisation d'une matrice de filtres élémentaires selon l'invention ;
    • la figure 4 illustre de manière schématique un premier mode de réalisation d'un dispositif selon l'invention ;
    • les figures 5A et 5B illustrent de manière schématique deux variantes d'un deuxième mode de réalisation d'un dispositif selon l'invention ;
    • la figure 6 illustre de manière schématique un deuxième mode de réalisation d'une matrice de filtres élémentaires selon l'invention ; et
    • la figure 7 illustre de manière schématique un deuxième mode de réalisation d'un traitement mis en oeuvre par les moyens de traitement selon l'invention.
    EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS
  • La figure 1 illustre de manière schématique le principe d'un dispositif d'acquisition d'images 100 selon l'invention.
  • Le dispositif 100 comprend une photocathode 120, fonctionnant comme décrit en introduction, ainsi qu'une matrice 110 de filtres élémentaires 111 située en amont de la photocathode. On utilise par exemple une photocathode GaAs (arséniure de gallium). On pourra utiliser tout autre type de photocathode, en particulier des photocathodes sensibles dans un spectre de longueurs d'onde le plus large possible, incluant le visible (environ 400 à 800 nm), et le cas échéant le proche infra-rouge voire même l'infra-rouge, et/ou le proche UV (ultra-violet), voire même l'UV.
  • Chaque filtre élémentaire 111 filtre la lumière incidente sur un emplacement de la photocathode 120. Chaque filtre élémentaire 111 définit ainsi un pixel sur la photocathode 120.
  • Les filtres élémentaires 111 sont des filtres de transmission d'au moins deux catégories différentes : des filtres de couleur primaire, et des filtres transparents (ou panchromatiques).
  • Un filtre élémentaire de couleur primaire est défini en introduction. Les filtres élémentaires de la matrice 110 comprennent trois types de filtres de couleur primaire, c'est-à-dire des filtres de trois couleurs primaires. Cela permet une synthèse additive ou soustractive de toutes les couleurs du spectre visible. En particulier, chaque type de filtre de couleur primaire transmet une partie seulement du spectre visible, c'est-à-dire une bande de l'intervalle de longueur d'onde 400-700 nm, et les différents types de pixels de couleur primaire couvrent ensemble tout cet intervalle. En plus d'une partie du spectre visible, chaque filtre de couleur primaire peut transmettre une partie du spectre proche infra-rouge voire infra-rouge et/ou une partie du spectre proche UV voire UV. Les filtres de couleur peuvent être des filtres rouge, vert, bleu, dans le cas d'une synthèse additive, ou des filtres jaune, magenta, cyan, dans le cas d'une synthèse soustractive. D'autres ensembles de couleurs primaires peuvent être envisagés par l'homme du métier sans sortir du cadre de la présente invention.
  • Les filtres élémentaires panchromatiques laissent passer l'ensemble du spectre visible. Le cas échéant, ils peuvent également transmettre au moins une partie du spectre proche infrarouge et même infrarouge et/ou au moins une partie du spectre proche UV et même UV. Les filtres élémentaires panchromatiques peuvent être des éléments transparents dans le visible, ou des ouvertures (ou épargnes) dans la matrice 110. Dans ce deuxième cas, les pixels de la photocathode situés sous ces filtres élémentaires panchromatiques reçoivent une lumière non filtrée.
  • Les différents types de filtres de couleur primaire, et les filtres panchromatiques, sont répartis de façon éparse sur la matrice de filtres élémentaires.
  • Les filtres élémentaires sont avantageusement arrangés sous la forme d'un motif se répétant de manière périodique, selon deux directions distinctes, généralement orthogonales, dans le plan de la photocathode 120. Chaque motif comprend de préférence au moins un filtre de couleur primaire de chaque type, et des filtres panchromatiques.
  • Bien que l'on ait illustré des filtres élémentaires de forme carré, ceux-ci peuvent présenter toute autre forme géométrique, par exemple un hexagone, un disque, ou une surface définie en fonction de contraintes relatives à la fonction de transfert du dispositif 100 selon l'invention.
  • La matrice de filtres élémentaires selon l'invention peut être réelle, ou virtuelle.
  • La matrice de filtres élémentaires est dite réelle lorsqu'elle comprend des filtres élémentaires présentant une certaine épaisseur, par exemple des filtres élémentaires réalisés en matériau polymère ou des filtres interférentiels.
  • La matrice de filtres élémentaires est dite virtuelle lorsqu'elle consiste en une image d'une deuxième matrice de filtres élémentaires, projetée en amont de la photocathode. Dans ce cas, la deuxième matrice de filtres élémentaires, consiste en une matrice réelle de filtres élémentaires. Elle est située dans le plan objet d'un système optique de projection. L'image formée dans le plan image de ce système optique de projection correspond à ladite matrice de filtres élémentaires virtuelle. Un avantage de cette variante est que l'on s'affranchit d'éventuelles difficultés de positionnement d'une matrice réelle, à l'emplacement souhaité.
  • Dans l'ensemble des exemples développés en référence aux figures, on a développé l'exemple d'une matrice de filtres élémentaires réelle. On pourra envisager de nombreuses variantes, en remplaçant la matrice de filtres élémentaires réelle, par une matrice de filtres élémentaires virtuelle. De préférence, le dispositif selon l'invention comprendra alors la deuxième matrice de filtres élémentaires et le système optique de projection, tels que mentionnés ci-dessus.
  • De préférence mais de manière non limitative, la proportion de filtres élémentaires panchromatiques dans la matrice 110 est supérieure ou égale à 50%. Avantageusement, la proportion de filtres élémentaires panchromatiques est égale à 75%. Les filtres élémentaires de couleur primaire peuvent être répartis en proportions égales. En variante, les filtres élémentaires de couleur primaire sont répartis en proportions inégales. De préférence, la proportion d'un premier type de filtre de couleur primaire n'excède pas deux fois la proportion des autres types de filtres de couleur primaire. Par exemple, la proportion de filtres élémentaires panchromatiques est égale à 75%, la proportion de filtres d'une première couleur primaire est égale à 12,5%, et la proportion de filtres d'une deuxième et une troisième couleurs primaires est respectivement égale à 6,25% et 6,25%.
  • La matrice 120 reçoit un flux initial de photons. A des fins illustratives, on représente des flux élémentaires initiaux de photons 101, associés chacun à un filtre élémentaire 111. Les flux élémentaires initiaux de photons 101 forment ensemble une image poly-chromatique, et peuvent comprendre des photons situés dans le spectre visible, proche infrarouge et même infrarouge.
  • Un filtre élémentaire 111 transmet un flux élémentaire filtré 102, les flux élémentaires filtrés formant ensemble un flux de photons incident sur la photocathode. En réponse à ce flux incident de photons, la photocathode 120 émet un flux d'électrons. A chaque flux élémentaire filtré 102 correspond un flux élémentaire d'électrons 103. Un flux élémentaire d'électrons 103 est d'autant plus important que le flux élémentaire filtré 102 correspondant comporte de photons. Les flux élémentaires d'électrons 103 ne véhiculent pas directement d'information chromatique, mais dépendent directement d'un nombre de photons transmis par un filtre élémentaire 111 correspondant. Les flux élémentaires d'électrons 103 forment ensemble un flux d'électrons émis par la photocathode 120.
  • Le dispositif 100 selon l'invention comprend en outre un capteur numérique 130. Comme détaillé dans la suite, le capteur 130 peut recevoir directement le flux d'électrons émis par la photocathode 120. En variante, ce flux d'électrons émis par la photocathode 120 peut être converti en un flux de photons de sorte que le capteur 130 reçoit finalement un flux de photons. La figure 1 étant une simple illustration de principe, on a représenté le capteur 130 directement à la suite de la photocathode 120. Le capteur 130 peut être un capteur sensible aux photons ou sensible aux électrons, et d'autres éléments peuvent être intercalés entre la photocathode 120 et le capteur 130.
  • Le capteur est sensible aux électrons tels qu'émis par la photocathode, ou aux photons obtenus à partir de ces électrons.
  • De préférence, le capteur est sensible :
    • aux photons situés dans la bande 400-900 nm, voire 400-1100 nm, voire une bande spectrale allant de l'UV au proche infrarouge, par exemple 200-1100 nm ; ou
    • aux électrons provenant de photons situés dans cette bande. Le capteur est formé par une matrice d'éléments, dits pixels 131, sensibles aux photons ou aux électrons.
  • Chaque filtre élémentaire 111 est associé à au moins un pixel 131 du capteur. En d'autres termes, chaque filtre élémentaire 111 est aligné avec au moins un pixel 131 du capteur, de sorte qu'une majeure partie d'un flux d'électrons ou de photons, résultant des photons transmis par ce filtre élémentaire 111, atteigne cet au moins un pixel 131. De préférence, chaque filtre élémentaire 111 est associé à exactement un pixel 131 du capteur. De préférence, la surface d'un filtre élémentaire 111 correspond à la surface d'un pixel 131 du capteur ou à une surface correspondant à la juxtaposition d'un nombre entier de pixels 131 du capteur.
  • Puisque chaque filtre élémentaire 111 est associé à au moins un pixel 131 du capteur, on peut nommer « pixel panchromatique » un pixel du capteur associé à un filtre élémentaire panchromatique, et « pixel de couleur primaire » un pixel du capteur associé à un filtre élémentaire de couleur primaire. Les pixels panchromatiques détectent des électrons ou des photons associés à la bande spectrale transmise par les filtres panchromatiques. Chaque type de pixel de couleur primaire détecte des électrons ou des photons associés à la bande spectrale transmise par le type de filtre de couleur primaire correspondant.
  • Le capteur 130 est relié à des moyens de traitement 140, c'est-à-dire des moyens de calcul comprenant notamment un processeur ou un microprocesseur. Les moyens de traitement 140 reçoivent en entrée des signaux électriques fournis par le capteur 130, et correspondant, pour chaque pixel 131, au flux de photons reçu et détecté par ce pixel lorsque le capteur est sensible aux photons, ou au flux d'électrons reçu et détecté par ce pixel lorsque le capteur est sensible aux électrons. Les moyens de traitement 140 fournissent en sortie une image, correspondant aux flux initial de photons incident sur la matrice de filtres élémentaires, ce flux ayant été intensifié.
  • Les moyens de traitement 140 sont adaptés à attribuer, à chaque pixel du capteur, une information sur un type de filtre élémentaire associé à ce pixel. Pour cela, ils stockent des informations permettant de relier chaque pixel du capteur et un type de filtre élémentaire. Ces informations peuvent se présenter sous la forme d'une matrice de déconvolution. Ainsi, l'information spectrale qui est perdue lors du passage par la photocathode, est restituée par les moyens de traitement 140.
  • Les moyens de traitement 140 sont adaptés à mettre en oeuvre un traitement, tel qu'illustré en figure 2.
  • Selon le premier mode de réalisation tel que détaillé dans la suite, les moyens de traitement réalisent une image monochrome par interpolation de l'ensemble des pixels panchromatiques du capteur. On nomme cette image « image monochrome du capteur ». Ils mettent ensuite en oeuvre une segmentation du capteur en plusieurs zones, chaque zone étant homogène en termes de flux de photons ou d'électrons détecté par les pixels panchromatiques correspondants.
  • Une telle segmentation est par exemple décrite dans l'article de S. Tripathi et al. intitulé « Image Segmentation : a review » publié dans International Journal of Computer Science and Management Research, vol. 1, N° 4, nov. 2012, pp. 838-843.
  • Les moyens de traitement mettent ensuite en oeuvre les étapes suivantes.
  • Dans une première étape 280, on estime une grandeur F , représentative d'un flux surfacique moyen de photons ou d'électrons reçu et détecté par les pixels panchromatiques d'une zone du capteur, sensible respectivement aux photons ou aux électrons.
  • Cette grandeur est nommée « grandeur utile ». La grandeur utile peut être égale audit flux surfacique moyen de photons ou d'électrons. Si le capteur 130 est sensible aux photons, la grandeur utile peut être une luminance moyenne sur les pixels panchromatiques de la zone du capteur. Ainsi, la grandeur utile peut être un flux surfacique moyen de photons ou d'électrons détecté sur un ensemble de pixels dits panchromatiques du capteur.
  • On peut donc considérer que la grandeur utile fournit une mesure de l'éclairement sur ladite zone du capteur.
  • Des conditions de faible éclairement sont associées à une faible valeur de la grandeur utile (en valeur absolue). Des conditions de fort éclairement sont associées à une valeur élevée de la grandeur utile (en valeur absolue).
  • Des conditions de fort éclairement sont associées par exemple à un éclairement lumineux supérieur à un premier seuil compris entre 450 et 550 µLux. Des conditions de faible éclairement sont associées par exemple à un éclairement lumineux inférieur à un second seuil compris entre 400 et 550 µLux, le premier et le second seuil pouvant être égaux. Si le premier et le second seuil ne sont pas égaux, le premier seuil est strictement supérieur au second seuil.
  • Dans une deuxième étape 281, on compare la grandeur utile F et une valeur de seuil Fth. Si la grandeur utile F est supérieure à la valeur de seuil Fth, la zone du capteur se trouve dans des conditions de fort éclairement. Si la grandeur utile F est inférieure à la valeur de seuil Fth , la zone du capteur se trouve dans des conditions de faible éclairement.
  • Les étapes 280 et 281 forment ensemble une étape pour déterminer si la zone du capteur 130 est dans des conditions de faible ou de fort éclairement.
  • Un fort éclairement correspond par exemple à l'acquisition d'une image d'une scène de nuit, éclairée par la lune (niveau de nuit 1 à 3). Un faible éclairement correspond par exemple à l'acquisition d'une image d'une scène de nuit, non éclairée par la lune (niveau de nuit 4 à 5, soit un éclairement lumineux inférieur à 500 µLux).
  • Si la zone se trouve dans des conditions de fort éclairement, on forme une image couleur de cette zone en utilisant les pixels de couleur primaire de cette zone (étape 282A). On dit que le dispositif fonctionne en mode de fort éclairement.
  • En particulier, on forme une image de chaque couleur primaire, et on combine entre elles les images de chaque couleur primaire. On forme une image d'une couleur primaire, par interpolation des pixels de cette zone associés à ladite couleur primaire. L'interpolation permet de palier à la faible proportion de pixels du capteur d'une couleur primaire donnée. L'interpolation des pixels d'une couleur primaire consiste à utiliser les valeurs prises par ces pixels pour estimer les valeurs qui seraient prises par les pixels voisins si ceux-ci étaient également des pixels de cette couleur primaire.
  • Les images de couleur primaire peuvent faire l'objet d'un traitement optionnel pour améliorer leur netteté (image sharpening). Par exemple, on peut obtenir une image monochrome de la zone en interpolant les pixels panchromatiques de cette zone, et combiner cette image monochrome, le cas échéant après filtrage passe-haut, avec chaque image de couleur primaire de la même zone. La proportion de pixels panchromatiques dans la matrice étant plus élevée que celle des pixels de couleur primaire, la résolution des images de couleur primaire s'en trouve ainsi améliorée.
  • Si la zone se trouve dans des conditions de faible éclairement, on forme une image monochrome de ladite zone à partir des pixels panchromatiques de cette zone. En particulier, on forme une image monochrome en utilisant les pixels panchromatiques de cette zone (étape 282B), et sans utiliser les pixels de couleur primaire de cette zone. Là encore, l'image monochrome peut être obtenue par interpolation des pixels panchromatiques de cette zone. On dit que le dispositif fonctionne en mode de faible éclairement.
  • Il est important de noter que la distinction entre faible éclairement et fort éclairement repose sur une mesure obtenue à partir des pixels panchromatiques du capteur, donc pour la totalité du spectre détecté par un tel capteur c'est-à-dire pour au moins la totalité du spectre visible.
  • On réalise ces étapes pour chaque zone du capteur précédemment identifiée.
  • Ensuite, les images couleur ou monochrome des différentes zones du capteur sont combinées pour obtenir une image de la totalité du capteur. L'image de la totalité du capteur peut être affichée, ou stockée dans une mémoire pour un traitement ultérieur.
  • En variante, on forme une image couleur de chaque zone de fort éclairement, puis, dans l'image monochrome du capteur utilisée pour la segmentation, on remplace les zones correspondant à ces zones de fort éclairement par les images couleur de ces zones.
  • Selon une autre variante, on effectue une combinaison linéaire de l'image monochrome du capteur et de ces images couleur. Ainsi, dans les régions à fort éclairement, on superpose l'image couleur et l'image monochrome.
  • Dans l'exemple qui vient d'être décrit, on traite séparément des zones du capteur. En variante, on détermine si la totalité du capteur est dans des conditions de faible ou de fort éclairement, et on traite de la même façon la totalité du capteur. Dans ce cas, il n'y a pas de segmentation de l'image monochrome du capteur, ni de combinaison des images obtenues. On met en oeuvre les étapes 280, 281 et 282A ou 282B sur la totalité de la surface du capteur. En d'autres termes, la zone du capteur telle que mentionnée précédemment correspond à la totalité du capteur.
  • Ainsi, les moyens de traitement 140 reçoivent en entrée des signaux provenant du capteur, stockent des informations permettant d'associer chaque pixel du capteur avec un type de filtre élémentaire, et fournissent en sortie une image couleur, ou une image monochrome ou une combinaison d'une image couleur et une image monochrome.
  • L'invention offre ainsi un dispositif d'acquisition d'images permettant d'acquérir une image couleur d'une zone du capteur, lorsque l'éclairement de la scène détectée sur cette zone le permet. Lorsque cet éclairement devient insuffisant, le dispositif fournit une image de la zone obtenue à partir des filtres élémentaires panchromatiques, donc avec une perte énergétique minimale. Le dispositif sélectionne automatiquement l'un ou l'autre mode de fonctionnement.
  • On remarque qu'aucune deuxième matrice de filtres élémentaires n'est présente sur le capteur 130, puisqu'il suffit de prendre en compte, lors du traitement, le fait que tel ou tel pixel du capteur est associé à tel ou tel filtre élémentaire situé en amont de la photocathode. On réalise ainsi un dispositif d'acquisition d'images présentant une grande efficacité énergétique.
  • Selon une première variante de ce premier mode de réalisation, le basculement d'un mode à l'autre opère avec hystérésis de manière à éviter tout bruit de commutation (chattering). Pour ce faire, un premier seuil pour la grandeur utile est prévu pour la transition du mode fort éclairement vers le mode faible éclairement et un second seuil pour la grandeur utile est prévu pour la transition inverse, le premier seuil étant choisi inférieur au second seuil.
  • Selon une seconde variante du premier mode de réalisation, le basculement d'un mode à l'autre se fait progressivement en passant par une phase de transition. Ainsi, le dispositif d'acquisition d'images fonctionne en mode faible éclairement lorsque la grandeur utile est inférieure à un premier seuil et en mode fort éclairement lorsqu'elle est supérieure à un second seuil, le second seuil étant choisi supérieur au premier seuil. Lorsque la grandeur utile est comprise entre les premier et second seuils, le dispositif d'acquisition d'images effectue une combinaison linéaire de l'image obtenue par le traitement en mode fort éclairement et de celle obtenue par le traitement en mode faible éclairement, les coefficients de pondération étant donnés par les écarts de la grandeur utile avec les premier et second seuils respectivement.
  • Idéalement, chaque filtre élémentaire 111 est aligné avec au moins un pixel 131 du capteur, de sorte que chaque pixel du capteur associé à un filtre élémentaire ne reçoit que des photons ou électrons correspondant à ce filtre élémentaire. Il peut cependant se produire un étalement spatial à la traversée du dispositif selon l'invention, notamment un étalement spatial du flux d'électrons émis par la photocathode. On peut parer à cet inconvénient par une étape initiale de calibration permettant de compenser ensuite les défauts d'alignement entre un filtre élémentaire et un pixel du capteur. Cette calibration vise à compenser la dégradation légère due à la fonction de transfert des éléments optiques du dispositif selon l'invention (photocathode et le cas échéant moyens de multiplication et écran phosphore). Au cours de cette calibration, on éclaire la matrice de filtres élémentaires tour à tour avec différents faisceaux lumineux monochromatiques (correspondant chacun à l'une des couleurs primaires des filtres de couleur primaire), et on mesure le signal reçu par le capteur 130. On en déduit une matrice de déconvolution, qui est stockée par les moyens de traitement 140. En fonctionnement, les moyens de traitement 140 multiplient les signaux transmis par le capteur par cette matrice de déconvolution. Ainsi, après multiplication par la matrice de déconvolution, on a reconstruit les signaux tels qu'ils seraient transmis par le capteur dans des conditions idéales, sans étalement spatial. Chaque filtre de couleur primaire (et le cas échéant chaque filtre infra-rouge, voir plus loin) est de préférence entièrement entouré par des filtres panchromatiques. Ainsi, en cas d'étalement spatial du flux d'électrons émis par la photocathode, la calibration est simplifiée.
  • En variante ou en complément, on calibre la forme géométrique des filtres composant la matrice de filtres élémentaires de façon à compenser l'effet dudit étalement spatial. Après déformation par les éléments optiques du dispositif selon l'invention (photocathode et le cas échéant moyens de multiplication et écran phosphore), l'image d'un filtre élémentaire se superpose alors parfaitement sur un ou plusieurs pixels du capteur.
  • Des interstices entre des filtres élémentaires voisins sont avantageusement opaques, afin de bloquer tout rayonnement susceptible sinon d'atteindre la photocathode sans avoir traversé un filtre élémentaire.
  • Les figures 3A et 3B illustrent de manière schématique deux variantes d'un premier mode de réalisation d'une matrice 110 de filtres élémentaires selon l'invention.
  • Sur la figure 3A, les filtres élémentaires de couleur primaire sont des filtres rouges (R), verts (G) ou bleus (B). La matrice présente 75% de filtres panchromatiques (W).
  • La matrice 110 est générée par une répétition périodique bidimensionnelle du motif de base 4x4 : R W G W W W W W G W B W W W W W
    Figure imgb0003
  • Des variantes de cette matrice peuvent être obtenues par permutation des filtres R, G, B dans le motif (1). Les pixels verts sont deux fois plus nombreux que les pixels rouges, respectivement bleus. Ce déséquilibre peut être corrigé par des coefficients de pondération adaptés lors de la combinaison de trois images de couleur primaire pour former une image couleur.
  • La matrice de la figure 3B correspond à la matrice de la figure 3A, dans laquelle les filtres élémentaires de couleur primaire R, G, B sont remplacés respectivement par des filtres élémentaires de couleur primaire jaunes (Ye), magentas (Ma), cyans (Cy). Là-encore, les filtres Ye, Ma, Cy peuvent être permutés.
  • Selon une variante non représentée de la matrice représentée en figure 3A, les filtres panchromatiques représentant 50% des filtres élémentaires, et le motif élémentaire est le suivant : W R W G R W X W W G W B Y W B W
    Figure imgb0004
     avec X=R, G ou B, Y=R, G ou B, et Y≠X.
  • Là-encore, les filtres R, G, B peuvent être permutés.
  • En variante, les filtres R, G, B du motif (2) sont remplacés par des filtres Ye, Ma, Cy.
  • La figure 4 illustre de manière schématique un premier mode de réalisation d'un dispositif 400 selon l'invention. La figure 4 ne sera décrite que pour ses différences relativement à la figure 1. Le recours à une étape de calibration telle que détaillée ci-avant, est particulièrement avantageux dans ce mode de réalisation.
  • Le dispositif 400 est basé sur la technologie dite CMOS intensifié ou CCD intensifié (ICMOS ou ICCD, pour l'anglais « Intensified CMOS » ou « Intensified CCD »).
  • La photocathode 420 est disposée à l'intérieur d'un tube à vide 450, du type du tube à vide d'un tube intensificateur d'image selon l'art antérieur et tel que décrit en introduction. Un tube à vide désigne une chambre à vide présentant plus particulièrement une forme de tube.
  • Le tube à vide 450 présente une fenêtre d'entrée 451, transparente en particulier dans le visible, et le cas échéant dans le proche infrarouge voire même l'infrarouge. La fenêtre d'entrée permet de laisser entrer, à l'intérieur du tube à vide, le flux de photons incident sur la photocathode. La fenêtre d'entrée est notamment en verre. La fenêtre d'entrée est de préférence une simple plaque. La matrice de filtres élémentaires 410 est collée sur une face de la fenêtre d'entrée 451, de préférence du côté intérieur du tube à vide. La photocathode est plaquée contre la matrice de filtres élémentaires 410. Une couche métallique (non représentée) peut être déposée sur la fenêtre d'entrée, autour de la matrice de filtres élémentaires 410, afin de former un point de contact électrique pour l'application d'un champ électrostatique.
  • En aval de la photocathode 420 se trouvent des moyens de multiplication 461 et un écran phosphore 462 tels que décrits en introduction.
  • L'écran phosphore émet un flux de photons, dit flux utile, qui est reçu par le capteur 430. Le capteur 430 est photosensible. Il s'agit en particulier d'un capteur CCD (Charge-Coupled Device), ou un capteur CMOS (Complementary Metal Oxide Semiconductor). Sur la figure 4, le capteur 430 est représenté à l'intérieur du tube à vide, le tube étant traversé par des connexions électriques entre le capteur 430 et les moyens de traitement 440.
  • Les moyens de traitement 440 fonctionnement comme décrit en référence à la figure 2, la grandeur utile étant représentative du flux surfacique de photons détecté par les pixels panchromatiques du capteur 430.
  • Le capteur 430 peut être au contact direct de l'écran phosphore, pour limiter un éventuel étalement spatial du faisceau de photons émis par l'écran phosphore. Dans ce cas, le capteur 430 peut être à l'intérieur du tube à vide, ou à l'extérieur et contre une face de sortie du tube à vide, formée par l'écran phosphore.
  • Le capteur 430 peut être déporté à l'extérieur du tube à vide 450.
  • En particulier, un faisceau de fibres optiques peut relier l'écran phosphore et les pixels du capteur 430, le faisceau de fibres optiques formant une fenêtre de sortie du tube à vide. Un tel faisceau de fibres optiques est particulièrement adapté dans le cas où la surface du capteur 430 est inférieure au diamètre intérieur du tube à vide. Dans ce cas, chaque fibre présente un diamètre du côté de l'écran phosphore supérieur à son diamètre du côté du capteur. Le faisceau de fibres optiques est dit d'amincissement, et réalise une réduction de l'image fournie par l'écran phosphore.
  • Les figures 5A et 5B illustrent de manière schématique deux variantes d'un deuxième mode de réalisation d'un dispositif 500 selon l'invention.
  • La figure 5A ne sera décrite que pour ses différences relativement à la figure 1.
  • Le dispositif 500 est basé sur la technologie dite CMOS électro-bombardé, ou EBCMOS pour l'anglais « Electron Bombarded CMOS ».
  • La photocathode 520 est disposée à l'intérieur d'un tube à vide 550.
  • Le tube à vide 550 présente une fenêtre d'entrée 551, transparente en particulier dans le visible, et le cas échéant dans le proche infrarouge voire même l'infrarouge.
  • La matrice de filtres élémentaires 510 est collée sur une face de la fenêtre d'entrée 551, de préférence du côté intérieur du tube à vide.
  • Le capteur 530 est disposé à l'intérieur du tube à vide 550, et reçoit directement le flux d'électrons émis par la photocathode.
  • La photocathode 520 et le capteur 530 se trouvent à quelques millimètres l'un de l'autre, et soumis à une différence de potentiel pour créer un champ électrostatique dans l'interstice les séparant. Ce champ électrostatique permet d'accélérer les électrons émis par la photocathode 520, en direction du capteur 530.
  • Le capteur 530 est sensible aux électrons. Il s'agit typiquement d'un capteur CMOS, adapté pour le rendre sensible aux électrons.
  • Selon une première variante, le capteur sensible aux électrons est illuminé en face arrière (« back side illuminated »). Pour cela, on peut utiliser un capteur CMOS dont le substrat est aminci et passivé (en anglais, « back-thinned »). Le capteur peut comprendre une couche de passivation, formant une couche externe du côté de la photocathode. La couche de passivation est déposée sur le substrat aminci. Le substrat reçoit des diodes de détection, associées chacune à un pixel du capteur.
  • Selon une deuxième variante, le capteur sensible aux électrons est illuminé en face avant. Pour cela, on peut utiliser un capteur CMOS dont la face avant est traitée de manière à enlever les couches de protection recouvrant les diodes. La face avant d'un capteur CMOS standard est ainsi rendue sensible aux électrons. Les moyens de traitement 540 fonctionnent comme décrit en référence à la figure 2, la grandeur utile étant représentative du flux surfacique d'électrons détecté par les pixels panchromatiques du capteur 530.
  • La figure 5B illustre une variante du dispositif 500 de la figure 5A, dans laquelle le tube à vide 550 est fermé par un faisceau 552 de fibres optiques recevant la matrice de filtres élémentaires.
  • Selon cette variante, le faisceau 552 de fibres optiques est traversé par des photons provenant de la scène à imager. Une première extrémité du faisceau 552 de fibres optiques ferme le tube à vide. Une deuxième extrémité du faisceau 552 de fibres optiques se trouve en face de la scène à imager. Le tube à vide 550 ne présente plus la fenêtre d'entrée 551, celle-ci étant remplacée par le faisceau de fibres optiques qui permet de déporter le tube à vide de la scène à imager.
  • Chaque filtre élémentaire de la matrice 510 est associé à une fibre optique du faisceau 552. En particulier, chaque filtre élémentaire est directement accolé sur une extrémité de fibre optique, avantageusement du côté opposé au tube à vide. Dans ce cas, la matrice de filtres élémentaires 510 se trouve à l'extérieur du tube à vide, ce qui simplifie son montage.
  • En variante, chaque filtre élémentaire est directement accolé sur une extrémité de fibre optique, du côté du tube à vide. On peut réaliser de la même façon une variante du dispositif décrit en référence à la figure 4.
  • La figure 6 illustre de manière schématique un deuxième mode de réalisation d'une matrice de filtres élémentaires selon l'invention. La matrice de filtres élémentaires de la figure 6 diffère des matrices précédemment décrites, en ce qu'elle comprend des filtres infrarouges (IR), ne transmettant pas la partie visible du spectre et laissant passer le proche infrarouge. Les filtres infrarouges laissent passer les longueurs d'onde dans le proche infrarouge, voire également dans l'infrarouge (longueurs d'onde supérieures à 700 nm). Les filtres infrarouges transmettent notamment la bande spectrale comprise entre 700 et 900 nm, voire entre 700 et 1100 nm, et même entre 700 et 1700 nm.
  • La matrice de filtre de la figure 6 diffère de la matrice de la figure 3A en ce que dans le motif élémentaire, l'un des deux pixels verts (G) est remplacé par un pixel infrarouge (IR).
  • On peut former de la même façon différentes variantes de la matrice de la figure 6, à partir par exemple de la matrice de la figure 3B et en remplaçant par un pixel infrarouge l'un des deux pixels magenta du motif élémentaire.
  • Selon d'autres variantes, on reprend le motif élémentaire (2) tel que défini ci-avant, en définissant X=Y=IR.
  • La figure 7 illustre de manière schématique un traitement mis en oeuvre par les moyens de traitement selon l'invention, lorsque la matrice de filtres élémentaires comprend des pixels infrarouges.
  • Les étapes 780, 781 et 782B correspondent respectivement aux étapes 280, 281 et 282B telles que décrites en référence à la figure 2.
  • Lorsqu'une zone du capteur se trouve dans des conditions de faible éclairement, les moyens de traitement mesurent une grandeur, dite grandeur secondaire, représentative du flux surfacique moyen de photons ou d'électrons FIR détecté par les pixels infrarouges de cette zone (étape 783). En particulier, ce flux surfacique moyen est un flux surfacique moyen de photons si le capteur est photosensible, ou un flux surfacique moyen d'électrons si le capteur est sensible aux électrons.
  • Les moyens de traitement effectuent ensuite une comparaison entre cette grandeur secondaire, et un seuil infrarouge FIR th (étape 784).
  • Si la grandeur secondaire FIR est inférieure au seuil infrarouge FIR th, on construit une image couleur de la zone, comme décrit en référence à la figure 2 à propos de l'étape 282A (étape 782A).
  • Si la grandeur secondaire FIR est supérieure au seuil infrarouge FIR th, on construit une image en fausse couleur de la zone, c'est-à-dire une image dans laquelle on attribue une couleur donnée aux pixels infrarouges de cette zone. L'image en fausse couleur peut être construite par interpolation des pixels infrarouges de la zone considérée. L'image en fausse couleur est donc une image monochrome, d'une couleur différente de l'image monochrome associée aux pixels panchromatiques. Ensuite, on superpose cette image en fausse couleur à l'image monochrome obtenue à l'aide des pixels panchromatiques de la même zone du capteur.
  • Ces étapes de construction d'une image en fausse couleur et superposition avec l'image monochrome forment ensemble une étape 782C.
  • Ainsi, pour une zone située dans des conditions de faible éclairement, on obtient soit une image monochrome, soit la superposition d'images telle que définie ci-dessus.
  • En résumé, lorsqu'une zone est dans des conditions de faible éclairement, on teste si les pixels infrarouges appartenant à cette zone ont une intensité supérieure à un seuil infrarouge prédéterminé et, dans l'affirmative, on superpose à l'image monochrome de cette zone les pixels infrarouges représentés en fausse couleur. Ce mode de réalisation est particulièrement avantageux pour des applications de détection laser.
  • Selon une première variante, on ne calcule pas une grandeur secondaire unique pour une même zone, mais on calcule séparément une grandeur secondaire par pixel infrarouge de la zone. Seuls les pixels infrarouges, pour lesquels la grandeur secondaire correspondante est supérieure au seuil infrarouge, sont superposés à l'image monochrome obtenue à partir des pixels panchromatiques. Ainsi, si une zone du capteur présente une forte intensité dans le domaine infrarouge, celle-ci sera aisément identifiable dans l'image résultante.
  • Selon une autre variante, on identifie des sous-zones de ladite zone du capteur, détectant un flux surfacique moyen de pixels ou d'électrons homogène dans le spectre infrarouge, et on traite ensuite séparément chaque sous-zone comme détaillé ci-dessus. En d'autres termes, la comparaison avec le seuil infrarouge se fait par sous-zones homogènes du capteur. Pour chaque sous-zone du capteur pour laquelle la grandeur secondaire est supérieure au seuil infrarouge, on obtient une image en fausse couleur par interpolation des pixels infrarouge de ladite sous-zone. Ces images en fausses couleurs sont ensuite superposées aux emplacements correspondants sur l'image monochrome de la zone du capteur. Pour identifier de telles sous-zones, une segmentation est réalisée sur la base d'une image réalisée par interpolation des pixels infrarouges. En résumé, lorsqu'une zone est dans des conditions de faible éclairement, on identifie des sous-zones de cette zone, présentant une intensité homogène dans le spectre infrarouge, et l'on détermine, pour chaque sous-zone ainsi identifiée, si la moyenne de l'intensité infrarouge dans cette sous-zone est supérieure à un seuil infrarouge prédéterminé et, dans l'affirmative, on représente cette sous-zone par une image en fausse couleur sur la base des pixels infrarouges de cette sous-zone, l'image en fausse couleur de ladite sous-zone étant alors représentée en superposition avec l'image monochrome de la zone à laquelle elle appartient.
  • Les pixels infrarouges du capteur peuvent également être utilisés pour améliorer un rapport signal sur bruit sur une image couleur finale. Pour cela, lorsqu'une zone du capteur se trouve dans des conditions de fort éclairement, on réalise une image infrarouge de cette zone, par interpolation des pixels infrarouges du capteur. On soustrait ensuite cette image infrarouge à l'image couleur de cette zone, obtenue comme détaillé en référence à la figure 2. La soustraction de l'image infrarouge permet d'améliorer le rapport signal sur bruit. Pour éviter des problèmes de saturation, on peut soustraire une image infrarouge pondérée, à chacune des images de couleur primaire. Les coefficients de pondération attribués à l'image infrarouge peuvent être identiques ou non, pour chaque image de couleur primaire. On obtient des images de couleur primaire débruitées, que l'on combine pour former une image couleur débruitée. Ainsi, les moyens de traitement sont adaptés à mettre en oeuvre les étapes suivantes :
    • calculer la grandeur utile, pour déterminer si au moins une zone du capteur est dans des conditions de faible ou de fort éclairement ;
    • uniquement si ladite zone est dans des conditions de fort éclairement, former une image couleur de ladite zone à partir des pixels de cette zone associés à des filtres de couleur primaire, et en retrancher une image infrarouge de ladite zone obtenue à partir des pixels infrarouges de cette zone (par exemple par interpolation desdits pixels infrarouges).

Claims (16)

  1. Dispositif d'acquisition d'images (100 ; 400 ; 500) comprenant :
    - une photocathode (120 ; 420 ; 520), adaptée à convertir un flux incident de photons en un flux d'électrons ;
    - un capteur (130 ; 430 ; 530) constitué d'une matrice d'éléments, dits pixels ; et
    - des moyens de traitement (140 ; 440 ; 540) ;
    - une matrice (110 ; 410 ; 510) de filtres élémentaires, chacun associé à au moins un pixel du capteur, ladite matrice étant disposée en amont de la photocathode, de sorte qu'un flux initial de photons traverse ladite matrice avant d'atteindre la photocathode ;
    - la matrice comprenant des filtres de couleur primaire (R, G, B ; Ye, Ma, Cy), un filtre de couleur primaire ne transmettant pas une partie du spectre visible complémentaire de ladite couleur primaire, et des filtres transmettant l'intégralité du spectre visible, dits filtres panchromatiques (W); et caractérisé en ce que :
    - les moyens de traitement (140 ; 440 ; 540) sont adaptés à :
    - calculer une grandeur, dite grandeur utile ( F ), pour déterminer si au moins une zone du capteur est dans des conditions de faible ou de fort éclairement, la grandeur utile étant représentative d'un flux surfacique moyen de photons ou d'électrons détecté sur un ensemble de pixels dits panchromatiques du capteur, chaque pixel panchromatique étant associé à un filtre panchromatique (W) ;
    - uniquement si ladite zone est dans des conditions de fort éclairement, former une image couleur de ladite zone à partir des pixels de cette zone associés à des filtres de couleur primaire.
  2. Dispositif (400 ; 500) selon la revendication 1, caractérisé en ce que la photocathode (420 ; 520) est disposée à l'intérieur d'une chambre à vide (450 ; 550), et en ce que la matrice de filtres élémentaires (410 ; 510) est située sur une fenêtre d'entrée (451, 551) de ladite chambre à vide.
  3. Dispositif (500) selon la revendication 1, caractérisé en ce que la photocathode (520) est disposée à l'intérieur d'une chambre à vide (550) fermée par un faisceau de fibres optiques (552), et en ce que chaque filtre élémentaire de la matrice de filtres élémentaires (510) est déposé sur une extrémité d'une fibre optique dudit faisceau (552).
  4. Dispositif (400) selon l'une quelconque des revendications 1 à 3, caractérisé en ce que le capteur (430) est un capteur photosensible, en ce que les moyens de traitement (440) sont adaptés à calculer une grandeur représentative d'un flux surfacique moyen de photons, et en ce que le dispositif comprend en outre :
    - des moyens de multiplication (461), adaptés à recevoir le flux d'électrons émis par la photocathode, et à fournir en réponse un flux secondaire d'électrons ; et
    - un écran phosphore (462), adapté à recevoir le flux secondaire d'électrons et à fournir en réponse un flux de photons, dit flux utile de photons, le capteur (430) étant agencé pour recevoir ledit flux utile de photons.
  5. Dispositif (500) selon l'une quelconque des revendications 1 à 3, caractérisé en ce que le capteur (530) est un capteur sensible aux électrons, adapté à recevoir le flux d'électrons émis par la photocathode, et en ce que les moyens de traitement (540) sont adaptés à calculer une grandeur représentative d'un flux surfacique moyen d'électrons.
  6. Dispositif (100 ; 400 ; 500) selon l'une quelconque des revendications 1 à 5, caractérisé en ce que les filtres panchromatiques représentent 75% des filtres élémentaires.
  7. Dispositif (100 ; 400 ; 500) selon la revendication 6, caractérisé en ce que la matrice de filtres élémentaires (110 ; 410 ; 510) est générée par la répétition périodique bidimensionnelle du motif suivant : M = R W G W W W W W G W B W W W W W
    Figure imgb0005
     où R, G, B représentent respectivement des filtres de couleur primaire rouge, vert, bleu, et W représente un filtre panchromatique, le motif étant défini à une permutation près de R, G, B.
  8. Dispositif (100 ; 400 ; 500) selon la revendication 6, caractérisé en ce que la matrice de filtres élémentaires (110 ; 410 ; 510) est générée par la répétition périodique bidimensionnelle du motif suivant : M = Ye W Ma W W W W W Ma W Cy W W W W W
    Figure imgb0006
     où Ye, Ma, Cy représentent respectivement des filtres de couleur primaire jaune, magenta et cyan, et W représente un filtre panchromatique, le motif étant défini à une permutation près de Ye, Ma, Cy.
  9. Dispositif d'acquisition d'images (100 ; 400 ; 500) selon l'une des revendications 1 à 8, caractérisé en ce que les moyens de traitement sont adaptés à :
    - déterminer que ladite zone est à faible éclairement, si la grandeur utile ( F ) est inférieure à un premier seuil ; et
    - déterminer que ladite zone est à fort éclairement, si la grandeur utile ( F ) est supérieure à un second seuil, le second seuil étant supérieur au premier seuil.
  10. Dispositif d'acquisition d'images (100 ; 400 ; 500) selon la revendication 9, caractérisé en ce que, si la grandeur utile ( F ) est comprise entre les premier et second seuils, les moyens de traitement sont adaptés à combiner une image monochrome et l'image couleur de ladite zone, l'image monochrome de ladite zone étant obtenue à partir des pixels panchromatiques de cette zone.
  11. Dispositif d'acquisition d'images (100 ; 400 ; 500) selon l'une des revendications 1 à 10, caractérisé en ce que les moyens de traitement sont adaptés à :
    - former une image monochrome à partir de l'ensemble des pixels panchromatiques du capteur;
    - segmenter cette image monochrome en régions homogènes ; et
    - pour chaque zone du capteur associée à une région homogène, calculer indépendamment la grandeur utile correspondante pour déterminer si ladite zone est dans des conditions de faible ou de fort éclairement.
  12. Dispositif d'acquisition d'images (100 ; 400 ; 500) selon l'une des revendications 1 à 11, caractérisé en ce que la matrice de filtres élémentaires (110 ; 410 ; 510) comprend en outre des filtres infrarouges (IR) ne transmettant pas la partie visible du spectre, à chaque filtre infrarouge étant associé au moins un pixel du capteur dit pixel infrarouge.
  13. Dispositif d'acquisition d'images (100 ; 400 ; 500) selon la revendication 12, caractérisé en ce que, lorsqu'une zone est dans des conditions de faible éclairement, les moyens de traitement sont adaptés à :
    - comparer un seuil infrarouge prédéterminé (FIR th ) et une grandeur, dite grandeur secondaire ( FIR ), représentative d'un flux surfacique moyen de photons ou d'électrons détecté par les pixels infrarouges de cette zone ;
    - lorsque ladite grandeur secondaire est supérieure au seuil infrarouge prédéterminé, superposer une image monochrome obtenue à partir des pixels panchromatiques de cette zone et une image en fausse couleur obtenue à partir des pixels infrarouges de cette zone.
  14. Dispositif d'acquisition d'images (100 ; 400 ; 500) selon la revendication 12, caractérisé en ce que, lorsqu'une zone est dans des conditions de faible éclairement, les moyens de traitement sont adaptés à :
    - à partir des pixels infrarouges de cette zone, identifier des sous-zones de cette zone, détectant un flux surfacique moyen de photons ou d'électrons homogène dans le spectre infrarouge ;
    - pour chaque sous-zone ainsi identifiée, comparer un seuil infrarouge prédéterminé (FIR th ) et une grandeur, dite grandeur secondaire ( FIR ), représentative d'un flux surfacique moyen de photons ou d'électrons détecté par les pixels infrarouges de cette sous-zone ;
    - lorsque ladite grandeur secondaire est supérieure au seuil infrarouge prédéterminé, superposer une image monochrome obtenue à partir des pixels panchromatiques de cette sous-zone et une image en fausse couleur obtenue à partir des pixels infrarouges de cette sous-zone.
  15. Dispositif d'acquisition d'images (100 ; 400 ; 500) selon l'une quelconque des revendications précédentes, caractérisé en ce que la matrice (110 ; 410 ; 510) de filtres élémentaires consiste en une image projetée par un système optique de projection.
  16. Procédé de formation d'une image, mis en oeuvre dans un dispositif (100 ; 400 ; 500) comprenant une photocathode (120 ; 420 ; 520) adaptée à convertir un flux incident de photons en un flux d'électrons, et un capteur (130 ; 430 ; 530) constitué d'une matrice d'éléments, dits pixels, comprenant les étapes suivantes :
    - filtrage d'un flux initial de photons, pour fournir ledit flux incident de photons, ce filtrage mettant en oeuvre une matrice de filtres élémentaires (110; 410; 510) comprenant des filtres de couleur primaire (R, G, B; Ye, Ma, Cy), un filtre de couleur primaire ne transmettant pas une partie du spectre visible complémentaire de ladite couleur primaire, et des filtres transmettant l'intégralité du spectre visible, dits filtres panchromatiques (W); caractérisé en ce qu'il comprend les étapes suivantes:
    - calcul d'une grandeur, dite grandeur utile ( F ), pour déterminer si au moins une zone du capteur est dans des conditions de faible ou de fort éclairement, la grandeur utile étant représentative d'un flux surfacique moyen de photons ou d'électrons détecté sur un ensemble de pixels dits panchromatiques du capteur, chaque pixel panchromatique étant associé à un filtre panchromatique (W) ;
    - uniquement si ladite zone est dans des conditions de fort éclairement, formation d'une image couleur de ladite zone à partir des pixels de cette zone associés à des filtres de couleur primaire (R, G, B ; Ye, Ma, Cy).
EP15766546.4A 2014-09-22 2015-09-22 Dispositif d'acquisition d'images bimode a photocathode Active EP3198625B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1458903A FR3026223B1 (fr) 2014-09-22 2014-09-22 Dispositif d'acquisition d'images bimode a photocathode.
PCT/EP2015/071789 WO2016046235A1 (fr) 2014-09-22 2015-09-22 Dispositif d'acquisition d'images bimode a photocathode

Publications (2)

Publication Number Publication Date
EP3198625A1 EP3198625A1 (fr) 2017-08-02
EP3198625B1 true EP3198625B1 (fr) 2018-12-12

Family

ID=52474002

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15766546.4A Active EP3198625B1 (fr) 2014-09-22 2015-09-22 Dispositif d'acquisition d'images bimode a photocathode

Country Status (9)

Country Link
US (1) US9972471B2 (fr)
EP (1) EP3198625B1 (fr)
JP (1) JP6564025B2 (fr)
CN (1) CN106716592B (fr)
CA (1) CA2961118C (fr)
FR (1) FR3026223B1 (fr)
IL (1) IL251222B (fr)
SG (1) SG11201702126UA (fr)
WO (1) WO2016046235A1 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3045263B1 (fr) * 2015-12-11 2017-12-08 Thales Sa Systeme et procede d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique
JP2017112401A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像素子、画像処理装置および方法、並びにプログラム
US10197441B1 (en) * 2018-01-30 2019-02-05 Applied Materials Israel Ltd. Light detector and a method for detecting light
US11268849B2 (en) 2019-04-22 2022-03-08 Applied Materials Israel Ltd. Sensing unit having photon to electron converter and a method

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03112041A (ja) * 1989-09-27 1991-05-13 Hamamatsu Photonics Kk カラーイメージ管
US5233183A (en) * 1991-07-26 1993-08-03 Itt Corporation Color image intensifier device and method for producing same
GB2273812B (en) * 1992-12-24 1997-01-08 Motorola Inc Image enhancement device
WO1995006388A1 (fr) * 1993-08-20 1995-03-02 Intevac, Inc. Camera de tv en circuit ferme a intensificateur d'image a longue duree de vie et protection contre les surexpositions
IL114181A (en) * 1995-06-15 1999-07-14 Orlil Ltd Color image intensifier device and a method for producing the same
AU709025B2 (en) * 1995-10-31 1999-08-19 Benjamin T Gravely Imaging system
KR100214885B1 (ko) * 1996-02-29 1999-08-02 윤덕용 발광소자 및 전자 증배기를 이용한 평판 표시기
US5914749A (en) * 1998-03-31 1999-06-22 Intel Corporation Magenta-white-yellow (MWY) color system for digital image sensor applications
US6456793B1 (en) * 2000-08-03 2002-09-24 Eastman Kodak Company Method and apparatus for a color scannerless range imaging system
US20030147002A1 (en) * 2002-02-06 2003-08-07 Eastman Kodak Company Method and apparatus for a color sequential scannerless range imaging system
US6861638B2 (en) * 2002-08-20 2005-03-01 Northrop Grumman Corporation Method and system for generating an image having multiple hues
JP4311988B2 (ja) * 2003-06-12 2009-08-12 アキュートロジック株式会社 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置
US7123298B2 (en) * 2003-12-18 2006-10-17 Avago Technologies Sensor Ip Pte. Ltd. Color image sensor with imaging elements imaging on respective regions of sensor elements
JP4678172B2 (ja) * 2004-11-22 2011-04-27 株式会社豊田中央研究所 撮像装置
WO2006138599A2 (fr) * 2005-06-17 2006-12-28 Infocus Corporation Synchronisation d'un element de production d'image et d'un modulateur de couleur claire
CN1971927B (zh) * 2005-07-21 2012-07-18 索尼株式会社 物理信息获取方法、物理信息获取装置和半导体器件
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US7688368B2 (en) * 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
KR20070115243A (ko) * 2006-06-01 2007-12-05 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법
US8118226B2 (en) * 2009-02-11 2012-02-21 Datalogic Scanning, Inc. High-resolution optical code imaging using a color imager
CN202696807U (zh) * 2012-07-20 2013-01-23 合肥汉翔电子科技有限公司 一种微滤镜彩色微光成像机构
JP5981820B2 (ja) * 2012-09-25 2016-08-31 浜松ホトニクス株式会社 マイクロチャンネルプレート、マイクロチャンネルプレートの製造方法、及びイメージインテンシファイア
FR3004882B1 (fr) * 2013-04-17 2015-05-15 Photonis France Dispositif d'acquisition d'images bimode
US9503623B2 (en) * 2014-06-03 2016-11-22 Applied Minds, Llc Color night vision cameras, systems, and methods thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None *

Also Published As

Publication number Publication date
FR3026223A1 (fr) 2016-03-25
FR3026223B1 (fr) 2016-12-23
WO2016046235A1 (fr) 2016-03-31
CN106716592A (zh) 2017-05-24
US9972471B2 (en) 2018-05-15
US20170287667A1 (en) 2017-10-05
JP6564025B2 (ja) 2019-08-21
IL251222B (en) 2020-11-30
CA2961118A1 (fr) 2016-03-31
CA2961118C (fr) 2023-03-21
SG11201702126UA (en) 2017-04-27
CN106716592B (zh) 2019-03-05
IL251222A0 (en) 2017-05-29
JP2017533544A (ja) 2017-11-09
EP3198625A1 (fr) 2017-08-02

Similar Documents

Publication Publication Date Title
CA2909554C (fr) Dispositif d'acquisition d'images bimode
EP3198625B1 (fr) Dispositif d'acquisition d'images bimode a photocathode
US9666620B2 (en) Stacked filter and image sensor containing the same
US10559615B2 (en) Methods for high-dynamic-range color imaging
JP2011199798A (ja) 物理情報取得装置、固体撮像装置、物理情報取得方法
EP3387824B1 (fr) Système et procédé d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique
FR3036800A1 (fr) Procede d’observation d’un echantillon
CN106461829A (zh) 光滤波器、固态成像装置和电子设备
EP2257778A1 (fr) Dispositif et procédé de mesure spatio-colorimétrique d'un objet tridimensionnel
EP3155660B1 (fr) Capteur matriciel bispectral et son procédé de fabrication
FR3040798A1 (fr) Camera plenoptique
US12002837B2 (en) Imaging sensor with near-infrared absorber
JP6600800B2 (ja) 固体撮像装置、撮像システム及び物体識別システム
US20200007853A1 (en) Imaging systems with depth detection
EP3884656B1 (fr) Appareil et procédé pour observer une scène comportant une cible
FR3026227A1 (fr) Dispositif d'acquisition d'images 3d
FR3107124A1 (fr) Appareil pour l’observation d’un astre
FR2968777A1 (fr) Systeme d'acquisition d'images en visibilite reduite eventuellement integrable dans un systeme de visualisation de casque
EP3024011B1 (fr) Systeme de captation d'images a bas niveau de lumiere comprenant une optique comportant un filtre de phase et/ou d'amplitude
FR2845487A1 (fr) Systeme de collecte de lumiere, amplificateur, achromatique et d'absorption reduite, particulierement adapte a l'analyse spectrometrique optique
FR3116899A1 (fr) Imageur multispectral à domaine spectral élargi.
FR3056060B1 (fr) Camera adaptee pour travailler en continu dans un environnement radioactif.
FR3092912A1 (fr) Spectrometre a imagerie pupillaire
FR2516705A1 (fr) Structure de detection photoelectrique
FR2960065A1 (fr) Dispositif combine d'observation et d'emission, et procede de visualisation d'une direction d'emission d'un tel dispositif

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20170324

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

RIN1 Information on inventor provided before grant (corrected)

Inventor name: LETEXIER, DAMIEN

Inventor name: ROBERT, FRANCK

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20180703

RIN1 Information on inventor provided before grant (corrected)

Inventor name: LETEXIER, DAMIEN

Inventor name: ROBERT, FRANCK

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1077094

Country of ref document: AT

Kind code of ref document: T

Effective date: 20181215

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602015021427

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190312

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190312

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 1077094

Country of ref document: AT

Kind code of ref document: T

Effective date: 20181212

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190313

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190412

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190412

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 602015021427

Country of ref document: DE

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

26N No opposition filed

Effective date: 20190913

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190922

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190930

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190930

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190922

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20190930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20150922

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20181212

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230526

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20230927

Year of fee payment: 9

Ref country code: GB

Payment date: 20230928

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230927

Year of fee payment: 9

Ref country code: DE

Payment date: 20230927

Year of fee payment: 9

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 602015021427

Country of ref document: DE

Representative=s name: LAURENT CHARRAS, FR