EP3900320A1 - Dispositif de capture d'images et système associé de surveillance d'un conducteur - Google Patents

Dispositif de capture d'images et système associé de surveillance d'un conducteur

Info

Publication number
EP3900320A1
EP3900320A1 EP19791287.6A EP19791287A EP3900320A1 EP 3900320 A1 EP3900320 A1 EP 3900320A1 EP 19791287 A EP19791287 A EP 19791287A EP 3900320 A1 EP3900320 A1 EP 3900320A1
Authority
EP
European Patent Office
Prior art keywords
image
capture device
infrared
image capture
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP19791287.6A
Other languages
German (de)
English (en)
Inventor
Aleksandar Popovic
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Comfort and Driving Assistance SAS
Original Assignee
Valeo Comfort and Driving Assistance SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Comfort and Driving Assistance SAS filed Critical Valeo Comfort and Driving Assistance SAS
Publication of EP3900320A1 publication Critical patent/EP3900320A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Definitions

  • the present invention relates to an image capture device. It also relates to a device for monitoring a driver of a vehicle comprising an image capture device.
  • Image capture devices for viewing a given scene both in the visible and in the infrared domain, and this with the same image sensor, have been developed recently.
  • the image sensor of such a device somehow hybrid, is sometimes called an "RGB-IR" image sensor (according to the acronym of Red Green Blue - InfraRed, that is- i.e. Red Green Blue - InfraRed).
  • This image sensor comprises a matrix of photosensitive pixels and a network of elementary optical filters coinciding with these different photosensitive pixels.
  • Part of these elementary optical filters are color filters. They each transmit part of the visible radiation received by the image sensor, this part corresponding in practice to a red, a green, or a blue. These various elementary color filters make it possible to acquire a color image, for example of the “RGB” type.
  • the other elementary optical filters of the image sensor are transparent, at least in part, in the infrared domain. They make it possible to acquire an image of the scene in question in the infrared domain.
  • the color image and the image in the infrared domain, which contain additional information, are thus obtained with the same sensor, which is advantageous in particular in terms of cost and size.
  • the ambient brightness in the environment of an image capture device is often clearly different in the visible range and in the infrared range. With such an image sensor, it is therefore generally not possible to obtain an optimal exposure both for the color image and for the image in the infrared range.
  • the present invention provides an image capture device comprising an image sensor, which comprises: a network of optical filters receiving electromagnetic radiation and comprising first filter elements each capable of transmitting a first part of the electromagnetic radiation included in a given wavelength range of infrared, as well as second filter elements each capable of transmit at least one component of a second part of the electromagnetic radiation located in the visible, and
  • a matrix of photosensitive pixels comprising first photosensitive pixels arranged so as to capture the first part of the electromagnetic radiation transmitted by the first filtering elements, as well as second photosensitive pixels arranged so as to capture the component transmitted by the second filtering elements, each first and second photosensitive pixels being able to generate an electrical signal representative of the power of the electromagnetic radiation which it picks up.
  • the image capture device further comprises:
  • a lighting device configured to emit infrared radiation in a field of vision of the image capture device, said infrared radiation being located at least partly in said range of wavelengths transmitted by the first filter elements, and
  • a computer programmed to execute the following steps: a) determining an ambient brightness in the infrared range, b) controlling the power of the infrared radiation emitted by the lighting device, as a function of said ambient brightness in the range infrared, c) acquire the electrical signals generated by the first and second photosensitive pixels, compose a first image from the electrical signals generated by the first photosensitive pixels, and compose a second image from the electrical signals generated by the second photosensitive pixels.
  • Infrared radiation which illuminates the scene located in the field of vision of the image capture device, includes the radiation emitted by the lighting device, as well as the infrared radiation possibly coming from other surrounding sources (light solar for example).
  • the lighting device controlled as a function of the ambient light in the infrared domain, makes it possible to control the total power of the infrared radiation which illuminates the scene.
  • the computer can also be programmed to execute the following steps: a ') determining an ambient brightness in the visible range, and b') controlling at least one of the following exposure parameters as a function of said ambient brightness in the visible range:
  • each of said electrical signals being representative of an electric charge or voltage, accumulated by the corresponding photosensitive pixel during said integration duration
  • controlling one or more of these exposure parameters makes it possible to obtain a suitable exposure of the second image, and thus to prevent it from being overexposed or underexposed.
  • controlling the power of the infrared radiation emitted by the lighting device also makes it possible to obtain a suitable exposure of the first image (“infrared” image), even if the exposure parameters mentioned above are also fixed, depending on the ambient brightness in the visible range.
  • the computer is programmed for, step c) having been executed previously, determining said ambient brightness in the visible range, in step a '), depending on brightness values of at least part of the image pixels of the second image which was produced during said previous execution of step c).
  • the computer is programmed to, in step a '), determine said ambient brightness in the visible range so that that it is representative of a second level of average brightness, in the second image produced during said previous execution of step c).
  • the computer is programmed to, in step b '), correct at least one of said exposure parameters as a function of a difference between, on the one hand, a second target value of average brightness, and, on the other hand, the second level of average brightness in the second image produced during the previous execution of step c).
  • the computer is programmed for, step c) having been executed previously, determining said ambient brightness in the infrared range, in step a), as a function of values of brightness of at least part of the image pixels of the first image which was produced during said previous execution of step c).
  • the computer is programmed to, in step a), determine said ambient brightness in the infrared range so that it is representative of a first brightness level average, in the first image produced during said previous execution of step c).
  • the computer is programmed to, in step b), control the power of the infrared radiation emitted by the lighting device as a function of a difference between, on the one hand, a first target value of average brightness, and, on the other hand, the first level of average brightness in the first image produced during the previous execution of step c).
  • said range of wavelengths transmitted by the first filter elements is between 700 nanometers and 1100 nanometers.
  • the second filter elements include red filter elements having a red bandwidth transmitting wavelengths at least between 550 nanometers and 700 nanometers, green filter elements have a green bandwidth transmitting wavelengths between at least 450 nanometers and 650 nanometers and blue filter elements have blue bandwidth transmitting wavelengths for example between 400 nanometers and 550 nanometers.
  • red filter elements having a red bandwidth transmitting wavelengths at least between 550 nanometers and 700 nanometers
  • green filter elements have a green bandwidth transmitting wavelengths between at least 450 nanometers and 650 nanometers
  • blue filter elements have blue bandwidth transmitting wavelengths for example between 400 nanometers and 550 nanometers.
  • the different characteristics, variants and embodiments of the invention can be associated with each other in various combinations as long as they are not incompatible or mutually exclusive of each other.
  • the invention also provides a system for monitoring a driver of a vehicle comprising an image capture device as described above, as well as a processing unit programmed to determine a level of incapacity driving the driver from at least said first image.
  • the level of unfit driving can include a level of drowsiness and / or a level of distraction of the driver.
  • FIG. 1 schematically represents a motor vehicle comprising an image capture device implementing the teachings of the invention, seen from the side,
  • FIG. 2 shows in more detail certain elements of the image capture device of FIG. 1,
  • FIG. 3 schematically represents a network of optical filters with which an image sensor of the image capture device of FIG. 1 is provided, seen from the front,
  • FIG. 4 schematically represents this same image sensor, seen from the side
  • FIG. 5 schematically represents an infrared image and a color image delivered by the image capture device of FIG. 1, and
  • FIG. 6 schematically represents steps executed by a computer of the
  • FIG. 1 shows a vehicle 5, here a motor vehicle, provided with a monitoring system 2 of a driver 3 of the vehicle.
  • This monitoring system 2 comprises an image capture device 1 and a processing unit 20 which is programmed to determine a level of unsuitability for driving the driver 3, l L , from one or more images delivered by the image capture device 1.
  • the image capture device 1 comprises an image sensor 9 ( Figure 2) and an optical system 10 such as a lens.
  • the optical system 10 forms, on the sensor of images 9, an image of the content of the field of view 14 of the image capture device 1.
  • the image capture device 1 is located in a passenger compartment 7 of the vehicle, in a region adjacent to a vehicle windshield. It is for example integrated in a dashboard, in a dashboard or in a vehicle control console.
  • the image capture device 1 is oriented so that its field of vision 14 covers the area usually occupied by the head of the driver 3 when the latter is seated in the driver's seat.
  • the image capture device 1 can thus capture images of the driver's face 3.
  • the image sensor 9 is a somewhat hybrid sensor, making it possible to visualize the content of the field of vision 14 both in the infrared domain, and in the visible domain.
  • the image sensor 9 is provided with a particular network 170 of optical filters (FIG. 3) which allows, with the same matrix 19 of photosensitive pixels, to acquire both:
  • infrared image a first image 31, hereinafter called “infrared image”, produced from a first part of the electromagnetic radiation collected by the optical system 10, this first part being located in the infrared domain, and
  • a second image 35 produced from a second part of the electromagnetic radiation collected by the optical system 10, this second part being located in the visible range.
  • this second image 35 is a color image (it is also called "color image” in the following).
  • the image capture device 1 is able to capture the infrared image in question, as well as this color image, while remaining very compact.
  • the infrared image 31 can for example be used to monitor the driver 3 and determine his level of inability to drive l L.
  • the color image is more pleasing to the human eye and contains more information than an infrared image (usually displayed in grayscale).
  • the color image can therefore be acquired for multiple purposes, for example it can be used to communicate with a remote electronic device, for example in the context of a teleconference, or even be kept in memory for security reasons or as a "souvenir photo" immortalizing a journey.
  • the image capture device 1 also includes a computer 13, comprising at least one processor and an electronic memory, programmed to control one or more exposure parameters, such as the integration time and the gain used for obtain the images 31, 35 in question.
  • the computer 13 is programmed to control this or these exposure parameters as a function of an ambient brightness in the visible range. This makes it possible to obtain a suitable exposure of the second image 35.
  • the image capture device 1 also includes a lighting device 11, for
  • This lighting device 11 is controlled by the computer 13 as a function of an ambient brightness in the infrared range.
  • controlling the power of the infrared radiation emitted by the lighting device 11 also makes it possible to obtain a suitable exposure of the infrared image, even if the exposure parameter or parameters mentioned above are adjusted as a function of the ambient brightness. in the visible domain, not in the infrared domain.
  • the lighting device 11 controlled by the computer 13 therefore makes it possible, in a way, to avoid too great a difference between the ambient brightness in the visible range and that in the infrared range, which allows , for the same integration time ti or for the same gain G, to obtain an appropriate exposure both for the infrared image 31 and for the color image 35.
  • This image capture device 1 will now be described in more detail.
  • the image sensor 9 will be described in a first.
  • the way to control the exposure parameters (integration time ti, gain G, aperture Ap) will be presented in a second step.
  • the lighting device 11 and its control will be presented next, before describing the way of determining the driver unsuitability parameter 3.
  • the network of optical filters 170 of the image sensor 9 is arranged opposite the matrix 19 of photosensitive pixels of this sensor, so as to filter electromagnetic radiation from the field of vision 14 of the image capture device 1 (radiation which has been collected by the optical system 10), before this radiation reaches the photosensitive pixels 21, 2 in question.
  • the network of optical filters 170 comprises several filtering elements 171, 172, 173, 174, that is to say several elementary optical filters, each arranged opposite one of the photosensitive pixels 21, 21 '. Each photosensitive pixel thus captures part of the electromagnetic radiation which has been filtered by the filter element with which it is associated.
  • these individual filter elements 171, 172, 173, 174 are of different types, for example of the blue, green, red and infrared type, which makes it possible to acquire the color image and the infrared image mentioned above.
  • the network of optical filters 170 comprises:
  • first filter elements 171 each capable of transmitting a first part of the electromagnetic radiation situated in a given wavelength range of the infrared
  • Second filter elements 172, 173, 174 each capable of transmitting at least one component of a second part of the electromagnetic radiation located in the visible range, between 400 nanometers and 700 nanometers.
  • the first filter elements 171 transmit only wavelengths located in said infrared wavelength range.
  • This wavelength range mainly extends beyond 700 nanometers. It can for example extend from 700 nanometers to 1100 nanometers.
  • the second filter elements 172, 173, 174 transmit only the wavelengths between 400 and 700 nanometers. As a variant, they could however transmit both wavelengths located in the visible range, and wavelengths located in the infrared range.
  • the second filter elements 172, 173, 174 here include red filter elements 172, green filter elements 173 and blue filter elements 174.
  • the terms “red”, “green”, “blue” are used in their sense common.
  • the values of the red, green and blue bandwidths set out below are given by way of non-limiting example.
  • the red filter elements 172 have a red bandwidth transmitting the component of the second part of the electromagnetic radiation having wavelengths comprised for example mainly between 550 nm and 700 nm.
  • the green filter elements 173 have a green bandwidth transmitting the component of the second part of the electromagnetic radiation having wavelengths comprised for example mainly between 450 nm and 650 nm.
  • the blue filter elements 174 have a blue passband transmitting the component of the second part of the electromagnetic radiation having wavelengths comprised for example mainly between 400 nm and 550 nm.
  • the various filter elements 171, 172, 173, 174 of the network of optical filters are arranged with respect to each other so as to form a pattern 175, repeated regularly to form the network of optical filters 170.
  • This pattern 175 comprises here four filter elements, in this case: one of the first filter elements 171, one of the red filter elements 172, one of the green filter elements 173, and one of the blue filter elements 174. These four elements adjacent filters form a square.
  • the network of optical filters 170 is therefore comparable to a so-called “Bayer” network, in which one of the green filter elements has been replaced by a transparent element in the infrared.
  • the pattern of filter elements, repeated several times to form the network of optical filters could be constituted differently (by including, for example, more green filter elements than red or blue filter elements).
  • the matrix 19 of photosensitive pixels it comprises:
  • first photosensitive pixels 21 arranged so as to capture the first part of the electromagnetic radiation transmitted by the first filter elements 171, and
  • Each of the first and second photosensitive pixels 21, 2 produces, by electrical photo effect, an electrical signal representative of the power of the electromagnetic radiation that it has captured (in a way, each photosensitive element behaves like a photodiode ).
  • This electrical signal is produced in the form of a charge or an electrical voltage presented between two terminals of the electrical capacity that constitutes the photosensitive element.
  • This electrical signal is produced by the photosensitive pixel 21, 21 'considered at the end of a given integration time ti.
  • each of these photosensitive pixels 21, 2 accumulates electrical charges, produced by photoelectric effect, during said integration time ti.
  • the electrical signal produced by the photosensitive pixel 21, 2 considered corresponds to the charge, or to the electrical voltage between the terminals of this photosensitive pixel 21, 2, at the end of this integration time ti, sometimes called exposure time, acquisition time, or integration time.
  • the electrical signal produced by each of the first and second photosensitive pixels 21, 21 ' is representative of the number of photons received by the photosensitive pixel considered during the integration time ti (for example proportional to this number of photons).
  • the semiconductor substrate of the matrix 19 of photosensitive pixels 21, 2 is made of silicon (appropriately doped).
  • the sensitivity of the photosensitive pixels in the infrared domain is thus limited to the near infrared domain: the sensitivity range of the first photosensitive pixels 21, provided with the first filter elements 171, is here between 700 nanometers and 1100 nanometers.
  • the image sensor 9 is for example of the CMOS type (according to the English acronym of
  • a picture taken by the image sensor 9 comprises:
  • the values of the integration time ti and the gain G are fixed by the computer 13, which controls the image sensor 9.
  • the amplified electrical signals produced during this shooting are processed by the computer 13, during a step c) (FIG. 6), to produce the infrared image 31 and the color image 35.
  • composition of the infrared image and the color image Composition of the infrared image and the color image
  • the infrared image 31 is formed of a matrix of image pixels 33 (FIG. 5), associated with the different photosensitive pixels 21, 21 ′ of the image sensor 9.
  • the computer 13 is programmed to implement an interpolation algorithm making it possible to constitute a “complete” infrared image 31 although only one photosensitive pixel 21 out of four captures infrared radiation in the image sensor.
  • the infrared image 31 here comprises as many image pixels 33 as what the image sensor 9 comprises of photosensitive pixels, first 21 and second 21 'photosensitive pixels included.
  • Each image pixel 33 of the infrared image 31 is associated with a brightness value, representative of the value of one or more of the amplified electrical signals originating from the first photosensitive pixels 21.
  • this brightness value is determined by function of the values of the amplified electrical signals coming from the first photosensitive pixels 21 which are closest to the position corresponds, on the image sensor 9, to the image pixel 33 considered.
  • the computer 13 is also programmed to compose the color image 35, shown diagrammatically in FIG. 5, from the amplified electrical signals coming from the second photosensitive pixels 2.
  • the color image 35 is also formed from a matrix of image pixels (not shown), associated with the different photosensitive pixels 21, 21 ′ of the image sensor 9.
  • the computer 13 is programmed here to implement an interpolation algorithm making it possible to constitute a “complete” color image 35 although only one photosensitive pixel 21 out of four captures radiation located in the red, or green, or blue bandwidth mentioned above.
  • the color image here comprises as many image pixels as what the image sensor 9 comprises of photosensitive pixels, first 21 and second 21 'photosensitive pixels included.
  • Each pixel image of the color image 35 is associated with a brightness value, representative of values of some of the amplified electrical signals from second photosensitive pixels 21 '.
  • This brightness value is representative of the intensity of the visible electromagnetic radiation received by the second photosensitive pixels 2 which, on the image sensor 9, are located in the immediate vicinity of the position which, on this sensor, is associated with the image pixel considered.
  • the computer 13 is programmed here to initially compose three monochrome channels based on the amplified electrical signals from the second photosensitive pixels 2.
  • the computer 13 thus composes a red channel 37, from the amplified electric signals coming from the second photosensitive pixels located opposite the red filter elements 172. It also composes a green channel 39 from the amplified electric signals coming from the second photosensitive pixels located opposite the green filter elements 173. Finally, it composes a blue channel 41 from the amplified electrical signals coming from the second photosensitive pixels associated with the blue filter elements 174.
  • Each of these channels, red 37, green 39 and blue 41, is a gray level image (each pixel image of the channel considered has a brightness value, but no hue or chrominance value), associated with the color of the channel considered and of the same size as the color image 35 (that is to say comprising the same number of image pixels).
  • the computer 13 then implements a
  • a global luminosity value for the visible range (for example equal to the average of the luminosities of the different channels),
  • the computer 13 is programmed here to execute step c) several times in succession, during which it acquires the signals amplified electrics delivered by the image sensor 9 then composes the infrared image 31 and the color image 35.
  • This step is carried out here by a pretreatment module 130 of the computer 13 (FIG. 2).
  • the exposure parameters of the image capture device 1, namely the integration time ti, the gain G, and, optionally, the aperture Ap of a diaphragm 12 of the optical system 10, are controlled here by an exposure control module 132 of the computer 13 ( Figure 2), during steps a ') and b') ( Figure 6) described below.
  • the exposure control module 132 is programmed to determine the ambient brightness in the visible range which was mentioned above, during step a ').
  • the ambient brightness in the visible range is representative of the power of visible electromagnetic radiation (the components of which are mainly between 400 nanometers and 700 nanometers), coming from an environment of the image capture device 1 , here coming from the field of vision 14 of this device, and received by a light sensor.
  • this brightness sensor is produced by means of the image sensor 9 which has been described above.
  • the ambient brightness in the visible range is determined from a color image 35, delivered by the pretreatment module 130 after a previous execution of step c), and corresponding therefore to a shooting previously carried out by the image sensor 9.
  • the exposure control module 132 is programmed to determine the ambient brightness in the visible range as a function of the brightness values of at least part of the image pixels of this color image 35, previously acquired by the image capture device 1.
  • the ambient brightness in the visible range can, as here, be determined by calculating an average of the brightness values of the image pixels of this color image 35.
  • the ambient brightness in the visible range is then representative an average brightness level in this color image 35, hereinafter called the second brightness level, and noted L v .
  • the average in question can relate to all of the image pixels of the color image 35, or relate only to some of these image pixels, located in an area of interest of the image corresponding for example to l image of the driver's face 3. Furthermore, it can be provided that this average takes into account only the brightness values of the image pixels which satisfy a given criterion, for example which are included in a given range of values.
  • the second level of luminosity L v can, by way of example, be representative of the average luminosity of the zones of low luminosity of the color image 35, or of the zones of intermediate luminosity of this image.
  • the ambient brightness in the visible range could be determined as a function of the brightness values of the various chromatic channels of the color image considered (red, green and blue channel), possibly affected by different weighting coefficients , instead of being determined as a function of luminosity values of the image pixels of the overall color image resulting from the fusion of these three chromatic channels.
  • step b ' the exposure control module 132 controls the aforementioned exposure parameters, as a function of the ambient brightness in the visible range determined in step a') above.
  • the exposure control module 132 here corrects the values of the exposure parameters, which are then applied to the image sensor 9 and to the diaphragm 12, as a function of a difference s2 between:
  • a target value of average luminosity hereinafter called the second target value L v, o, and
  • the second level of brightness L v average brightness in the color image 35 acquired previously.
  • This correction is made so as to gradually bring the second brightness level L v to the second target value L v, o, during repetitions of steps a '), b') and c).
  • This correction can consist, for example, of adding a corrective term to a previous value of the exposure parameter considered, this corrective term being proportional to the difference s2 mentioned above (proportional correction). More generally, this correction consists in slaving the second level of brightness L v to the second target value Lv , o.
  • This control can in particular be of the proportional, proportional-integral, or proportional, integral and derived type (that is to say of the "PID" type).
  • the second target value L v, o corresponds for example to the average brightness in an image considered to be adequately exposed.
  • An image is considered to be suitably exposed when, for example:
  • the average brightness in this image is included in a given interval, this interval extending for example from a quarter to three quarters of the maximum brightness value which can be associated with an image pixel,
  • the second target value L v, o can for example be between a quarter and three quarter of the maximum brightness value mentioned above, or between a third and two thirds of this maximum value. For example, if the brightness values in question are coded on eight bits, being between 0 and 255, the maximum brightness value in question (high saturation) is equal to 255, and the second target value L v , o can then be between 63 and 191, for example, or between 85 and 170.
  • the exposure control module 132 controls both the integration time ti, the gain G, and the aperture Ap of the diaphragm of the optical system 10 (aperture diaphragm) .
  • the opening Ap could however be fixed (or possibly be manually adjustable).
  • the exposure control module 132 could be programmed for, the integration time ti being fixed, controlling only the value of the gain G, as a function of the second level of brightness L v in the color image 35 ( or, conversely, to control only the integration time ti).
  • G gain control is sometimes called "automatic gain control” or "AGC” in the specialized literature.
  • Lighting device 11 is capable of emitting infrared radiation located at least partly in the range of wavelengths transmitted by the first filter elements 171 of the optical filter network of the image sensor 9 (range including it is recalled that it extends here from 700 nanometers to 1100 nanometers).
  • the lighting device 11 can for example be produced by means of light-emitting diodes.
  • the infrared radiation emitted by the lighting device 11 is emitted in the form of a light beam 15, directed so as to illuminate at least part of the field of vision 14 of the image capture device 1 (FIG. 1). In this case, this light beam is directed towards the area usually occupied by the face of the driver 3, when seated in the driver's seat.
  • the power of the infrared radiation emitted by the lighting device 11 is controlled by a lighting control module 131 of the computer 13 ( Figure 2).
  • this module here controls the electrical power P E which supplies the lighting device 11.
  • the lighting control module 131 is programmed more precisely to control the power of the infrared radiation emitted as a function of ambient brightness in the infrared domain.
  • the ambient brightness in the infrared range is defined here in a manner comparable to the ambient brightness in the visible range presented above, but for the infrared range.
  • the control of the power of the infrared radiation emitted is comparable to the control of the exposure parameters mentioned above, but it is carried out according to the ambient light in the infrared domain, instead of being carried out according to the ambient brightness in the visible range.
  • the lighting control module 131 is programmed to control the power of the infrared radiation emitted during steps a) and b), shown in Figure 6 and described below.
  • the lighting control module 131 determines the ambient brightness in the infrared range.
  • the ambient brightness in the infrared domain is representative of the power of infrared electromagnetic radiation (whose components extend beyond 700 nanometers), coming from the environment of the capture device.
  • this brightness sensor is produced by means of the image sensor 9.
  • the image sensor could however be a separate sensor from the image sensor, such as an infrared photodiode, arranged to receive radiation from the field of vision of the image capture device.
  • the ambient brightness in the visible range is determined from an infrared image 31, delivered by the pretreatment module 130 after a previous execution of step c), and therefore corresponding to a shot previously made by the image sensor 9.
  • the lighting control module 131 is programmed to determine the ambient brightness in the infrared domain as a function of the brightness values of at least part of the image pixels 33 of this infrared image. 31, previously acquired by the image capture device 1.
  • the ambient brightness in the infrared range can, as here, be determined by calculating an average of the brightness values of the image pixels 33 of this infrared image 31.
  • the ambient brightness in the infrared range is then representative of an average brightness level in this infrared image 31, hereinafter called the first brightness level, and denoted L
  • the average in question can relate to all of the image pixels 33 of the infrared image 31, or relate only to some of these image pixels 33, located in an area of interest of the image corresponding for example to the image of the driver's face 3. Furthermore, it is possible to provide for this average to take into account only the brightness values of the image pixels 33 which satisfy a given criterion, for example which are included in a given range of values.
  • R can, by way of example, be representative of the average brightness of the low light areas of the infrared image 31, or of the intermediate light areas of this image.
  • step b) the lighting control module 131 controls the electrical power P E which supplies the lighting device 11, as a function of the ambient brightness in the infrared range determined in step a) former.
  • the lighting control module 131 here corrects the value of the electric power P E , as a function of a difference if between: - on the one hand, a target value of average brightness in the infrared range, hereinafter called the first target value L
  • R average brightness in the infrared image 31 acquired previously.
  • This correction is made so as to gradually bring the first brightness level L
  • This correction can consist, for example, of adding a corrective term to a previous value of the electrical power P E , this corrective term being proportional to the difference if mentioned above (proportional correction). More generally, this correction consists in slaving the first level of brightness U R to the first target value L
  • This control can in particular be of the proportional, proportional-integral, or proportional, integral and derived type (that is to say of the "PID" type).
  • the first target value L ! R, o corresponds for example to the average brightness in an image considered to be adequately exposed (an example of definition of an image considered to be adequately exposed was given above).
  • the first target value L ! R, o can for example be between a quarter and three quarter of the maximum brightness value that can be associated with an image pixel 33 of the infrared image 31, or be between a third and two thirds of this maximum value. For example, if the brightness values of the image pixels 33 are coded on eight bits, being between 0 and 255, the maximum brightness value mentioned above (high saturation) is equal to 255, and the first target value L ! R, o can then be between 63 and 191, for example, or between 85 and 170.
  • the electronic processing unit 20 of the monitoring system 2 is programmed to determine the level of inability to drive l L of the driver 3 from at least one of the infrared images 31 produced by the capture device. of images 1.
  • the level of inability to drive l L comprises for example a level of drowsiness of the driver 3 and / or a level of distraction of the driver 3 (the level of inability to drive l L can in particular be driver drowsiness level 3 or distraction level).
  • the processing unit 20 can for example be programmed so as to analyze the infrared image 31 in question, or a sequence of infrared images 31 produced by the image capture device 1, in order to identify the face of the driver 3 and / or certain areas of the face of the driver 3, in particular the areas of the infrared image 31 corresponding to the eyes of the driver 3.
  • the processing unit 20 can then determine the level of drowsiness of the driver 3 by measuring the duration and / or the blinking frequency of the eyes of the driver 3, previously identified in the infrared image 31.
  • the processing unit 20 can determine the distraction level of the driver 3 as a function of a posture of the head of the driver 3 deduced from the infrared image 31, and as a function of the evolution of this posture during time.
  • the processing unit 20 can also evaluate (by analysis of the infrared image 31, or of a sequence of infrared images 31), and use to determine the level of distraction and / or the level of drowsiness, the viewing direction of the driver 3 or the evolution of this viewing direction over time.
  • the processing unit 20 can also evaluate (by analysis of the infrared image 31, or of a sequence of infrared images 31), and use to determine the level of distraction and / or the level of drowsiness, the diameter of the pupil of at least one eye of the conductor 3 (and precisely the variations of this diameter).
  • the processing unit 20 can be programmed to, when determining the level of inability to drive l L of the driver, also take account of one or more color images 35 delivered by the capture device d 'images 1.
  • the color image 35 can be used in other applications.
  • the computer 13 can for example transmit the color image 35, or a sequence of color images 35 to a telecommunication module 43 of the vehicle 5.
  • This telecommunication module 43 is configured to transmit the color image 35, or the sequence of color images 35 received at a remote electronic device, for example a multifunction mobile or a computer, for example via a wifi transmitter.
  • the color image 35 or the color image sequence 35 can then be used within the framework of a teleconference, for example a videoconference.
  • the computer 13 could also transmit the color image 35, or the sequence of color images 35 to a memory of the vehicle 5 so that it is stored there.
  • the second image composed from the electrical signals generated by the second photosensitive pixels of the image sensor, could be a monochrome image, instead of being a color image.
  • the second filter elements of the network of optical filters could moreover all be of the same type (for example being all of the green filter elements), instead of comprising three different types of optical filters (respectively red, green and blue).
  • module can designate an electronic circuit, or a part of electronic circuit distinct from the other modules, or a specific group of instructions stored in the memory of the computer.
  • first and second images mentioned above could correspond to somewhat raw images (sometimes called “RAW” images in English), obtained without interpolation.
  • the number of image pixels of the infrared image for example, would be equal to the number of said first photosensitive pixels, instead of being equal to the total number of photosensitive pixels of the image sensor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

L'invention concerne un dispositif de capture d'images (1) comprenant un capteur d'images (9) permettant d'obtenir à la fois une image infrarouge (31) et une image dans le domaine du visible (35) grâce un réseau de filtres optiques comprenant des premiers éléments filtrants, ayant une bande spectrale de transmission située dans l'infrarouge, ainsi que des deuxièmes éléments filtrants, ayant une bande spectrale de transmission située dans le visible. Le dispositif de capture d'images comprend en outre : - un dispositif d'éclairage (11) configuré pour émettre un rayonnement infrarouge, et - un calculateur (13), programmé pour exécuter piloter la puissance du rayonnement infrarouge émis par le dispositif d'éclairage, en fonction de ladite luminosité ambiante dans le domaine de l'infrarouge. L'invention concerne aussi un système de surveillance (2) d'un conducteur (3) comprenant un tel dispositif de capture d'images.

Description

Description
DISPOSITIF DE CAPTURE D'IMAGES ET SYSTÈME ASSOCIÉ DE
SURVEILLANCE D'UN CONDUCTEUR
[0001] [La présente invention concerne un dispositif de capture d'images. Elle concerne également un dispositif de surveillance d'un conducteur d'un véhicule comportant un dispositif de capture d'images.
[0002] Des dispositifs de capture d'image permettant de visualiser une scène donnée, à la fois dans le domaine du visible et dans le domaine de l'infrarouge, et cela avec un même capteur d'images, ont été développés récemment.
[0003] Le capteur d'images d'un tel dispositif, en quelque sorte hybride, est parfois appelé capteur d'images « RGB-IR » (selon l'acronyme anglo-saxon de Red Green Blue - InfraRed, c'est-à- dire Rouge Vert Bleu - InfraRouge).
[0004] Ce capteur d'images comprend une matrice de pixels photosensibles et un réseau de filtres optiques élémentaires coïncidant avec ces différents pixels photosensibles.
[0005] Une partie de ces filtres optiques élémentaires sont des filtres colorés. Ils transmettent chacun une partie du rayonnement visible reçu par le capteur d'images, cette partie correspondant en pratique à un rouge, à un vert, ou à un bleu. Ces différents filtres colorés, élémentaires, permettent d'acquérir une image en couleurs, par exemple de type « RGB ».
[0006] Les autres filtres optiques élémentaires du capteur d'images sont transparents, au moins en partie, dans le domaine de l'infrarouge. Ils permettent d'acquérir une image de la scène en question dans le domaine de l'infrarouge.
[0007] L'image en couleurs et l'image dans le domaine de l'infrarouge, qui contiennent des informations complémentaires, sont ainsi obtenues avec un même capteur, ce qui est intéressant notamment en terme de coût de revient et d'encombrement.
[0008] Mais la luminosité ambiante dans l'environnement d'un dispositif de capture d'images est le souvent nettement différente dans le domaine du visible et dans le domaine de l'infrarouge. Avec un tel capteur d'images, on ne peut donc généralement pas obtenir une exposition optimale à la fois pour l'image en couleurs et pour l'image dans le domaine de l'infrarouge.
[0009] Dans ce contexte, la présente invention propose un dispositif de capture d'images comprenant un capteur d'images, qui comporte : - un réseau de filtres optiques recevant un rayonnement électromagnétique et comprenant des premiers éléments filtrants aptes chacun à transmettre une première partie du rayonnement électromagnétique comprise dans une plage de longueurs d'onde donnée de l'infrarouge, ainsi que des deuxièmes éléments filtrants aptes chacun à transmettre au moins une composante d'une deuxième partie du rayonnement électromagnétique située dans le visible, et
- une matrice de pixels photosensibles comprenant des premiers pixels photosensibles disposés de façon à capter la première partie du rayonnement électromagnétique transmise par les premiers éléments filtrants, ainsi que des deuxièmes pixels photosensibles disposés de façon à capter la composante transmise par les deuxièmes éléments filtrants, chacun des premiers et deuxièmes pixels photosensibles étant apte à générer un signal électrique représentatif de la puissance du rayonnement électromagnétique qu'il capte.
[0010] Selon l'invention, le dispositif de capture d'images comprend en outre :
- un dispositif d'éclairage configuré pour émettre un rayonnement infrarouge dans un champ de vision du dispositif de capture d'images, ledit rayonnement infrarouge étant situé au moins en partie dans ladite plage de longueurs d'onde transmises par les premiers éléments filtrants, et
- un calculateur, programmé pour exécuter les étapes suivantes : a) déterminer une luminosité ambiante dans le domaine de l'infrarouge, b) piloter la puissance du rayonnement infrarouge émis par le dispositif d'éclairage, en fonction de ladite luminosité ambiante dans le domaine de l'infrarouge, c) acquérir les signaux électriques générés par les premiers et deuxièmes pixels photosensibles, composer une première image à partir des signaux électriques générés par les premiers pixels photosensibles, et composer une deuxième image à partir des signaux électriques générés par les deuxièmes pixels photosensibles.
[0011] Le rayonnement infrarouge, qui éclaire la scène située dans le champ de vision du dispositif de capture d'images, comprend le rayonnement émis par le dispositif d'éclairage, ainsi que le rayonnement infrarouge provenant éventuellement d'autres sources environnantes (lumière solaire par exemple). [0012] Le dispositif d'éclairage, piloté en fonction de la luminosité ambiante dans le domaine de l'infrarouge, permet de contrôler la puissance totale du rayonnement infrarouge qui éclaire la scène.
[0013] Cela permet une exposition optimale de la première image (image « infrarouge »), même si la durée d'exposition (c'est-à-dire la durée d'intégration), ou éventuellement d'autres paramètres d'exposition (gain, ouverture), sont imposés par ailleurs, par exemple pour obtenir une exposition optimale de la deuxième image (image dans le domaine du visible).
[0014] Le calculateur peut d'ailleurs être programmé pour exécuter les étapes suivantes : a') déterminer une luminosité ambiante dans le domaine du visible, et b') piloter l'un au moins des paramètres d'exposition suivants en fonction de ladite luminosité ambiante dans le domaine du visible :
- une durée d'intégration, chacun desdits signaux électriques étant représentatif d'une charge ou d'une tension électrique, accumulée par le pixel photosensible correspondant au cours de ladite durée d'intégration,
- un gain appliqué auxdits signaux électriques,
- une ouverture d'un diaphragme d'un système optique du dispositif de capture d'images.
[0015] Contrôler ainsi une ou plusieurs de ces paramètres d'exposition permet d'obtenir une exposition convenable de la deuxième image, et d'éviter ainsi qu'elle ne soit surexposée ou sous-exposée. Comme expliqué plus haut, contrôler la puissance du rayonnement infrarouge émis par le dispositif d'éclairage permet d'obtenir aussi une exposition convenable de la première image (image « infrarouge »), et cela même si les paramètres d'exposition mentionnés ci-dessus sont fixés par ailleurs, en fonction de la luminosité ambiante dans le domaine du visible.
[0016] Dans un mode de réalisation envisageable, on peut prévoir que calculateur soit programmé pour, l'étape c) ayant été exécutée précédemment, déterminer ladite luminosité ambiante dans le domaine du visible, à l'étape a'), en fonction de valeurs de luminosité d'une partie au moins des pixels images de la deuxième image qui a été produite lors de ladite exécution précédente de l'étape c).
[0017] Dans un mode de réalisation envisageable, le calculateur est programmé pour, à l'étape a'), déterminer ladite luminosité ambiante dans le domaine du visible de manière à ce qu'elle soit représentative d'un deuxième niveau de luminosité moyenne, dans la deuxième image produite lors de ladite exécution précédente de l'étape c).
[0018] Dans un mode de réalisation envisageable, le calculateur est programmé pour, à l'étape b'), corriger l'un au moins desdits paramètres d'exposition en fonction d'un écart entre, d'une part, une deuxième valeur cible de luminosité moyenne, et, d'autre part, le deuxième niveau de luminosité moyenne dans la deuxième image produite lors de l'exécution précédente de l'étape c).
[0019] Dans un mode de réalisation envisageable, le calculateur est programmé pour, l'étape c) ayant été exécutée précédemment, déterminer ladite luminosité ambiante dans le domaine de l'infrarouge, à l'étape a), en fonction de valeurs de luminosité d'une partie au moins des pixels images de la première image qui a été produite lors de ladite exécution précédente de l'étape c).
[0020] Dans un mode de réalisation envisageable, le calculateur est programmé pour, à l'étape a), déterminer ladite luminosité ambiante dans le domaine de l'infrarouge de manière à ce qu'elle soit représentative d'un premier niveau de luminosité moyenne, dans la première image produite lors de ladite exécution précédente de l'étape c).
[0021] Dans un mode de réalisation envisageable, le calculateur est programmé pour, à l'étrape b), piloter la puissance du rayonnement infrarouge émis par le dispositif d'éclairage en fonction d'un écart entre, d'une part, une première valeur cible de luminosité moyenne, et, d'autre part, le premier niveau de luminosité moyenne dans la première image produite lors de l'exécution précédente de l'étape c).
[0022] Dans un mode de réalisation envisageable, ladite plage de longueurs d'onde transmise par les premiers éléments filtrants est comprise entre 700 nanomètres et 1100 nanomètres.
[0023] Dans un mode de réalisation envisageable, les deuxièmes éléments filtrants (comprennent des éléments filtrants rouges présentant une bande passante rouge transmettant des longueurs d'onde comprises au moins entre 550 nanomètres et 700 nanomètres, des éléments filtrants verts présentent une bande passante verte transmettant des longueurs d'onde comprises au moins entre 450 nanomètres et 650 nanomètres et des éléments filtrants bleus présentent bande passante bleue transmettant des longueurs d'onde comprises par exemple entre 400 nanomètres et 550 nanomètres. [0024] Bien entendu, les différentes caractéristiques, variantes et formes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres.
[0025] L'invention propose également un système de surveillance d'un conducteur d'un véhicule comprenant un dispositif de capture d'images tel que décrit ci-dessus, ainsi qu'une unité de traitement programmée pour déterminer un niveau d'inaptitude à la conduite du conducteur à partir de ladite première image au moins.
[0026] Le niveau d'inaptitude à la conduite peut comprendre un niveau de somnolence et/ou un niveau de distraction du conducteur.
[0027] De plus, diverses autres caractéristiques de l’invention ressortent de la description annexée effectuée en référence aux dessins qui illustrent des formes, non limitatives, de réalisation de l’invention et où :
[0028] [Fig. 1] représente schématiquement un véhicule automobile comprenant un dispositif de capture d'images mettant en oeuvre les enseignements de l'invention, vu de côté,
[0029] [Fig. 2] représente plus en détails certains éléments du dispositif de capture d'images de la figure 1,
[0030] [Fig. 3] représente schématiquement un réseau de filtres optiques dont est pourvu un capteur d'images du dispositif de capture d'images de la figure 1, vu de face,
[0031] [Fig. 4] représente schématiquement ce même capteur d'images, vu de côté,
[0032] [Fig. 5] représente schématiquement une image infrarouge et une image en couleurs délivrées par le dispositif de capture d'images de la figure 1, et
[0033] [Fig. 6] représente schématiquement des étapes exécutées par un calculateur du
dispositif de capture d'images de la figure 1.
[0034] La figure 1 représente un véhicule 5, ici un véhicule automobile, muni d'un système de surveillance 2 d'un conducteur 3 du véhicule. Ce système de surveillance 2 comprend un dispositif de capture d'images 1 et une unité de traitement 20 qui est programmée pour déterminer un niveau d'inaptitude à la conduite du conducteur 3, lL, à partir d'une ou plusieurs images délivrées par le dispositif de capture d'images 1.
[0035] Le dispositif de capture d'images 1 comprend un capteur d'images 9 (figure 2) et un système optique 10 tel qu'un objectif. Le système optique 10 forme, sur le capteur d'images 9, une image du contenu du champ de vision 14 du dispositif de capture d'images 1.
[0036] Tel que représenté sur la figure 1, le dispositif de capture d'images 1 est situé dans un habitacle 7 du véhicule, dans une région voisine d'un pare-brise du véhicule. Il est par exemple intégré dans une planche de bord, dans un tableau de bord ou dans une console de commande du véhicule.
[0037] Le dispositif de capture d'images 1 est orienté de manière à ce que son champ de vision 14 couvre la zone habituellement occupée par la tête du conducteur 3 lorsque celui-ci est assis sur le siège conducteur. Le dispositif de capture d'images 1 peut ainsi capturer des images du visage du conducteur 3.
[0038] De manière remarquable, le capteur d'images 9 est un capteur en quelque sorte hybride, permettant de visualiser le contenu du champ de vision 14 à la fois dans le domaine de l'infrarouge, et dans le domaine du visible. En l'occurrence, le capteur d'images 9 est muni d'un réseau 170 de filtres optiques particulier (figure 3) qui permet, avec une même matrice 19 de pixels photosensibles, d'acquérir à la fois :
- une première image 31, appelée dans la suite « image infrarouge », produite à partir d'une première partie du rayonnement électromagnétique collecté par le système optique 10, cette première partie étant située dans le domaine de l'infrarouge, et
- une deuxième image 35, produite à partir d'une deuxième partie du rayonnement électromagnétique collecté par le système optique 10, cette deuxième partie étant située dans le domaine du visible.
[0039] Dans l'exemple décrit ici, cette deuxième image 35 est une image en couleurs (elle est d'ailleurs appelée « image en couleurs » dans la suite).
[0040] Grâce à ce capteur d'images 9 particulier, le dispositif de capture d'images 1 est à même de capturer l'image infrarouge en question, ainsi que cette image en couleurs, tout en restant très peu encombrant. L'image infrarouge 31 peut par exemple être utilisée pour surveiller le conducteur 3 et déterminer son niveau d'inaptitude à la conduite lL. L'image en couleurs est plus agréable à visualiser pour l'œil humain et contient plus d'informations qu'une image infrarouge (habituellement affichée en niveau de gris). L'image en couleurs peut donc être acquise à des fins multiples, par exemple elle peut être utilisée pour communiquer avec un appareil électronique distant, par exemple dans le cadre d'une téléconférence, ou bien encore être gardée en mémoire pour des raisons de sécurité ou en tant que « photo souvenir » immortalisant un trajet.
[0041] Le dispositif de capture d'images 1 comprend aussi un calculateur 13, comprenant au moins un processeur et une mémoire électronique, programmé pour piloter un ou plusieurs paramètres d'exposition, tels que la durée d'intégration et le gain employés pour obtenir les images 31, 35 en question. Le calculateur 13 est programmé pour piloter ce ou ces paramètres d'exposition en fonction d'une luminosité ambiante dans le domaine du visible. Cela permet d'obtenir une exposition convenable de la deuxième image 35.
[0042] Le dispositif de capture d'image 1 comprend aussi un dispositif d'éclairage 11, pour
éclairer le champ de vision 14 dans le domaine de l'infrarouge. Ce dispositif d'éclairage 11 est piloté par le calculateur 13 en fonction d'une luminosité ambiante dans le domaine de l'infrarouge. Piloter ainsi la puissance du rayonnement infrarouge émis par le dispositif d'éclairage 11 permet d'obtenir aussi une exposition convenable de l'image infrarouge, même si le ou les paramètres d'exposition mentionnés ci-dessus sont ajustés en fonction de la luminosité ambiante dans le domaine du visible, et non dans le domaine de l'infrarouge.
[0043] Le dispositif d'éclairage 11 piloté par le calculateur 13 permet donc, en quelque sorte, d'éviter un écart trop grand entre la luminosité ambiante dans le domaine du visible et celle dans le domaine de l'infrarouge, ce qui permet, pour une même durée d'intégration ti ou pour un même gain G, d'obtenir une exposition appropriée aussi bien pour l'image infrarouge 31 que pour l'image en couleurs 35.
[0044] Les différents éléments et fonctionnalités de ce dispositif de capture d'images 1 peuvent maintenant être décrits plus en détail. Le capteur d'images 9 sera décrit dans un premier. La manière de piloter les paramètres d'exposition (durée d'intégration ti, gain G, ouverture Ap) sera présentée dans un deuxième temps. Le dispositif d'éclairage 11 et son pilotage seront présentés ensuite, avant de décrire la façon de déterminer le paramètre d'inaptitude à la conduite du conducteur 3.
[0045] Capteur d'images RGV-IR.
[0046] Comme on peut le voir sur les figures 3 et 4, le réseau de filtres optiques 170 du capteur d'images 9 est disposé en vis-à-vis de la matrice 19 de pixels photosensibles de ce capteur, de manière à filtrer le rayonnement électromagnétique provenant du champ de vision 14 du dispositif de capture d'images 1 (rayonnement qui a été collecté par le système optique 10), avant que ce rayonnement n'atteigne les pixels photosensibles 21, 2 en question.
[0047] Le réseau de filtres optiques 170 comprend plusieurs éléments filtrants 171, 172, 173, 174, c'est-à-dire plusieurs filtres optiques élémentaires, disposés chacun en vis-à-vis de l'un des pixels photosensibles 21, 21'. Chaque pixel photosensible capte ainsi une partie du rayonnement électromagnétique qui a été filtrée par l'élément filtrant auquel il est associé. Comme expliqué ci-dessous, ces éléments filtrants 171, 172, 173, 174 individuels sont de différents types, par exemple de type bleu, vert, rouge et infrarouge, ce qui permet d'acquérir l'image en couleurs et l'image infrarouge mentionnées plus haut.
[0048] En l'occurrence, le réseau de filtres optiques 170 comprend :
- des premiers éléments filtrants 171, aptes chacun à transmettre une première partie du rayonnement électromagnétique située dans une plage de longueurs d'onde donnée de l'infrarouge, et
- des deuxièmes éléments filtrants 172, 173, 174, aptes chacun à transmettre au moins une composante d'une deuxième partie du rayonnement électromagnétique située dans le visible, entre 400 nanomètres et 700 nanomètres.
[0049] Dans le mode de réalisation décrit ici, les premiers éléments filtrants 171 transmettent seulement des longueurs d'ondes situées dans ladite plage de longueurs d'onde de l'infrarouge. Cette plage de longueurs d'onde s'étend majoritairement au-delà de 700 nanomètres. Elle peut par exemple s'étendre de 700 nanomètres à 1100 nanomètres.
[0050] Dans l'exemple décrit ici, les deuxièmes éléments filtrants 172, 173, 174, transmettent seulement les longueurs d'ondes situées entre 400 et 700 nanomètres. En variante, ils pourraient toutefois transmettre à la fois des longueurs d'onde situées dans le visible, et des longueurs d'onde situées dans l'infrarouge.
[0051] Les deuxièmes éléments filtrants 172, 173, 174 comprennent ici des éléments filtrants rouges 172, des éléments filtrants verts 173 et des éléments filtrants bleus 174. Les termes « rouge », « vert », « bleu » sont utilisés dans leur sens commun. Les valeurs des bandes passantes rouge, verte et bleue énoncées ci-après sont données à titre d'exemple non limitatif.
[0052] les éléments filtrants rouges 172 présentent une bande passante rouge transmettant la composante de la deuxième partie du rayonnement électromagnétique présentant des longueurs d'onde comprises par exemple majoritairement entre 550 nm et 700 nm. [0053] Les éléments filtrants verts 173 présentent une bande passante verte transmettant la composante de la deuxième partie du rayonnement électromagnétique présentant des longueurs d'onde comprises par exemple majoritairement entre 450 nm et 650 nm.
[0054] Les éléments filtrants bleus 174 présentent quant à eux une bande passante bleue transmettant la composante de la deuxième partie du rayonnement électromagnétique présentant des longueurs d'onde comprises par exemple majoritairement entre 400 nm et 550 nm.
[0055] Les différents éléments filtrants 171, 172, 173, 174 du réseau de filtres optiques sont agencés les uns par rapport aux autres de manière à former un motif 175, répété régulièrement pour former le réseau de filtres optiques 170. Ce motif 175 comprend ici quatre éléments filtrants, en l'occurrence : l'un des premiers éléments filtrants 171, l'un des éléments filtrants rouges 172, l'un des éléments filtrants verts 173, et l'un des éléments filtrants bleus 174. Ces quatre éléments filtrants, adjacents, forment un carré. Tel que représenté sur les figures, le réseau de filtres optiques 170 est donc comparable à un réseau dit « de Bayer », dans lequel l'un des éléments filtrants verts aurait été remplacé par un élément transparent dans l'infrarouge. En variante, le motif d'éléments filtrants, répété plusieurs fois pour former le réseau de filtres optiques, pourrait être constitué différemment (en comprenant par exemple plus éléments filtrants verts, que d'éléments filtrants rouges ou bleus).
[0056] Pour ce qui est maintenant de la matrice 19 de pixels photosensibles, elle comprend :
- des premiers pixels photosensibles 21, disposés de façon à capter la première partie du rayonnement électromagnétique transmise par les premiers éléments filtrants 171, et
- des deuxième pixels photosensibles 2 , disposés de façon à capter les différentes composantes, rouges, vertes et bleues, transmises par les deuxièmes éléments filtrants 172, 173, 174.
[0057] Chacun des premiers et deuxièmes pixels photosensibles 21, 2 produit, par effet photo électrique, un signal électrique représentatif de la puissance du rayonnement électromagnétique qu'il a capté (d'une certaine manière, chaque élément photosensible se comporte comme une photodiode). Ce signal électrique est produit sous la forme d'une charge ou d'une tension électrique présentée entre deux bornes de la capacité électrique que constitue l'élément photosensible. Ce signal électrique est produit par le pixel photosensible 21, 21' considéré au terme d'une durée d'intégration ti donnée. [0058] Plus précisément, avant d'acquérir les première et deuxième images 31, 35, les charges électriques, ou les tensions électriques entre les bornes des premiers et deuxièmes pixels photosensibles 21, 2 sont réinitialisées (remises à zéro), puis, chacun de ces pixels photosensibles 21, 2 accumule des charges électriques, produites par effet photo électriques, pendant ladite durée d'intégration ti. Le signal électrique produit par le pixel photosensible 21, 2 considéré correspond à la charge, ou à la tension électrique entre les bornes de ce pixel photosensible 21, 2 , au terme de cette durée d'intégration ti, parfois appelée durée d'exposition, durée d'acquisition, ou encore temps d'intégration. Le signal électrique produit par chacun des premiers et deuxièmes pixels photosensibles 21, 21' est représentatif du nombre de photons reçus par le pixel photosensible considéré durant la durée d'intégration ti (par exemple proportionnel à ce nombre de photons).
[0059] Dans le mode de réalisation décrit ici, le substrat semi-conducteur de la matrice 19 de pixels photosensibles 21, 2 est en Silicium (dopé de manière appropriée). La sensibilité des pixels photosensibles dans le domaine de l'infrarouge est ainsi limitée au domaine du proche infrarouge : la plage de sensibilité des premiers pixels photosensibles 21, munis des premiers éléments filtrants 171, est comprise ici entre 700 nanomètres et 1100 nanomètres.
[0060] Le capteur d'images 9 est par exemple de type CMOS (selon l'acronyme anglo-saxon de
« Complementary Métal Oxide Semiconductor ») ou de type CCD (selon l'acronyme anglo- saxon de « Charge Coupled Device »).
[0061] Un gain G est appliqué aux différents signaux électroniques générés par les premiers et deuxièmes pixels photosensibles 21, 21'. Chacun de ces signaux est multiplié par ce gain G pour obtenir un signal électrique amplifié correspondant, qui est par exemple numérisé ensuite au moyen d'un convertisseur analogique-numérique. Dans le cas d'un capteur de type CCD, on peut par exemple prévoir qu'un même amplificateur applique le gain G précité aux différents signaux électriques, préalablement générés par les pixels photosensibles 21, 2 puis transférés ligne par ligne et colonne par colonne (par exemple) jusqu'à cet amplificateur. Dans le cas d'un capteur CMOS, chaque pixel photosensible 21, 2 peut être muni d'un amplificateur qui lui est propre, ces différents amplificateurs appliquant chacun le même gain G, au signal électrique correspondant. En variante, ces différents amplificateurs pourraient appliquer des gains différents, amis dont la valeur moyenne soit égale au gain G précité. [0062] Une prise de vue par le capteur d'images 9 comprend :
- l'exposition des premiers et deuxièmes pixels photosensibles 21, 2 , pendant la durée d'intégration ti, pour générer lesdits signaux électriques, et
- l'amplification subséquentes de ces signaux électriques, par le gain G.
[0063] Lors de cette prise de vue, les valeurs de la durée d'intégration ti et du gain G sont fixées par le calculateur 13, qui pilote le capteur d'images 9.
[0064] Les signaux électriques amplifiés produits lors de cette prise de vue sont traités par le calculateur 13, lors d'une étape c) (figure 6), pour produire l'image infrarouge 31 et l'image en couleurs 35.
[0065] Composition de l'image infrarouge et de l'image en couleurs
[0066] L'image infrarouge 31 est formée d'une matrice de pixels images 33 (figure 5), associés aux différents pixels photosensibles 21, 21' du capteur d'images 9. Dans le mode de réalisation décrit ici, le calculateur 13 est programmé pour mettre en oeuvre un algorithme d'interpolation permettant de constituer une image infrarouge 31 « complète » bien que seul un pixel photosensible 21 sur quatre capture un rayonnement infrarouge, dans le capteur d'images. Autrement formulé, l'image infrarouge 31 comprend ici autant de pixels images 33 que ce que le capteur d'images 9 comprend de pixels photosensibles, premiers 21 et deuxièmes 21' pixels photosensibles inclus.
[0067] A chaque pixel image 33 de l'image infrarouge 31 est associée une valeur de luminosité, représentative de la valeur d'un ou plusieurs des signaux électriques amplifiés issus des premiers pixels photosensibles 21. Ici, cette valeur de luminosité est déterminée en fonction des valeurs des signaux électriques amplifiés issus des premiers pixels photosensibles 21 qui sont les plus proches de la position correspond, sur le capteur d'images 9, au pixel image 33 considéré.
[0068] Le calculateur 13 est programmé par ailleurs pour composer l'image en couleurs 35, représentée schématiquement sur la figure 5, à partir des signaux électriques amplifiés issus des deuxièmes pixels photosensibles 2 .
[0069] L'image en couleurs 35 est formée elle aussi d'une matrice de pixels images (non représentés), associés aux différents pixels photosensibles 21, 21' du capteur d'images 9. De même que pour l'image infrarouge, le calculateur 13 est programmé ici pour mettre en oeuvre un algorithme d'interpolation permettant de constituer une image en couleurs 35 « complète » bien que seul un pixel photosensible 21 sur quatre capture un rayonnement situé dans la bande passante rouge, ou verte, ou bleue mentionnée plus haut. Autrement formulé, l'image en couleurs comprend ici autant de pixels images que ce que le capteur d'images 9 comprend de pixels photosensibles, premiers 21 et deuxièmes 21' pixels photosensibles inclus.
[0070] Chacun pixel image de l'image en couleur 35 est associé à une valeur de luminosité, représentative de valeurs de certains des signaux électriques amplifiés issus deuxièmes pixels photosensibles 21'. Cette valeur de luminosité est représentative de l'intensité du rayonnement électromagnétique visible reçu par les deuxièmes pixels photosensibles 2 qui, sur le capteur d'images 9, sont situés au voisinage immédiat de la position qui, sur ce capteur, est associé au pixel image considéré.
[0071] En l'occurrence, le calculateur 13 est programmé ici pour, dans un premier temps, composer trois canaux monochromes en se basant sur les signaux électriques amplifiés provenant des deuxièmes pixels photosensibles 2 . Le calculateur 13 compose ainsi un canal rouge 37, à partir des signaux électriques amplifiés provenant des deuxièmes pixels photosensibles situés en vis-à-vis des éléments filtrants rouges 172. Il compose également un canal vert 39 à partir des signaux électriques amplifiés provenant des deuxièmes pixels photosensibles situés en vis-à-vis des éléments filtrants verts 173. Enfin, il compose un canal bleu 41 à partir des signaux électriques amplifiés provenant des deuxièmes pixels photosensibles associés aux éléments filtrants bleus 174.
[0072] Chacun de ces canaux, rouge 37, vert 39 et bleu 41, est une image en niveau de gris (chaque pixel image du canal considéré a une valeur de luminosité, mais pas de valeur de teinte ou de chrominance), associée à la couleur du canal considéré et de même taille que l'image en couleur 35 (c'est-à-dire comprenant le même nombre de pixels images).
[0073] Pour élaborer l'image en couleurs 35, le calculateur 13 met ensuite en oeuvre un
algorithme permettant de combiner les valeurs de luminosité du canal rouge 37, du canal vert 39 et du canal bleu 41, pour chaque pixel image, afin d'obtenir, pour le pixel image « en couleurs » considéré :
- un valeur de luminosité, globale, pour le domaine du visible (par exemple égale à la moyenne des luminosités des différents canaux), et
- deux valeurs de chrominance, complémentaires, représentatives des propriétés chromatiques de la lumière captée, au point considéré du capteur d'images 9.
[0074] Comme représenté sur la figure 6, le calculateur 13 est programmé ici pour exécuter plusieurs fois successivement l'étape c), au cours de laquelle il acquiert les signaux électriques amplifiés délivrés par le capteur d'image 9 puis compose l'image infrarouge 31 et l'image en couleurs 35. Cette étape est exécutée ici par un module de prétraitement 130 du calculateur 13 (figure 2).
[0075] Pilotage des paramètres d'exposition
[0076] Les paramètres d'exposition du dispositif de capture d'images 1, à savoir la durée d'intégration ti, le gain G, et, de manière optionnelle, l'ouverture Ap d'un diaphragme 12 du système optique 10, sont pilotés ici par un module de pilotage d'exposition 132 du calculateur 13 (figure 2), au cours d'étapes a') et b') (figure 6) décrites ci-dessous.
[0077] Le module de pilotage d'exposition 132 est programmé pour déterminer la luminosité ambiante dans le domaine du visible qui a été mentionnée plus haut, lors de l'étape a').
[0078] La luminosité ambiante dans le domaine du visible est représentative de la puissance d'un rayonnement électromagnétique visible (dont les composantes sont comprises majoritairement entre 400 nanomètres et 700 nanomètres), provenant d'un environnement du dispositif de capture d'images 1, ici provenant du champ de vision 14 de ce dispositif, et reçu par un capteur de luminosité. Dans le mode de réalisation décrit ici, ce capteur de luminosité est réalisé au moyen du capteur d'images 9 qui a été décrit plus haut.
[0079] En variante, il pourrait toutefois s'agir d'un capteur distinct du capteur d'images, tel qu'une photodiode disposée de manière à recevoir un rayonnement provenant du champ de vision du dispositif de capture d'images.
[0080] Ici, la luminosité ambiante dans le domaine du visible est déterminée à partir d'une image en couleurs 35, délivrée par le module de prétraitement 130 à l'issu d'une exécution précédente de l'étape c), et correspondant donc à une prise de vue effectuée précédemment par le capteur d'images 9.
[0081] En l'occurrence, le module de pilotage d'exposition 132 est programmé pour déterminer la luminosité ambiante dans le domaine du visible en fonction des valeurs de luminosité d'une partie au moins des pixels images de cette image en couleurs 35, acquise précédemment par le dispositif de capture d'images 1.
[0082] La luminosité ambiante dans le domaine du visible peut, comme ici, être déterminée en calculant une moyenne des valeurs de luminosité des pixels images de cette image en couleurs 35. La luminosité ambiante dans le domaine du visible est alors représentative d'un niveau de luminosité moyenne dans cette image en couleurs 35, appelé dans la suite deuxième niveau de luminosité, et noté Lv.
[0083] La moyenne en question peut porter sur l'ensemble des pixels images de l'image en couleurs 35, ou porter seulement sur certains de ces pixels images, situés dans une zone d'intérêt de l'image correspondant par exemple à l'image du visage du conducteur 3. Par ailleurs, on peut prévoir que cette moyenne prenne en compte seulement les valeurs de luminosité des pixels images qui satisfont à un critère donné, par exemple qui sont comprises dans un intervalle de valeurs donné. Ainsi, le deuxième niveau de luminosité Lv peut, à titre d'exemple, être représentatif de la luminosité moyenne des zones de faible luminosité de l'image en couleurs 35, ou des zones de luminosité intermédiaire de cette image.
[0084] En variante, la luminosité ambiante dans le domaine du visible pourrait être déterminée en fonction des valeurs de luminosité des différents canaux chromatiques de l'image en couleur considérée (canal rouge, vert et bleu), éventuellement affectées de coefficients de pondération différents, au lieu d'être déterminée en fonction de valeurs de luminosités des pixels images de l'image en couleur globale résultant de la fusion de ces trois canaux chromatiques.
[0085] A l'étape b'), le module de pilotage d'exposition 132 pilote les paramètres d'exposition précités, en fonction de la luminosité ambiante dans le domaine du visible déterminée à l'étape a') précédente.
[0086] Pour cela, le module de pilotage d'exposition 132 corrige ici les valeurs des paramètres d'exposition, qui sont appliqués ensuite au capteur d'images 9 et au diaphragme 12, en fonction d'un écart s2 entre :
- d'une part, une valeur cible de luminosité moyenne, appelée dans la suite deuxième valeur cible Lv,o, et
- d'autre part, le deuxième niveau de luminosité Lv (luminosité moyenne dans l'image en couleurs 35 acquise précédemment).
[0087] Cette correction est réalisée de manière à amener progressivement le deuxième niveau de luminosité Lv à la deuxième valeur cible Lv,o, au cours de répétitions des étapes a'), b') et c). Cette correction peut consister par exemple à ajouter un terme correctif à une valeur précédente du paramètre d'exposition considéré, ce terme correctif étant proportionnel à l'écart s2 mentionné ci-dessus (correction proportionnelle). Plus généralement, cette correction consiste à asservir le deuxième niveau de luminosité Lv à la deuxième valeur cible Lv,o. Cet asservissement peut notamment être du type proportionnel, proportionnel- intégral, ou proportionnel, intégral et dérivé (c'est-à-dire de type « PID »).
[0088] La deuxième valeur cible Lv,o correspond par exemple à la luminosité moyenne dans une image considérée comme convenablement exposée.
[0089] Une image est considéré comme convenablement exposée lorsque, par exemple :
- la luminosité moyenne dans cette image est comprise dans un intervalle donné, cet intervalle s'étendant par exemple de un quart jusqu'à trois quart de la valeur de luminosité maximale pouvant être associée à un pixel image,
- et/ou lorsque la proportion de pixels images de l'image, dont la valeur de luminosité est égale à ladite valeur de luminosité maximale (pixels images en saturation haute), est inférieure à un seuil donné, ce seuil étant par exemple égal à un quart,
- et/ou lorsque la proportion de pixels images de l'image, dont la valeur de luminosité est égale à une valeur minimale de luminosité (pixels images en saturation basse), est inférieure à un seuil donné, ce seuil étant par exemple égal à un quart.
[0090] La deuxième valeur cible Lv,o peut par exemple être comprise entre un quart et trois quart de la valeur de luminosité maximale mentionnée plus haut, ou entre un tiers et deux tiers de cette valeur maximale. A titre d'exemple, si les valeurs de luminosité en question sont codées sur huit bits, en étant comprises entre 0 et 255, la valeur de luminosité maximale en question (saturation haute) est égale à 255, et la deuxième valeur cible Lv,o peut alors être comprise entre 63 et 191, par exemple, ou entre 85 et 170.
[0091] Dans l'exemple décrit ici, le module de pilotage d'exposition 132 commande à la fois la durée d'intégration ti, le gain G, et l'ouverture Ap du diaphragme du système optique 10 (diaphragme d'ouverture). En variante, l'ouverture Ap pourrait toutefois être fixe (ou éventuellement être réglable manuellement). De même, le module de pilotage d'exposition 132 pourrait être programmé pour, la durée d'intégration ti étant fixe, commander seulement la valeur du gain G, en fonction du deuxième niveau de luminosité Lv dans l'image en couleur 35 (ou, inversement, pour commander seulement le temps d'intégration ti). Un tel asservissement du gain G est parfois appelé « automatic gain control » (contrôle de gain automatique) ou « AGC », dans la littérature spécialisée.
[0092] Dispositif d'éclairage [0093] Le dispositif d'éclairage 11 est apte à émettre un rayonnement infrarouge situé au moins en partie dans la plage de longueurs d'onde transmises par les premiers éléments filtrants 171 du réseau de filtres optique du capteur d'images 9 (plage dont on rappelle qu'elle s'étend ici de 700 nanomètres à 1100 nanomètres). Le dispositif d'éclairage 11 peut par exemple être réalisé au moyen de diodes électroluminescentes.
[0094] Le rayonnement infrarouge émis par le dispositif d'éclairage 11 est émis sous la forme d'un faisceau lumineux 15, dirigé de manière à éclairer une partie au moins du champ de vision 14 du dispositif de capture d'images 1 (figure 1). En l'occurrence, ce faisceau lumineux est dirigé vers la zone occupée habituellement par le visage du conducteur 3, lorsqu'il est assis sur le siège conducteur.
[0095] La puissance du rayonnement infrarouge émis par le dispositif d'éclairage 11 est pilotée par un module de pilotage d'éclairage 131 du calculateur 13 (figure 2). Pour cela, ce module pilote ici la puissance électrique PE qui alimente le dispositif d'éclairage 11.
[0096] Le module de pilotage d'éclairage 131 est programmé plus précisément pour piloter la puissance du rayonnement infrarouge émis en fonction d'une luminosité ambiante dans le domaine de l'infrarouge.
[0097] La luminosité ambiante dans le domaine de l'infrarouge est définie ici de manière comparable à la luminosité ambiante dans le domaine du visible présentée plus haut, mais pour le domaine de l'infrarouge. Le pilotage de la puissance du rayonnement infrarouge émis est comparable au pilotage des paramètres d'exposition mentionnés plus haut, mais il est réalisé en fonction de la luminosité ambiante dans le domaine de l'infrarouge, au lieu d'être réalisé en fonction de la luminosité ambiante dans le domaine du visible.
[0098] Le module de pilotage d'éclairage 131 est programmé pour piloter la puissance du rayonnement infrarouge émis au cours des étapes a) et b), représentées sur la figure 6 et décrites ci-dessous.
[0099] Au cours de l'étape a), le module de pilotage d'éclairage 131 détermine la luminosité ambiante dans le domaine de l'infrarouge.
[0100] La luminosité ambiante dans le domaine de l'infrarouge est représentative de la puissance d'un rayonnement électromagnétique infrarouge (dont les composantes s'étendent au- delà de 700 nanomètres), provenant de l'environnement du dispositif de capture d'images 1, ici provenant du champ de vision 14 de ce dispositif, et reçu par un capteur de luminosité. Dans le mode de réalisation décrit ici, ce capteur de luminosité est réalisé au moyen du capteur d'images 9.
[0101] En variante, il pourrait toutefois s'agir d'un capteur distinct du capteur d'images, tel qu'une photodiode infrarouge, disposée de manière à recevoir un rayonnement provenant du champ de vision du dispositif de capture d'images.
[0102] Ici, la luminosité ambiante dans le domaine du visible est déterminée à partir d'une image infrarouge 31, délivrée par le module de prétraitement 130 à l'issu d'une exécution précédente de l'étape c), et correspondant donc à une prise de vue effectuée précédemment par le capteur d'images 9.
[0103] En l'occurrence, le module de pilotage d'éclairage 131 est programmé pour déterminer la luminosité ambiante dans le domaine de l'infrarouge en fonction des valeurs de luminosité d'une partie au moins des pixels images 33 de cette image infrarouge 31, acquise précédemment par le dispositif de capture d'images 1.
[0104] La luminosité ambiante dans le domaine de l'infrarouge peut, comme ici, être déterminée en calculant une moyenne des valeurs de luminosité des pixels images 33 de cette image infrarouge 31. La luminosité ambiante dans le domaine de l'infrarouge est alors représentative d'un niveau de luminosité moyenne dans cette image infrarouge 31, appelé dans la suite premier niveau de luminosité, et noté L|R.
[0105] La moyenne en question peut porter sur l'ensemble des pixels images 33 de l'image infrarouge 31, ou porter seulement sur certains de ces pixels images 33, situés dans une zone d'intérêt de l'image correspondant par exemple à l'image du visage du conducteur 3. Par ailleurs, on peut prévoir que cette moyenne prenne en compte seulement les valeurs de luminosité des pixels images 33 qui satisfont un critère donné, par exemple qui sont comprises dans un intervalle de valeurs donné. Ainsi, le premier niveau de luminosité L|R peut, à titre d'exemple, être représentatif de la luminosité moyenne des zones de faible luminosité de l'image infrarouge 31, ou des zones de luminosité intermédiaire de cette image.
[0106] A l'étape b), le module de pilotage d'éclairage 131 pilote la puissance électrique PE qui alimente le dispositif d'éclairage 11, en fonction de la luminosité ambiante dans le domaine infrarouge déterminée à l'étape a) précédente.
[0107] Pour cela, le module de pilotage d'éclairage 131 corrige ici la valeur de la puissance électrique PE, en fonction d'un écart si entre : - d'une part, une valeur cible de luminosité moyenne dans le domaine de l'infrarouge, appelée dans la suite première valeur cible L|R,o, et
[0108] - d'autre part, le premier niveau de luminosité L|R (luminosité moyenne dans l'image infrarouge 31 acquise précédemment).
[0109] Cette correction est réalisée de manière à amener progressivement le premier niveau de luminosité L|R à la première valeur cible LIR.O, au cours de répétitions des étapes a), b) et c). Cette correction peut consister par exemple à ajouter un terme correctif à une valeur précédente de la puissance électrique PE, ce terme correctif étant proportionnel à l'écart si mentionné ci-dessus (correction proportionnelle). Plus généralement, cette correction consiste à asservir le premier niveau de luminosité UR à la première valeur cible L|R,o. Cet asservissement peut notamment être du type proportionnel, proportionnel-intégral, ou proportionnel, intégral et dérivé (c'est-à-dire de type « PID »).
[0110] La première valeur cible L!R,o correspond par exemple à la luminosité moyenne dans une image considérée comme convenablement exposée (un exemple de définition d'une image considérée comme convenablement exposée a été donnée plus haut).
[0111] La première valeur cible L!R,o peut par exemple être comprise entre un quart et trois quart de la valeur de luminosité maximale pouvant être associée à un pixel image 33 de l'image infrarouge 31, ou être comprise entre un tiers et deux tiers de cette valeur maximale. A titre d'exemple, si les valeurs de luminosité des pixels images 33 sont codées sur huit bits, en étant comprises entre 0 et 255, la valeur de luminosité maximale mentionnée ci-dessus (saturation haute) est égale à 255, et la première valeur cible L!R,o peut alors être comprise entre 63 et 191, par exemple, ou entre 85 et 170.
[0112] Système de surveillance du conducteur
[0113] L'unité de traitement 20 électronique du système de surveillance 2 est programmée pour déterminer le niveau d'inaptitude à la conduite lL du conducteur 3 à partir de l'une au moins des images infrarouges 31 produites par le dispositif de capture d'images 1. Le niveau d'inaptitude à la conduite lL comprend par exemple un niveau de somnolence du conducteur 3 et/ou un niveau de distraction du conducteur 3 (le niveau d'inaptitude à la conduite lL peut en particulier être un niveau de somnolence du conducteur 3 ou un niveau de distraction de celui-ci).
[0114] L'unité de traitement 20 peut par exemple être programmée de manière à analyser l'image infrarouge 31 en question, ou une séquence d'images infrarouges 31 produite par le dispositif de capture d'images 1, afin d'identifier le visage du conducteur 3 et/ou certaines zones du visage du conducteur 3, en particulier les zones de l'image infrarouge 31 correspondant aux yeux du conducteur 3. L'unité de traitement 20 peut alors déterminer le niveau de somnolence du conducteur 3 en mesurant la durée et/ou la fréquence de clignement des yeux du conducteur 3, précédemment identifiés dans l'image infrarouge 31.
[0115] L'unité de traitement 20 peut déterminer le niveau de distraction du conducteur 3 en fonction d'une posture de la tête du conducteur 3 déduite de l'image infrarouge 31, et en fonction de l'évolution de cette posture au cours du temps.
[0116] L'unité de traitement 20 peut également évaluer (par analyse de l'image infrarouge 31, ou d'une séquence d'images infrarouges 31), et utiliser pour déterminer le niveau de distraction et/ou le niveau de somnolence, la direction de regard du conducteur 3 ou l'évolution de cette direction de regard au cours du temps.
[0117] L'unité de traitement 20 peut également évaluer (par analyse de l'image infrarouge 31, ou d'une séquence d'images infrarouges 31), et utiliser pour déterminer le niveau de distraction et/ou le niveau de somnolence, le diamètre de la pupille d'au moins un œil du conducteur 3 (et précisément les variations de ce diamètre).
[0118] L'unité de traitement 20 peut être programmée pour, lors de la détermination du niveau d'inaptitude à la conduite lL du conducteur, tenir compte aussi d'une ou plusieurs images en couleurs 35 délivrées par le dispositif de capture d'images 1.
[0119] L'image en couleurs 35 peut être utilisée dans d'autres applications.
[0120] Le calculateur 13 peut par exemple transmettre l'image en couleur 35, ou une séquence d'images en couleurs 35 à un module de télécommunication 43 du véhicule 5. Ce module de télécommunication 43 est configuré pour transmettre l'image en couleurs 35, ou la séquence d'images couleur 35 reçue à un appareil électronique distant, par exemple un mobile multifonction ou un ordinateur, par exemple via un émetteur wifi. L'image couleur 35 ou la séquence d'image couleur 35 peut alors être utilisée dans le cadre d'une téléconférence, par exemple une visioconférence.
[0121] Le calculateur 13 pourrait aussi transmettre l'image en couleurs 35, ou la séquence d'images en couleurs 35 à une mémoire du véhicule 5 pour qu'elle y soit stockée.
[0122] Différentes variantes peuvent être apportées au dispositif de capture d'image ou au système de surveillance du conducteur qui ont été décrits plus haut. [0123] Par exemple, la deuxième image, composée à partir des signaux électrique générés par les deuxièmes pixels photosensibles du capteur d'images, pourrait être une image monochrome, au lieu d'être une image en couleurs. Les deuxièmes éléments filtrants du réseau de filtres optiques pourraient d'ailleurs être tous du même type (par exemple être tous des éléments filtrants verts), au lieu de comprendre trois types différents de filtres optiques (respectivement rouges, verts et bleus).
[0124] D'autre part, les différentes fonctionnalités du calculateur pourraient réparties différemment entre modules. Un nombre plus grand de modules pourrait être utilisé, ou, au contraire, un même module pourrait exécuter l'ensemble des opérations, exécutées par le calculateur, qui ont été décrites plus haut. Il est noté que le terme module peut désigner un circuit électronique, ou une partie de circuit électronique distinct des autres modules, ou un groupe d'instructions spécifique stocké dans la mémoire du calculateur.
Par ailleurs, les première et deuxième images mentionnées plus haut pourraient correspondre à des images en quelque sorte brutes (parfois appelées images « RAW » en anglais), obtenues sans interpolation. Dans ce cas, le nombre de pixels images de l'image infrarouge, par exemple, serait égal au nombre desdits premiers pixels photosensibles, au lieu d'être égal au nombre total de pixels photosensibles du capteur d'images.

Claims

Revendications
[Revendication 1] [Dispositif de capture d'images (1) comprenant un capteur d'images (9), qui
comporte :
- un réseau de filtres optiques (170) recevant un rayonnement
électromagnétique et comprenant des premiers éléments filtrants (171) aptes chacun à transmettre une première partie du rayonnement électromagnétique comprise dans une plage de longueurs d'onde donnée de l'infrarouge, ainsi que des deuxièmes éléments filtrants (172, 173, 174) aptes chacun à transmettre au moins une composante d'une deuxième partie du rayonnement électromagnétique située dans le visible, et
- une matrice (19) de pixels photosensibles comprenant des premiers pixels photosensibles (21) disposés de façon à capter la première partie du rayonnement électromagnétique transmise par les premiers éléments filtrants (171), ainsi que des deuxièmes pixels photosensibles (2 ) disposés de façon à capter la composante transmise par les deuxièmes éléments filtrants (172, 173, 174), chacun des premiers et deuxièmes pixels photosensibles (21, 21') étant apte à générer un signal électrique représentatif de la puissance du rayonnement électromagnétique qu'il capte,
le dispositif de capture d'images (1) étant caractérisé en ce qu'il comprend en outre :
- un dispositif d'éclairage (11) configuré pour émettre un rayonnement infrarouge dans un champ de vision (14) du dispositif de capture d'images (1), ledit rayonnement infrarouge étant situé au moins en partie dans ladite plage de longueurs d'onde transmises par les premiers éléments filtrants (171), et
- un calculateur (13), programmé pour exécuter les étapes suivantes :
a) déterminer une luminosité ambiante dans le domaine de l'infrarouge,
b) piloter la puissance du rayonnement infrarouge émis par le dispositif d'éclairage (11), en fonction de ladite luminosité ambiante dans le domaine de l'infrarouge,
c) acquérir les signaux électriques générés par les premiers et deuxièmes pixels photosensibles (21, 2 ), composer une première image (31) à partir des signaux électriques générés par les premiers pixels photosensibles (21), et composer une deuxième image (35) à partir des signaux électriques générés par les deuxièmes pixels photosensibles (2 ).
[Revendication 2] Dispositif de capture d'images (1) selon la revendication 1, dans lequel le
calculateur (13) est programmé pour exécuter les étapes suivantes :
a') déterminer une luminosité ambiante dans le domaine du visible, et
b') piloter l'un au moins des paramètres d'exposition suivants en fonction de ladite luminosité ambiante dans le domaine du visible :
- une durée d'intégration (ti), chacun desdits signaux électriques étant représentatif d'une charge ou d'une tension électrique, accumulée par le pixel photosensible (21, 2 ) correspondant au cours de ladite durée d'intégration (ti),
- un gain (G) appliqué auxdits signaux électriques,
- une ouverture (Ap) d'un diaphragme (12) d'un système optique (10) du dispositif de capture d'images (1).
[Revendication 3] Dispositif de capture d'images (1) selon la revendication 2, dans lequel le
calculateur (13) est programmé pour, l'étape c) ayant été exécutée précédemment, déterminer ladite luminosité ambiante dans le domaine du visible, à l'étape a'), en fonction de valeurs de luminosité d'une partie au moins des pixels images de la deuxième image (35) qui a été produite lors de ladite exécution précédente de l'étape c).
[Revendication 4] Dispositif de capture d'images (1) selon la revendication 3, dans lequel le
calculateur (13) est programmé pour, à l'étape a'), déterminer ladite luminosité ambiante dans le domaine du visible de manière à ce qu'elle soit représentative d'un deuxième niveau de luminosité (Lv) moyenne, dans la deuxième image (35) produite lors de ladite exécution précédente de l'étape c).
[Revendication 5] Dispositif de capture d'images (1) selon la revendication 4, dans lequel le
calculateur (13) est programmé pour, à l'étape b'), corriger l'un au moins desdits paramètres d'exposition (ti, G, Ap) en fonction d'un écart entre, d'une part, une deuxième valeur cible (Lv,o) de luminosité moyenne, et, d'autre part, le deuxième niveau de luminosité (Lv) moyenne dans la deuxième image (35) produite lors de l'exécution précédente de l'étape c).
[Revendication 6] Dispositif de capture d'images (1) selon l'une des revendications 1 à 5, dans lequel le calculateur (13) est programmé pour, l'étape c) ayant été exécutée
précédemment, déterminer ladite luminosité ambiante dans le domaine de l'infrarouge, à l'étape a), en fonction de valeurs de luminosité d'une partie au moins des pixels images (33) de la première image (31) qui a été produite lors de ladite exécution précédente de l'étape c).
[Revendication 7] Dispositif de capture d'images (1) selon la revendication 6, dans lequel le
calculateur (13) est programmé pour, à l'étape a), déterminer ladite luminosité ambiante dans le domaine de l'infrarouge de manière à ce qu'elle soit
représentative d'un premier niveau de luminosité (L|R) moyenne, dans la première image (31) produite lors de ladite exécution précédente de l'étape c).
[Revendication 8] Dispositif de capture d'images (1) selon la revendication 7, dans lequel le
calculateur (13) est programmé pour, à l'étrape b), piloter la puissance du rayonnement infrarouge émis par le dispositif d'éclairage (11) en fonction d'un écart entre, d'une part, une première valeur cible (L!R,o) de luminosité moyenne, et, d'autre part, le premier niveau de luminosité (L|R) moyenne dans la première image (31) produite lors de l'exécution précédente de l'étape c).
[Revendication 9] Dispositif de capture d'images (1) selon l'une des revendications 1 à 8, dans lequel ladite plage de longueurs d'onde transmise par les premiers éléments filtrants (171) est comprise entre 700 nanomètres et 1100 nanomètres.
[Revendication 10] Dispositif de capture d'images (1) selon l'une des revendications 1 à 9, dans lequel les deuxièmes éléments filtrants (172, 173, 174) comprennent des éléments filtrants rouges (172) présentant une bande passante rouge transmettant des longueurs d'onde comprises au moins entre 550 nanomètres et 700 nanomètres, des éléments filtrants verts (173) présentent une bande passante verte transmettant des longueurs d'onde comprises au moins entre 450 nanomètres et 650 nanomètres et des éléments filtrants bleus (174) présentent bande passante bleue transmettant des longueurs d'onde comprises par exemple entre 400 nanomètres et 550 nanomètres.
[Revendication 11] Système de surveillance (2) d'un conducteur (3) d'un véhicule (5) comprenant un dispositif de capture d'images (1) selon l'une des revendications 1 à 10, ainsi qu'une unité de traitement (20) programmée pour déterminer un niveau d'inaptitude à la conduite (lL) du conducteur à partir de ladite première image (31) au moins.
[Revendication 12] Système de surveillance selon la revendication 11, dans lequel le niveau
d'inaptitude à la conduite (lL) comprend un niveau de somnolence ou un niveau de distraction du conducteur.
EP19791287.6A 2018-12-19 2019-10-30 Dispositif de capture d'images et système associé de surveillance d'un conducteur Withdrawn EP3900320A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1873307A FR3091114B1 (fr) 2018-12-19 2018-12-19 dispositif de capture d’images et système de surveillance d’un conducteur associé
PCT/EP2019/079617 WO2020126179A1 (fr) 2018-12-19 2019-10-30 Dispositif de capture d'images et système associé de surveillance d'un conducteur

Publications (1)

Publication Number Publication Date
EP3900320A1 true EP3900320A1 (fr) 2021-10-27

Family

ID=66542409

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19791287.6A Withdrawn EP3900320A1 (fr) 2018-12-19 2019-10-30 Dispositif de capture d'images et système associé de surveillance d'un conducteur

Country Status (5)

Country Link
US (1) US11845335B2 (fr)
EP (1) EP3900320A1 (fr)
CN (1) CN113302912A (fr)
FR (1) FR3091114B1 (fr)
WO (1) WO2020126179A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611977B (zh) * 2020-06-05 2021-10-15 吉林求是光谱数据科技有限公司 基于光谱与多波段融合的人脸识别监控系统及识别方法
CN112037732B (zh) * 2020-09-11 2021-12-07 广州小鹏自动驾驶科技有限公司 基于红外相机的用于车辆显示器的亮度控制的装置、系统及存储介质
CN115802183B (zh) * 2021-09-10 2023-10-20 荣耀终端有限公司 图像处理方法及其相关设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4969045A (en) * 1988-05-20 1990-11-06 Sanyo Electric Co., Ltd. Image sensing apparatus having automatic iris function of automatically adjusting exposure in response to video signal
US20090268023A1 (en) * 2008-04-27 2009-10-29 Wen-Hsiung Hsieh Surveillance camera device with a light source
CN101803928A (zh) 2010-03-05 2010-08-18 北京智安邦科技有限公司 基于视频的驾驶员疲劳检测装置
US20130222603A1 (en) * 2012-02-28 2013-08-29 Aptina Imaging Corporation Imaging systems for infrared and visible imaging
JP6089872B2 (ja) * 2013-03-28 2017-03-08 富士通株式会社 画像補正装置、画像補正方法及び生体認証装置
US10423946B2 (en) * 2013-11-11 2019-09-24 Nec Corporation POS terminal device, commodity recognition method, and non-transitory computer readable medium storing program
US9674465B2 (en) * 2015-06-03 2017-06-06 Omnivision Technologies, Inc. Non-visible illumination scheme
WO2017003719A2 (fr) * 2015-06-30 2017-01-05 3M Innovative Properties Company Dispositif d'éclairage
CN105306796A (zh) * 2015-10-10 2016-02-03 安霸半导体技术（上海）有限公司 具有定期红外照明和全局快门cmos传感器的夜视设备
CN106231179B (zh) * 2016-07-29 2019-05-24 浙江大华技术股份有限公司 一种日夜双滤光片切换器切换方法及装置
US20180164156A1 (en) * 2016-12-12 2018-06-14 Microsoft Technology Licensing, Llc Hybrid Sensor with Enhanced Infrared Detection Capabilities
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机系统和图像处理方法
JP7438127B2 (ja) * 2018-04-19 2024-02-26 シーイング マシーンズ リミテッド 赤外線光源保護システム
US11881018B2 (en) * 2018-07-10 2024-01-23 Hangzhou Taro Positioning Technology Co., Ltd. Detecting dual band infrared light source for object tracking
PL3852350T3 (pl) * 2018-09-14 2024-06-10 Zhejiang Uniview Technologies Co., Ltd. Sposób oraz urządzenie do automatycznej ekspozycji dla obrazu w podwójnym spektrum, oraz kamera do obrazów w podwójnym spektrum oraz maszynowy nośnik pamięci

Also Published As

Publication number Publication date
FR3091114B1 (fr) 2021-06-11
US11845335B2 (en) 2023-12-19
US20220048386A1 (en) 2022-02-17
CN113302912A (zh) 2021-08-24
FR3091114A1 (fr) 2020-06-26
WO2020126179A1 (fr) 2020-06-25

Similar Documents

Publication Publication Date Title
EP3973693B1 (fr) Dispositif de capture d'images à expositions multiples et système de surveillance d'un conducteur associé
WO2020126179A1 (fr) Dispositif de capture d'images et système associé de surveillance d'un conducteur
CA2909554C (fr) Dispositif d'acquisition d'images bimode
EP3657784B1 (fr) Procédé d'estimation d'un défaut d'un système de capture d'images et systèmes associés
EP1510799A1 (fr) Procédé et dispositif de mesure de la couleur
EP2710340B1 (fr) Systeme de camera pour un vehicule et procede de calibration pour une camera et pour actionner un systeme de camera
FR2984664A1 (fr) Dispositif d'affichage
FR2633475A1 (fr) Systeme de television a bas niveau de lumiere a images colorees
FR2899696A1 (fr) Procede de traitement d'un phenomene d'eclairement relatif sur une image numerique et systeme de traitement associe
FR3104363A1 (fr) Dispositif de capture d’images
CN110574368B (zh) 固态摄像装置、摄像系统以及物体识别系统
EP1351498A2 (fr) Procédé de traitement en temps réel d'un signal représentatif d'une image
EP3729796B1 (fr) Procede et systeme d'imagerie a haut et bas niveaux de lumiere
FR3113165A1 (fr) Procédé et système pour imager une scène dans l’espace
FR3081585A1 (fr) Systeme de production d'image d'un conducteur d'un vehicule et systeme embarque associe
FR3101504A1 (fr) Dispositif de capture d’images et procédé de capture d’images
EP4090012B1 (fr) Systeme de videoconference permettant de reduire un effet de parallaxe associe a la direction du regard d'un utilisateur
EP2588913A1 (fr) Dispositif de vision numerique bioculaire a faible bruit
WO2020193320A1 (fr) Dispositif, systeme et procede de capture d'image
FR3082032A1 (fr) Dispositif de surveillance d'un conducteur et systeme embarque associe
FR3129803A1 (fr) Système de capture d’image et ensemble d’imagerie comprenant un tel système
CA3161535A1 (fr) Terminal d'analyse de document et procede d'analyse de document
WO2007101934A2 (fr) Procede et dispositif d'elaboration d'images non saturees par une camera a transfert de charge ou equivalente
CA2909900A1 (fr) Saisie d'image avec addition de signaux d'accumulation pour des photodetecteurs adjacents

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210527

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: VALEO COMFORT AND DRIVING ASSISTANCE

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230528

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230824

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: VALEO COMFORT AND DRIVING ASSISTANCE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20240104