FR3091114A1 - dispositif de capture d’images et système de surveillance d’un conducteur associé - Google Patents
dispositif de capture d’images et système de surveillance d’un conducteur associé Download PDFInfo
- Publication number
- FR3091114A1 FR3091114A1 FR1873307A FR1873307A FR3091114A1 FR 3091114 A1 FR3091114 A1 FR 3091114A1 FR 1873307 A FR1873307 A FR 1873307A FR 1873307 A FR1873307 A FR 1873307A FR 3091114 A1 FR3091114 A1 FR 3091114A1
- Authority
- FR
- France
- Prior art keywords
- image
- capture device
- infrared
- brightness
- image capture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 12
- 230000005855 radiation Effects 0.000 claims abstract description 29
- 230000003287 optical effect Effects 0.000 claims abstract description 28
- 230000005670 electromagnetic radiation Effects 0.000 claims description 23
- 230000010354 integration Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 9
- 206010041349 Somnolence Diseases 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 abstract 2
- 230000003595 spectral effect Effects 0.000 abstract 2
- 239000004020 conductor Substances 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 21
- 238000004458 analytical method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
L’invention concerne un dispositif de capture d’images (1) comprenant un capteur d’images (9) permettant d’obtenir à la fois une image infrarouge (31) et une image dans le domaine du visible (35) grâce un réseau de filtres optiques comprenant des premiers éléments filtrants, ayant une bande spectrale de transmission située dans l’infrarouge, ainsi que des deuxièmes éléments filtrants, ayant une bande spectrale de transmission située dans le visible. Le dispositif de capture d’images comprend en outre : - un dispositif d’éclairage (11) configuré pour émettre un rayonnement infrarouge, et - un calculateur (13), programmé pour exécuter piloter la puissance du rayonnement infrarouge émis par le dispositif d’éclairage, en fonction de ladite luminosité ambiante dans le domaine de l’infrarouge. L’invention concerne aussi un système de surveillance (2) d’un conducteur (3) comprenant un tel dispositif de capture d’images.Figure pour l’abrégé : Fig.2
Description
Description
Titre de l'invention : dispositif de capture d’images et système de surveillance d’un conducteur associé
[0001] La présente invention concerne un dispositif de capture d’images. Elle concerne également un dispositif de surveillance d’un conducteur d’un véhicule comportant un dispositif de capture d’images.
[0002] Des dispositifs de capture d’image permettant de visualiser une scène donnée, à la fois dans le domaine du visible et dans le domaine de l’infrarouge, et cela avec un même capteur d’images, ont été développés récemment.
[0003] Le capteur d’images d’un tel dispositif, en quelque sorte hybride, est parfois appelé capteur d’images « RGB-IR » (selon l’acronyme anglo-saxon de Red Green Blue InfraRed, c’est-à-dire Rouge Vert Bleu - InfraRouge).
[0004] Ce capteur d’images comprend une matrice de pixels photosensibles et un réseau de filtres optiques élémentaires coïncidant avec ces différents pixels photosensibles.
[0005] Une partie de ces filtres optiques élémentaires sont des filtres colorés. Ils transmettent chacun une partie du rayonnement visible reçu par le capteur d’images, cette partie correspondant en pratique à un rouge, à un vert, ou à un bleu. Ces différents filtres colorés, élémentaires, permettent d’acquérir une image en couleurs, par exemple de type « RGB ».
[0006] Les autres filtres optiques élémentaires du capteur d’images sont transparents, au moins en partie, dans le domaine de l’infrarouge. Ils permettent d’acquérir une image de la scène en question dans le domaine de l’infrarouge.
[0007] L’image en couleurs et l’image dans le domaine de l’infrarouge, qui contiennent des informations complémentaires, sont ainsi obtenues avec un même capteur, ce qui est intéressant notamment en terme de coût de revient et d’encombrement.
[0008] Mais la luminosité ambiante dans l’environnement d’un dispositif de capture d’images est le souvent nettement différente dans le domaine du visible et dans le domaine de l’infrarouge. Avec un tel capteur d’images, on ne peut donc généralement pas obtenir une exposition optimale à la fois pour l’image en couleurs et pour l’image dans le domaine de l’infrarouge.
[0009] Dans ce contexte, la présente invention propose un dispositif de capture d’images comprenant un capteur d’images, qui comporte :
[0010] - un réseau de filtres optiques recevant un rayonnement électromagnétique et comprenant des premiers éléments filtrants aptes chacun à transmettre une première partie du rayonnement électromagnétique comprise dans une plage de longueurs d’onde donnée de l’infrarouge, ainsi que des deuxièmes éléments filtrants aptes chacun à transmettre au moins une composante d’une deuxième partie du rayonnement électromagnétique située dans le visible, et
[0011] - une matrice de pixels photosensibles comprenant des premiers pixels photosensibles disposés de façon à capter la première partie du rayonnement électromagnétique transmise par les premiers éléments filtrants, ainsi que des deuxièmes pixels photosensibles disposés de façon à capter la composante transmise par les deuxièmes éléments filtrants, chacun des premiers et deuxièmes pixels photosensibles étant apte à générer un signal électrique représentatif de la puissance du rayonnement électromagnétique qu’il capte.
[0012] Selon l’invention, le dispositif de capture d’images comprend en outre :
[0013] - un dispositif d’éclairage configuré pour émettre un rayonnement infrarouge dans un champ de vision du dispositif de capture d’images, ledit rayonnement infrarouge étant situé au moins en partie dans ladite plage de longueurs d’onde transmises par les premiers éléments filtrants, et
[0014] - un calculateur, programmé pour exécuter les étapes suivantes :
[0015] a) déterminer une luminosité ambiante dans le domaine de l’infrarouge,
[0016] b) piloter la puissance du rayonnement infrarouge émis par le dispositif d’éclairage, en fonction de ladite luminosité ambiante dans le domaine de l’infrarouge,
[0017] c) acquérir les signaux électriques générés par les premiers et deuxièmes pixels photosensibles, composer une première image à partir des signaux électriques générés par les premiers pixels photosensibles, et composer une deuxième image à partir des signaux électriques générés par les deuxièmes pixels photosensibles.
[0018] Le rayonnement infrarouge, qui éclaire la scène située dans le champ de vision du dispositif de capture d’images, comprend le rayonnement émis par le dispositif d’éclairage, ainsi que le rayonnement infrarouge provenant éventuellement d’autres sources environnantes (lumière solaire par exemple).
[0019] Le dispositif d’éclairage, piloté en fonction de la luminosité ambiante dans le domaine de l’infrarouge, permet de contrôler la puissance totale du rayonnement infrarouge qui éclaire la scène.
[0020] Cela permet une exposition optimale de la première image (image « infrarouge »), même si la durée d’exposition (c’est-à-dire la durée d’intégration), ou éventuellement d’autres paramètres d’exposition (gain, ouverture), sont imposés par ailleurs, par exemple pour obtenir une exposition optimale de la deuxième image (image dans le domaine du visible).
[0021] Le calculateur peut d’ailleurs être programmé pour exécuter les étapes suivantes : [0022] a’) déterminer une luminosité ambiante dans le domaine du visible, et
[0023] b’) piloter l’un au moins des paramètres d’exposition suivants en fonction de ladite luminosité ambiante dans le domaine du visible :
[0024] - une durée d’intégration, chacun desdits signaux électriques étant représentatif d’une charge ou d’une tension électrique, accumulée par le pixel photosensible correspondant au cours de ladite durée d’intégration,
[0025] - un gain appliqué auxdits signaux électriques,
[0026] - une ouverture d’un diaphragme d’un système optique du dispositif de capture d’images.
[0027] Contrôler ainsi une ou plusieurs de ces paramètres d’exposition permet d’obtenir une exposition convenable de la deuxième image, et d’éviter ainsi qu’elle ne soit surexposée ou sous-exposée. Comme expliqué plus haut, contrôler la puissance du rayonnement infrarouge émis par le dispositif d’éclairage permet d’obtenir aussi une exposition convenable de la première image (image « infrarouge »), et cela même si les paramètres d’exposition mentionnés ci-dessus sont fixés par ailleurs, en fonction de la luminosité ambiante dans le domaine du visible.
[0028] Dans un mode de réalisation envisageable, on peut prévoir que calculateur soit programmé pour, l’étape c) ayant été exécutée précédemment, déterminer ladite luminosité ambiante dans le domaine du visible, à l’étape a’), en fonction de valeurs de luminosité d’une partie au moins des pixels images de la deuxième image qui a été produite lors de ladite exécution précédente de l’étape c).
[0029] Dans un mode de réalisation envisageable, le calculateur est programmé pour, à l’étape a’), déterminer ladite luminosité ambiante dans le domaine du visible de manière à ce qu’elle soit représentative d’un deuxième niveau de luminosité moyenne, dans la deuxième image produite lors de ladite exécution précédente de l’étape c).
[0030] Dans un mode de réalisation envisageable, le calculateur est programmé pour, à l’étape b’), corriger l’un au moins desdits paramètres d’exposition en fonction d’un écart entre, d’une part, une deuxième valeur cible de luminosité moyenne, et, d’autre part, le deuxième niveau de luminosité moyenne dans la deuxième image produite lors de l’exécution précédente de l’étape c).
[0031] Dans un mode de réalisation envisageable, le calculateur est programmé pour, l’étape c) ayant été exécutée précédemment, déterminer ladite luminosité ambiante dans le domaine de l’infrarouge, à l’étape a), en fonction de valeurs de luminosité d’une partie au moins des pixels images de la première image qui a été produite lors de ladite exécution précédente de l’étape c).
[0032] Dans un mode de réalisation envisageable, le calculateur est programmé pour, à l’étape a), déterminer ladite luminosité ambiante dans le domaine de l’infrarouge de manière à ce qu’elle soit représentative d’un premier niveau de luminosité moyenne, dans la première image produite lors de ladite exécution précédente de l’étape c).
[0033] Dans un mode de réalisation envisageable, le calculateur est programmé pour, à l’étrape b), piloter la puissance du rayonnement infrarouge émis par le dispositif d’éclairage en fonction d’un écart entre, d’une part, une première valeur cible de luminosité moyenne, et, d’autre part, le premier niveau de luminosité moyenne dans la première image produite lors de l’exécution précédente de l’étape c).
[0034] Dans un mode de réalisation envisageable, ladite plage de longueurs d’onde transmise par les premiers éléments filtrants est comprise entre 700 nanomètres et 1100 nanomètres.
[0035] Dans un mode de réalisation envisageable, les deuxièmes éléments filtrants (comprennent des éléments filtrants rouges présentant une bande passante rouge transmettant des longueurs d’onde comprises au moins entre 550 nanomètres et 700 nanomètres, des éléments filtrants verts présentent une bande passante verte transmettant des longueurs d’onde comprises au moins entre 450 nanomètres et 650 nanomètres et des éléments filtrants bleus présentent bande passante bleue transmettant des longueurs d’onde comprises par exemple entre 400 nanomètres et 550 nanomètres.
[0036] Bien entendu, les différentes caractéristiques, variantes et formes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres.
[0037] L’invention propose également un système de surveillance d’un conducteur d’un véhicule comprenant un dispositif de capture d’images tel que décrit ci-dessus, ainsi qu’une unité de traitement programmée pour déterminer un niveau d’inaptitude à la conduite du conducteur à partir de ladite première image au moins.
[0038] Le niveau d’inaptitude à la conduite peut comprendre un niveau de somnolence et/ou un niveau de distraction du conducteur.
[0039] De plus, diverses autres caractéristiques de l'invention ressortent de la description annexée effectuée en référence aux dessins qui illustrent des formes, non limitatives, de réalisation de l'invention et où :
[0040] [fig.l] représente schématiquement un véhicule automobile comprenant un dispositif de capture d’images mettant en œuvre les enseignements de l’invention, vu de côté, [0041] [fig.2] représente plus en détails certains éléments du dispositif de capture d’images de la figure 1,
[0042] [fig.3] représente schématiquement un réseau de filtres optiques dont est pourvu un capteur d’images du dispositif de capture d’images de la figure 1, vu de face,
[0043] [fig.4] représente schématiquement ce même capteur d’images, vu de côté, [0044] [fig.5] représente schématiquement une image infrarouge et une image en couleurs délivrées par le dispositif de capture d’images de la figure 1, et
[0045] [fig.6] représente schématiquement des étapes exécutées par un calculateur du dispositif de capture d’images de la figure 1.
[0046] La figure 1 représente un véhicule 5, ici un véhicule automobile, muni d’un système de surveillance 2 d’un conducteur 3 du véhicule. Ce système de surveillance 2 comprend un dispositif de capture d’images 1 et une unité de traitement 20 qui est programmée pour déterminer un niveau d’inaptitude à la conduite du conducteur 3, IL, à partir d’une ou plusieurs images délivrées par le dispositif de capture d’images 1.
[0047] Le dispositif de capture d’images 1 comprend un capteur d’images 9 (figure 2) et un système optique 10 tel qu’un objectif. Le système optique 10 forme, sur le capteur d’images 9, une image du contenu du champ de vision 14 du dispositif de capture d’images 1.
[0048] Tel que représenté sur la figure 1, le dispositif de capture d’images 1 est situé dans un habitacle 7 du véhicule, dans une région voisine d’un pare-brise du véhicule. Il est par exemple intégré dans une planche de bord, dans un tableau de bord ou dans une console de commande du véhicule.
[0049] Le dispositif de capture d’images 1 est orienté de manière à ce que son champ de vision 14 couvre la zone habituellement occupée par la tête du conducteur 3 lorsque celui-ci est assis sur le siège conducteur. Le dispositif de capture d’images 1 peut ainsi capturer des images du visage du conducteur 3.
[0050] De manière remarquable, le capteur d’images 9 est un capteur en quelque sorte hybride, permettant de visualiser le contenu du champ de vision 14 à la fois dans le domaine de l’infrarouge, et dans le domaine du visible. En l’occurrence, le capteur d’images 9 est muni d’un réseau 170 de filtres optiques particulier (figure 3) qui permet, avec une même matrice 19 de pixels photosensibles, d’acquérir à la fois :
[0051] - une première image 31, appelée dans la suite « image infrarouge », produite à partir d’une première partie du rayonnement électromagnétique collecté par le système optique 10, cette première partie étant située dans le domaine de l’infrarouge, et
[0052] - une deuxième image 35, produite à partir d’une deuxième partie du rayonnement électromagnétique collecté par le système optique 10, cette deuxième partie étant située dans le domaine du visible.
[0053] Dans l’exemple décrit ici, cette deuxième image 35 est une image en couleurs (elle est d’ailleurs appelée « image en couleurs » dans la suite).
[0054] Grâce à ce capteur d’images 9 particulier, le dispositif de capture d’images 1 est à même de capturer l’image infrarouge en question, ainsi que cette image en couleurs, tout en restant très peu encombrant. L’image infrarouge 31 peut par exemple être utilisée pour surveiller le conducteur 3 et déterminer son niveau d’inaptitude à la conduite IL. L’image en couleurs est plus agréable à visualiser pour l’œil humain et contient plus d’informations qu’une image infrarouge (habituellement affichée en niveau de gris). L’image en couleurs peut donc être acquise à des fins multiples, par exemple elle peut être utilisée pour communiquer avec un appareil électronique distant, par exemple dans le cadre d’une téléconférence, ou bien encore être gardée en mémoire pour des raisons de sécurité ou en tant que « photo souvenir » immortalisant un trajet.
[0055] Le dispositif de capture d’images 1 comprend aussi un calculateur 13, comprenant au moins un processeur et une mémoire électronique, programmé pour piloter un ou plusieurs paramètres d’exposition, tels que la durée d’intégration et le gain employés pour obtenir les images 31, 35 en question. Le calculateur 13 est programmé pour piloter ce ou ces paramètres d’exposition en fonction d’une luminosité ambiante dans le domaine du visible. Cela permet d’obtenir une exposition convenable de la deuxième image 35.
[0056] Le dispositif de capture d’image 1 comprend aussi un dispositif d’éclairage 11, pour éclairer le champ de vision 14 dans le domaine de l’infrarouge. Ce dispositif d’éclairage 11 est piloté par le calculateur 13 en fonction d’une luminosité ambiante dans le domaine de l’infrarouge. Piloter ainsi la puissance du rayonnement infrarouge émis par le dispositif d’éclairage 11 permet d’obtenir aussi une exposition convenable de l’image infrarouge, même si le ou les paramètres d’exposition mentionnés ci-dessus sont ajustés en fonction de la luminosité ambiante dans le domaine du visible, et non dans le domaine de l’infrarouge.
[0057] Le dispositif d’éclairage 11 piloté par le calculateur 13 permet donc, en quelque sorte, d’éviter un écart trop grand entre la luminosité ambiante dans le domaine du visible et celle dans le domaine de l’infrarouge, ce qui permet, pour une même durée d’intégration h ou pour un même gain G, d’obtenir une exposition appropriée aussi bien pour l’image infrarouge 31 que pour l’image en couleurs 35.
[0058] Les différents éléments et fonctionnalités de ce dispositif de capture d’images 1 peuvent maintenant être décrits plus en détail. Le capteur d’images 9 sera décrit dans un premier. La manière de piloter les paramètres d’exposition (durée d’intégration tb gain G, ouverture Ap) sera présentée dans un deuxième temps. Le dispositif d’éclairage 11 et son pilotage seront présentés ensuite, avant de décrire la façon de déterminer le paramètre d’inaptitude à la conduite du conducteur 3.
[0059] Capteur d’images RGV-IR.
[0060] Comme on peut le voir sur les figures 3 et 4, le réseau de filtres optiques 170 du capteur d’images 9 est disposé en vis-à-vis de la matrice 19 de pixels photosensibles de ce capteur, de manière à filtrer le rayonnement électromagnétique provenant du champ de vision 14 du dispositif de capture d’images 1 (rayonnement qui a été collecté par le système optique 10), avant que ce rayonnement n’atteigne les pixels photosensibles 21, 21’ en question.
[0061] Le réseau de filtres optiques 170 comprend plusieurs éléments filtrants 171, 172, 173, 174, c’est-à-dire plusieurs filtres optiques élémentaires, disposés chacun en visà-vis de l’un des pixels photosensibles 21, 21’. Chaque pixel photosensible capte ainsi une partie du rayonnement électromagnétique qui a été filtrée par l’élément filtrant auquel il est associé. Comme expliqué ci-dessous, ces éléments filtrants 171, 172, 173, 174 individuels sont de différents types, par exemple de type bleu, vert, rouge et infrarouge, ce qui permet d’acquérir l’image en couleurs et l’image infrarouge mentionnées plus haut.
[0062] En l’occurrence, le réseau de filtres optiques 170 comprend :
- des premiers éléments filtrants 171, aptes chacun à transmettre une première partie du rayonnement électromagnétique située dans une plage de longueurs d’onde donnée de l’infrarouge, et
- des deuxièmes éléments filtrants 172, 173, 174, aptes chacun à transmettre au moins une composante d’une deuxième partie du rayonnement électromagnétique située dans le visible, entre 400 nanomètres et 700 nanomètres.
[0063] Dans le mode de réalisation décrit ici, les premiers éléments filtrants 171 transmettent seulement des longueurs d’ondes situées dans ladite plage de longueurs d’onde de l’infrarouge. Cette plage de longueurs d’onde s’étend majoritairement audelà de 700 nanomètres. Elle peut par exemple s’étendre de 700 nanomètres à 1100 nanomètres.
[0064] Dans l’exemple décrit ici, les deuxièmes éléments filtrants 172, 173, 174, transmettent seulement les longueurs d’ondes situées entre 400 et 700 nanomètres. En variante, ils pourraient toutefois transmettre à la fois des longueurs d’onde situées dans le visible, et des longueurs d’onde situées dans l’infrarouge.
[0065] Les deuxièmes éléments filtrants 172, 173, 174 comprennent ici des éléments filtrants rouges 172, des éléments filtrants verts 173 et des éléments filtrants bleus 174. Les termes « rouge », « vert », « bleu » sont utilisés dans leur sens commun. Les valeurs des bandes passantes rouge, verte et bleue énoncées ci-après sont données à titre d’exemple non limitatif.
[0066] les éléments filtrants rouges 172 présentent une bande passante rouge transmettant la composante de la deuxième partie du rayonnement électromagnétique présentant des longueurs d’onde comprises par exemple majoritairement entre 550 nm et 700 nm.
[0067] Les éléments filtrants verts 173 présentent une bande passante verte transmettant la composante de la deuxième partie du rayonnement électromagnétique présentant des longueurs d’onde comprises par exemple majoritairement entre 450 nm et 650 nm.
[0068] Les éléments filtrants bleus 174 présentent quant à eux une bande passante bleue transmettant la composante de la deuxième partie du rayonnement électromagnétique présentant des longueurs d’onde comprises par exemple majoritairement entre 400 nm et 550 nm.
[0069] Les différents éléments filtrants 171, 172, 173, 174 du réseau de filtres optiques sont agencés les uns par rapport aux autres de manière à former un motif 175, répété régulièrement pour former le réseau de filtres optiques 170. Ce motif 175 comprend ici quatre éléments filtrants, en l’occurrence : l’un des premiers éléments filtrants 171, l’un des éléments filtrants rouges 172, l’un des éléments filtrants verts 173, et l’un des éléments filtrants bleus 174. Ces quatre éléments filtrants, adjacents, forment un carré. Tel que représenté sur les figures, le réseau de filtres optiques 170 est donc comparable à un réseau dit « de Bayer », dans lequel l’un des éléments filtrants verts aurait été remplacé par un élément transparent dans l’infrarouge. En variante, le motif d’éléments filtrants, répété plusieurs fois pour former le réseau de filtres optiques, pourrait être constitué différemment (en comprenant par exemple plus éléments filtrants verts, que d’éléments filtrants rouges ou bleus).
[0070] Pour ce qui est maintenant de la matrice 19 de pixels photosensibles, elle comprend : - des premiers pixels photosensibles 21, disposés de façon à capter la première partie du rayonnement électromagnétique transmise par les premiers éléments filtrants 171, et - des deuxième pixels photosensibles 21’, disposés de façon à capter les différentes composantes, rouges, vertes et bleues, transmises par les deuxièmes éléments filtrants 172, 173, 174.
[0071] Chacun des premiers et deuxièmes pixels photosensibles 21, 21’ produit, par effet photo-électrique, un signal électrique représentatif de la puissance du rayonnement électromagnétique qu’il a capté (d’une certaine manière, chaque élément photosensible se comporte comme une photodiode). Ce signal électrique est produit sous la forme d’une charge ou d’une tension électrique présentée entre deux bornes de la capacité électrique que constitue l’élément photosensible. Ce signal électrique est produit par le pixel photosensible 21, 21’ considéré au terme d’une durée d’intégration fi donnée.
[0072] Plus précisément, avant d’acquérir les première et deuxième images 31, 35, les charges électriques, ou les tensions électriques entre les bornes des premiers et deuxièmes pixels photosensibles 21, 21’ sont réinitialisées (remises à zéro), puis, chacun de ces pixels photosensibles 21, 21’ accumule des charges électriques, produites par effet photo-électriques, pendant ladite durée d’intégration tb Le signal électrique produit par le pixel photosensible 21, 21’ considéré correspond à la charge, ou à la tension électrique entre les bornes de ce pixel photosensible 21, 21’, au terme de cette durée d’intégration tb parfois appelée durée d’exposition, durée d’acquisition, ou encore temps d’intégration. Le signal électrique produit par chacun des premiers et deuxièmes pixels photosensibles 21, 21’ est représentatif du nombre de photons reçus par le pixel photosensible considéré durant la durée d’intégration h (par exemple proportionnel à ce nombre de photons).
[0073] Dans le mode de réalisation décrit ici, le substrat semi-conducteur de la matrice 19 de pixels photosensibles 21, 21’ est en Silicium (dopé de manière appropriée). La sensibilité des pixels photosensibles dans le domaine de l’infrarouge est ainsi limitée au domaine du proche infrarouge : la plage de sensibilité des premiers pixels photosensibles 21, munis des premiers éléments filtrants 171, est comprise ici entre 700 nanomètres et 1100 nanomètres.
[0074] Le capteur d’images 9 est par exemple de type CMOS (selon l’acronyme anglosaxon de « Complementary Metal Oxide Semiconductor ») ou de type CCD (selon l’acronyme anglo-saxon de « Charge Coupled Device »).
[0075] Un gain G est appliqué aux différents signaux électroniques générés par les premiers et deuxièmes pixels photosensibles 21, 21’. Chacun de ces signaux est multiplié par ce gain G pour obtenir un signal électrique amplifié correspondant, qui est par exemple numérisé ensuite au moyen d’un convertisseur analogique-numérique. Dans le cas d’un capteur de type CCD, on peut par exemple prévoir qu’un même amplificateur applique le gain G précité aux différents signaux électriques, préalablement générés par les pixels photosensibles 21, 21’ puis transférés ligne par ligne et colonne par colonne (par exemple) jusqu’à cet amplificateur. Dans le cas d’un capteur CMOS, chaque pixel photosensible 21, 21’ peut être muni d’un amplificateur qui lui est propre, ces différents amplificateurs appliquant chacun le même gain G, au signal électrique correspondant. En variante, ces différents amplificateurs pourraient appliquer des gains différents, amis dont la valeur moyenne soit égale au gain G précité.
[0076] Une prise de vue par le capteur d’images 9 comprend :
- l’exposition des premiers et deuxièmes pixels photosensibles 21, 21’, pendant la durée d’intégration tb pour générer lesdits signaux électriques, et
- l’amplification subséquentes de ces signaux électriques, par le gain G.
[0077] Lors de cette prise de vue, les valeurs de la durée d’intégration h et du gain G sont fixées par le calculateur 13, qui pilote le capteur d’images 9.
[0078] Les signaux électriques amplifiés produits lors de cette prise de vue sont traités par le calculateur 13, lors d’une étape c) (figure 6), pour produire l’image infrarouge 31 et l’image en couleurs 35.
[0079] Composition de l’image infrarouge et de l’image en couleurs
[0080] L’image infrarouge 31 est formée d’une matrice de pixels images 33 (figure 5), associés aux différents pixels photosensibles 21, 21’ du capteur d’images 9. Dans le mode de réalisation décrit ici, le calculateur 13 est programmé pour mettre en œuvre un algorithme d’interpolation permettant de constituer une image infrarouge 31 « complète » bien que seul un pixel photosensible 21 sur quatre capture un rayonnement infrarouge, dans le capteur d’images. Autrement formulé, l’image infrarouge 31 comprend ici autant de pixels images 33 que ce que le capteur d’images 9 comprend de pixels photosensibles, premiers 21 et deuxièmes 21’ pixels photosensibles inclus.
[0081] A chaque pixel image 33 de l’image infrarouge 31 est associée une valeur de luminosité, représentative de la valeur d’un ou plusieurs des signaux électriques amplifiés issus des premiers pixels photosensibles 21. Ici, cette valeur de luminosité est déterminée en fonction des valeurs des signaux électriques amplifiés issus des premiers pixels photosensibles 21 qui sont les plus proches de la position correspond, sur le capteur d’images 9, au pixel image 33 considéré.
[0082] Le calculateur 13 est programmé par ailleurs pour composer l’image en couleurs 35, représentée schématiquement sur la figure 5, à partir des signaux électriques amplifiés issus des deuxièmes pixels photosensibles 21’.
[0083] L’image en couleurs 35 est formée elle aussi d’une matrice de pixels images (non représentés), associés aux différents pixels photosensibles 21, 21’ du capteur d’images 9. De même que pour l’image infrarouge, le calculateur 13 est programmé ici pour mettre en œuvre un algorithme d’interpolation permettant de constituer une image en couleurs 35 « complète » bien que seul un pixel photosensible 21 sur quatre capture un rayonnement situé dans la bande passante rouge, ou verte, ou bleue mentionnée plus haut. Autrement formulé, l’image en couleurs comprend ici autant de pixels images que ce que le capteur d’images 9 comprend de pixels photosensibles, premiers 21 et deuxièmes 21’ pixels photosensibles inclus.
[0084] Chacun pixel image de l’image en couleur 35 est associé à une valeur de luminosité, représentative de valeurs de certains des signaux électriques amplifiés issus deuxièmes pixels photosensibles 21’. Cette valeur de luminosité est représentative de l’intensité du rayonnement électromagnétique visible reçu par les deuxièmes pixels photosensibles 21’ qui, sur le capteur d’images 9, sont situés au voisinage immédiat de la position qui, sur ce capteur, est associé au pixel image considéré.
[0085] En l’occurrence, le calculateur 13 est programmé ici pour, dans un premier temps, composer trois canaux monochromes en se basant sur les signaux électriques amplifiés provenant des deuxièmes pixels photosensibles 21’. Le calculateur 13 compose ainsi un canal rouge 37, à partir des signaux électriques amplifiés provenant des deuxièmes pixels photosensibles situés en vis-à-vis des éléments filtrants rouges 172. Il compose également un canal vert 39 à partir des signaux électriques amplifiés provenant des deuxièmes pixels photosensibles situés en vis-à-vis des éléments filtrants verts 173. Enfin, il compose un canal bleu 41 à partir des signaux électriques amplifiés provenant des deuxièmes pixels photosensibles associés aux éléments filtrants bleus 174.
[0086] Chacun de ces canaux, rouge 37, vert 39 et bleu 41, est une image en niveau de gris (chaque pixel image du canal considéré a une valeur de luminosité, mais pas de valeur de teinte ou de chrominance), associée à la couleur du canal considéré et de même taille que l’image en couleur 35 (c’est-à-dire comprenant le même nombre de pixels images).
[0087] Pour élaborer l’image en couleurs 35, le calculateur 13 met ensuite en œuvre un algorithme permettant de combiner les valeurs de luminosité du canal rouge 37, du canal vert 39 et du canal bleu 41, pour chaque pixel image, afin d’obtenir, pour le pixel image « en couleurs » considéré :
- un valeur de luminosité, globale, pour le domaine du visible (par exemple égale à la moyenne des luminosités des différents canaux), et
- deux valeurs de chrominance, complémentaires, représentatives des propriétés chromatiques de la lumière captée, au point considéré du capteur d’images 9.
[0088] Comme représenté sur la figure 6, le calculateur 13 est programmé ici pour exécuter plusieurs fois successivement l’étape c), au cours de laquelle il acquiert les signaux électriques amplifiés délivrés par le capteur d’image 9 puis compose l’image infrarouge 31 et l’image en couleurs 35. Cette étape est exécutée ici par un module de prétraitement 130 du calculateur 13 (figure 2).
[0089] Pilotage des paramètres d’exposition
[0090] Les paramètres d’exposition du dispositif de capture d’images 1, à savoir la durée d’intégration tb le gain G, et, de manière optionnelle, l’ouverture Ap d’un diaphragme 12 du système optique 10, sont pilotés ici par un module de pilotage d’exposition 132 du calculateur 13 (figure 2), au cours d’étapes a’) et b’) (figure 6) décrites ci-dessous.
[0091] Le module de pilotage d’exposition 132 est programmé pour déterminer la luminosité ambiante dans le domaine du visible qui a été mentionnée plus haut, lors de l’étape a’).
[0092] La luminosité ambiante dans le domaine du visible est représentative de la puissance d’un rayonnement électromagnétique visible (dont les composantes sont comprises majoritairement entre 400 nanomètres et 700 nanomètres), provenant d’un environnement du dispositif de capture d’images 1, ici provenant du champ de vision 14 de ce dispositif, et reçu par un capteur de luminosité. Dans le mode de réalisation décrit ici, ce capteur de luminosité est réalisé au moyen du capteur d’images 9 qui a été décrit plus haut.
[0093] En variante, il pourrait toutefois s’agir d’un capteur distinct du capteur d’images, tel qu’une photodiode disposée de manière à recevoir un rayonnement provenant du champ de vision du dispositif de capture d’images.
[0094] Ici, la luminosité ambiante dans le domaine du visible est déterminée à partir d’une image en couleurs 35, délivrée par le module de prétraitement 130 à l’issu d’une exécution précédente de l’étape c), et correspondant donc à une prise de vue effectuée précédemment par le capteur d’images 9.
[0095] En l’occurrence, le module de pilotage d’exposition 132 est programmé pour déterminer la luminosité ambiante dans le domaine du visible en fonction des valeurs de luminosité d’une partie au moins des pixels images de cette image en couleurs 35, acquise précédemment par le dispositif de capture d’images 1.
[0096] La luminosité ambiante dans le domaine du visible peut, comme ici, être déterminée en calculant une moyenne des valeurs de luminosité des pixels images de cette image en couleurs 35. La luminosité ambiante dans le domaine du visible est alors représentative d’un niveau de luminosité moyenne dans cette image en couleurs 35, appelé dans la suite deuxième niveau de luminosité, et noté Lv.
[0097] La moyenne en question peut porter sur l’ensemble des pixels images de l’image en couleurs 35, ou porter seulement sur certains de ces pixels images, situés dans une zone d’intérêt de l’image correspondant par exemple à l’image du visage du conducteur 3. Par ailleurs, on peut prévoir que cette moyenne prenne en compte seulement les valeurs de luminosité des pixels images qui satisfont à un critère donné, par exemple qui sont comprises dans un intervalle de valeurs donné. Ainsi, le deuxième niveau de luminosité Lv peut, à titre d’exemple, être représentatif de la luminosité moyenne des zones de faible luminosité de l’image en couleurs 35, ou des zones de luminosité intermédiaire de cette image.
[0098] En variante, la luminosité ambiante dans le domaine du visible pourrait être déterminée en fonction des valeurs de luminosité des différents canaux chromatiques de l’image en couleur considérée (canal rouge, vert et bleu), éventuellement affectées de coefficients de pondération différents, au lieu d’être déterminée en fonction de valeurs de luminosités des pixels images de l’image en couleur globale résultant de la fusion de ces trois canaux chromatiques.
[0099] A l’étape b’), le module de pilotage d’exposition 132 pilote les paramètres d’exposition précités, en fonction de la luminosité ambiante dans le domaine du visible déterminée à l’étape a’) précédente.
[0100] Pour cela, le module de pilotage d’exposition 132 corrige ici les valeurs des paramètres d’exposition, qui sont appliqués ensuite au capteur d’images 9 et au diaphragme 12, en fonction d’un écart ε2 entre :
[0101] - d’une part, une valeur cible de luminosité moyenne, appelée dans la suite deuxième valeur cible Lv>o, et
[0102] - d’autre part, le deuxième niveau de luminosité Lv (luminosité moyenne dans l’image en couleurs 35 acquise précédemment).
[0103] Cette correction est réalisée de manière à amener progressivement le deuxième niveau de luminosité Lv à la deuxième valeur cible Lv>o, au cours de répétitions des étapes a’), b’) et c). Cette correction peut consister par exemple à ajouter un terme correctif à une valeur précédente du paramètre d’exposition considéré, ce terme correctif étant proportionnel à l’écart ε2 mentionné ci-dessus (correction proportionnelle). Plus généralement, cette correction consiste à asservir le deuxième niveau de luminosité Lv à la deuxième valeur cible Lv>o· Cet asservissement peut notamment être du type proportionnel, proportionnel-intégral, ou proportionnel, intégral et dérivé (c’est-à-dire de type « PID »).
[0104] La deuxième valeur cible Lv>o correspond par exemple à la luminosité moyenne dans une image considérée comme convenablement exposée.
[0105] Une image est considéré comme convenablement exposée lorsque, par exemple : - la luminosité moyenne dans cette image est comprise dans un intervalle donné, cet intervalle s’étendant par exemple de un quart jusqu’à trois quart de la valeur de luminosité maximale pouvant être associée à un pixel image,
[0106] - et/ou lorsque la proportion de pixels images de l’image, dont la valeur de luminosité est égale à ladite valeur de luminosité maximale (pixels images en saturation haute), est inférieure à un seuil donné, ce seuil étant par exemple égal à un quart, [0107] - et/ou lorsque la proportion de pixels images de l’image, dont la valeur de luminosité est égale à une valeur minimale de luminosité (pixels images en saturation basse), est inférieure à un seuil donné, ce seuil étant par exemple égal à un quart.
[0108] La deuxième valeur cible Lv>o peut par exemple être comprise entre un quart et trois quart de la valeur de luminosité maximale mentionnée plus haut, ou entre un tiers et deux tiers de cette valeur maximale. A titre d’exemple, si les valeurs de luminosité en question sont codées sur huit bits, en étant comprises entre 0 et 255, la valeur de luminosité maximale en question (saturation haute) est égale à 255, et la deuxième valeur cible Lv>o peut alors être comprise entre 63 et 191, par exemple, ou entre 85 et 170.
[0109] Dans l’exemple décrit ici, le module de pilotage d’exposition 132 commande à la fois la durée d’intégration tb le gain G, et l’ouverture Ap du diaphragme du système optique 10 (diaphragme d’ouverture). En variante, l’ouverture Ap pourrait toutefois être fixe (ou éventuellement être réglable manuellement). De même, le module de pilotage d’exposition 132 pourrait être programmé pour, la durée d’intégration h étant fixe, commander seulement la valeur du gain G, en fonction du deuxième niveau de luminosité Lv dans l’image en couleur 35 (ou, inversement, pour commander seulement le temps d’intégration h). Un tel asservissement du gain G est parfois appelé « automatic gain control » (contrôle de gain automatique) ou « AGC », dans la littérature spécialisée.
[0110] Dispositif d’éclairage
[0111] Le dispositif d’éclairage 11 est apte à émettre un rayonnement infrarouge situé au moins en partie dans la plage de longueurs d’onde transmises par les premiers éléments filtrants 171 du réseau de filtres optique du capteur d’images 9 (plage dont on rappelle qu’elle s’étend ici de 700 nanomètres à 1100 nanomètres). Le dispositif d’éclairage 11 peut par exemple être réalisé au moyen de diodes électroluminescentes.
[0112] Le rayonnement infrarouge émis par le dispositif d’éclairage 11 est émis sous la forme d’un faisceau lumineux 15, dirigé de manière à éclairer une partie au moins du champ de vision 14 du dispositif de capture d’images 1 (figure 1). En l’occurrence, ce faisceau lumineux est dirigé vers la zone occupée habituellement par le visage du conducteur 3, lorsqu’il est assis sur le siège conducteur.
[0113] La puissance du rayonnement infrarouge émis par le dispositif d’éclairage 11 est pilotée par un module de pilotage d’éclairage 131 du calculateur 13 (figure 2). Pour cela, ce module pilote ici la puissance électrique PE qui alimente le dispositif d’éclairage 11.
[0114] Le module de pilotage d’éclairage 131 est programmé plus précisément pour piloter la puissance du rayonnement infrarouge émis en fonction d’une luminosité ambiante dans le domaine de l’infrarouge.
[0115] La luminosité ambiante dans le domaine de l’infrarouge est définie ici de manière comparable à la luminosité ambiante dans le domaine du visible présentée plus haut, mais pour le domaine de l’infrarouge. Le pilotage de la puissance du rayonnement infrarouge émis est comparable au pilotage des paramètres d’exposition mentionnés plus haut, mais il est réalisé en fonction de la luminosité ambiante dans le domaine de l’infrarouge, au lieu d’être réalisé en fonction de la luminosité ambiante dans le domaine du visible.
[0116] Le module de pilotage d’éclairage 131 est programmé pour piloter la puissance du rayonnement infrarouge émis au cours des étapes a) et b), représentées sur la figure 6 et décrites ci-dessous.
[0117] Au cours de l’étape a), le module de pilotage d’éclairage 131 détermine la luminosité ambiante dans le domaine de l’infrarouge.
[0118] La luminosité ambiante dans le domaine de l’infrarouge est représentative de la puissance d’un rayonnement électromagnétique infrarouge (dont les composantes s’étendent au-delà de 700 nanomètres), provenant de l’environnement du dispositif de capture d’images 1, ici provenant du champ de vision 14 de ce dispositif, et reçu par un capteur de luminosité. Dans le mode de réalisation décrit ici, ce capteur de luminosité est réalisé au moyen du capteur d’images 9.
[0119] En variante, il pourrait toutefois s’agir d’un capteur distinct du capteur d’images, tel qu’une photodiode infrarouge, disposée de manière à recevoir un rayonnement provenant du champ de vision du dispositif de capture d’images.
[0120] Ici, la luminosité ambiante dans le domaine du visible est déterminée à partir d’une image infrarouge 31, délivrée par le module de prétraitement 130 à l’issu d’une exécution précédente de l’étape c), et correspondant donc à une prise de vue effectuée précédemment par le capteur d’images 9.
[0121] En l’occurrence, le module de pilotage d’éclairage 131 est programmé pour déterminer la luminosité ambiante dans le domaine de l’infrarouge en fonction des valeurs de luminosité d’une partie au moins des pixels images 33 de cette image infrarouge 31, acquise précédemment par le dispositif de capture d’images 1.
[0122] La luminosité ambiante dans le domaine de l’infrarouge peut, comme ici, être déterminée en calculant une moyenne des valeurs de luminosité des pixels images 33 de cette image infrarouge 31. La luminosité ambiante dans le domaine de l’infrarouge est alors représentative d’un niveau de luminosité moyenne dans cette image infrarouge 31, appelé dans la suite premier niveau de luminosité, et noté L1R.
[0123] La moyenne en question peut porter sur l’ensemble des pixels images 33 de l’image infrarouge 31, ou porter seulement sur certains de ces pixels images 33, situés dans une zone d’intérêt de l’image correspondant par exemple à l’image du visage du conducteur 3. Par ailleurs, on peut prévoir que cette moyenne prenne en compte seulement les valeurs de luminosité des pixels images 33 qui satisfont un critère donné, par exemple qui sont comprises dans un intervalle de valeurs donné. Ainsi, le premier niveau de luminosité L1R peut, à titre d’exemple, être représentatif de la luminosité moyenne des zones de faible luminosité de l’image infrarouge 31, ou des zones de luminosité intermédiaire de cette image.
[0124] A l’étape b), le module de pilotage d’éclairage 131 pilote la puissance électrique PE qui alimente le dispositif d’éclairage 11, en fonction de la luminosité ambiante dans le domaine infrarouge déterminée à l’étape a) précédente.
[0125] Pour cela, le module de pilotage d’éclairage 131 corrige ici la valeur de la puissance électrique PE, en fonction d’un écart el entre :
[0126] - d’une part, une valeur cible de luminosité moyenne dans le domaine de l’infrarouge, appelée dans la suite première valeur cible L1R>0, et
[0127] - d’autre part, le premier niveau de luminosité L1R (luminosité moyenne dans l’image infrarouge 31 acquise précédemment).
[0128] Cette correction est réalisée de manière à amener progressivement le premier niveau de luminosité L1R à la première valeur cible L1R>0, au cours de répétitions des étapes a), b) et c). Cette correction peut consister par exemple à ajouter un terme correctif à une valeur précédente de la puissance électrique PE, ce terme correctif étant proportionnel à l’écart εΐ mentionné ci-dessus (correction proportionnelle). Plus généralement, cette correction consiste à asservir le premier niveau de luminosité L1R à la première valeur cible L1Rj0. Cet asservissement peut notamment être du type proportionnel, proportionnel-intégral, ou proportionnel, intégral et dérivé (c’est-à-dire de type « PID »).
[0129] La première valeur cible L1R>0 correspond par exemple à la luminosité moyenne dans une image considérée comme convenablement exposée (un exemple de définition d’une image considérée comme convenablement exposée a été donnée plus haut).
[0130] La première valeur cible L1R 0 peut par exemple être comprise entre un quart et trois quart de la valeur de luminosité maximale pouvant être associée à un pixel image 33 de l’image infrarouge 31, ou être comprise entre un tiers et deux tiers de cette valeur maximale. A titre d’exemple, si les valeurs de luminosité des pixels images 33 sont codées sur huit bits, en étant comprises entre 0 et 255, la valeur de luminosité maximale mentionnée ci-dessus (saturation haute) est égale à 255, et la première valeur cible L1Rj0 peut alors être comprise entre 63 et 191, par exemple, ou entre 85 et 170.
[0131] Système de surveillance du conducteur
[0132] L’unité de traitement 20 électronique du système de surveillance 2 est programmée pour déterminer le niveau d’inaptitude à la conduite IL du conducteur 3 à partir de l’une au moins des images infrarouges 31 produites par le dispositif de capture d’images 1. Le niveau d’inaptitude à la conduite IL comprend par exemple un niveau de somnolence du conducteur 3 et/ou un niveau de distraction du conducteur 3 (le niveau d’inaptitude à la conduite IL peut en particulier être un niveau de somnolence du conducteur 3 ou un niveau de distraction de celui-ci).
[0133] L’unité de traitement 20 peut par exemple être programmée de manière à analyser l’image infrarouge 31 en question, ou une séquence d’images infrarouges 31 produite par le dispositif de capture d’images 1, afin d’identifier le visage du conducteur 3 et/ou certaines zones du visage du conducteur 3, en particulier les zones de l’image infrarouge 31 correspondant aux yeux du conducteur 3. L’unité de traitement 20 peut alors déterminer le niveau de somnolence du conducteur 3 en mesurant la durée et/ou la fréquence de clignement des yeux du conducteur 3, précédemment identifiés dans l’image infrarouge 31.
[0134] L’unité de traitement 20 peut déterminer le niveau de distraction du conducteur 3 en fonction d’une posture de la tête du conducteur 3 déduite de l’image infrarouge 31, et en fonction de l’évolution de cette posture au cours du temps.
[0135] L’unité de traitement 20 peut également évaluer (par analyse de l’image infrarouge 31, ou d’une séquence d’images infrarouges 31), et utiliser pour déterminer le niveau de distraction et/ou le niveau de somnolence, la direction de regard du conducteur 3 ou l’évolution de cette direction de regard au cours du temps.
[0136] L’unité de traitement 20 peut également évaluer (par analyse de l’image infrarouge 31, ou d’une séquence d’images infrarouges 31), et utiliser pour déterminer le niveau de distraction et/ou le niveau de somnolence, le diamètre de la pupille d’au moins un œil du conducteur 3 (et précisément les variations de ce diamètre).
[0137] L’unité de traitement 20 peut être programmée pour, lors de la détermination du niveau d’inaptitude à la conduite IL du conducteur, tenir compte aussi d’une ou plusieurs images en couleurs 35 délivrées par le dispositif de capture d’images 1.
[0138] L’image en couleurs 35 peut être utilisée dans d’autres applications.
[0139] Le calculateur 13 peut par exemple transmettre l’image en couleur 35, ou une séquence d’images en couleurs 35 à un module de télécommunication 43 du véhicule 5. Ce module de télécommunication 43 est configuré pour transmettre l’image en couleurs 35, ou la séquence d’images couleur 35 reçue à un appareil électronique distant, par exemple un mobile multifonction ou un ordinateur, par exemple via un émetteur wifi. L’image couleur 35 ou la séquence d’image couleur 35 peut alors être utilisée dans le cadre d’une téléconférence, par exemple une visioconférence.
[0140] Le calculateur 13 pourrait aussi transmettre l’image en couleurs 35, ou la séquence d’images en couleurs 35 à une mémoire du véhicule 5 pour qu’elle y soit stockée.
[0141] Différentes variantes peuvent être apportées au dispositif de capture d’image ou au système de surveillance du conducteur qui ont été décrits plus haut.
[0142] Par exemple, la deuxième image, composée à partir des signaux électrique générés par les deuxièmes pixels photosensibles du capteur d’images, pourrait être une image monochrome, au lieu d’être une image en couleurs. Les deuxièmes éléments filtrants du réseau de filtres optiques pourraient d’ailleurs être tous du même type (par exemple être tous des éléments filtrants verts), au lieu de comprendre trois types différents de filtres optiques (respectivement rouges, verts et bleus).
[0143] D’autre part, les différentes fonctionnalités du calculateur pourraient réparties différemment entre modules. Un nombre plus grand de modules pourrait être utilisé, ou, au contraire, un même module pourrait exécuter l’ensemble des opérations, exécutées par le calculateur, qui ont été décrites plus haut. Il est noté que le terme module peut désigner un circuit électronique, ou une partie de circuit électronique distinct des autres modules, ou un groupe d’instructions spécifique stocké dans la mémoire du calculateur.
[0144] Par ailleurs, les première et deuxième images mentionnées plus haut pourraient correspondre à des images en quelque sorte brutes (parfois appelées images « RAW » en anglais), obtenues sans interpolation. Dans ce cas, le nombre de pixels images de l’image infrarouge, par exemple, serait égal au nombre desdits premiers pixels photosensibles, au lieu d’être égal au nombre total de pixels photosensibles du capteur d’images.
Claims (1)
- Revendications [Revendication 1] Dispositif de capture d’images (1) comprenant un capteur d’images (9), qui comporte :- un réseau de filtres optiques (170) recevant un rayonnement électromagnétique et comprenant des premiers éléments filtrants (171) aptes chacun à transmettre une première partie du rayonnement électromagnétique comprise dans une plage de longueurs d’onde donnée de l’infrarouge, ainsi que des deuxièmes éléments filtrants (172, 173, 174) aptes chacun à transmettre au moins une composante d’une deuxième partie du rayonnement électromagnétique située dans le visible, et - une matrice (19) de pixels photosensibles comprenant des premiers pixels photosensibles (21) disposés de façon à capter la première partie du rayonnement électromagnétique transmise par les premiers éléments filtrants (171), ainsi que des deuxièmes pixels photosensibles (21’) disposés de façon à capter la composante transmise par les deuxièmes éléments filtrants (172, 173, 174), chacun des premiers et deuxièmes pixels photosensibles (21, 21’) étant apte à générer un signal électrique représentatif de la puissance du rayonnement électromagnétique qu’il capte, le dispositif de capture d’images (1) étant caractérisé en ce qu’il comprend en outre :- un dispositif d’éclairage (11) configuré pour émettre un rayonnement infrarouge dans un champ de vision (14) du dispositif de capture d’images (1), ledit rayonnement infrarouge étant situé au moins en partie dans ladite plage de longueurs d’onde transmises par les premiers éléments filtrants (171), et- un calculateur (13), programmé pour exécuter les étapes suivantes : a) déterminer une luminosité ambiante dans le domaine de l’infrarouge, b) piloter la puissance du rayonnement infrarouge émis par le dispositif d’éclairage (11), en fonction de ladite luminosité ambiante dans le domaine de l’infrarouge, c) acquérir les signaux électriques générés par les premiers et deuxièmes pixels photosensibles (21, 21’), composer une première image (31) à partir des signaux électriques générés par les premiers pixels photosensibles (21), et composer une deuxième image (35) à partir des signaux électriques générés par les deuxièmes pixels photosensibles (21’).
[Revendication 2] Dispositif de capture d’images (1) selon la revendication 1, dans lequel le calculateur (13) est programmé pour exécuter les étapes suivantes : a’) déterminer une luminosité ambiante dans le domaine du visible, et b’) piloter l’un au moins des paramètres d’exposition suivants en fonction de ladite luminosité ambiante dans le domaine du visible : - une durée d’intégration (h), chacun desdits signaux électriques étant représentatif d’une charge ou d’une tension électrique, accumulée par le pixel photosensible (21, 21’) correspondant au cours de ladite durée d’intégration (h), - un gain (G) appliqué auxdits signaux électriques, - une ouverture (Ap) d’un diaphragme (12) d’un système optique (10) du dispositif de capture d’images (1). [Revendication 3] Dispositif de capture d’images (1) selon la revendication 2, dans lequel le calculateur (13) est programmé pour, l’étape c) ayant été exécutée précédemment, déterminer ladite luminosité ambiante dans le domaine du visible, à l’étape a’), en fonction de valeurs de luminosité d’une partie au moins des pixels images de la deuxième image (35) qui a été produite lors de ladite exécution précédente de l’étape c). [Revendication 4] Dispositif de capture d’images (1) selon la revendication 3, dans lequel le calculateur (13) est programmé pour, à l’étape a’), déterminer ladite luminosité ambiante dans le domaine du visible de manière à ce qu’elle soit représentative d’un deuxième niveau de luminosité (Lv) moyenne, dans la deuxième image (35) produite lors de ladite exécution précédente de l’étape c). [Revendication 5] Dispositif de capture d’images (1) selon la revendication 4, dans lequel le calculateur (13) est programmé pour, à l’étape b’), corriger l’un au moins desdits paramètres d’exposition (tb G, Ap) en fonction d’un écart entre, d’une part, une deuxième valeur cible (Lv>o) de luminosité moyenne, et, d’autre part, le deuxième niveau de luminosité (Lv) moyenne dans la deuxième image (35) produite lors de l’exécution précédente de l’étape c). [Revendication 6] Dispositif de capture d’images (1) selon l’une des revendications 1 à 5, dans lequel le calculateur (13) est programmé pour, l’étape c) ayant été exécutée précédemment, déterminer ladite luminosité ambiante dans le domaine de l’infrarouge, à l’étape a), en fonction de valeurs de luminosité d’une partie au moins des pixels images (33) de la première image (31) qui a été produite lors de ladite exécution précédente de l’étape c). [Revendication 7] Dispositif de capture d’images (1) selon la revendication 6, dans lequel le calculateur (13) est programmé pour, à l’étape a), déterminer ladite luminosité ambiante dans le domaine de l’infrarouge de manière à ce qu’elle soit représentative d’un premier niveau de luminosité (L1R) moyenne, dans la première image (31) produite lors de ladite exécution précédente de l’étape c). [Revendication 8] Dispositif de capture d’images (1) selon la revendication 7, dans lequel le calculateur (13) est programmé pour, à l’étrape b), piloter la puissance du rayonnement infrarouge émis par le dispositif d’éclairage (11) en fonction d’un écart entre, d’une part, une première valeur cible (L1R>0) de luminosité moyenne, et, d’autre part, le premier niveau de luminosité (L 1R) moyenne dans la première image (31) produite lors de l’exécution précédente de l’étape c). [Revendication 9] Dispositif de capture d’images (1) selon l’une des revendications 1 à 8, dans lequel ladite plage de longueurs d’onde transmise par les premiers éléments filtrants (171) est comprise entre 700 nanomètres et 1100 nanomètres. [Revendication 10] Dispositif de capture d’images (1) selon l’une des revendications 1 à 9, dans lequel les deuxièmes éléments filtrants (172, 173, 174) comprennent des éléments filtrants rouges (172) présentant une bande passante rouge transmettant des longueurs d’onde comprises au moins entre 550 nanomètres et 700 nanomètres, des éléments filtrants verts (173) présentent une bande passante verte transmettant des longueurs d’onde comprises au moins entre 450 nanomètres et 650 nanomètres et des éléments filtrants bleus (174) présentent bande passante bleue transmettant des longueurs d’onde comprises par exemple entre 400 nanomètres et 550 nanomètres. [Revendication 11] Système de surveillance (2) d’un conducteur (3) d’un véhicule (5) comprenant un dispositif de capture d’images (1) selon l’une des revendications 1 à 10, ainsi qu’une unité de traitement (20) programmée pour déterminer un niveau d’inaptitude à la conduite (IL) du conducteur à partir de ladite première image (31) au moins. [Revendication 12] Système de surveillance selon la revendication 11, dans lequel le niveau d’inaptitude à la conduite (IL) comprend un niveau de somnolence ou un niveau de distraction du conducteur. 1/3
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1873307A FR3091114B1 (fr) | 2018-12-19 | 2018-12-19 | dispositif de capture d’images et système de surveillance d’un conducteur associé |
| US17/414,607 US11845335B2 (en) | 2018-12-19 | 2019-10-30 | Image capture device and associated system for monitoring a driver |
| PCT/EP2019/079617 WO2020126179A1 (fr) | 2018-12-19 | 2019-10-30 | Dispositif de capture d'images et système associé de surveillance d'un conducteur |
| EP19791287.6A EP3900320A1 (fr) | 2018-12-19 | 2019-10-30 | Dispositif de capture d'images et système associé de surveillance d'un conducteur |
| CN201980089501.2A CN113302912A (zh) | 2018-12-19 | 2019-10-30 | 用于监控驾驶员的图像捕获设备和相关系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1873307A FR3091114B1 (fr) | 2018-12-19 | 2018-12-19 | dispositif de capture d’images et système de surveillance d’un conducteur associé |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3091114A1 true FR3091114A1 (fr) | 2020-06-26 |
| FR3091114B1 FR3091114B1 (fr) | 2021-06-11 |
Family
ID=66542409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1873307A Active FR3091114B1 (fr) | 2018-12-19 | 2018-12-19 | dispositif de capture d’images et système de surveillance d’un conducteur associé |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11845335B2 (fr) |
| EP (1) | EP3900320A1 (fr) |
| CN (1) | CN113302912A (fr) |
| FR (1) | FR3091114B1 (fr) |
| WO (1) | WO2020126179A1 (fr) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111611977B (zh) * | 2020-06-05 | 2021-10-15 | 吉林求是光谱数据科技有限公司 | 基于光谱与多波段融合的人脸识别监控系统及识别方法 |
| CN112037732B (zh) * | 2020-09-11 | 2021-12-07 | 广州小鹏自动驾驶科技有限公司 | 基于红外相机的用于车辆显示器的亮度控制的装置、系统及存储介质 |
| CN115802183B (zh) * | 2021-09-10 | 2023-10-20 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0342708A2 (fr) * | 1988-05-20 | 1989-11-23 | Sanyo Electric Co., Ltd. | Appareil détecteur d'image possédant une fonction de diaphragme automatique pour associer automatiquement l'exposition en fonction du signal vidéo |
| US20090268023A1 (en) * | 2008-04-27 | 2009-10-29 | Wen-Hsiung Hsieh | Surveillance camera device with a light source |
| US20180164156A1 (en) * | 2016-12-12 | 2018-06-14 | Microsoft Technology Licensing, Llc | Hybrid Sensor with Enhanced Infrared Detection Capabilities |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101803928A (zh) | 2010-03-05 | 2010-08-18 | 北京智安邦科技有限公司 | 基于视频的驾驶员疲劳检测装置 |
| US20130222603A1 (en) * | 2012-02-28 | 2013-08-29 | Aptina Imaging Corporation | Imaging systems for infrared and visible imaging |
| JP6089872B2 (ja) * | 2013-03-28 | 2017-03-08 | 富士通株式会社 | 画像補正装置、画像補正方法及び生体認証装置 |
| JP6191701B2 (ja) * | 2013-11-11 | 2017-09-06 | 日本電気株式会社 | Ｐｏｓ端末装置、商品認識方法及びプログラム |
| US9674465B2 (en) * | 2015-06-03 | 2017-06-06 | Omnivision Technologies, Inc. | Non-visible illumination scheme |
| US11061233B2 (en) * | 2015-06-30 | 2021-07-13 | 3M Innovative Properties Company | Polarizing beam splitter and illuminator including same |
| CN105306796A (zh) * | 2015-10-10 | 2016-02-03 | 安霸半导体技术（上海）有限公司 | 具有定期红外照明和全局快门cmos传感器的夜视设备 |
| CN106231179B (zh) * | 2016-07-29 | 2019-05-24 | 浙江大华技术股份有限公司 | 一种日夜双滤光片切换器切换方法及装置 |
| CN108965654B (zh) * | 2018-02-11 | 2020-12-25 | 浙江宇视科技有限公司 | 基于单传感器的双光谱摄像机系统和图像处理方法 |
| WO2019200434A1 (fr) * | 2018-04-19 | 2019-10-24 | Seeing Machines Limited | Système de protection de source de lumière infrarouge |
| CN112292686B (zh) * | 2018-07-10 | 2023-11-07 | 杭州他若定位科技有限公司 | 检测双波段红外光源以进行对象跟踪 |
| US11689785B2 (en) * | 2018-09-14 | 2023-06-27 | Zhejiang Uniview Technologies Co., Ltd. | Dual-spectrum image automatic exposure method and apparatus, and dual-spectrum image camera and machine storage medium |
-
2018
- 2018-12-19 FR FR1873307A patent/FR3091114B1/fr active Active
-
2019
- 2019-10-30 WO PCT/EP2019/079617 patent/WO2020126179A1/fr unknown
- 2019-10-30 CN CN201980089501.2A patent/CN113302912A/zh active Pending
- 2019-10-30 EP EP19791287.6A patent/EP3900320A1/fr active Pending
- 2019-10-30 US US17/414,607 patent/US11845335B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0342708A2 (fr) * | 1988-05-20 | 1989-11-23 | Sanyo Electric Co., Ltd. | Appareil détecteur d'image possédant une fonction de diaphragme automatique pour associer automatiquement l'exposition en fonction du signal vidéo |
| US20090268023A1 (en) * | 2008-04-27 | 2009-10-29 | Wen-Hsiung Hsieh | Surveillance camera device with a light source |
| US20180164156A1 (en) * | 2016-12-12 | 2018-06-14 | Microsoft Technology Licensing, Llc | Hybrid Sensor with Enhanced Infrared Detection Capabilities |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3091114B1 (fr) | 2021-06-11 |
| WO2020126179A1 (fr) | 2020-06-25 |
| US20220048386A1 (en) | 2022-02-17 |
| US11845335B2 (en) | 2023-12-19 |
| EP3900320A1 (fr) | 2021-10-27 |
| CN113302912A (zh) | 2021-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3973693B1 (fr) | Dispositif de capture d'images à expositions multiples et système de surveillance d'un conducteur associé | |
| US8724921B2 (en) | Method of capturing high dynamic range images with objects in the scene | |
| EP3900320A1 (fr) | Dispositif de capture d'images et système associé de surveillance d'un conducteur | |
| EP3657784B1 (fr) | Procédé d'estimation d'un défaut d'un système de capture d'images et systèmes associés | |
| CA2909554A1 (fr) | Dispositif d'acquisition d'images bimode | |
| US20110310278A1 (en) | Systems and methods for adaptive control and dynamic range extension of image sensors | |
| EP2710340B1 (fr) | Systeme de camera pour un vehicule et procede de calibration pour une camera et pour actionner un systeme de camera | |
| EP0352831B1 (fr) | Système de télévision à bas niveau de lumière générant des images colorées | |
| FR2984664A1 (fr) | Dispositif d'affichage | |
| FR2899696A1 (fr) | Procede de traitement d'un phenomene d'eclairement relatif sur une image numerique et systeme de traitement associe | |
| FR3104363A1 (fr) | Dispositif de capture d’images | |
| CN110574368B (zh) | 固态摄像装置、摄像系统以及物体识别系统 | |
| EP1351498A2 (fr) | Procédé de traitement en temps réel d'un signal représentatif d'une image | |
| US20130308021A1 (en) | Systems and methods for adaptive control and dynamic range extension of image sensors | |
| EP4189636A1 (fr) | Procede et systeme pour imager une scene dans l'espace | |
| EP3729796B1 (fr) | Procede et systeme d'imagerie a haut et bas niveaux de lumiere | |
| FR2968876A1 (fr) | Systeme d'acquisition d'images presentant une dynamique elevee | |
| FR3081585A1 (fr) | Systeme de production d'image d'un conducteur d'un vehicule et systeme embarque associe | |
| EP4090012B1 (fr) | Systeme de videoconference permettant de reduire un effet de parallaxe associe a la direction du regard d'un utilisateur | |
| FR3101504A1 (fr) | Dispositif de capture d’images et procédé de capture d’images | |
| FR3082032A1 (fr) | Dispositif de surveillance d'un conducteur et systeme embarque associe | |
| FR3129803A1 (fr) | Système de capture d’image et ensemble d’imagerie comprenant un tel système | |
| WO2020193320A1 (fr) | Dispositif, systeme et procede de capture d'image | |
| FR2799002A1 (fr) | Procede d'imagerie laser active |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20200626 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |