FR3113992A1 - Procédé de capture d’une séquence d’images, dispositif imageur correspondant et système d’imagerie comportant un tel dispositif. - Google Patents

Abstract

Il est proposé un procédé de capture d’une séquence d’images représentatives d’une scène éclairée par au moins une source de rayonnement (22) générant des impulsions, comprenanta. entre chaque paire d’impulsions de rayonnement successives, une étape de capture d’une image (Tx1, Tx2…, Txn) de la séquence comportant une intégration des pixels d’une matrice de pixels d’un module photosensible (10)une exposition d’un module photosensible (10) comportant une matrice de pixels, de façon que chaque pixel de la matrice soit exposé intégré à un instant qui dépend de la position du pixel dans la matrice, etb. une étape d’obturation (To1, To2,… Ton) du module photosensible (10) pendant chaque occurrence (TL1, TL2,… TLn) d’une impulsion de rayonnement. Il est aussi proposé un dispositif adapté à la mise en œuvre de ce procédé ainsi qu’un système comportant un tel dispositif. Figure pour l’abrégé : Fig. 2

Description

Procédé de capture d’une séquence d’images, dispositif imageur correspondant et système d’imagerie comportant un tel dispositif.

La présente invention concerne le domaine technique de la capture d’image, notamment de la capture d’images numériques, par exemple par des dispositifs imageurs à obturation déroulante (« Rolling shutter », en langue anglaise).

L’invention concerne plus particulièrement un procédé de capture d’une séquence d’images représentatives d’une scène éclairée par au moins une source de rayonnement, un dispositif correspondant ainsi qu’un système comportant un tel dispositif.

Arrière-plan technologique

Dans le domaine ci-dessus, les dispositifs imageurs à obturation déroulante comportent un module photosensible comportant une matrice de pixels à photo-détecteurs, typiquement des photodiodes.

Lors d’une capture d’une image par un dispositif imageur à obturation déroulante, chaque pixel de la matrice est soumis à une exposition lumineuse à un instant qui dépend de la position du pixel dans la matrice. Par exemple, les lignes de pixels de la matrice sont intégrées séquentiellement, typiquement du haut vers le bas de la matrice. Dans ce cas, les différentes périodes d’intégration des pixels de chaque ligne ne sont pas simultanées mais légèrement décalées dans le temps.

Par exemple, l’intégration de chacune des lignes démarre avec un retard par rapport à la ligne précédente qui est égal à la période séparant deux captures d’image divisée par le nombre de ligne de la matrice..

Ainsi classiquement, la durée Tx nécessaire à l’intégration de toutes les lignes de la matrice, c’est-à-dire la période de capture d’une image, respecte l’équation
Tx=(n-1)*Δt+TL
avec n le nombre de ligne de la matrice, Δt la durée du retard entre deux lignes successives, TL la durée d’intégration d’une ligne de pixels.

Classiquement, la capture de chaque ligne d’une image est réalisée directement après la capture de chaque ligne de même rang de l’image précédente et les périodes de captures de deux images successives se chevauchent. La durée de la capture d’une séquence de N images est classiquement égale à (N-1)TL+Tx.

L’absence de simultanéité des intégrations des pixels peut entraîner des déformations de l’image obtenue (on parle alors d’artéfact) notamment lorsque la scène capturée comporte des variations rapides et de forte amplitude. En particulier, certains de ces dispositifs imageurs peuvent être placés dans un environnement soumis à un éclairage variable, par exemple un éclairage pulsé, qui résulte en un artéfact de rayonnement sur l’image.

Lorsque le dispositif imageur est configuré pour acquérir une séquence d’images, l’artéfact résultant d’une même impulsion lumineuse peut s’étaler sur deux images successives.

Une solution connue à ce problème est l’emploi d’un imageur à obturation globale (« Global shutter », en langue anglaise), c’est-à-dire un imageur configuré pour exposer tous les pixels de son module photosensible simultanément. Dans un tel dispositif, la durée Ti de capture d’une image est égale à la durée TL de capture d’une ligne. Cependant, cette solution est complexe et onéreuse.

Il existe donc un besoin d’éviter l’apparition de ces artéfacts lors d’une capture employant un imageur à obturation déroulante.

L’invention propose de répondre à ce besoin par un procédé, un dispositif et un système qui permettent une capture d’image dépourvue d’artéfact lié à la présence d’éclairage pulsé.

Selon un aspect, il est proposé un procédé de capture d’une séquence d’images représentatives d’une scène éclairée par au moins une source de rayonnement, par exemple une source de lumière, générant des impulsions de rayonnement, comprenant

1. entre chaque paire d’impulsions de rayonnement successives, une étape de capture d’une image de la séquence comportant une intégration des pixels d’une matrice de pixels d’un module photosensible, de façon que chaque pixel de la matrice soit intégré à un instant qui dépend de la position du pixel dans la matrice, et
2. une étape d’obturation du module photosensible pendant chaque occurrence d’une impulsion de rayonnement.

Le terme « intégration » désigne ici l’ensemble d’opérations permettant à au moins un pixel de collecter un rayonnement utile, c’est-à-dire un rayonnement visible sur l’image. Par exemple, l’intégration peut comporter l’exposition du pixel au rayonnement, par exemple à la lumière provenant de la scène à capturer, le transfert des charges générées par la photodiode du pixel vers un circuit de traitement électronique, et la réinitialisation de la valeur de charge du pixel à une valeur de référence en vue d’une prochaine intégration du pixel.

Le terme « obturation » désigne ici un état du module photosensible dans lequel les pixels sont inactifs, c’est-à-dire qu’ils n’intègrent aucun rayonnement utile. Il peut s’agir d’une obturation physique, dans laquelle un volet opaque vient isoler les pixels de la lumière, ou d’une obturation électrique dans laquelle un signal électrique de commande empêche toute intégration.

En ménageant, dans la séquence de capture d’image, des périodes d’obturation qui coïncident avec des impulsions de rayonnement, on évite l’apparition d’artéfact résultant des impulsions de rayonnement dans une même séquence d’image.

Selon un mode de mise en œuvre, chaque ligne de pixels de la matrice de pixels est exposée avec un retard par rapport à la ligne précédente, ledit retard étant strictement inférieur à la durée séparant la capture de deux images successives moins la durée d’intégration d’une ligne de la matrice de pixels, divisée par le nombre de ligne de la matrice moins un.

En d’autres termes, Δt < (Tc – TL) /(n-1)
avec n le nombre de ligne de la matrice, Δt la durée du retard entre deux lignes successives, Tc la durée séparant la capture de deux images successives et TL la durée d’intégration d’une ligne de pixels.

L’étape de capture d’image peut avoir une durée inférieure à la durée séparant le début des captures respectives de deux images successives.

L’émission des impulsions de rayonnement peut être synchronisée avec la capture des images de la séquence d’images.

Selon un autre aspect de l’invention, il est proposé un dispositif imageur comportant un module photosensible et configuré pour capturer une séquence d’images représentatives d’une scène éclairée par une source de rayonnement, par exemple une source de lumière générant des impulsions lumineuses, le dispositif étant configuré pour

1. entre chaque paire d’impulsions de rayonnement successives, capturer une image de la séquence et,
2. obturer le module photosensible pendant chaque occurrence d’une impulsion e rayonnement.

Selon un mode de réalisation, le module photosensible est une matrice pixels dont chaque pixel comporte un photo-détecteur et le dispositif est configuré pour intégrer chaque ligne de la matrice avec un retard par rapport à la ligne précédente, ledit retard étant strictement inférieur à la durée séparant la capture de deux images successives moins la durée d’intégration d’une ligne de la matrice de pixels, divisée par le nombre de ligne de la matrice moins un.

Le module photosensible peut être un capteur CMOS.

Selon un autre aspect, il est proposé un système d’imagerie qui comporte un dispositif imageur selon l’invention et qui comporte ladite source de rayonnement.

Le dispositif imageur et la source de rayonnement peuvent être commandés par un même circuit de commande. Ainsi l’émission des impulsions de rayonnement peut être synchronisée avec la capture des images de la séquence d’images.

Selon un autre aspect, il est proposé un procédé de capture d’une séquence d’images représentatives d’une scène, dans lequel la capture d’au moins une image de la séquence d’image comprend une pluralité d’actions d’intégration relatives respectivement aux différentes lignes d’une matrice de pixels, une action d’intégration relative à une ligne étant effectuée avec un retard prédéterminé (non-nul) par rapport à l’action d’intégration de la ligne précédente, et dans lequel le retard prédéterminé est tel que l’action d’intégration relative à la dernière ligne s’achève avant la capture de l’image suivante. On ménage ainsi (entre la fin d’intégration de la dernière ligne et le début de capture de l’image suivante) une période pendant laquelle aucun pixel n’est actif (i.e.aucune intégration n’a lieu), ou période d’obturation.

Comme déjà indiqué, cette période d’obturation peut être mise à profit pour émettre un rayonnement, par exemple une impulsion d’un rayonnement utilisée par un autre dispositif imageur, sans provoquer ainsi d’artefact lors du procédé de capture susmentionné.

Les différentes caractéristiques, variantes et formes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres.

Brève description des figures

De plus, diverses autres caractéristiques de l'invention ressortent de la description annexée effectuée en référence aux dessins qui illustrent des formes non limitatives de réalisation de l'invention et où :

illustre un habitacle d’un véhicule automobile équipé d’un dispositif selon l’invention,

est un chronogramme illustrant un exemple de mise en œuvre d’un procédé selon l’invention.

Il est à noter que sur ces figures les éléments structurels et/ou fonctionnels communs aux différentes variantes peuvent présenter les mêmes références.

Description détaillée

La illustre la partie avant d’un habitacle d’un véhicule automobile VT, ici une voiture, comportant un volant VL, un rétroviseur intérieur RI, ainsi qu’un tableau de bord TB. L’habitacle est équipé d’un système DMS (« Driver Monitoring System », en langue anglaise, « système de surveillance du conducteur », en français) et d’un premier dispositif imageur 1 selon l’invention.

Le premier dispositif imageur 1 comporte par exemple ici une caméra de type RGB permettant de capturer des séquences d’images en couleur, qui comporte un premier module photosensible 10 et un calculateur (non représenté). Le premier dispositif imageur 1 est à obturation déroulante.

Le premier dispositif imageur 1 est conçu pour générer une image de l'environnement lui faisant face et est disposé dans le véhicule de manière à être orienté en direction de la tête du conducteur du véhicule afin que l'image acquise par le dispositif imageur 1 inclue notamment le visage du conducteur. Le premier dispositif imageur est ici situé dans un boitier BT fixé sous le rétroviseur intérieur RI.

Le dispositif imageur 1 est sensible à une plage de fréquence donnée du rayonnement, ici la lumière visible, et/ou au rayonnement infrarouge.

Le premier dispositif imageur 1 est par exemple ici adapté à la mise en œuvre de vidéoconférences.

Le premier dispositif imageur 1 est commandé par un circuit de commande présent dans le véhicule VT (non représenté).

Le système DMS (« Driver Monitoring System », pour système de surveillance du conducteur) comporte un deuxième dispositif imageur 2 et un calculateur (non représenté). Le système DMS peut en outre comprendre au moins un capteur biométrique (non représenté) conçu pour mesurer au moins un paramètre physiologique (parfois dénommée « constante physiologique ») du conducteur.

Le système DMS est configuré pour capturer une image ou une séquence d’image (ou vidéo) via le deuxième dispositif imageur 2 et pour procéder à son analyse afin d'identifier le visage du conducteur et/ou certaines zones du visage du conducteur et de déterminer notamment un niveau d'inaptitude à la conduite, c'est-à-dire par exemple un niveau de distraction du conducteur et/ou un niveau de somnolence du conducteur.

Le système DMS est par exemple conçu pour déterminer le niveau de distraction du conducteur en déterminant la posture de la tête du conducteur, la direction du regard du conducteur et l'évolution de cette posture et de cette direction au cours du temps.

Le deuxième dispositif imageur 2 comporte un deuxième module photosensible 20 et une source de rayonnement 21 (par exemple un émetteur de rayonnement infrarouge).

Le deuxième dispositif imageur 2 est ici adapté à réaliser des images tridimensionnelles par la mise en œuvre de mesures de temps de vol. Comme il est classique dans les dispositifs de mesure de temps de vol, la source de rayonnement 21 est une source de rayonnement infrarouge adaptée à générer un signal lumineux de façon impulsionnelle. Par exemple, la source de rayonnement 21 est configurée pour générer des impulsions infrarouges d’une durée de 5 millisecondes toutes les 28 millisecondes.

Le deuxième dispositif imageur 2, est ici commandé par le circuit de commande.

Le deuxième dispositif imageur 2 est agencé de façon à faire face aux passagers du véhicule. Par exemple ici, le deuxième dispositif imageur 2 est placé dans une région voisine d'une partie supérieure d'un pare-brise du véhicule, ici dans le boitier BT.

Dans cet exemple, les modules photosensibles 10 et 20 sont des capteurs CMOS (« Complementary Metal-Oxide Semidconductor » en langue anglaise, « semiconducteur à grille métal oxyde » en langue française), qui comprennent chacun une matrice de pixels. Chaque pixel de chaque matrice comporte au moins un photo-détecteur, par exemple une photodiode et un circuit de transfert de charges électriques vers un circuit de traitement (non représenté) du dispositif imageur. Par exemple, les modules photosensibles sont ici des matrices de 1000 lignes et 1000 colonnes.

Bien que le premier dispositif imageur 1 et le deuxième dispositif imageur 2 réalisent chacun des opérations distinctes ayant des finalités distinctes, ils sont configurés ici pour fonctionner simultanément. Comme décrit ci-après, le premier dispositif imageur 1 est configuré pour fonctionner de telle manière que les impulsions de rayonnement générées par le deuxième dispositif imageur 2 ne conduisent pas à l’apparition d’artefacts sur les images capturées par le premier dispositif imageur 1.

Le procédé de capture d’une séquence d’images selon l’invention, mis en œuvre ici par le premier dispositif imageur 1 comporte une alternance de périodes d’intégration Tx de tous les pixels de la matrice, c’est-à-dire de périodes de captures d’une image de la séquence d’image, et de périodes d’obturation To, durant lesquelles les pixels sont dits obturés et aucune image n’est capturée. Ici, lors de chaque période d’obturation, le deuxième dispositif imageur 2 génère une impulsion infrarouge.

Ici, toutes les périodes d’intégration Tx se déroulent de façon identique et toutes les périodes d’obturation To se déroulent de façon identique. Ainsi le procédé de capture d’une séquence d’image est périodique, et sa période de capture Tc est égale à la somme de la période d’intégration Tx et de la période d’obturation To. La période de capture Tc correspond donc à la durée séparant la capture de deux images successives.

Ici, Tx=(n-1)*Δt+TL

avec n le nombre de ligne de la matrice, ici n=1000, Δt la durée du retard entre l’intégration de deux lignes successives et TL la durée d’intégration d’une ligne de pixels.

La durée de la période d’intégration Tx est strictement inférieure à la période de capture Tc, soit Tx < Tc.

Le procédé est mis en œuvre de telle manière que chaque période d’obturation To coïncide avec une impulsion de rayonnement du deuxième dispositif imageur 2.

La est un chronogramme qui représente l’évolutions des valeurs de tension V de signaux de commande d’intégration S1 à S1000, respectivement des lignes 1 à 1000 de la matrice de pixels et d’un signal de commande d’illumination SL de la deuxième source de rayonnement 21 lors d’une capture d’une séquence de m images par un procédé selon l’invention. Par exemple ici, la séquence comporte 5000 images.

Les signaux de commande d’intégration S₁à S₁₀₀₀et de d’illumination SL sont par exemple délivrés par le circuit de commande du véhicule automobile VT.

Puisque toutes les périodes de capture Ti sont identiques, seule une première période Tc₁sera détaillée ici.

Les signaux de commande d’intégration S₁à S₁₀₀₀et le signal de commande d’illumination SL sont soit dans un état haut, soit dans un état bas. Le premier dispositif imageur 1 est configuré pour intégrer les charges des pixels de chaque ligne (c’est-à-dire pour commander une action d’intégration relative à une ligne) uniquement lorsque le signal associé à la ligne est dans un état haut. Le deuxième dispositif imageur 2 est configuré pour activer la deuxième source de rayonnement uniquement lorsque le signal SL est dans un état haut.

Lors de la première période d’intégration Tx₁, le premier dispositif imageur 1 capture une première image de la séquence d’image en intégrant toutes lignes de la matrice. Ici, la durée TL d’intégration d’une ligne, c’est-à-dire la durée d’un état haut de chaque signal de commande d’intégration, est égale à 28 millisecondes et le retard Δt est égal à 2 microsecondes.

Ainsi chaque ligne est intégrée avec le retard de 2 microsecondes par rapport à la ligne précédente, et un premier signal de commande S₁, commandant l’intégration d’une première ligne de la matrice du premier module photosensible 10 passe dans un état haut 2 microsecondes avant un deuxième signal de commande S₂commandant l’intégration d’une deuxième ligne.

De même, un troisième signal de commande d’intégration S₃commandant l’intégration d’une troisième ligne de la matrice passe dans un état haut 2 microsecondes après le deuxième signal S₂.

Ainsi, dans l’exemple illustré dans lequel la matrice de pixel comporte 1000 lignes, le retard entre l’intégration de la première ligne et l’intégration de la dernière ligne est égal à 2 millisecondes. Puisque la durée d’intégration d’une ligne est égale à 28 millisecondes, la durée de la première période d’intégration Tx₁est ici égale à 30 millisecondes.

L’intégration de la dernière ligne (et donc de l’ensemble des lignes de l’image, ici de la première image) est donc achevée avant la capture de l’image suivante (ici la seconde image).

Lors d’une première période d’obturation To qui a ici une durée de 2 millisecondes et qui succède directement à la première période d’intégration Tx₁, le premier signal de commande d’illumination SL₁est dans un état haut et la deuxième source de rayonnement 21 génère un faisceau lumineux infrarouge.

Pendant la première période d’obturation T_o, les signaux de commande d’intégration générés par le circuit de commande sont dans un état bas et les pixels du premier module photosensible 10 ne sont pas intégrés. Le premier module photosensible 10 est donc obturé. Ainsi les impulsions infrarouges générées par le deuxième dispositif imageur 2 coïncident avec les périodes d’obturation et sont donc distinctes des périodes d’intégration des pixels, c’est-à-dire qu’elles ne se chevauchent pas, ce qui permet avantageusement d’éviter la présence d’artefacts sur les images capturées.

L’invention n’est pas limitée aux modes de mise en œuvre et de réalisation décrits ci-avant.

Dans l’exemple illustré, l’environnement dans lequel est placé le premier dispositif imageur 1 est un habitacle de voiture. Le dispositif imageur selon l’invention n’est toutefois pas limité à cet environnement et peut être placé dans tout type d’environnement, par exemple un habitacle d’un véhicule différent, par exemple un train ou un avion, ou bien à l’intérieur d’un bâtiment, ou encore en extérieur.

La deuxième source de rayonnement 21 a été décrite ci-avant comme étant comprise dans un dispositif imageur mettant en œuvre des mesures de temps de vol. En variante, la deuxième source de rayonnement peut être comprise dans tout autre dispositif imageur, par exemple un dispositif de capture d’images photographiques ou vidéo, ou bien même être comprise dans tout dispositif autre qu’un dispositif imageur. La deuxième source de rayonnement 21 peut en outre être une source indépendante de tout dispositif et/ou émettre un faisceau lumineux de toute longueur d’onde, notamment un faisceau de lumière visible

Par ailleurs, l’environnement dans lequel est placé le premier dispositif imageur 1 peut comprendre un nombre différent de sources lumineuses, par exemple deux ou trois sources lumineuses. Le procédé s’applique alors de façon que les périodes d’illumination des différentes sources lumineuses ne chevauchent pas les périodes d’intégration. Il est possible à cette fin de jouer sur la vitesse de capture d’image afin de faire varier la durée des périodes d’intégration. Préférentiellement, on choisira une période d’intégration ayant une durée inférieure ou égale à 33 millisecondes.

Enfin, le module photosensible n’est pas limité à la technologie CMOS, et l’invention est compatible avec toute technologie, notamment la technologie CCD (« Charge-coupled Device » en langue anglaise, « dispositif à transfert de charge » en langue française).

Diverses autres modifications peuvent être apportées à l’invention dans le cadre des revendications annexées.

Claims (9)

1. Procédé de capture d’une séquence d’images représentatives d’une scène éclairée par au moins une source de rayonnement (22) générant des impulsions, comprenant

   1. entre chaque paire d’impulsions de rayonnement successives, une étape de capture d’une image (Tx₁, Tx₂…, Tx_n) de la séquence comportant une intégration des pixels d’une matrice de pixels d’un module photosensible (10), de façon que chaque pixel de la matrice soit intégré à un instant qui dépend de la position du pixel dans la matrice, et
   2. une étape d’obturation (To₁, To₂,… To_n) du module photosensible (10) pendant chaque occurrence d’une impulsion de rayonnement.
2. Procédé selon la revendication 1, dans lequel chaque ligne de pixels de la matrice de pixels est exposée avec un retard (Δt) par rapport à la ligne précédente, ledit retard (Δt) étant strictement inférieur à la durée (Tc) séparant la capture de deux images successives moins la durée (TL) d’intégration d’une ligne de la matrice de pixels, divisée par le nombre de ligne (n) de la matrice moins un.
3. Procédé selon la revendication 1 ou 2, dans lequel l’étape de capture d’image a une durée (Tc) inférieure à la durée séparant le début des captures respectives de deux images successives.
4. Procédé selon l’une quelconque des revendications 1 et 2, dans l’émission des impulsions de rayonnement est synchronisée avec la capture des images de la séquence d’images.
5. Dispositif imageur à obturation déroulante comportant un module photosensible (10) et configuré pour capturer une séquence d’images représentatives d’une scène éclairée par une source de rayonnement (21) générant des impulsions de rayonnement, le dispositif (1) étant configuré pour

   1. entre chaque paire d’impulsions de rayonnement successives, capturer une image de la séquence, cette capture comportant une intégration des pixels d’une matrice de pixels d’un module photosensible (10), de façon que chaque pixel de la matrice soit intégré à un instant qui dépend de la position du pixel dans la matrice, et,
   2. obturer le module photosensible pendant chaque occurrence d’une impulsion de rayonnement.
6. Dispositif selon la revendication 5, dans lequel le module photosensible (10) est une matrice pixel dont chaque pixel comporte un photo-détecteur et le dispositif est configuré pour intégrer chaque ligne de la matrice avec un retard (Δt) par rapport à la ligne précédente, ledit retard étant strictement inférieur à la durée (Tc) séparant la capture de deux images successives moins la durée (TL) d’intégration d’une ligne de la matrice de pixels, divisée par le nombre de ligne (n) de la matrice moins un..
7. Dispositif selon la revendication 5 ou 6, dans lequel le module photosensible est un capteur CMOS.
8. Système d’imagerie qui comporte un dispositif imageur (1) selon l’une quelconque des revendications 5 à 7 et qui comporte ladite source de rayonnement (21).
9. Système selon la revendication 8, dans lequel le dispositif imageur (1) et la source de rayonnement sont commandés par un même circuit de commande.