FR2999735A1 - Procede et dispositif d'acquisition d'image - Google Patents

Procede et dispositif d'acquisition d'image Download PDF

Info

Publication number
FR2999735A1
FR2999735A1 FR1262133A FR1262133A FR2999735A1 FR 2999735 A1 FR2999735 A1 FR 2999735A1 FR 1262133 A FR1262133 A FR 1262133A FR 1262133 A FR1262133 A FR 1262133A FR 2999735 A1 FR2999735 A1 FR 2999735A1
Authority
FR
France
Prior art keywords
image
sensor
account
integration
motion sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1262133A
Other languages
English (en)
Other versions
FR2999735B1 (fr
Inventor
Fabien Gavant
Laurent Alacoque
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Commissariat a lEnergie Atomique CEA
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique CEA, Commissariat a lEnergie Atomique et aux Energies Alternatives CEA filed Critical Commissariat a lEnergie Atomique CEA
Priority to FR1262133A priority Critical patent/FR2999735B1/fr
Priority to US14/652,444 priority patent/US9860449B2/en
Priority to PCT/FR2013/053114 priority patent/WO2014096670A1/fr
Priority to EP13818323.1A priority patent/EP2932706A1/fr
Publication of FR2999735A1 publication Critical patent/FR2999735A1/fr
Application granted granted Critical
Publication of FR2999735B1 publication Critical patent/FR2999735B1/fr
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

L'invention concerne un procédé dans lequel on tient compte d'au moins un signal de sortie d'un capteur de mouvements (105 ; 505) pour diviser ou non une période d'intégration (T ; T') d'un capteur d'images (101 ; 501) en plusieurs sous-périodes (τi ; τi').

Description

B12247 - DD14203ST 1 PROCÉDÉ ET DISPOSITIF D'ACQUISITION D'IMAGE Domaine La présente demande concerne les procédés et dispositifs d'acquisition d'image de façon générale. Elle concerne plus particulièrement des procédés et dispositifs dits de stabilisation d'image, c'est-à-dire visant à éviter ou limiter la présence d'artefacts visibles sur l'image, qui peuvent résulter de mouvements indésirables du dispositif d'acquisition lors d'une prise de vue. Exposé de l'art antérieur Diverses techniques de stabilisation d'image ont été proposées. Ces techniques présentent toutefois toutes leurs inconvénients propres. Résumé Ainsi, un mode de réalisation prévoit un procédé dans 15 lequel on tient compte d'au moins un signal de sortie d'un capteur de mouvements pour diviser ou non une période d'intégration d'un capteur d'images en plusieurs sous-périodes. Selon un mode de réalisation, à la fin de chaque sous-période d'intégration, une image intermédiaire acquise par le 20 capteur d'images est lue, et le capteur d'images est réinitialisé.
B12247 - DD14203ST 2 Selon un mode de réalisation, lesdites images intermédiaires sont combinées pour former une image finale. Selon un mode de réalisation, on tient compte dudit au moins un signal de sortie du capteur de mouvements pour 5 effectuer la combinaison des images intermédiaires. Selon un mode de réalisation, la combinaison ne tient pas compte des images intermédiaires ayant un rapport signal sur bruit inférieur à un seuil. Selon un mode de réalisation, la combinaison ne tient 10 pas compte des images intermédiaires acquises pendant une sous-période d'intégration inférieure à un seuil. Selon un mode de réalisation, un indice de qualité d'image est calculé en tenant compte dudit au moins un signal de sortie du capteur de mouvements. 15 Selon un mode de réalisation, on tient compte de l'indice de qualité pour diviser ou non la période d'intégration en plusieurs sous-périodes. Selon un mode de réalisation, le capteur d'images et le capteur de mouvements font partie d'un même dispositif 20 d'acquisition d'images. Selon un mode de réalisation, le capteur de mouvements est configuré pour fournir des signaux représentatifs de mouvements du dispositif d'acquisition d'images. Selon un mode de réalisation, la combinaison tient 25 compte du niveau de luminosité dans les images intermédiaires pour reconstruire une image finale à large gamme dynamique. Un autre mode de réalisation prévoit un dispositif d'acquisition d'images, comportant un capteur d'images, un capteur de mouvements, et un circuit adapté à tenir compte d'au 30 moins un signal de sortie du capteur de mouvements pour diviser ou non une période d'intégration du capteur d'images en plusieurs sous-périodes. Selon un mode de réalisation, le capteur de mouvements est configuré pour fournir des signaux représentatifs de 35 mouvements du dispositif d'acquisition d'images.
B12247 - DD14203ST 3 Selon un mode de réalisation, le dispositif comporte en outre un dispositif de compensation optique, et un circuit adapté à commander le dispositif de compensation optique en tenant compte du au moins un signal de sortie du capteur de mouvements. Selon un mode de réalisation, le dispositif ne comporte pas de dispositif de compensation optique. Brève description des dessins Ces caractéristiques et leurs avantages, ainsi que 10 d'autres, seront exposés en détail dans la description suivante de modes de réalisation particuliers faite à titre non limitatif en relation avec les figures jointes parmi lesquelles : la figure 1 illustre schématiquement sous forme de blocs un mode de réalisation d'un dispositif d'acquisition 15 d'image ; les figures 2A, 2B et 3 illustrent le fonctionnement d'un mode de réalisation d'un procédé d'acquisition d'image ; la figure 4 illustre schématiquement sous forme de blocs une variante de réalisation d'un dispositif d'acquisition 20 d'image ; et la figure 5 est une vue en perspective schématique illustrant un exemple de réalisation sous forme intégrée d'un dispositif d'acquisition d'image. Par souci de clarté, de mêmes éléments ont été 25 désignés par de mêmes références aux différentes figures et, de plus, les figures 2A, 2B, 3 et 5 ne sont pas tracées à l'échelle. En outre, seuls les éléments utiles à la compréhension de l'invention ont été représentés et seront décrits. Description détaillée 30 Un dispositif d'acquisition d'image, par exemple un appareil photographique numérique, comporte classiquement un capteur d'images placé derrière un système optique, le tout monté dans un boîtier de protection. Pour éviter ou limiter la présence d'artefacts visibles sur l'image en cas de mouvement 35 indésirable du dispositif d'acquisition lors d'une prise de vue B12247 - DD14203ST 4 (par exemple du fait de tremblements de la main de l'utilisateur), le dispositif d'acquisition peut comprendre un stabilisateur optique comportant un dispositif de mesure des mouvements du boîtier, ou capteur des mouvements du boîtier, et un dispositif de compensation optique de ces mouvements. A titre d'exemple, le dispositif de mesure de mouvements peut comporter un ou plusieurs capteurs de mouvements, par exemple de type gyroscope, gyromètre, accéléromètre, etc., et être configuré pour fournir des signaux représentatifs de mouvements du boîtier. Le dispositif de compensation optique peut comprendre des éléments d'actionnement configurés pour déplacer le capteur d'images ou tout ou partie du système optique en réponse à un signal de commande. Le dispositif de compensation optique peut être commandé en tenant compte des signaux de sortie du dispositif de mesure de mouvements, de façon que, pendant les phases de prise de vue ou d'acquisition d'image, l'image projetée sur le capteur soit la plus indépendante possible des mouvements du dispositif d'acquisition. Un problème est que, lorsque les mouvements du 20 dispositif d'acquisition ont de fortes amplitudes, et/ou lorsque la distance focale du système optique est importante, le dispositif de compensation optique peut venir en butée sans parvenir à compenser intégralement les mouvements mesurés. En outre, le temps de réponse du système de compensation optique 25 peut être trop lent pour compenser certains mouvements rapides du dispositif d'acquisition, ou le système de compensation peut ne pas être suffisamment précis pour compenser exactement les mouvements mesurés. Ainsi, même en présence d'un stabilisateur optique, des artefacts, et notamment du flou, peuvent être 30 présents dans l'image de sortie, surtout lorsque la période d'intégration (ou temps d'intégration) du capteur est importante. Il serait souhaitable de pouvoir stabiliser une image quelles que soient l'amplitude, la direction et la vitesse des 35 secousses du dispositif d'acquisition d'image, la distance B12247 - DD14203ST focale du système optique, et la durée d'intégration du capteur (ou durée d'intégration de l'image sur le capteur). Selon un aspect, on prévoit, dans un dispositif d'acquisition d'image comportant un capteur d'images et un 5 dispositif de mesure de mouvements du dispositif d'acquisition, de diviser une période d'intégration du capteur en une ou plusieurs sous-périodes d'intégration dont les durées sont choisies en tenant compte de signaux de sortie du dispositif de mesure de mouvements. Plus particulièrement, lorsque, pendant une phase d'acquisition d'image, des mouvements du dispositif d'acquisition susceptibles d'impacter de façon significative le rendu de l'image sont détectés, on prévoit d'interrompre l'intégration du capteur, de lire une image intermédiaire ou trame déjà intégrée sur le capteur, puis de réinitialiser aussitôt le capteur pour démarrer une nouvelle sous-période d'intégration, et ainsi de suite jusqu'à ce que la somme des sous-périodes d'intégration soit égale à la période d'intégration visée. Les images intermédiaires peuvent être combinées ou accumulées en tenant compte des données fournies par le dispositif de mesure de mouvement, de façon à reconstituer une image finale de netteté supérieure (et de niveau de luminosité équivalent) à l'image qui aurait été obtenue si l'intégration du capteur avait été réalisée en une seule fois.
La figure 1 illustre schématiquement, sous forme de blocs, un exemple d'un mode de réalisation d'un dispositif d'acquisition d'image 100. Le dispositif 100 comprend un capteur d'images 101 (IMG), qui peut être monté dans un boîtier de protection (non représenté), par exemple derrière un système optique (non représenté). Une sortie de fourniture d'image du capteur 101 est reliée à une mémoire 103 (MEM) du dispositif 100, dans laquelle des données d'images acquises par le capteur peuvent être stockées, par exemple en vue de subir un traitement numérique et/ou en attendant d'être enregistrées sur un autre support de stockage (non représenté). Le dispositif 100 comprend B12247 - DD14203ST 6 en outre un système de stabilisation d'image. Dans cet exemple, le système de stabilisation comporte un stabilisateur optique du type mentionné ci-dessus, c'est-à-dire comportant un dispositif 105 (MS) adapté à mesurer des mouvements du dispositif 100 (indépendamment d'éventuels mouvements de tout ou partie de la scène vue par le capteur), et un dispositif 107 (MC) de compensation optique de ces mouvements. Dans cet exemple, le système de stabilisation comprend un circuit 109 (UC) de calcul et de contrôle, par exemple un microcontrôleur, configuré pour recevoir des signaux de sortie du dispositif 105, et commander en conséquence le dispositif 107, de façon que l'image projetée sur le capteur 101 soit la plus indépendante possible des mouvements du dispositif 100. Dans cet exemple, le système de stabilisation comprend en outre une zone mémoire 113 (PSF), qui peut être distincte de la mémoire 103 ou incluse dans la mémoire 103, dans laquelle le circuit 109 peut stocker des données concernant les mouvements du dispositif 100. Le circuit 109 est en outre adapté à fournir des signaux de commande au capteur d'images 101, et à lire et écrire dans la mémoire 103.
Des exemples de modes de fonctionnement du dispositif 100 vont maintenant être décrits en relation avec les figures 1, 2A, 2B et 3. La figure 2A est un chronogramme représentant de façon schématique l'évolution en fonction du temps, pendant une phase d'acquisition d'une image, de la position équivalente Px du dispositif 100, après compensation des mouvements du dispositif 100 par le dispositif 107. En d'autres termes, la courbe Px de la figure 2A ne représente pas l'intégralité des déplacements du dispositif 100 pendant la phase d'intégration, mais représente la partie de ces déplacements qui n'est pas compensée par le dispositif 107, par exemple en raison de leur trop grande amplitude, ou parce qu'il s'agit de déplacements trop rapides pour être compensés. La courbe Px peut être obtenue en comparant les signaux de sortie du dispositif de mesure de mouvement 105 aux signaux de commande fournis au dispositif de compensation B12247 - DD14203ST 7 107, en tenant éventuellement compte de la réponse temporelle du circuit de compensation 107, ou à l'aide de capteurs de déplacement du dispositif de compensation lui-même. On notera que par souci de simplification, on a considéré ici que le dispositif d'acquisition d'image 100 ne se déplace qu'en translation, et dans une seule direction du plan image du capteur. Les modes de fonctionnement décrits sont toutefois compatibles avec des mouvements plus complexes du dispositif 100, à condition que ces mouvements puissent être mesurés par le dispositif 105. Avant une phase d'acquisition d'une image, une période d'intégration T visée du capteur est choisie, par exemple de façon automatique en tenant compte des conditions de luminosité ambiante, ou par paramétrage manuel par l'utilisateur.
A un instant tO de début de la phase d'acquisition d'image, l'intégration du capteur 101 commence. A partir de l'instant tO et jusqu'à la fin de la phase d'acquisition d'image, le dispositif 105 mesure en permanence les mouvements du dispositif 100, et transmet des données de mouvement au circuit 109 qui, en réponse, commande le dispositif de compensation optique 107 de façon que l'image projetée sur le capteur 101 soit la plus indépendante possible des mouvements du dispositif 100. Parallèlement, le circuit 109 détermine les mouvements ou déplacements résiduels équivalents du dispositif 100, c'est-à-dire les mouvements du dispositif 100 non compensés par le dispositif 107 (signal Px). Lorsque le circuit 109 détecte que les déplacements résiduels du dispositif 100 sont de nature à entraîner une dégradation significative du rendu de l'image finale, il commande l'interruption de l'intégration du capteur 101, et une image intermédiaire est lue et enregistrée dans la mémoire 103. Ceci marque la fin d'une première sous-période d'intégration Tl du capteur. Le capteur est alors aussitôt réinitialisé et une deuxième sous-période d'intégration T2 commence, et ainsi de suite jusqu'à ce que la somme des sous-périodes d'intégration B12247 - DD14203ST 8 soit égale à la période d'intégration T visée. Dans l'exemple représenté, la période T est divisée en quatre sous-périodes successives Tl, T2, T3 et T4, c'est-à-dire que quatre images intermédiaires sont lues pendant la phase d'acquisition d'image.
Pendant la phase d'acquisition d'image, des données relatives aux déplacements résiduels du dispositif 100 peuvent être enregistrées dans la zone mémoire 113. Les images intermédiaires sont combinées de façon à reconstruire une image finale plus nette que l'image qui aurait été obtenue si l'intégration du capteur avait été effectuée en une seule fois. A titre d'exemple, pour parvenir à ce résultat, il peut être tenu compte, lors de la combinaison des images intermédiaires, des données de déplacements résiduels du dispositif 100 déterminées par le circuit 109. Les images intermédiaires peuvent par exemple être décalées les unes par rapport aux autres avant d'être additionnées, de façon à compenser au moins en partie ces déplacements résiduels. A titre de variante, d'autres méthodes d'estimation des déplacements résiduels et de recombinaison des images intermédiaires peuvent être utilisées, par exemple une méthode utilisant des techniques de convolution pour faire coïncider des blocs de pixels représentatifs d'une même partie de la scène à acquérir. La reconstruction de l'image finale peut être intégralement effectuée après la lecture de la dernière image intermédiaire. Toutefois, pour minimiser la quantité de mémoire nécessaire au stockage des images intermédiaires, une reconstruction partielle peut être effectuée après chaque lecture intermédiaire. A titre d'exemple, dans le cas de la figure 2A, une première image intermédiaire est lue à la fin de la sous-période d'intégration Tl, et est enregistrée dans la mémoire 103. A la fin de la sous-période d'intégration T2, une deuxième image intermédiaire est lue et est directement combinée à la première image intermédiaire, en tenant compte des déplacements résiduels du dispositif 100 pendant la sous-période T2. A la fin de la sous-période d'intégration T3, une troisième B12247 - DD14203ST 9 image intermédiaire est lue et est directement combinée à l'image partiellement reconstruite contenue dans la mémoire 103, en tenant compte des déplacements résiduels du dispositif 100 pendant la sous-période T3. A la fin de la sous-période d'intégration T4, une quatrième image intermédiaire est lue et est directement combinée à l'image déjà partiellement reconstruite contenue dans la mémoire 103, en tenant compte des déplacements résiduels du dispositif 100 pendant la sous-période T4. Ceci permet de n'avoir à mémoriser qu'une seule image intermédiaire pendant la phase d'acquisition, indépendamment du nombre de sous-périodes d'intégration en lequel est divisée la période T. Pour déterminer dans quelle mesure les mouvements résiduels du dispositif 100 sont susceptibles d'affecter le rendu de l'image finale, et décider si l'intégration du capteur doit être interrompue ou poursuivie, le circuit 109 peut calculer, à partir des données de déplacement résiduel, la matrice ou fonction d'étalement de point ("point spread function" en anglais) du dispositif 100, c'est-à-dire la déformation provoquée par les déplacements résiduels du dispositif 100, d'une scène choisie pour, en l'absence de déplacements résiduels, n'éclairer qu'un seul pixel du capteur 101. La fonction d'étalement de point peut aussi être utilisée pour reconstruire l'image finale. En effet, en comparant les états de la fonction d'étalement de points à la fin de deux sous-périodes d'intégration successives, on peut déterminer les déplacements résiduels du dispositif 100 pendant la deuxième sous-période, et en déduire les décalages de pixels à prévoir lors de la combinaison pour compenser ces déplacements. Dans un mode de réalisation préféré, illustré par la figure 2B, le circuit 109 calcule, en tenant compte des données de déplacement résiduel du dispositif 100, par exemple à partir de la fonction d'étalement de point, un indice de qualité JND de l'image en cours d'acquisition. Cet indice peut être utilisé B12247 - DD14203ST 10 comme critère par le circuit 109, pour décider si l'intégration du capteur doit interrompue ou si elle peut être poursuivie. La figure 2B représente l'évolution en fonction du temps, pendant la phase d'acquisition d'image de la figure 2A, de l'indice de qualité JND calculé par le circuit 109. A l'instant tO de début de la phase d'acquisition d'image, l'indice JND est fixé à une valeur de référence, par exemple zéro. Tout au long de la phase d'acquisition d'image, le circuit 109 recalcule l'indice de qualité JND en tenant compte des mouvements résiduels du dispositif 100. Lorsque l'indice JND atteint un seuil bas JNDmin (inférieur au niveau de référence fixé à l'instant tO), l'intégration du capteur est interrompue, une image intermédiaire est lue, et une nouvelle sous-période d'intégration démarre. Avant le début de la nouvelle période d'intégration, l'indice JND est réinitialisé à sa valeur de départ (zéro dans cet exemple). Le seuil JNDmin définit une consigne de niveau de qualité requis dans chaque image intermédiaire. Pour une séquence de mouvements donnée pendant la phase d'intégration, plus le seuil JNDmin est élevé, plus le nombre de sous-période d'intégration sera important pour pouvoir satisfaire à cette consigne, et inversement. La qualité de l'image finale obtenue par combinaison des images intermédiaires dépend de la consigne JNDmin.
Dans un mode de réalisation préféré, l'indice de qualité JND est un indice de qualité perceptuelle calculé à partir de la fonction d'étalement de point par la méthode décrite dans l'article "Perceptual Image Quality Assessment Metric That Handles Arbitraty Motion Blur" de Fabien Gavant et al. (Proc. SPIE 8293, Image Quality and System Performance IX, 829314 (January 24, 2012)). Selon cette méthode, pour une matrice d'étalement de point donnée, les coordonnées du centre de gravité de la matrice sont calculées, puis chaque coefficient de la matrice est pondéré par sa distance au centre de gravité, et les coefficients pondérés sont additionnés pour obtenir un B12247 - DD14203ST 11 écart type E. L'indice de qualité est ensuite calculé selon la formule 'ND = -a*ln(E+1) + b, où a et b sont des coefficients d'ajustement. Tout autre indice de qualité tenant compte des 5 mouvements résiduels du dispositif d'acquisition d'image peut toutefois être utilisé. On notera que dans les modes de réalisation décrits en relation avec les figues 1, 2A et 2B, en cas de forte secousse du dispositif 100 pendant une phase d'acquisition d'image, 10 certaines sous-périodes d'intégration peuvent être très brèves. Les images intermédiaires acquises pendant ces sous-périodes d'intégration peuvent en conséquence être relativement bruitées, ce qui peut nuire à la qualité de l'image finale obtenue par recombinaison des images intermédiaires. Dans un mode de 15 réalisation préféré illustré par la figure 3, pour améliorer encore la qualité de l'image finale, on peut prévoir de ne pas tenir compte, dans la construction de l'image finale, des images intermédiaires dont le rapport signal sur bruit est inférieur à un seuil, et/ou dont la durée d'intégration est inférieure à un 20 seuil. La figure 3 représente l'acquisition d'une image par un procédé du type décrit en relation avec les figures 1, 2A et 2B. Dans cet exemple, une période d'intégration T' est divisée en neuf sous-périodes d'intégration successives référencées 25 respectivement Tl' à T9'. Comme cela apparaît sur la figure, les sous-périodes T3', T4', T5' et T8' sont nettement plus courtes que les autres, ce qui signifie que pendant ces sous-périodes, des mouvements du dispositif 100 ont entraîné une dégradation rapide de la qualité de l'image en cours d'acquisition. Les 30 images intermédiaires correspondantes (hachurées sur la figure 3) sont en conséquence relativement bruitées. Pour éviter de dégrader la qualité de l'image finale, on peut prévoir de ne pas tenir compte des trames T3', T4', T5' et T8' dans la reconstruction de l'image finale. Pour obtenir une image finale 35 ayant un niveau de luminosité équivalent au niveau de luminosité B12247 - DD14203ST 12 de l'image qui aurait été obtenu si aucune trame n'avait été supprimée, on peut prévoir de multiplier l'ensemble des valeurs de pixel de l'image finale par un coefficient ou gain proportionnel au temps d'intégration qui n'a pas été pris en compte dans la construction de l'image finale (T3Y+T4Y+T5'+T8' dans cet exemple). A titre de variante, pour compenser la perte de luminosité provoquée par la suppression des trames bruitées, l'intégration du capteur peut être prolongée jusqu'à ce que la somme des sous-périodes d'intégration effectivement prises en compte dans la construction de l'image finale soit égale ou voisine de la période d'intégration T'. La figure 4 illustre schématiquement, sous forme de blocs, un exemple d'une variante de réalisation d'un dispositif d'acquisition d'image 400. Dans cet exemple, le dispositif 400 comprend les mêmes éléments que le dispositif 100, à l'exception du dispositif de compensation optique 107. En d'autres termes, le dispositif d'acquisition 400 ne comporte pas de stabilisateur optique, mais uniquement un dispositif 105 de mesure des mouvements du dispositif d'acquisition.
Les modes de fonctionnement décrits en relation avec les figures 1, 2A, 2B et 3 sont compatibles avec le dispositif 400, à la différence près que là où, dans le dispositif 100, il était tenu compte des mouvements résiduels équivalents du dispositif 100, après compensation optique par le dispositif 107, dans le dispositif 400, on tient compte directement des mouvements effectivement mesurés par le dispositif 105. Un avantage du dispositif 400 est qu'il ne comprend pas de dispositif de compensation optique, ce qui réduit son coût, son poids et son encombrement.
La figure 5 illustre très schématiquement un exemple de réalisation sous forme intégrée d'un dispositif d'acquisition d'image 500 du type décrit en relation avec les figures 1 à 4. Dans cet exemple, le dispositif 500 est réalisé selon une technologie à empilement de puces semiconductrices, ou technologie 3D. Un capteur d'images 501 comportant une matrice B12247 - DD14203ST 13 de photodiodes 502 est réalisé dans un premier niveau d'empilement. Les photodiodes 502 occupent par exemple toute la surface de l'empilement de façon à capter le plus de lumière possible. Une mémoire 503 adaptée à contenir au moins une image acquise par le capteur 501, est réalisée dans un deuxième niveau d'empilement, sous le capteur 501. Sous la mémoire 503, un circuit de contrôle 509 est réalisé dans un troisième niveau d'empilement. Le circuit 509 est notamment adapté à réaliser des combinaisons d'images intermédiaires lors de phase de reconstruction d'une image finale. Le dispositif 500 comprend en outre un dispositif de mesure de mouvements 505 comprenant par exemple un gyroscope. Le dispositif 505 peut être intégré dans l'un des niveaux d'empilement susmentionné. A titre d'exemple, le dispositif 505 peut être réalisé en technologie MEMS (de l'anglais Micro-Electro-Mechanical Systems). Le dispositif 500 peut en outre comprendre un dispositif de compensation optique (non représenté), comportant par exemple une lentille liquide ayant une forme commandable électriquement. Une stabilisation optique peut ainsi être réalisée en commandant la lentille en fonction des informations de mouvements mesurées par le dispositif 505, tout en gardant un fort niveau d'intégration. Un avantage du dispositif 500 de la figure 5 réside dans son faible encombrement et son faible poids. Un avantage des modes de réalisation décrits en 25 relation avec les figures 1 à 4 est qu'ils permettent d'obtenir une image nette quelles que soient l'amplitude et la vitesse des mouvements du dispositif d'acquisition d'image, la distance focale du système optique, et la durée d'intégration du capteur. En outre, dans les modes de réalisation décrits, la 30 segmentation de la période d'intégration du capteur n'intervient que lorsque des mouvements de nature à affecter la qualité de l'image en cours d'acquisition sont détectés. En particulier, si aucun mouvement significatif n'est détecté pendant une phase d'acquisition d'image, la période d'intégration du capteur ne 35 sera pas divisée, et l'image finale sera obtenue directement, B12247 - DD14203ST 14 sans étape de combinaison d'images intermédiaires (c'est-à-dire que dans ce cas, la période d'intégration sera divisée en une unique sous-période d'intégration). Ceci permet de ne pas introduire de bruit dans l'image finale en segmentant inutilement la période d'intégration, lorsque le dispositif d'acquisition ne bouge pas. Des modes de réalisation particuliers ont été décrits. Diverses variantes et modifications apparaîtront à l'homme de l'art.
En particulier, les modes de réalisations décrits ne sont pas limités aux exemples particuliers de dispositifs d'acquisition d'image décrits en relation avec les figures 1, 4 et 5. Plus généralement, le procédé de stabilisation d'image décrit en relation avec les figures 1 à 5 pourra être mis en oeuvre dans tout dispositif d'acquisition d'image comportant au moins un capteur d'images et un dispositif de mesure de mouvements du dispositif d'acquisition. Par ailleurs, des procédés d'acquisition d'image dits à haute gamme dynamique, peuvent comprendre des acquisitions successives de plusieurs images d'une même scène avec des temps d'intégration différents, et la reconstruction, à partir de ces images, d'une image finale de niveau de luminosité homogène, ayant une grande plage dynamique. On peut par exemple choisir, dans chaque zone de l'image, la ou les trames ayant le niveau de luminosité le mieux adapté. Dans les zones les plus lumineuses de la scène, des trames ayant un temps d'exposition court peuvent être privilégiées, et dans les zones les plus sombres de la scène, des trames ayant un temps d'exposition long peuvent être privilégiées. De tels procédés permettent notamment de limiter les phénomènes de surexposition ou sous-exposition lorsque la scène à acquérir est fortement contrastée. On pourra prévoir de combiner le procédé de stabilisation décrit en relation avec les figures 1 à 5 avec un procédé d'acquisition d'image à haute dynamique. A titre d'exemple, on peut utiliser la segmentation du temps d'intégration générée par le procédé de B12247 - DD14203ST 15 stabilisation pour reconstruire une image finale à haute dynamique, et, si nécessaire, ajouter de la segmentation spécifiquement dédiée à l'obtention d'une image à haute dynamique.

Claims (15)

  1. REVENDICATIONS1. Procédé dans lequel on tient compte d'au moins un signal de sortie d'un capteur de mouvements (105 ; 505) pour diviser ou non une période d'intégration (T ; T') d'un capteur d'images (101 ; 501) en plusieurs sous-périodes (Ti ; Ti').
  2. 2. Procédé selon la revendication 1, dans lequel à la fin de chaque sous-période d'intégration (Ti ; Ti'), une image intermédiaire acquise par le capteur d'images (101 ; 501) est lue, et le capteur d'images (101) est réinitialisé.
  3. 3. Procédé selon la revendication 2, dans lequel 10 lesdites images intermédiaires sont combinées pour former une image finale.
  4. 4. Procédé selon la revendication 3, dans lequel on tient compte dudit au moins un signal de sortie du capteur de mouvements (105 ; 505) pour effectuer la combinaison desdites 15 images intermédiaires.
  5. 5. Procédé selon la revendication 3 ou 4, dans lequel ladite combinaison ne tient pas compte des images intermédiaires ayant un rapport signal sur bruit inférieur à un seuil.
  6. 6. Procédé selon l'une quelconque des revendications 3 20 à 5, dans lequel ladite combinaison ne tient pas compte des images intermédiaires acquises pendant une sous-période d'intégration (Ti ; Ti') inférieure à un seuil.
  7. 7. Procédé selon l'une quelconque des revendications 1 à 6, dans lequel un indice (IND) de qualité d'image est calculé 25 en tenant compte dudit au moins un signal de sortie du capteur de mouvements (105 ; 505).
  8. 8. Procédé selon la revendication 7, dans lequel on tient compte dudit indice (IND) pour diviser ou non la période d'intégration (T ; T') en plusieurs sous-périodes (Ti, Ti'). 30
  9. 9. Procédé selon l'une quelconque des revendications 1 à 8, dans lequel le capteur d'images (101 ; 501) et le capteur de mouvements (105 ; 505) font partie d'un même dispositif d'acquisition d'images (100 ; 400 ; 500).B12247 - DD14203ST 17
  10. 10. Procédé selon la revendication 9, dans lequel le capteur de mouvements (105 ; 505) est configuré pour fournir des signaux représentatifs de mouvements du dispositif d'acquisition d'images (100 ; 400 ; 500).
  11. 11. Procédé selon l'une quelconque des revendications 3 à 10 dans leur rattachement à la revendication 3, dans lequel ladite combinaison tient compte du niveau de luminosité dans les images intermédiaires pour reconstruire une image finale à large gamme dynamique.
  12. 12. Dispositif d'acquisition d'images (100 ; 400 ; 500), comportant un capteur d'images (101 ; 501), un capteur de mouvements (105 ; 505), et un circuit (109 ; 509) adapté à tenir compte d'au moins un signal de sortie du capteur de mouvements (105 ; 505) pour diviser ou non une période d'intégration (T, T') du capteur d'images en plusieurs sous-périodes (Ti ; Ti').
  13. 13. Dispositif (100 ; 400 ; 500) selon la revendication 12, dans lequel le capteur de mouvements (105 ; 505) est configuré pour fournir des signaux représentatifs de mouvements du dispositif d'acquisition d'images.
  14. 14. Dispositif (100) selon la revendication 12 ou 13, comportant en outre un dispositif (107) de compensation optique, et un circuit (109) adapté à commander le dispositif de compensation optique (107) en tenant compte dudit au moins un signal de sortie du capteur de mouvements (105 ; 505).
  15. 15. Dispositif (400) selon la revendication 12 ou 13, ne comportant pas de dispositif de compensation optique.
FR1262133A 2012-12-17 2012-12-17 Procede et dispositif d'acquisition d'image Expired - Fee Related FR2999735B1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
FR1262133A FR2999735B1 (fr) 2012-12-17 2012-12-17 Procede et dispositif d'acquisition d'image
US14/652,444 US9860449B2 (en) 2012-12-17 2013-12-17 Image acquisition method and device to divide integration time for image stabalization
PCT/FR2013/053114 WO2014096670A1 (fr) 2012-12-17 2013-12-17 Procede et dispositif d'acquisition d'image
EP13818323.1A EP2932706A1 (fr) 2012-12-17 2013-12-17 Procede et dispositif d'acquisition d'image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1262133A FR2999735B1 (fr) 2012-12-17 2012-12-17 Procede et dispositif d'acquisition d'image
FR1262133 2012-12-17

Publications (2)

Publication Number Publication Date
FR2999735A1 true FR2999735A1 (fr) 2014-06-20
FR2999735B1 FR2999735B1 (fr) 2018-08-31

Family

ID=48468405

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1262133A Expired - Fee Related FR2999735B1 (fr) 2012-12-17 2012-12-17 Procede et dispositif d'acquisition d'image

Country Status (4)

Country Link
US (1) US9860449B2 (fr)
EP (1) EP2932706A1 (fr)
FR (1) FR2999735B1 (fr)
WO (1) WO2014096670A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017211677A1 (de) * 2017-07-07 2019-01-10 Siemens Healthcare Gmbh Bewegungsabhängige Rekonstruktion von Magnetresonanzabbildungen
JP7258465B2 (ja) * 2018-01-12 2023-04-17 キヤノン株式会社 撮像装置およびその制御方法
US11704777B2 (en) * 2021-08-27 2023-07-18 Raytheon Company Arbitrary motion smear modeling and removal

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060216008A1 (en) * 2005-03-25 2006-09-28 Casio Computer Co., Ltd. Imaging apparatus, solid image sensor, and method for driving the solid image sensor
US20100295954A1 (en) * 2009-05-21 2010-11-25 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20120287309A1 (en) * 2011-05-10 2012-11-15 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof, and storage medium

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778210B1 (en) * 1999-07-15 2004-08-17 Olympus Optical Co., Ltd. Image pickup apparatus with blur compensation
JP4511766B2 (ja) 2000-07-10 2010-07-28 株式会社リコー 撮影装置および撮影装置における振れ補正方法
US7773115B2 (en) * 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
JP4789767B2 (ja) * 2006-09-28 2011-10-12 キヤノン株式会社 撮像装置及びその制御方法
JP4488041B2 (ja) * 2007-08-02 2010-06-23 ソニー株式会社 像ぶれ補正装置及び撮像装置
US8237813B2 (en) * 2009-04-23 2012-08-07 Csr Technology Inc. Multiple exposure high dynamic range image capture
JP5300591B2 (ja) * 2009-05-21 2013-09-25 キヤノン株式会社 画像処理装置およびその方法
JP5243477B2 (ja) * 2010-04-13 2013-07-24 パナソニック株式会社 ブラー補正装置およびブラー補正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060216008A1 (en) * 2005-03-25 2006-09-28 Casio Computer Co., Ltd. Imaging apparatus, solid image sensor, and method for driving the solid image sensor
US20100295954A1 (en) * 2009-05-21 2010-11-25 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20120287309A1 (en) * 2011-05-10 2012-11-15 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof, and storage medium

Also Published As

Publication number Publication date
WO2014096670A1 (fr) 2014-06-26
EP2932706A1 (fr) 2015-10-21
US20150334304A1 (en) 2015-11-19
FR2999735B1 (fr) 2018-08-31
US9860449B2 (en) 2018-01-02

Similar Documents

Publication Publication Date Title
JP5198192B2 (ja) 映像復元装置および方法
JP5709911B2 (ja) 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置
JP2014168227A (ja) 画像処理装置、撮像装置、画像処理方法
FR3044141A1 (fr) Drone muni d'une camera video delivrant des sequences d'images corrigees de l'effet wobble
FR3027143A1 (fr) Appareil mobile, notamment drone a voilure tournante, muni d'une camera video delivrant des sequences d'images corrigees dynamiquement de l'effet "wobble"
EP3114831B1 (fr) Débruitage vidéo optimisé pour système multicapteur hétérogène
FR3062009A1 (fr) Generation adaptative d’une image a grande gamme dynamique d’une scene, a partir d’une pluralite d’images obtenues par lecture non destructive d’un capteur d’image.
FR2999735A1 (fr) Procede et dispositif d'acquisition d'image
FR3030791A1 (fr)
KR101862643B1 (ko) 제어장치, 화상처리장치, 렌즈 장치, 화상처리 시스템, 제어 방법 및 화상처리방법
FR2971075A1 (fr) Traitement de donnees d'images comportant des effets de turbulences dans un milieu liquide.
JP6486453B2 (ja) 画像処理装置、画像処理方法、プログラム
FR3057095A1 (fr) Procede de construction d'une carte de profondeur d'une scene et/ou d'une image entierement focalisee
EP3070505B1 (fr) Procede et systeme de mise au point automatique d'une camera
EP3170205B1 (fr) Dispositif de détection de mouvement
FR2958486A1 (fr) Stabilisation d'images captees
JP2015109681A (ja) 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置
CA2955368C (fr) Procede et dispositif de traitement de mouvements de hautes frequences dans un systeme optronique
FR3048786A1 (fr) Reglage dynamique de la nettete d'au moins une image projetee sur un objet
WO2023036825A1 (fr) Dispositif de mesure des erreurs angulaires d'inclinaison d'un axe réel de rotation d'un élément rotatif et procédé
BE1029415A1 (fr) Un système et un procédé de mesure de réactions d’un sujet, un programme d’ordinateur et un support lisible par ordinateur
JP2015175905A5 (fr)
CA3137232A1 (fr) Procede et dispositif pour retirer la remanence dans une image infrarouge d'une scene changeante
FR3118558A1 (fr) Procédé d’étalonnage d’une matrice de photodétecteurs, dispositif d’étalonnage et système d’imagerie associés
CA3137449A1 (fr) Procede et dispositif pour retirer la remanence dans une image infrarouge d'une scene statique

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

ST Notification of lapse

Effective date: 20200910