FR2952195A1 - Procede d'acquisition d'une image numerique stabilisee par un appareil photo - Google Patents

Procede d'acquisition d'une image numerique stabilisee par un appareil photo Download PDF

Info

Publication number
FR2952195A1
FR2952195A1 FR0905228A FR0905228A FR2952195A1 FR 2952195 A1 FR2952195 A1 FR 2952195A1 FR 0905228 A FR0905228 A FR 0905228A FR 0905228 A FR0905228 A FR 0905228A FR 2952195 A1 FR2952195 A1 FR 2952195A1
Authority
FR
France
Prior art keywords
blr
exposure time
time
camera
blur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR0905228A
Other languages
English (en)
Inventor
Estelle Lesellier
Arnaud Bourge
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ST Ericsson SA
STMicroelectronics Grand Ouest SAS
Original Assignee
ST Ericsson SA
ST Ericsson France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ST Ericsson SA, ST Ericsson France SAS filed Critical ST Ericsson SA
Priority to FR0905228A priority Critical patent/FR2952195A1/fr
Publication of FR2952195A1 publication Critical patent/FR2952195A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

L'invention concerne un procédé d'acquisition d'une image numérique stabilisée par un appareil photo, comprenant l'établissement d'un ensemble de trames (h) préalables à des instants (t) préalables respectifs, deux trames successives étant espacées dans le temps d'un écart inter-trames (δt). Le procédé est essentiellement caractérisé par des étapes consistant à : - estimer le déplacement (d (t,t-δt) ) de l'appareil entre deux instants préalables consécutifs, - à chacune des trames acquises au temps (t), mesurer le niveau de flou (Blr_mes(t,T)) de l'image correspondante, pour une pluralité de temps d'exposition (T), - estimer le niveau de flou (Blr_est (t+δt,T) ) pour une photo à prendre lors d'une trame ultérieure (t+δt), pour une pluralité de temps d'exposition (T), - sélectionner parmi ladite pluralité de temps d'exposition, le temps d'exposition (^T1) à appliquer pour l'acquisition de la photo audit temps ultérieur (t+δt), par comparaison de chaque niveau de flou prévisionnel à un seuil (Blr_max).

Description

PROCEDE D'ACQUISITION D'UNE IMAGE NUMERIQUE STABILISEE PAR UN APPAREIL PHOTO.
La présente invention concerne le domaine de l'acquisition d'une image numérique par un appareil photo 5 numérique.
Lors de l'acquisition d'une image par un appareil photo, pendant le temps d'exposition, celui-ci est sujet à des mouvements non contrôlables, de plus ou moins forte 10 amplitude en fonction dudit temps d'exposition et de la position (sur pied ou tenu à main) de l'appareil photo.
Il en résulte un risque plus ou moins élevé de flou de bougé, dit flou au sein de la présente demande, sur la 15 photo.
Il existe des procédés numériques de traitement d'images par réduction de flou a posteriori. Mais de tels procédés requièrent des mesures de flou précises, et 20 introduisent des effets visuels parasites, notamment du bruit. En outre, ils nécessitent des moyens de mesure supplémentaires (par exemple capteurs gyroscopiques) pour mesurer le déplacement de l'appareil photo, et des moyens 25 de calcul puissants qui sont incompatibles en particulier avec des objets communicants portables tels que téléphones, PDA et équivalents.
D'autres procédés numériques de traitement de flou a 30 posteriori consistent à prendre plusieurs images quasi- simultanées, chacune à un temps d'exposition respectif différent des autres, et à sélectionner automatiquement parmi celles-ci celle présentant le niveau de flou le plus faible. Mais de tels procédés requièrent également de larges moyens de bande passante et mémoire notamment puisque chaque image est enregistrée en pleine résolution.
Il existe également des solutions préventives pour stabiliser un appareil photo, basées par exemple sur des capteurs de déplacement ou des constructions optiques complexes. Mais ces solutions sont coûteuses, incompatibles en particulier avec des objets communicants portables tels que téléphones, PDA et équivalents et nécessitent la mesure précise du déplacement du capteur / de l'appareil photo pendant le temps d'exposition.
Enfin, il existe également des procédés visant à réduire le temps d'exposition en compensant par une augmentation de la sensibilité ISO et/ou de l'ouverture. Ces procédés sont efficaces mais indépendants du mouvement réel de l'appareil, ils sont donc systématiquement mis en œuvre, même dans les situations où cela ne serait pas forcément nécessaire (par exemple lorsque l'appareil est sur pied), ce qui peut introduire du bruit.
Selon l'invention, le risque de flou est estimé par mesure(s) et prédiction en fonction du mouvement de l'appareil avant le début de l'acquisition, comme décrit ci-après.
Plus précisément, l'invention concerne selon un premier de ses aspects, un procédé d'acquisition d'une image numérique stabilisée par un appareil photo, comprenant des étapes consistant à : - établir un ensemble de trames (h) préalables à des instants (t) préalables respectifs, deux trames successives étant espacées dans le temps d'un écart inter-trames (ôt). Cet écart inter-trames peut être constant ou non.
Selon l'invention, le procédé est essentiellement 10 caractérisé en ce qu'il comprend des étapes consistant à : - estimer le déplacement (ds(t,t-6t)) de l'appareil entre deux instants préalables consécutifs, - à chacune des trames acquises au temps (t), mesurer le niveau de flou (Blrmes(t,T)) de l'image 15 correspondante, pour une pluralité de temps d'exposition (T), en fonction des déplacements (ds) préalablement estimés, - estimer le niveau de flou (Blr est(t+ôt,T)) pour une photo à prendre lors d'une trame ultérieure 20 (t+6t), pour une pluralité de temps d'exposition (T), - sélectionner parmi ladite pluralité de temps d'exposition, le temps d'exposition (ATl) à appliquer pour l'acquisition de la photo audit temps ultérieur (t+5t), par comparaison de chaque niveau de flou prévisionnel à un 25 seuil (Blr max). De préférence, le procédé comprend en outre une étape de filtrage temporel de l'estimation (Blr est(t+6t,T)) de niveau de flou. 30 Dans un mode de réalisation, le filtrage temporel est un filtrage linéaire dans une fenêtre de taille N, tel que : N E ak.Blr _ mes(t + (1- k)8t,T) k=0 N E ak Blr est (t+bt, T) = k=O Avec ak des coefficients par exemple choisis de sorte à donner plus de poids aux trames récentes. A titre d'alternative, le filtrage temporel est un filtrage non linéaire, tel que : Bir _ est (t + St, T) = max (clip (Blr _ mes (h, T ), Blur _ max )), 10 V(h) e {(t- N),(t- N +St),••.,(t+St)} comprenant une fonction d'écrêtage (clip) à une valeur maximale (Blur max) de flou. Le temps d'exposition sélectionné (AT1) parmi la 15 pluralité est avantageusement : - soit le plus grand temps d'exposition (AT1 E {GT}) correspondant à une estimation (Blr_est(t+ôt,T)) inférieure au seuil (Blr max), - soit le plus petit temps d'exposition si toutes les 20 mesures (Blrmes(t,T)) sont supérieures au seuil (Blr max). _ Dans un mode de réalisation, le procédé comprend en outre une étape de filtrage temporel du temps d'exposition optimal : par exemple via la correction du temps 25 d'exposition sélectionné ('Tl) par une valeur corrective (AT) représentant l'erreur possible dans l'estimation du temps d'exposition, pondérée par un paramètre (y<l) pour compenser l'impact de cette erreur, tel que le temps d'exposition sélectionné corrigé (AT2) est alors : T2 = 'T1- y.OT
Le procédé peut également comprendre en outre une étape de compensation du temps d'exposition sélectionné, en fonction du temps d'exposition (ruser) imposé par un utilisateur, tel que le temps d'exposition sélectionné compensé (AT3), et éventuellement corrigé, est défini par : ^T3 = a.Tuser + (1-a) .^T1, ou AT3 = a.Tuser + (1-a) .^T2 Avec a un paramètre choisi arbitrairement.
De préférence, le déplacement (ds(t,t-bt)) de l'appareil entre deux instants préalables consécutifs est estimé en fonction du déplacement global inter-trames dv(t,t-6t) de l'appareil, et du ratio entre - le ratio entre la résolution photo et la résolution native du capteur (Ra), et - le ratio entre la résolution vidéo et la résolution native du capteur (Rv), tels que dä(t,t-5t) ds(t,t-bt) .Rs/R,
Selon un autre de ses objets, l'invention concerne un programme d'ordinateur, comprenant des instructions de code de programme pour l'exécution des étapes du procédé selon l'invention, lorsque ledit programme est exécuté sur un ordinateur.
Enfin, l'invention concerne également un téléphone portable, comprenant un appareil photo et des moyens pour 30 exécuter le programme d'ordinateur selon l'invention. A Avantageusement le procédé selon l'invention permet de ne mettre en œuvre qu'un seul capteur, pour le calcul du mouvement de l'appareil (via sa fonction vidéo) et pour l'acquisition de la photo.
Avantageusement, le procédé selon l'invention peut être mis en œuvre même avec un mouvement de bougé naturel (notamment contenant des instants de mouvement continu/linéaire) de l'appareil quand celui-ci est tenu à la main.
Le procédé selon l'invention permet avantageusement d'optimiser automatiquement, c'est-à-dire de diminuer ou d'augmenter, le temps d'exposition pour l'acquisition d'une photo numérique, la diminution/augmentation étant automatiquement adaptée au risque de flou de bougé, ce qui permet effectivement la réduction du flou de bougé et minimise l'augmentation de bruit, comparativement aux procédés décrits ci-avant. L'estimation de flou durant un mode de prévisualisation permet de n'utiliser qu'un seul capteur pour la vidéo et la photo.
L'invention peut être mise en œuvre dans un appareil photo (téléphone ou autre objet portable) tenu à la main avec des mouvements de bougé naturel (pouvant comporter des instants de mouvement continu/linéaire alternés avec des mouvements plus irréguliers) ou posé.
D'autres caractéristiques et avantages de la présente invention apparaîtront plus clairement à la lecture de la description suivante donnée à titre d'exemple illustratif et non limitatif et faite en référence aux figures annexées dans lesquelles : - la figure 1 représente les mesures de position d'un appareil photo tenu en main, illustrant les déplacements erratiques de celui-ci dans un plan vertical ; - la figure 2A illustre le déplacement erratique de l'appareil tenu à la main de la figure 1, lors d'une période donnée, - la figure 2B illustre le déplacement erratique 10 de l'appareil tenu à la main de la figure 1, lors d'une autre période donnée, la figure 3 illustre la mesure de flou Blr mes(t,T) pour les déplacements erratiques de l'appareil illustrés en figure 1, pour deux durées d'exposition 15 données, - la figure 4 illustre de manière synchrone la variation de niveau de flou mesuré et estimé au cours du temps, pour un ensemble de trames vidéo, la figure 5 illustre la variation de temps 20 d'exposition en fonction du temps d'acquisition vidéo pour les valeurs de temps d'exposition réel (-.Tl), sélectionné (AT1) et compensé (AT2).
Pour illustrer simplement la présente invention, il 25 ne sera décrit qu'un seul type d'appareil photo numérique, en l'espèce intégré dans un téléphone mobile.
Au sens de la présente invention, on entend indistinctement les termes appareil, appareil photo, et 30 caméra ; l'appareil photo pouvant fonctionner comme une caméra (par exemple en mode de prévisualisation). Un seul capteur est donc utilisé pour la prise de vue vidéo et photo.
Pour la prise d'une photographie, l'appareil est 5 généralement tenu à la main, ce qui implique un risque de flou de bougé.
Pour cadrer la photographie, l'appareil dispose d'un mode dit de prévisualisation, qui permet de visualiser sur 10 un écran le flux d'images captées par l'objectif sur le capteur photo/vidéo (CCD ou CMOS).
Le procédé comprend donc, préalablement à l'acquisition de la photo proprement dite, une étape 15 consistant à établir un ensemble de trames ou pré-images préalables à des instants préalables ôt respectifs, correspondant à un flux vidéo. Deux trames successives sont espacées dans le temps d'un écart inter-trames ôt, constant ou non. 20 La figure 1 illustre la trajectoire erratique d'un appareil tenu à la main sur une période de temps donnée. Cette trajectoire correspond à l'accumulation des déplacements inter-trames élémentaires sur la période de 25 temps donnée.
Les déplacements (en pixels) de l'axe optique ou d'au moins un point remarquable de la scène à photographier (verticale dans le cas présent) sont représentés par 30 rapport à un repère arbitraire (le repère vidéo dans ce cas présent), sur une période donnée, en l'espèce de 4 secondes.
Chaque point de la figure 1 représente la position de l'appareil sur une trame donnée, dont on peut déduire les coordonnées dans le repère arbitraire. On peut ainsi mesurer le déplacement global inter-trames d,(hl,h2) de l'appareil entre deux trames, consécutives (si Ih2-hll= bt) ou non consécutives (par exemple si h2= n2*5t ; hl= nl*bt ; avec (nl,n2)eN2 et que ôt est constant). Ainsi, pour chaque trame (h), on peut définir les coordonnées Pv (h) = {x (h) , y (h) } d'un point de référence de cette trajectoire dans un repère vidéo XY donné. Le déplacement global inter-trames élémentaire entre deux trames (par forcément consécutives) s'exprime donc de la manière suivante : dv(h1,h2) PA)-P,,(h2) tandis que la longueur de la trajectoire totale parcourue entre ces deux trames h2-1 est donnée par: Tv(h2,hl) = E dv(1, l +1) 1=h1 En considérant l'acquisition d'une même scène par vidéo et par photo par un même appareil, avec une distance appareil-scène constante, on peut considérer que le ratio entre les déplacements dans le repère vidéo et dans le repère photo ne dépend que des distances focales et résolutions photo et vidéo respectives.
Au regard de la résolution temporelle (1/ (5t-l)) , il est préférable que celle-ci soit suffisamment élevée pour obtenir un taux d'échantillonnage suffisamment fin dans des temps d'exposition standards.
Et plus le temps d'exposition est court, plus le risque d'acquisition de flou de bougé est faible.
A partir des trames vidéo, on peut donc estimer dans le repère photo le déplacement de la caméra entre deux instants préalables consécutifs ou non, c'est-à-dire entre deux trames consécutives ou non.
Cependant, la résolution spatiale vidéo d'un capteur est généralement différente de la résolution spatiale photo dudit capteur. De sorte qu'en définissant RS le ratio entre la résolution photo et la résolution native du capteur, et Rä le ratio entre la résolution vidéo et la résolution native du capteur, il existe un facteur d'échelle dépendant du rapport Rv / Rs entre le déplacement inter-trames d,(t,tôt) de l'appareil (caméra), et le déplacement correspondant réel ds(t,t-ôt) de l'appareil photo, correspondant à l'amplitude du flou de bougé.
En considérant une scène fixe et une distance appareil-scène constante, on a ainsi, pour une même distance focale et un même angle d'inclinaison de l'axe optique photo/vidéo : dv(t, t-5t) ds (t, t-6t) . Rs/Rä (1)
A partir du déplacement inter-trames d,(t,t-5t) de l'appareil, on peut mesurer le niveau, c'est-à-dire l'intensité, de flou de bougé Blr(t,T) à l'instant t pour un temps d'exposition T, de la manière suivante.
La figure 2A illustre le déplacement erratique de 30 l'appareil tenu à la main de la figure 1, lors d'une période donnée, en l'espèce lors de la deuxième seconde.
La figure 2B illustre le déplacement erratique de l'appareil tenu à la main de la figure 1, lors d'une autre période donnée, en l'espèce lors de la quatrième seconde.
Sur ces figures, deux points consécutifs sont séparés temporellement de l'écart inter-trame ôt, en l'espèce 1/29s.
A partir d'un instant tn donné, une mesure du flou Blr mes pour un temps d'exposition T donné peut être donnée par le plus grand écart spatial existant entre les coordonnées de deux points (consécutifs ou non) de la trajectoire de flou parcourue entre ledit temps tn et le dit temps tn-T, par exemple en norme Euclidienne dans le repère photo.
Pour une trame à un temps t et un temps d'exposition T, on a alors : Blr_mes(t,T)=max(P,(h1)ùPv(h2),b'(h1,h2)e{(tùT),(tùT+Bt),•• •,t}~) (2), soit Blr mes(t,T) = max~ ds(h1,h2) ,b'(h1,h2) {(tùT),(tùT +8t),...,t}2) (3) La mesure de flou peut être décomposée selon les axes 25 X et Y du repère image selon : Blr _mes x(t,T) = max(ds _ x(h1, h2) , d(h1, h2) E {(t ù T ), (t ùT + 8t),• • •, t}2) 1,V(h1,h2) e {(tùT),(tùT +8t),•••,t}z) Ainsi, la mesure de flou est définie comme suit : Blr_mes(t,T) = max{Blrmesx(t,T) ; Blr_mes_y(t,T)} (4) Blr _mes y(t,T) = max(I ds _ y(h1, h2 30 (5) 5 Comme illustré aux figures 2A et 2B, le niveau de flou dépend du moment t auquel la photo est prise et de la durée du temps d'exposition T. En effet, pour un même instant tl (figure 2A) et deux valeurs Ti > T2 de temps d'exposition, la mesure de flou est différente, telle que Blr_mes(tl,Tl) > Blr_mes (tl,T2).
10 De même, pour une même valeur de temps d'exposition T3 et deux acquisitions à des instants t2 < t3, on peut avoir : Blr mes (t2,T3) Blr mes (t3,T3).
15 En l'espèce, avec T3=T2, on a Blr mes (tl-T2,T3) > Blr mes (tl,T2).
La perception de flou augmente avec la valeur de l'écart spatial entre les coordonnées de deux points les 20 plus éloignés de la trajectoire de flou. On utilise donc avantageusement la fonction mathématique de maximum dans les calculs du niveau de flou, aux équations (3) à (4).
Ainsi, grâce à l'invention, on peut calculer, par 25 trame au temps t, le niveau de flou Blrmes(t,T) pour une pluralité de temps d'exposition T donnés, avec T E {GT}, tel que {GT} = { (t-5t) , (t-25t), ... , (t-n.5t) } . Par exemple {GT} = {1/800, 1/400, 1/320, 1/250, 1/200, 1/125, 1/80, 1/60, 1/30, 1/20, 1/15, 1/8, 1/4, 1/2, 30 1}, donné en secondes. 20 La figure 3 illustre la mesure de flou Blr_mes(t,T) pour les déplacements erratiques de l'appareil illustrés en figure 1, pour deux durées d'exposition T4 < T5 données. En l'espèce T4 = 1/30s, et T5= 1/7s sur une durée totale de 4 secondes.
La figure 3 illustre d'une part la variation de la mesure de flou en fonction du temps, et d'autre part la variation de la mesure de flou en fonction de la valeur du temps d'exposition. Cette figure montre que plus la valeur du temps d'exposition est faible, plus la mesure de flou est faible.
En prévision de l'acquisition de l'image numérique, à partir des calculs précédents Blr_mes(t,T) de niveau de flou mesuré, on peut alors estimer le niveau de flou Blr est(t+5t,T) pour une photo prise lors d'une trame ultérieure (t+5t), pour une pluralité de temps d'exposition T. A cet effet, dans un mode de réalisation, le niveau de flou Blr est(t+àt,T) à venir pour une pluralité de temps d'exposition est estimé à partir des mesures de déplacement de l'appareil. 25 Dans ce cas, on peut définir ds _ est(t + &, t) = median( ds(h1,h2) ,b'(h1,h2) E {(t-0),(t-9+&), (7) Ou 30 ds _ est(t + 8t, t) = max( ds(h1,h2),V(h1,h2) E {(t-0),(t-9+8t), ,t}2), (7') Avec 8 une fenêtre temporelle pouvant être égale au temps d'exposition T ou pouvant être supérieure au temps d'exposition T, en particulier lorsque la valeur de celui- ci est (très) inférieure à l'écart inter-trame 5t. Le niveau de flou Blr est(t+5t,T) est alors estimé selon les équations (2) à (5) dans lesquelles :
Blr est(t+5t,T) <=> Blr mes(t+5t,T) et ds (t+5t,t) = ds_est (t+5t,t). Dans un autre mode de réalisation, le niveau de flou à venir Blr est(t+5t,T) pour une pluralité de temps d'exposition est estimé selon l'équation suivante : Blr est(t+5t,T)= St+TBlr mes(t,T-5t) (8) T Dans un autre mode de réalisation, le niveau de flou
à venir Blr est(t+5t,T) pour une pluralité de temps
d'exposition est estimé en décalant l'estimation d'une 20 inter-trame :
Blr est(t+5t,T)= Blr mes(t,T)
Blr eet(t,T)= Blr mes(t-5t,T) Blr est(t-n,T)= Blr mes(t-n-5t,T) (9)
25
De préférence, le procédé selon l'invention comprend également une étape de filtrage temporel de l'estimation Blr est(t+5t,T) de niveau de flou, en fonction du niveau de flou mesuré Blrmes(t,T), pour assurer la cohérence de 30 l'estimation avec les mesures, en particulier lorsque la 25 durée du temps d'exposition T est inférieure à celle de l'écart inter-trame ôt. Dans un mode de réalisation, le filtrage temporel est 5 un filtrage linéaire dans une fenêtre de taille N, tel que : N E ak .Blr _mes« + (1- k)&, T ) Blr est (t+bt,T)=k=0 N (10) ak k=0
Le choix de N=0 implique l'utilisation directe des mesures.
10 De préférence, N est choisi en fonction de l'écart inter-trame bt, tel que plus bt est grand, plus N est grand.
Pour N≠O, les coefficients ak sont par exemple choisis de sorte à donner plus de poids aux trames 15 récentes. Par exemple :
ak = (N-k) /N (11) L'avantage d'un tel filtrage réside notamment dans le fait que la valeur moyenne des mesures permet de lisser les 20 écarts accidentels, non représentatifs du bougé réel. Dans un autre mode de réalisation, le filtrage temporel est un filtrage non linéaire, tel que : Blr _ est(t + 8t, T) = max(clip(Blr _ mes(h,T), Blur _max)), (12) V(h) e {(t-N),(t-N+8t),• ,(t+ 8t)} La fonction d'écrêtage clip à une valeur maximale Blur max de flou permet de ne pas prendre en compte des valeurs non représentatives de bougé.
Si ce mode de réalisation, basé sur la sélection du niveau de flou mesuré maximal, peut introduire des temps d'exposition inférieurs à ce qu'ils pourraient être parfois, l'approche utilisée ici permet de minimiser le risque de sous-estimer le niveau de flou de bougé, comme illustré figure 4.
La figure 4 illustre de manière synchrone la variation de niveau de flou mesuré et estimé au cours du 10 temps, pour un ensemble de trames vidéo
La figure 4 correspond à un temps d'exposition donné, en l'espèce T=0,14s. Les mesures ont été réalisées selon les équations (5), (9) et (12) dans le référentiel vidéo, 15 avec N=ls. On notera que le choix d'une autre valeur de temps d'exposition T donne des résultats similaires.
Après un temps d'initialisation t0-tl, en l'espèce la première seconde, pour mesurer le plus haut niveau de flou 20 rencontré, la variation de niveau de flou estimé suit la variation de flou mesuré. Par exemple entre les temps tl et t2, l'enveloppe du niveau de flou mesuré décroit, ce qui ce traduit par une décroissance du niveau de flou estimé. En revanche, entre les temps t2 et t3, l'enveloppe du niveau 25 de flou mesuré croit de nouveau, ce qui ce traduit par une croissance correspondante instantanée du niveau de flou estimé.
De préférence, on choisit une valeur élevée pour N 30 (équation 12), ce qui minimise le risque d'obtenir des mesures oscillantes. 5 Une fois estimé le niveau de flou de la photo à venir pour une pluralité de temps d'exposition, il convient alors de sélectionner parmi ceux-ci le temps d'exposition 'T1 à appliquer pour l'acquisition de la photo au temps t+bt. A cet effet, on définit un niveau seuil de flou maximal acceptable Blr_max, par exemple par calibration.
Dans un mode de réalisation, on sélectionne alors un 10 temps d'exposition AT1 e {GT} en fonction de l'estimation Blr est(t+bt,T) et du seuil Blr_max. De préférence, on choisit alors le plus grand temps d'exposition "Tl e {GT} tel que Blr_est(t+5t,T) < Blr_max. Cependant, si toutes les estimations Blr_est(t+dt,T) 15 sont supérieures au seuil Blr_max, alors on choisit le plus petit temps d'exposition T. Ainsi AT1 = max(T E GT) vérifiant Blr_est (t+bt, T) < Blr_max ; et 20 "Ti = min(T EGT) tel que Blr est (t+ôt, T) = min (Blrest (t+ôt, 6) , Va E GT ) sinon
Dans un autre mode de réalisation, le procédé 25 comprend en outre une étape de correction du temps d'exposition sélectionné (estimé) "Ti par une valeur corrective (biais) MT représentant l'erreur possible dans l'estimation du temps d'exposition, pondérée par un paramètre y<-1 pour compenser l'impact de cette erreur. 30 On calcule alors le temps d'exposition "'T2 tel que T2 = "'Tl- y.LT (13) A 20 L'estimation du biais AT peut être faite dynamiquement par exemple en calculant les erreurs d'estimation de temps d'exposition sur des trames passées, c'est-à-dire en comparant le temps d'exposition optimal estimé 'Tl et le temps d'exposition réel -Tl ayant effectivement permis d'avoir une mesure inférieure au seuil Blr max.
Ainsi, on a M OT = 1 (AT1(t-k5t)--T1(t-k5t)), avec -T1(t-kôt) M+1 k=o vérifiant l'équation (13). Avec, pour une trame h : -T1 (h) = max(T EGT) vérifiant Blr_mes (h, T) < Blr_max ; et -Tl (h) = min(T E GT) tel que Blr_mes (h, T) = min (Blr_mes (h, a-) , V T E GT ) sinon. De la même manière qu'on peut filtrer temporellement la mesure de flou, T2" peut également être obtenu par filtrage temporel de Tl".
25 La figure 5 illustre la variation de temps d'exposition en fonction du temps d'acquisition vidéo pour les valeurs de -T1, AT1 et AT2.
Après initialisation, entre tl et t2, les valeurs de 30 'T1 convergent vers les valeurs réelles de -Tl, et celles de AT2 restent proches de celles de AT1. Si une variation brusque des valeurs réelles de -Ti apparaît, entre t2 et t3, une variation brusque correspondante apparaît également dans les valeurs de "Ti, qui convergent de nouveau lorsque les valeurs réelles de ~Tl redeviennent stables (t3).
Les valeurs de "Ti restent avantageusement la plupart du temps inférieures au temps optimal, ce qui réduit le risque de flou de bougé. Les valeurs de "T2 ont pour avantage de converger plus rapidement que celles de "Ti, ce qui permet de moins souvent surestimer le flou qu'avec "Ti, donc d'augmenter le temps d'exposition tout en diminuant les valeurs ISO et le niveau de bruit correspondant.
Dans un autre mode de réalisation, le procédé comprend en outre une étape de compensation du temps d'exposition, en fonction du temps d'exposition Tuser imposé par l'utilisateur (directement ou via le choix de la valeur ISO).
On définit ainsi la valeur de temps d'exposition par ^T3 = a.Tuser + (1-a) .^Tl, ou ^T3 = a.Tuser + (1-a) .^T2, Avec a un paramètre choisi arbitrairement et égal à 0,5 par exemple.
Grâce à l'invention, le procédé peut réduire le flou de bougé quelles que soient la direction et l'intensité de celui-ci.
Le procédé selon l'invention s'adapte également automatiquement aux modifications de paramètres tels que ISO ou zoom.
Le procédé selon l'invention est avantageusement mis en œuvre par logiciel, ce qui implique un coût modeste.

Claims (10)

  1. REVENDICATIONS1. Procédé d'acquisition d'une image numérique stabilisée par un appareil photo, comprenant des étapes consistant à : - établir un ensemble de trames (h) préalables à des instants (t) préalables respectifs, deux trames successives étant espacées dans le temps d'un écart inter-trames (ôt), caractérisé en ce qu'il comprend des étapes 10 consistant à : - estimer le déplacement (ds(t,t-ôt)) de l'appareil entre deux instants préalables consécutifs, à chacune des trames acquises au temps (t), mesurer le niveau de flou (Blr mes(t,T)) de l'image 15 correspondante, pour une pluralité de temps d'exposition (T), en fonction des déplacements (ds) préalablement estimés, - estimer le niveau de flou (Blr est(t+ôt,T)) pour une photo à prendre lors d'une trame ultérieure 20 (t+bt), pour une pluralité de temps d'exposition (T), - sélectionner parmi ladite pluralité de temps d'exposition, le temps d'exposition (AT1) à appliquer pour l'acquisition de la photo audit temps ultérieur (t+-5t), par comparaison de chaque niveau de flou prévisionnel à un 25 seuil (Blr max).
  2. 2. Procédé selon la revendication 1, comprenant en outre une étape de filtrage temporel de l'estimation (Blr est(t+5t,T)) de niveau de flou. 30
  3. 3. Procédé selon la revendication 2, dans lequel le filtrage temporel est un filtrage linéaire dans une fenêtre de taille N, tel que : N E ak .Blr _ mes (t + (1- k)8t, T ) k=0 Blr est (t+5t, T) = Avec ak des coefficients par exemple choisis de sorte à donner plus de poids aux trames récentes.
  4. 4. Procédé selon la revendication 2, dans lequel le filtrage temporel est un filtrage non linéaire, tel que : Bir ù est (t + St, T) = max (clip (Blr ù mes (h, T ), Blur _ max )), 10 V(h)e {(tùN),(tùN+St)•.•,(t+St)} comprenant une fonction d'écrêtage (clip) à une valeur maximale (Blur max) de flou.
  5. 5. Procédé selon l'une quelconque des revendications 15 précédentes, dans lequel le temps d'exposition sélectionné (AT1) parmi la pluralité est : - soit le plus grand temps d'exposition (AT1 E {GT}) correspondant à une estimation (Blr_est(t+5t,T)) inférieure au seuil (Blr max), 20 - soit le plus petit temps d'exposition si toutes les mesures (Blr mes(t,T)) sont supérieures au seuil (Blr max).
  6. 6. Procédé selon la revendication 5, comprenant en outre une étape de filtrage temporel du temps d'exposition 25 par la correction du temps d'exposition sélectionné (AT1) par une valeur corrective (MT) représentant l'erreur possible dans l'estimation du temps d'exposition, pondérée par un paramètre (y<l) pour compenser l'impact de cette N ~ak k=0erreur, tel que le temps d'exposition sélectionné corrigé (AT2) est alors : T2 = AT1- y.LT
  7. 7. Procédé selon la revendication 5 ou 6, comprenant en outre une étape de compensation du temps d'exposition sélectionné, en fonction du temps d'exposition (Tuser) imposé par un utilisateur, tel que le temps d'exposition sélectionné compensé (AT3), et éventuellement corrigé, est défini par : ^T3 = a.Tuser + (1-a) .^T1, OU ^T3 = a.Tuser + (1-a).^T2 Avec a un paramètre choisi arbitrairement.
  8. 8. Procédé selon l'une quelconque des revendications précédentes, dans lequel le déplacement (ds(t,t-6t)) de l'appareil entre deux instants préalables consécutifs est estimé en fonction du déplacement inter-trames d,(t,t-6t) de l'appareil, et du ratio entre - le ratio entre la résolution photo et la résolution native du capteur (R5), et - le ratio entre la résolution vidéo et la résolution native du capteur (Rv), tels que d,(t,t-5t) ds(t,t-ôt) .Rs/R,
  9. 9. Programme d'ordinateur, comprenant des instructions de code de programme pour l'exécution des étapes du procédé selon l'une quelconque des revendications précédentes, lorsque ledit programme est exécuté sur un ordinateur.
  10. 10. Téléphone portable, comprenant un appareil photo et des moyens pour exécuter le programme d'ordinateur selon la revendication 9.
FR0905228A 2009-10-30 2009-10-30 Procede d'acquisition d'une image numerique stabilisee par un appareil photo Pending FR2952195A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR0905228A FR2952195A1 (fr) 2009-10-30 2009-10-30 Procede d'acquisition d'une image numerique stabilisee par un appareil photo

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0905228A FR2952195A1 (fr) 2009-10-30 2009-10-30 Procede d'acquisition d'une image numerique stabilisee par un appareil photo

Publications (1)

Publication Number Publication Date
FR2952195A1 true FR2952195A1 (fr) 2011-05-06

Family

ID=41682853

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0905228A Pending FR2952195A1 (fr) 2009-10-30 2009-10-30 Procede d'acquisition d'une image numerique stabilisee par un appareil photo

Country Status (1)

Country Link
FR (1) FR2952195A1 (fr)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4448510A (en) * 1981-10-23 1984-05-15 Fuji Photo Film Co., Ltd. Camera shake detection apparatus
EP0956695B1 (fr) * 1997-01-31 2002-11-06 Sharp Kabushiki Kaisha Systeme et procede pour regler dynamiquement la vitesse d'obturation sur la base du mouvement de la scene
US20020180876A1 (en) * 2001-06-01 2002-12-05 Sobol Robert E. Intelligent motion blur minimization
WO2007031569A2 (fr) * 2005-09-15 2007-03-22 Stmicroelectronics S.R.L. Dispositif de stabilisation d'image du type mems, notamment pour l'acquisition d'images a l'aide d'un capteur numerique d'images
US20070092244A1 (en) * 2005-10-25 2007-04-26 Shimon Pertsel Camera exposure optimization techniques that take camera and scene motion into account

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4448510A (en) * 1981-10-23 1984-05-15 Fuji Photo Film Co., Ltd. Camera shake detection apparatus
EP0956695B1 (fr) * 1997-01-31 2002-11-06 Sharp Kabushiki Kaisha Systeme et procede pour regler dynamiquement la vitesse d'obturation sur la base du mouvement de la scene
US20020180876A1 (en) * 2001-06-01 2002-12-05 Sobol Robert E. Intelligent motion blur minimization
WO2007031569A2 (fr) * 2005-09-15 2007-03-22 Stmicroelectronics S.R.L. Dispositif de stabilisation d'image du type mems, notamment pour l'acquisition d'images a l'aide d'un capteur numerique d'images
US20070092244A1 (en) * 2005-10-25 2007-04-26 Shimon Pertsel Camera exposure optimization techniques that take camera and scene motion into account

Similar Documents

Publication Publication Date Title
US11457149B2 (en) Method and apparatus for capturing digital video
EP2795580B1 (fr) Procédé d&#39;estimation de flot optique à partir d&#39;un capteur asynchrone de lumière
US8723966B2 (en) Video stabilization
US8711233B2 (en) Video stabilization
EP2999210B1 (fr) Stabilisation d&#39;image vidéo de plateforme générique
US9762799B2 (en) Received video stabilization
FR2927448A1 (fr) Correction d&#39;images captees et stabilisees
FR2860941A1 (fr) Dispositif et procede d&#39;estimation de bruit d&#39;un signal video
EP1998288A1 (fr) Procédé de détermination du déplacement d&#39;une entité pourvue d&#39;un capteur de séquence d&#39;images, programme d&#39;ordinateur, module et souris optique associés
Ringaby et al. A virtual tripod for hand-held video stacking on smartphones
KR101371925B1 (ko) 영상 초점 복원 방법
FR2952195A1 (fr) Procede d&#39;acquisition d&#39;une image numerique stabilisee par un appareil photo
FR2999735A1 (fr) Procede et dispositif d&#39;acquisition d&#39;image
EP2375724A1 (fr) Stabilisation d&#39;images captées
EP2943935A1 (fr) Estimation de mouvement d&#39;une image
EP3963540B1 (fr) Procede et dispositif pour retirer la remanence dans une image infrarouge d&#39;une scene statique
EP3963539B1 (fr) Procede et dispositif pour retirer la remanence dans une image infrarouge d&#39;une scene changeante
EP4203490A1 (fr) Système d observation et procédé d observation associé