FR2903200A1 - Stabilisation hybride d'images pour camera video - Google Patents
Stabilisation hybride d'images pour camera video Download PDFInfo
- Publication number
- FR2903200A1 FR2903200A1 FR0605885A FR0605885A FR2903200A1 FR 2903200 A1 FR2903200 A1 FR 2903200A1 FR 0605885 A FR0605885 A FR 0605885A FR 0605885 A FR0605885 A FR 0605885A FR 2903200 A1 FR2903200 A1 FR 2903200A1
- Authority
- FR
- France
- Prior art keywords
- offsets
- image
- image processing
- images
- observation device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011105 stabilization Methods 0.000 title description 19
- 230000006641 stabilisation Effects 0.000 title description 18
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000005259 measurement Methods 0.000 claims abstract description 12
- 230000000087 stabilizing effect Effects 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 description 4
- 208000012661 Dyskinesia Diseases 0.000 description 3
- 208000015592 Involuntary movements Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000014616 translation Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000021542 voluntary musculoskeletal movement Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
Abstract
L'invention concerne un procédé de stabilisation des images d'une scène, acquises au moyen d'un dispositif d'observation d'un système d'imagerie, comportant une étape de traitement numérique d'un flux d'images successives. Il comporte une étape d'acquisition de mesures gyrométriques au moyen d'au moins un capteur gyrométrique solidaire du dispositif d'observation, d'utilisation de ces mesures gyrométriques pour déterminer des décalages dits approximatifs subis entre images successives, et l'étape de traitement d'image comprend une sous-étape d'utilisation des décalages approximatifs et du flux d'images acquises pour déterminer des décalages dits fins subis entre images successives.
Description
1 STABILISATION HYBRIDE D'IMAGES POUR CAMERA VIDEO L'invention concerne la
stabilisation d'une séquence d'images acquises par un dispositif d'observation d'un système d'imagerie tel qu'une caméra vidéo, soumis à des mouvements ou des vibrations involontaires. Le dispositif d'observation fonctionne typiquement à des longueurs d'onde du domaine du visible ou de l'infrarouge. Une première solution concerne les caméras vidéo embarquées sur une plate-forme terrestre, navale ou aérienne qui sont en général montées sur une monture orientable, par exemple du type théodolite ou encore dans un viseur à miroir à deux axes orientables. Des asservissements assurent la stabilisation de la ligne de visée en exploitant les informations d'un gyroscope ou de gyromètres solidaires de la caméra. Une autre solution a trait aux caméras légères portables du type caméscope ou jumelle (intensifiée ou infrarouge) qui sont orientées et stabilisées manuellement par l'observateur mais restent soumises aux mouvements erratiques résiduels de ce dernier. Des solutions pour stabiliser la ligne de visée de la caméra sont mises en oeuvre en associant deux capteurs gyrométriques solidaires du boîtier de la caméra à un composant opto-mécanique déviateur du type prisme à angle variable ou lentille excentrée par des actionneurs inclus dans l'objectif de la caméra. On parle dans ces deux cas de stabilisation a priori . D'autres solutions font appel au traitement d'image pour recaler entre elles les images successives d'une séquence vidéo. On parle dans ce cas de stabilisation électronique a posteriori . Un exemple de stabilisation a posteriori est décrit dans le brevet FR 2 828 315: on extrait des images acquises des images basse fréquence qui sont utilisées pour déterminer par une méthode de flot optique les translations et rotations à appliquer aux images pour les stabiliser. Les méthodes de stabilisation électronique a posteriori ne sont pas utilisables dans le cas d'images présentant une structure de fond uniforme ou une texture répétitive (ciel, forêt ou surface maritime par exemple). Le but de l'invention est de pouvoir utiliser un procédé de stabilisation d'image bas-coût fonctionnant quel que soit le contenu de l'image (contrasté ou non, structuré ou non, ...).
2903200 2 Le principe du procédé de stabilisation d'image selon l'invention est basé sur une combinaison de stabilisation a priori et de stabilisation a posteriori. Il s'agit plus précisément d'utiliser les informations issues d'au 5 moins un capteur gyrométrique solidaire de la caméra pour calculer des décalages approximatifs entre les images successives (stabilisation a priori) puis de calculer des décalages fins entre ces images par un traitement d'images (stabilisation a posteriori) qui utilise ces décalages approximatifs comme initialisation.
10 La première stabilisation approximative est obtenue indépendamment du fond et du contraste des objets dans les images. Cette première stabilisation est obtenue en déterminant l'attitude de la caméra. Plus précisément, l'invention a pour objet un procédé de 15 stabilisation des images d'une scène, acquises au moyen d'un dispositif d'observation d'un système d'imagerie, comportant une étape de traitement numérique d'un flux d'images successives. Il est principalement caractérisé en ce qu'il comporte une étape d'acquisition de mesures gyrométriques au moyen d'au moins un capteur gyrométrique solidaire du dispositif 20 d'observation, d'utilisation de ces mesures gyrométriques pour déterminer des décalages dits approximatifs subis entre images successives, et en ce que l'étape de traitement d'image comprend une sous-étape d'utilisation des décalages approximatifs et du flux d'images acquises pour déterminer des décalages dits fins subis entre images successives.
25 L'avantage de l'estimation de mouvement hybride est ainsi de permettre la stabilisation de la séquence d'images (du flux d'images) quelle que soit la scène. De préférence, l'étape de traitement d'images comprend une sous-étape d'évaluation des décalages fins en vue de choisir entre les 30 décalages approximatifs et les décalages fins, ceux qui sont à appliquer au flux d'images pour le stabiliser. Selon une caractéristique de l'invention, l'étape de traitement d'images comprend une sous-étape de filtrage temporel des décalages. Avantageusement, l'étape de détermination des décalages fins 35 comprend les étapes consistant à : 2903200 3 a- dézoomer les images successives k fois pour obtenir k flux d'images à résolution réduite, k étant un entier supérieur ou égal à 1, b- calculer des décalages à partir du kième flux d'images à résolution réduite et des décalages approximatifs, 5 c- tant que k est strictement supérieur à 1, itérer le processus suivant : calculer des décalages à partir du (k-1) ième flux d'images à résolution réduite et des décalages précédents, k=k-1, 10 d-calculer les décalages fins à partir des décalages précédents et du flux d'images d'origine. Les calculs de décalage sont obtenus par exemple par corrélation. L'invention a aussi pour objet un dispositif de stabilisation des images d'une scène comportant un dispositif d'observation d'un système 15 d'imagerie et un élément de traitement numérique d'images successives, caractérisé en ce qu'il comprend en outre au moins un capteur gyrométrique solidaire du dispositif d'observation et à l'élément de traitement d'images. Selon une caractéristique de l'invention, l'élément de traitement d'images comprend un microprocesseur apte à mettre en oeuvre des calculs 20 de décalage entre images successives. Selon une autre caractéristique de l'invention, il comprend un premier réseau logique programmable disposé entre le dispositif d'observation et le ou les capteurs gyrométriques d'une part et l'élément de traitement d'images d'autre part, ce réseau logique programmable étant apte 25 à acquérir des mesures gyrométriques des capteurs et un flux d'images du dispositif d'observation et de préférence un autre réseau logique programmable disposé en sortie du microprocesseur et relié au dispositif d'observation et apte à appliquer les décalages fournis par le microprocesseur au flux d'images issues du premier réseau logique 30 programmable. Selon une variante de l'invention, ces réseaux logiques programmables sont regroupés en un seul réseau logique programmable. Ces réseaux logiques programmables sont de préférence des FPGA.
2903200 4 D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description détaillée qui suit, faite à titre d'exemple non limitatif et en référence aux dessins annexés dans lesquels : ^ la figure 1 représente schématiquement un dispositif de 5 stabilisation selon l'invention, ^ la figure 2 représente schématiquement les différentes étapes de l'estimation hybride du procédé selon l'invention, ^ la figure 3 représente schématiquement les différentes étapes du deuxième niveau de recalage de l'estimation hybride.
10 D'une figure à l'autre, les mêmes éléments sont repérés par les mêmes références. Un exemple de dispositif de stabilisation selon l'invention est représenté figure 1.
15 Il comprend une caméra vidéo 1 et deux capteurs gyrométriques 2 solidaires de la caméra. L'image de la caméra comportant des pixels répartis en lignes (axe x) et colonnes (axe y) ; il y a de préférence un capteur pour les lignes de pixels et un autre pour les colonnes. Ces capteurs sont typiquement des MEMS (acronyme de l'expression anglo-saxonne Micro 20 Electro Mechanical System ) réalisés sur silicium. Ils sont reliés à un FPGA 3 (acronyme de l'expression anglo-saxonne Field Programmable Gate Array). On rappelle qu'un FPGA est un réseau prédiffusé de portes logiques programmable par l'utilisateur, utilisé pour une fonction particulière. Le FPGA délivre un flux d'images et un flux de mesures gyrométriques ; ces flux sont 25 synchronisés de manière à ce que le décalage mesuré par les gyromètres soit rapporté à l'image correspondante. Ces flux d'informations sont traités par un microprocesseur 4. Ce traitement des flux d'images et de mesures gyrométriques synchronisés consiste principalement en une estimation de mouvement dite hybride dont le 30 but est de fournir une estimation des mouvements parasites entre images successives. Plus précisément, le microprocesseur 4 calcule les décalages à compenser pour recaler géométriquement les images les unes par rapport aux autres. La stabilisation a pour objet de corriger les mouvements involontaires de la caméra dans l'espace 3D. Une correction parfaite est 35 réalisée par combinaison d'une rotation et de translations suivant les trois 2903200 5 axes (x,y,z). Dans le cadre de la correction de mouvements de vibration de faibles amplitudes et de hautes fréquences, une correction en translation suivant les axes de l'image (axes x et y) est suffisante. En sortie, le microprocesseur 4 fournit à un autre FPGA 5 les 5 décalages calculés. Ce FPGA qui a pour fonction la transformation géométrique du flux d'images acquises, produit alors un flux d'images stabilisées. Selon une variante, on utilise un seul FPGA pour réaliser les fonctions des deux FPGA. Les différentes étapes de l'estimation hybride réalisées par le 10 microprocesseur 4 et illustrées figure 2 sont les suivantes. - Estimation approximative des décalages par les capteurs gyrométriques. Le flux de mesures issu des capteurs gyrométriques possède une fréquence supérieure au flux de la caméra vidéo. Ce flux gyrométrique est filtré temporellement afin de réduire le bruit des capteurs bas-coûts, 15 synchronisé par rapport à l'acquisition des images (i.e. un décalage suivant l'axe x et un décalage suivant l'axe y sont associés à chaque image) et les valeurs angulaires données par les gyromètres sont converties en nombre de pixels en fonction du champ de la caméra. On obtient un décalage dit approximatif c'est-à-dire avec une précision de l'ordre de 4 à 6 pixels pour un 20 champ d'environ 4 , ou de 2 à 3 pixels pour un champ d'environ 8 ; il est destiné à être exploité par le deuxième niveau de recalage (recalage par traitement d'images). - Estimation fine des décalages par traitement d'images : le deuxième niveau de recalage, le recalage fin (d'une précision inférieure à un 25 pixel par exemple), est réalisé par traitement d'images par exemple par corrélation d'images successives deux à deux. Ce deuxième niveau utilise le premier niveau de recalage pour initialiser son estimation, cette initialisation permettant ainsi de gagner en temps de traitement et de fiabiliser la mesure en imposant la cohérence des deux estimations. Ce deuxième niveau de 30 recalage est détaillé plus loin. Cette estimation de décalages peut être vue comme un processus hiérarchique produisant une première estimation approximative par mesures gyrométriques qui est ensuite affinée par traitement d'images éventuellement plusieurs fois, selon des résolutions de plus en plus fines. Ce principe permet 2903200 6 notamment de préserver une faible complexité de calcul pour le processus alors qu'une corrélation simple s'avérerait très coûteuse. - Fusion des estimations de décalages : la troisième étape consiste en la fusion des deux niveaux précédents de décalage de sorte à 5 combiner la précision de l'estimation par traitement d'image et la fiabilité de l'estimation gyrométrique. Le but est ici de fournir la meilleure estimation des mouvements en fonction du contexte : mouvements rapides ou lents, de forte ou faible amplitude, contenu de l'image contrasté ou non, structuré ou non, etc. Pour cela, le traitement de recalage fin intègre un procédé d'auto-évaluation détaillé plus loin et visant à estimer la fiabilité du traitement, par exemple par contrôle du niveau ou de la courbure locale d'un pic de corrélation. Suivant le résultat de cette auto-évaluation, l'un ou l'autre des niveaux de recalage est privilégié : - si l'estimation par traitement d'images n'est pas 15 suffisamment fiable pour cause d'image peu contrastée, de scène présentant une structure inadaptée comme des formes mono-directionnelles, de scène non structurée, de mouvements trop rapides et/ou de trop grandes amplitudes, alors le niveau de recalage approximatif est privilégié, - si l'estimation par traitement d'images est fiable alors le 20 niveau de recalage fin est privilégié. La fiabilité est par exemple définie en fonction d'un seuil minimum sur le résultat de corrélation et d'un seuil minimum sur le gradient de corrélation. L'avantage de l'estimation de mouvement hybride est ainsi de permettre la stabilisation de la séquence d'images (du flux d'images) quelle 25 que soit la scène. - Filtrage des décalages : la dernière étape est le filtrage temporel des différents décalages mesurés dans le temps, dont le but est de séparer les différentes composantes du décalage pour éliminer les décalages qui sont provoqués par des mouvements involontaires et ne conserver que ceux 30 qui résultent de déplacements volontaires de la ligne de visée comme un mouvement de déplacement panoramique par exemple. Les premiers correspondent aux déplacements de faibles amplitudes et de hautes fréquences temporelles alors que les seconds correspondent aux déplacements de grandes amplitudes et de basses fréquences temporelles.
35 2903200 7 On va à présent décrire plus en détail l'étape du deuxième niveau de recalage (recalage fin) en relation avec la figure 3. Cette figure illustre un exemple de réalisation de l'estimation fine des décalages par traitement d'images basé sur le principe de la corrélation multi-résolution : 5 L'image courante lt et l'image précédente 4_1 sont tout d'abord dézoomées, c'est-à-dire subissent une étape de diminution de résolution d'un facteur N. Cette étape comprend pour chaque image It et It_1 deux étapes : un filtrage passe-bas de l'image, 10 un sous-échantillonnage par lequel on ne conserve qu'un pixel sur N pixels suivant les deux axes. Nombre d'implémentations sont possibles pour réaliser un tel dézoom. Dans notre implémentation, on réalise un dézoom d'un facteur 2 par simple moyenne sur des blocs 2x2 soit : 15 (I(2i,2 j) + I(2i +1,2 j) + I(2i,2 j +1) + I(2i + 1,2 j +1)) ID(i,j) = 4 en notant : I l'image pleine résolution (It ou It_1) ID l'image dézoomée, (on notera IDt l'image It dézoomée et IDt_1 20 l'image It_1 dézoomée) i,j les indices de ligne et de colonne des pixels dans l'image. Les images dézoomées IDt et IDt_l sont ensuite corrélées pour fournir une estimation de décalage dite sous-résolue. On peut appliquer plusieurs méthodes pour réaliser la corrélation.
25 On va à présent en décrire une. La corrélation est très consommatrice de puissance de calcul. C'est pourquoi en premier lieu, la corrélation n'est réalisée que sur une fenêtre de taille réduite et centrée respectivement dans les images IDt et IDt-1 ; ces fenêtres correspondent généralement à une zone d'intérêt dans les 30 images. En second lieu, on désigne par corrélation toute fonction permettant de quantifier la similarité entre une image de référence IDt et une image secondaire IDt_1. Pour notre implémentation, on a choisi d'utiliser une fonction de distance (i.e. fonction de dissimilarité) de type métrique de Minkowski, 35 mais on peut en choisir une autre : 8 2903200 N M d(IDt,IDt1)= IDt(i,j)ùIDt-t (i, i) en notant : p l'ordre de la distance, IDt et lDt_1 les deux images à comparer, 5 i et j les indices de ligne et de colonne des pixels dans l'image, N le nombre de lignes de l'image et M le nombre de colonnes. Dans l'implémentation réalisée, on se limite à une métrique d'ordre 1 (p=1). Le principe d'estimation de décalage entre deux images est le 10 suivant. La nappe de corrélation ou nappe de distance noté Nd est construite en déplaçant le support de corrélation de l'image de référence IDt (le support est une fenêtre dans la fenêtre de l'image de référence), sur un horizon de corrélation donné, relativement à l'image secondaire et en 15 calculant, pour chaque position, la distance de Minkowski : N M p l/p Nd (u, v) = E E SDt (i, j) ù SDt-t (i +u, j + v) J=1 pour : - Hy u Hy et -- Hx < v < IIX en notant : SDt et SDt_1 les supports centrés dans les fenêtres de référence et 20 secondaire de tailles N x M, i et j les indices de ligne et de colonne dans le support, u et v les indices de ligne et de colonne dans la nappe de corrélation, Hx et Hy les horizons de corrélation en x et en y.
25 Les indices u,v correspondant au minimum sur la nappe de distance donnent le décalage estimé entre l'image de référence IDt et l'image secondaire IDt_1. Les horizons de corrélation Hx et Hy déterminent l'amplitude 30 maximum des déplacements estimables par traitement d'image. Plus ces horizons sont faibles, plus le temps de calcul est réduit et plus l'estimation de mouvement est fiable car la probabilité de trouver un minimum local de la 2903200 9 nappe de corrélation diminue (synonyme de mauvaise estimation), à la condition que les horizons choisis soient supérieurs aux déplacements réels. Avoir une idée a priori (estimation approximative) du décalage inter-image permet de pré-positionner le support de corrélation secondaire et donc de 5 réduire la taille des horizons de recherche. Le processus hiérarchique est le suivant : Les gyromètres permettent d'obtenir un décalage approximatif avec une précision de l'ordre de 4 à 6 pixels en petit champ caméra, obtenue au terme d'une très faible complexité de calcul et beaucoup moins 10 importante que celle d'une corrélation exhaustive. Ensuite, la corrélation basse-résolution c'est-à-dire réalisée sur les images dézoomées (cf. Fig. 3), initialisée par l'estimation des gyromètres et utilisant des horizons de l'ordre de la précision des gyromètres, permet d'obtenir une précision de l'ordre de 2 pixels.
15 Enfin, la corrélation haute-résolution réalisée sur les images It et 4_1 à la place de IDt et et en utilisant comme initialisation les décalages obtenus par l'estimation basse-résolution d'une précision de l'ordre de 2 pixels, permet d'obtenir une estimation de décalages fins c'est-à-dire d'une précision pixellaire.
20 Ce processus peut être généralisé de la façon suivante. Ayant obtenu les décalages approximatifs, on réalise les étapes suivantes : a- dézoomer les images successives k fois pour obtenir k flux d'images à résolution réduite, k étant un entier supérieur ou égal à 1, b- calculer des décalages à partir du kième flux d'images à 25 résolution réduite et des décalages approximatifs, c- tant que k est strictement supérieur à 1, itérer le processus suivant : calculer des décalages à partir du (k-1)ième flux d'images à résolution réduite et des décalages précédents, 30 k=k-1 d- calculer les décalages fins à partir des décalages précédents et du flux d'images d'origine. L'exemple de la figure 3 correspond à k=1. Le processus hiérarchique fonctionne donc par affinages 35 successifs de l'estimation de mouvement, permettant gain en temps de 2903200 10 calcul (la corrélation basse-résolution étant de complexité réduite par rapport à la corrélation haute-résolution) et gain en fiabilité. Une dernière étape d'auto-évaluation de la qualité de corrélation permet de déterminer la fiabilité globale de ce processus, fiabilité utilisée lors 5 de la fusion pour prendre la décision de l'utilisation ou non de cette estimation de mouvements par traitement d'images. La fiabilité de l'estimation de mouvement par traitement d'images est estimée au travers de la qualification de la nappe corrélation. II s'agit de valider que le pic de corrélation (maximum de corrélation ou minimum de 10 distance Lp) est suffisamment marqué. Pour ce faire, on utilise simultanément des informations de : hauteur du pic, par exemple en analysant que la différence, en valeur absolue, entre la hauteur du pic de corrélation et la moyenne sur la nappe de corrélation est supérieure à un seuil, 15 courbure sur le pic, par exemple en analysant pour chacune des directions x et y, que la différence en valeur absolue entre la hauteur du pic de corrélation et la moyenne de ses deux voisins immédiats est supérieure à un seuil. Si un des deux critères précédents n'est pas satisfait, la 20 corrélation est invalidée.
Claims (12)
1. Procédé de stabilisation des images d'une scène, acquises au moyen d'un dispositif d'observation d'un système d'imagerie, comportant une étape de traitement numérique d'un flux d'images successives, caractérisé en ce qu'il comporte une étape d'acquisition de mesures gyrométriques au moyen d'au moins un capteur gyrométrique solidaire du dispositif d'observation, d'utilisation de ces mesures gyrométriques pour déterminer des décalages dits approximatifs subis entre images successives, et en ce que l'étape de traitement d'image comprend une sous-étape d'utilisation des décalages approximatifs et du flux d'images acquises pour déterminer des décalages dits fins subis entre images successives.
2. Procédé selon la revendication précédente, caractérisé en ce que l'étape de traitement d'images comprend une sous-étape d'évaluation des décalages fins en vue de choisir entre les décalages approximatifs et les décalages fins, ceux qui sont à appliquer au flux d'images pour le stabiliser.
3. Procédé selon l'une des revendications précédentes, caractérisé en 20 ce que l'étape de traitement d'images comprend une sous-étape de filtrage temporel des décalages.
4. Procédé selon l'une des revendications précédentes, caractérisé en ce que l'étape de détermination des décalages fins comprend les 25 étapes consistant à : a- dézoomer les images successives k fois pour obtenir k flux d'images à résolution réduite, k étant un entier supérieur ou égal à 1, b- calculer des décalages à partir du kième flux d'images à résolution réduite et des décalages approximatifs, 30 c- tant que k est strictement supérieur à 1, itérer le processus suivant : calculer des décalages à partir du (k-1) ième flux d'images à résolution réduite et des décalages précédents, k=k-1, 2903200 12 d- calculer les décalages fins à partir des décalages précédents et du flux d'images d'origine.
5. Procédé selon la revendication précédente, caractérisé en ce que 5 k=1.
6. Procédé selon l'une des revendications précédentes, caractérisé en ce que les calculs de décalage sont obtenus par corrélation. 10
7. Dispositif de stabilisation des images d'une scène comportant un dispositif (1) d'observation d'un système d'imagerie et un élément (4) de traitement numérique d'images successives, caractérisé en ce qu'il comprend en outre au moins un capteur gyrométrique (2) solidaire du dispositif d'observation et relié à l'élément (4) de traitement d'images. 15
8. Dispositif selon la revendication précédente, caractérisé en ce que l'élément (4) de traitement d'images comprend un microprocesseur apte à mettre en oeuvre des calculs de décalages entre images successives.
9. Dispositif selon l'une des revendications 7 à 8, caractérisé en ce qu'il comprend un premier réseau logique programmable (3) disposé entre le dispositif d'observation (1) et le ou les capteurs gyrométriques (2) d'une part et l'élément (4) de traitement d'images d'autre part, ce réseau logique programmable (3) étant apte à acquérir des mesures gyrométriques des capteurs et un flux d'images du dispositif d'observation.
10. Dispositif selon l'une des revendications 7 à 9, caractérisé en ce qu'il comprend un autre réseau logique programmable (5) disposé en sortie de l'élément (4) de traitement d'images et relié au dispositif d'observation (1) et apte à appliquer les décalages fournis par l'élément de traitement d'images au flux d'images issues du premier réseau logique programmable. 2903200 13
11. Dispositif selon l'une des revendications 7 à 9, caractérisé en ce qu'il comprend un réseau logique programmable relié au dispositif d'observation (1) et à l'élément (4) de traitement d'images et apte à acquérir des mesures gyrométriques des capteurs et un flux d'images 5 du dispositif d'observation et à appliquer les décalages fournis par l'élément de traitement d'images audit flux d'images.
12. Dispositif selon l'une des revendications 9 à 11, caractérisé en ce que le réseau logique programmable est un FPGA. 10
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0605885A FR2903200B1 (fr) | 2006-06-29 | 2006-06-29 | Stabilisation hybride d'images pour camera video |
| PCT/EP2007/056294 WO2008000711A2 (fr) | 2006-06-29 | 2007-06-25 | Stabilisation hybride d'images pour caméra vidéo |
| EP07765590A EP2033162A2 (fr) | 2006-06-29 | 2007-06-25 | Stabilisation hybride d'images pour caméra vidéo |
| US12/306,862 US8111294B2 (en) | 2006-06-29 | 2007-06-25 | Hybrid image stabilization method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0605885A FR2903200B1 (fr) | 2006-06-29 | 2006-06-29 | Stabilisation hybride d'images pour camera video |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR2903200A1 true FR2903200A1 (fr) | 2008-01-04 |
| FR2903200B1 FR2903200B1 (fr) | 2008-12-19 |
Family
ID=37667204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR0605885A Active FR2903200B1 (fr) | 2006-06-29 | 2006-06-29 | Stabilisation hybride d'images pour camera video |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8111294B2 (fr) |
| EP (1) | EP2033162A2 (fr) |
| FR (1) | FR2903200B1 (fr) |
| WO (1) | WO2008000711A2 (fr) |
Families Citing this family (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007002230A1 (de) * | 2007-01-10 | 2008-07-17 | Benecke-Kaliko Ag | Thermoplastische Folie |
| US20080195316A1 (en) * | 2007-02-12 | 2008-08-14 | Honeywell International Inc. | System and method for motion estimation using vision sensors |
| US8312551B2 (en) | 2007-02-15 | 2012-11-13 | Harris Corporation | Low level sequence as an anti-tamper Mechanism |
| US7921145B2 (en) * | 2007-05-22 | 2011-04-05 | Harris Corporation | Extending a repetition period of a random sequence |
| US8611530B2 (en) | 2007-05-22 | 2013-12-17 | Harris Corporation | Encryption via induced unweighted errors |
| US7995757B2 (en) * | 2007-05-31 | 2011-08-09 | Harris Corporation | Closed galois field combination |
| US7974413B2 (en) | 2007-06-07 | 2011-07-05 | Harris Corporation | Spread spectrum communications system and method utilizing chaotic sequence |
| US7970809B2 (en) * | 2007-06-07 | 2011-06-28 | Harris Corporation | Mixed radix conversion with a priori defined statistical artifacts |
| US7962540B2 (en) * | 2007-06-07 | 2011-06-14 | Harris Corporation | Mixed radix number generator with chosen statistical artifacts |
| US8005221B2 (en) * | 2007-08-01 | 2011-08-23 | Harris Corporation | Chaotic spread spectrum communications system receiver |
| US7995749B2 (en) * | 2007-10-30 | 2011-08-09 | Harris Corporation | Cryptographic system configured for extending a repetition period of a random sequence |
| JP5204785B2 (ja) | 2007-12-03 | 2013-06-05 | パナソニック株式会社 | 画像処理装置、撮影装置、再生装置、集積回路及び画像処理方法 |
| US8180055B2 (en) | 2008-02-05 | 2012-05-15 | Harris Corporation | Cryptographic system incorporating a digitally generated chaotic numerical sequence |
| US8363830B2 (en) * | 2008-02-07 | 2013-01-29 | Harris Corporation | Cryptographic system configured to perform a mixed radix conversion with a priori defined statistical artifacts |
| FR2928462B1 (fr) * | 2008-03-04 | 2010-06-11 | Thales Sa | Dispositif optique mixte d'imagerie multi-focale et de calibration ir |
| US8040937B2 (en) | 2008-03-26 | 2011-10-18 | Harris Corporation | Selective noise cancellation of a spread spectrum signal |
| US8213706B2 (en) | 2008-04-22 | 2012-07-03 | Honeywell International Inc. | Method and system for real-time visual odometry |
| US8139764B2 (en) | 2008-05-06 | 2012-03-20 | Harris Corporation | Closed galois field cryptographic system |
| US8238612B2 (en) | 2008-05-06 | 2012-08-07 | Honeywell International Inc. | Method and apparatus for vision based motion determination |
| US8320557B2 (en) * | 2008-05-08 | 2012-11-27 | Harris Corporation | Cryptographic system including a mixed radix number generator with chosen statistical artifacts |
| US8145692B2 (en) | 2008-05-29 | 2012-03-27 | Harris Corporation | Digital generation of an accelerated or decelerated chaotic numerical sequence |
| US8064552B2 (en) * | 2008-06-02 | 2011-11-22 | Harris Corporation | Adaptive correlation |
| US8068571B2 (en) | 2008-06-12 | 2011-11-29 | Harris Corporation | Featureless coherent chaotic amplitude modulation |
| US8325702B2 (en) | 2008-08-29 | 2012-12-04 | Harris Corporation | Multi-tier ad-hoc network in which at least two types of non-interfering waveforms are communicated during a timeslot |
| US8165065B2 (en) | 2008-10-09 | 2012-04-24 | Harris Corporation | Ad-hoc network acquisition using chaotic sequence spread waveform |
| US8406276B2 (en) | 2008-12-29 | 2013-03-26 | Harris Corporation | Communications system employing orthogonal chaotic spreading codes |
| US8351484B2 (en) | 2008-12-29 | 2013-01-08 | Harris Corporation | Communications system employing chaotic spreading codes with static offsets |
| US8457077B2 (en) | 2009-03-03 | 2013-06-04 | Harris Corporation | Communications system employing orthogonal chaotic spreading codes |
| US8509284B2 (en) | 2009-06-08 | 2013-08-13 | Harris Corporation | Symbol duration dithering for secured chaotic communications |
| US8428102B2 (en) | 2009-06-08 | 2013-04-23 | Harris Corporation | Continuous time chaos dithering |
| US8428103B2 (en) | 2009-06-10 | 2013-04-23 | Harris Corporation | Discrete time chaos dithering |
| US8428104B2 (en) | 2009-07-01 | 2013-04-23 | Harris Corporation | Permission-based multiple access communications systems |
| US8379689B2 (en) | 2009-07-01 | 2013-02-19 | Harris Corporation | Anti-jam communications having selectively variable peak-to-average power ratio including a chaotic constant amplitude zero autocorrelation waveform |
| US8363700B2 (en) | 2009-07-01 | 2013-01-29 | Harris Corporation | Rake receiver for spread spectrum chaotic communications systems |
| US8385385B2 (en) * | 2009-07-01 | 2013-02-26 | Harris Corporation | Permission-based secure multiple access communication systems |
| US8340295B2 (en) | 2009-07-01 | 2012-12-25 | Harris Corporation | High-speed cryptographic system using chaotic sequences |
| US8369376B2 (en) | 2009-07-01 | 2013-02-05 | Harris Corporation | Bit error rate reduction in chaotic communications |
| US8406352B2 (en) * | 2009-07-01 | 2013-03-26 | Harris Corporation | Symbol estimation for chaotic spread spectrum signal |
| US8848909B2 (en) | 2009-07-22 | 2014-09-30 | Harris Corporation | Permission-based TDMA chaotic communication systems |
| US8369377B2 (en) * | 2009-07-22 | 2013-02-05 | Harris Corporation | Adaptive link communications using adaptive chaotic spread waveform |
| US8345725B2 (en) | 2010-03-11 | 2013-01-01 | Harris Corporation | Hidden Markov Model detection for spread spectrum waveforms |
| FR2958486B1 (fr) | 2010-03-30 | 2013-02-08 | Sagem Defense Securite | Stabilisation d'images captees |
| US20110243532A1 (en) * | 2010-03-31 | 2011-10-06 | Motorola, Inc. | System and method of video stabilization during movement |
| GB2481027A (en) * | 2010-06-08 | 2011-12-14 | Dreampact Ltd | Image stabilising apparatus and method |
| US8531504B2 (en) * | 2010-06-11 | 2013-09-10 | Intel Corporation | System and method for 3D video stabilization by fusing orientation sensor readings and image alignment estimates |
| GB2492529B (en) | 2011-05-31 | 2018-01-10 | Skype | Video stabilisation |
| GB201116566D0 (en) * | 2011-09-26 | 2011-11-09 | Skype Ltd | Video stabilisation |
| GB2497507B (en) | 2011-10-14 | 2014-10-22 | Skype | Received video stabilisation |
| IL233684B (en) | 2014-07-17 | 2018-01-31 | Shamir Hanan | Stabilizing and displaying remote images |
| EP3109771A1 (fr) * | 2015-06-22 | 2016-12-28 | Deutsche Telekom AG | Procédé, système distribué et dispositif permettant de quantifier efficacement une similarité de grands ensembles de données |
| WO2017087537A1 (fr) | 2015-11-16 | 2017-05-26 | Google Inc. | Stabilisation basée sur des données d'accéléromètre |
| US10506163B2 (en) * | 2016-06-10 | 2019-12-10 | Invensense, Inc. | Systems and methods for synchronizing sensor data |
| US10587816B1 (en) | 2019-01-04 | 2020-03-10 | Gopro, Inc. | High dynamic range processing based on angular rate measurements |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5629988A (en) * | 1993-06-04 | 1997-05-13 | David Sarnoff Research Center, Inc. | System and method for electronic image stabilization |
| EP0948197A2 (fr) * | 1998-04-03 | 1999-10-06 | Zeiss Optronik GmbH | Dispositif et procédé pour la stabilisation d'image numérique |
| GB2407226A (en) * | 2003-10-18 | 2005-04-20 | Hewlett Packard Development Co | Preserving intentional movement information while correcting for unintentional movement of an imaging device |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2751797B1 (fr) * | 1996-07-23 | 1999-02-05 | Thomson Csf | Dispositif de mesure d'alignement d'une chaine d'amplification laser |
| FR2759208B1 (fr) * | 1997-01-31 | 1999-05-07 | Thomson Csf | Dispositif de controle du pointage et de la focalisation des chaines laser sur une cible |
| US6307959B1 (en) | 1999-07-14 | 2001-10-23 | Sarnoff Corporation | Method and apparatus for estimating scene structure and ego-motion from multiple images of a scene using correlation |
| FR2828315B1 (fr) * | 2001-07-31 | 2005-08-05 | Sagem | Stabilisation des images d'une scene, correction des offsets de niveaux de gris, detection d'objets mobiles et harmonisation de deux appareils de prise de vues fondes sur la stabilisation des images |
| US7705884B2 (en) * | 2004-07-21 | 2010-04-27 | Zoran Corporation | Processing of video data to compensate for unintended camera motion between acquired image frames |
| US7756407B2 (en) * | 2006-05-08 | 2010-07-13 | Mitsubishi Electric Research Laboratories, Inc. | Method and apparatus for deblurring images |
| JP4689687B2 (ja) * | 2008-01-29 | 2011-05-25 | 株式会社モルフォ | 撮像方法および撮像装置 |
-
2006
- 2006-06-29 FR FR0605885A patent/FR2903200B1/fr active Active
-
2007
- 2007-06-25 US US12/306,862 patent/US8111294B2/en active Active
- 2007-06-25 WO PCT/EP2007/056294 patent/WO2008000711A2/fr active Application Filing
- 2007-06-25 EP EP07765590A patent/EP2033162A2/fr not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5629988A (en) * | 1993-06-04 | 1997-05-13 | David Sarnoff Research Center, Inc. | System and method for electronic image stabilization |
| EP0948197A2 (fr) * | 1998-04-03 | 1999-10-06 | Zeiss Optronik GmbH | Dispositif et procédé pour la stabilisation d'image numérique |
| GB2407226A (en) * | 2003-10-18 | 2005-04-20 | Hewlett Packard Development Co | Preserving intentional movement information while correcting for unintentional movement of an imaging device |
Non-Patent Citations (4)
| Title |
|---|
| ERTUERK S: "DIGITAL IMAGE STABILIZATION WITH SUB-IMAGE PHASE CORRELATION BASED GLOBAL MOTION ESTIMATION", IEEE TRANSACTIONS ON CONSUMER ELECTRONICS, IEEE SERVICE CENTER, NEW YORK, NY, US, vol. 49, no. 4, November 2003 (2003-11-01), pages 1320 - 1325, XP001201282, ISSN: 0098-3063 * |
| NUNO-MAGANDA M A ET AL: "Three video applications using an FPGA based pyramid implementation: tracking, mosaics and stabilization", FIELD-PROGRAMMABLE TECHNOLOGY (FPT), 2003. PROCEEDINGS. 2003 IEEE INTERNATIONAL CONFERENCE ON 15-17 DEC. 2003, PISCATAWAY, NJ, USA,IEEE, 15 December 2003 (2003-12-15), pages 336 - 339, XP010688359, ISBN: 0-7803-8320-6 * |
| POURREZA H R ET AL: "An electronic digital image stabilizer based on stationary wavelet transform (swt)", PROCEEDINGS 2003 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING. ICIP-2003. BARCELONA, SPAIN, SEPT. 14 - 17, 2003, INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, NEW YORK, NY : IEEE, US, vol. VOL. 2 OF 3, 14 September 2003 (2003-09-14), pages 383 - 386, XP010670623, ISBN: 0-7803-7750-8 * |
| VIEVILLE T ET AL: "Computation of ego-motion and structure from visual and inertial sensors using the vertical cue", COMPUTER VISION, 1993. PROCEEDINGS., FOURTH INTERNATIONAL CONFERENCE ON BERLIN, GERMANY 11-14 MAY 1993, LOS ALAMITOS, CA, USA,IEEE COMPUTER SOCI, 11 May 1993 (1993-05-11), pages 591 - 598, XP010128566, ISBN: 0-8186-3870-2 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2008000711A2 (fr) | 2008-01-03 |
| EP2033162A2 (fr) | 2009-03-11 |
| FR2903200B1 (fr) | 2008-12-19 |
| WO2008000711A3 (fr) | 2008-07-03 |
| US20090309984A1 (en) | 2009-12-17 |
| US8111294B2 (en) | 2012-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FR2903200A1 (fr) | Stabilisation hybride d'images pour camera video | |
| EP1843295B1 (fr) | Procédé de restitution de mouvements de la ligne de visée d'un instrument optique | |
| EP1298592B1 (fr) | Stabilisation des images d'une scène, correction des offsets de niveaux de gris, détection d'objets mobiles et harmonisation de deux appareils de prise de vues fondés sur la stabilisation des images | |
| EP3171589A1 (fr) | Drone muni d'une camera video delivrant des sequences d'images corrigees de l'effet wobble | |
| FR2961601A1 (fr) | Procede d'evaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopilote | |
| FR2991785A1 (fr) | Stabilisation d'une ligne de visee d'un systeme d'imagerie embarque a bord d'un satellite | |
| EP3247977A1 (fr) | Senseur stellaire diurne et nocturne à polarisateur actif | |
| FR2964774A1 (fr) | Procede d'estimation du mouvement d'un porteur par rapport a un environnement et dispositif de calcul pour systeme de navigation | |
| WO2014173939A1 (fr) | Recalage d'images sar par information mutuelle | |
| WO2016087784A1 (fr) | Procédé d'estimation du mouvement d'un porteur par rapport à un environnement et dispositif de calcul pour système de navigation | |
| EP3301644B1 (fr) | Procédé de construction d'une carte de profondeur d'une scène et/ou d'une image entièrement focalisée | |
| EP3839600B1 (fr) | Procede d'estimation precis avec une disponibilite totale de la ligne de visee d'un telescope embarque a bord d'un satellite d'observation de la terre | |
| FR2700847A1 (fr) | Viseur d'étoile à matrice de DTC, procédé de détection, et application au recalage d'un engin spatial. | |
| EP3072110B1 (fr) | Procédé d'estimation du mouvement d'un objet | |
| FR3041458A1 (fr) | Dispositif d'imagerie, vehicule automobile equipe d'un tel dispositif d'imagerie, et procede associe | |
| FR2981149A1 (fr) | Aeronef comprenant un senseur optique diurne et nocturne, et procede de mesure d'attitude associe | |
| WO2014108652A1 (fr) | Estimation de mouvement d'une image | |
| WO2024033583A1 (fr) | Procédé et dispositif de traitement d'une séquence d'images pour la détermination de vignettes poursuivies dans ladite séquence d'images | |
| FR2968876A1 (fr) | Systeme d'acquisition d'images presentant une dynamique elevee | |
| FR2997258A1 (fr) | Systeme de detection et de mesure comprenant un senseur optique, et procedes de detection et de mesure associe | |
| EP3402178B1 (fr) | Capteur de mouvement et capteur d'images | |
| EP3899867A1 (fr) | Dispositif et procédé d'estimation de mouvement d'un capteur d'images entre deux images, programme d'ordinateur associé | |
| FR2828314A1 (fr) | Procede de stabilisation electronique des images d'une scene d'un appareil de prise de vues d'un systeme d'imagerie et procede d'harmonisation electronique de deux appareils de prise de vues de deux systemes d'imagerie | |
| WO2016008911A1 (fr) | Procédé et dispositif de traitement de mouvements de hautes fréquences dans un système optronique | |
| FR2737071A1 (fr) | Procede et dispositif de selection de prises de vues effectuees par une camera video mobile |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 11 |
|
| PLFP | Fee payment |
Year of fee payment: 12 |
|
| PLFP | Fee payment |
Year of fee payment: 13 |
|
| PLFP | Fee payment |
Year of fee payment: 15 |
|
| PLFP | Fee payment |
Year of fee payment: 16 |
|
| PLFP | Fee payment |
Year of fee payment: 17 |
|
| PLFP | Fee payment |
Year of fee payment: 18 |
|
| PLFP | Fee payment |
Year of fee payment: 19 |