FR2993690A1 - Method for determining movement vectors or field model movement vectors between successive digital images for video compression, involves calculating vector or vectors field according to calculation that is replaced by another calculation - Google Patents

Method for determining movement vectors or field model movement vectors between successive digital images for video compression, involves calculating vector or vectors field according to calculation that is replaced by another calculation Download PDF

Info

Publication number
FR2993690A1
FR2993690A1 FR1202077A FR1202077A FR2993690A1 FR 2993690 A1 FR2993690 A1 FR 2993690A1 FR 1202077 A FR1202077 A FR 1202077A FR 1202077 A FR1202077 A FR 1202077A FR 2993690 A1 FR2993690 A1 FR 2993690A1
Authority
FR
France
Prior art keywords
luminance
vector
images
image
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR1202077A
Other languages
French (fr)
Inventor
Gang Xiao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National de la Recherche Scientifique CNRS
Universite de Nice Sophia Antipolis UNSA
Original Assignee
Centre National de la Recherche Scientifique CNRS
Universite de Nice Sophia Antipolis UNSA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National de la Recherche Scientifique CNRS, Universite de Nice Sophia Antipolis UNSA filed Critical Centre National de la Recherche Scientifique CNRS
Priority to FR1202077A priority Critical patent/FR2993690A1/en
Publication of FR2993690A1 publication Critical patent/FR2993690A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Abstract

The method involves calculating (C1) vector or estimated vectors field according to a first calculation by a sinusoidal regression, where the first calculation is reiterated by successive sinusoidal regressions until reaching a sufficient precision of the vectors or vectors field. The first calculation is replaced or supplemented by a second calculation (C2) when a condition is reached between brightness gradients according to a multiplication of average of the brightness gradients and a difference in brightness between corresponding images pixels is divided by a square of a gradient norm. An independent claim is also included for a video encoding and decoding system.

Description

Procédé de détermination d'un vecteur de mouvement ou d'un modèle de mouvement entre deux images numériques selon les données de luminance des pixels des images ainsi que système d'encodage et de décodage L'invention concerne un procédé de détermination d'un vecteur de mouvement ou d'un modèle de mouvement entre deux images numériques selon les données de luminance des pixels des images ainsi qu'un système d'encodage et de décodage lequel comprend des moyens de calcul pour la détermination de vecteurs de mouvement fonctionnant selon un tel procédé de détermination. Plus particulièrement, le procédé s'effectue par application d'une régression sinusoïdale complétée ou remplacée par la projection du vecteur de mouvement sur la direction orthogonale des gradients de luminance dans certaines conditions.The invention relates to a method for determining a motion vector or a motion model between two digital images according to the luminance data of the pixels of the images, as well as an encoding and decoding system. of motion or a movement model between two digital images according to the luminance data of the pixels of the images and an encoding and decoding system which comprises calculation means for the determination of motion vectors operating according to such determination method. More particularly, the method is performed by applying a sinusoidal regression supplemented or replaced by the projection of the motion vector on the orthogonal direction of the luminance gradients under certain conditions.

La recherche d'un vecteur de mouvement ou d'un modèle de mouvement est un sujet de grande importance dans les domaines de traitement d'images, notamment pour la compression de vidéo, ceci aussi pour l'imagerie médicale, l'imagerie géographique, etc. Actuellement, les procédés de recherche de mouvement sont essentiellement basés soit sur une comparaison exhaustive pixel par pixel, soit par des recherches de minima du type Newton. La comparaison exhaustive possède une complexité de calcul très élevée, surtout dans le cas où la distance du mouvement est importante, car cette complexité augmente avec le carré de la distance de recherche. La comparaison exhaustive présente donc un coût de calcul souvent prohibitif. De multiples schémas de recherches partielles ont été développés pour accélérer le calcul en réduisant le nombre de tests à effectuer. De telles recherches partielles sont, par exemple, décrites dans les documents US-A2007/0206677 et US-A-2006/0018554.The search for a motion vector or a movement model is a subject of great importance in the image processing fields, especially for video compression, this also for medical imaging, geographical imagery, etc. Currently, the motion search methods are essentially based either on an exhaustive comparison pixel by pixel, or by minima searches of the Newton type. The exhaustive comparison has a very high calculation complexity, especially in the case where the distance of the movement is important, because this complexity increases with the square of the search distance. The exhaustive comparison therefore presents a calculation cost that is often prohibitive. Multiple partial search patterns have been developed to speed up the calculation by reducing the number of tests to be performed. Such partial searches are, for example, described in US-A2007 / 0206677 and US-A-2006/0018554.

Le problème commun de ces schémas de recherche accélérée est qu'en réduisant le nombre de tests, une réduction de la précision de la recherche est aussi inévitable. Ces schémas d'accélération ne sont donc que des compromis, plus ou moins efficaces, entre la performance et le coût de calcul. Les procédés du second type par recherches de minima du type Newton 5 donnent un résultat médiocre à cause de faux minima qui faussent la détermination des vecteurs de mouvement ou des champs de mouvement. Un autre procédé de recherche de mouvement est la descente par gradient. Ce procédé utilise les dérivées partielles de la luminance pour prédire le vecteur de mouvement. Ceci est, par exemple, décrit dans un article de 10 Lurng-Kuo Liu et al. portant le titre « A block-based gradient descent search algorithm for block motion estimation in video coding, Circuits and Systems for Video Technology », IEEE Transactions on, 6/4, 419-422 (1996). Ce procédé de recherche basée sur la descente par gradient est rapide, mais le procédé repose sur une estimation du type Newton-Ralphson, donc le 15 résultat est souvent piégé par des minima locaux. De plus, les formules sont relativement sensibles aux bruits dans les images. Par conséquent, les résultats des recherches ne sont pas très précis. Le document EP-A-1 050 850 concerne l'estimation de la direction de mouvement prédominant entre deux images et propose pour réaliser cette 20 estimation de combiner un algorithme de détection de pic et un algorithme de détection de régression à résolution multiple afin d'augmenter la précision de l'estimation. A la kième itération, il est calculé un vecteur de mouvement Ok en fonction du vecteur Ok-1 selon la formule : Ok = Ok-1 + dOk. L'itération est répétée jusqu'à ce que l'amplitude de correction des paramètres du 25 mouvement global devienne inférieure à une valeur seuil. Les mêmes considérations que précédemment mentionnées s'appliquent à l'enseignement de ce document. Le problème de la présente invention est de concevoir un procédé de recherche d'un vecteur de mouvement ou d'un modèle de mouvement en se 30 basant sur les données de luminance des pixels dans un segment d'image qui donne une estimation la plus précise possible du vecteur de mouvement ou d'un modèle de mouvement tout en gardant un coût raisonnable. A cet effet, l'invention a pour objet un procédé de détermination de vecteurs de mouvement ou d'un modèle de champ de vecteurs de mouvement entre deux images numériques successives selon les données de luminance des pixels des images, la seconde image correspondant à la première image après un mouvement selon un vecteur ou un champ de vecteurs de mouvement à déterminer, la première image présentant son propre vecteur ou champ de vecteurs initial, dans lequel procédé après segmentation et mise en correspondance de chaque segment des deux images, il est procédé au calcul d'un vecteur ou d'un champ de vecteurs estimatif dudit vecteur ou dudit champ de vecteurs à déterminer, pixel par pixel pour tout ou une partie des pixels du segment, le vecteur ou le champ de vecteurs estimatif étant ajouté au vecteur ou champ de vecteurs initial, lequel procédé est caractérisé en ce que le vecteur ou le champ de vecteurs estimatif est calculé selon un premier calcul par régression sinusoïdale, la formule de la régression sinusoïdale étant la somme de la différence de luminance entre pixels en correspondance des première et seconde images multipliée par un premier facteur dépendant de la dérivée partielle de la luminance et divisée par un second facteur dépendant du carré de la norme du gradient de luminance, divisée par la somme des carrés du premier facteur dépendant de la dérivée partielle de la luminance et divisée par un second facteur dépendant du carré de la norme du gradient de luminance, ledit premier calcul étant remplacé ou complété, quand une condition est atteinte entre les gradients de luminance, par un second calcul selon la moyenne des gradients de luminance multipliés par la différence de luminance entre pixels se correspondant des deux images et divisés par le carré de la norme du gradient. L'effet technique obtenu est une estimation précise et rapide d'un vecteur de 30 mouvement ou d'un champ de vecteurs de mouvement dans une suite d'images numériques successives, ce qui réduit les durées des procédés d'encodage et de décodage d'une telle suite et donne de plus une haute qualité d'images d'affichage finales. Les images obtenues selon le procédé de l'invention sont affichées au moyen d'un écran, par exemple, d'un écran à cristaux liquides ou à diodes émettrices de lumière, la gestion de l'affichage des images sur cet écran étant gérée par une carte électronique associée à l'écran. La réduction des durées des procédés d'encodage et de décodage dans une suite d'images numériques peut être aisément vérifiée en comparant les images d'affichage obtenues selon la détermination conforme à la présente invention avec celles obtenues selon une détermination connue de l'état de la technique.The common problem with these accelerated search patterns is that by reducing the number of tests, a reduction in the accuracy of the search is also inevitable. These acceleration schemes are therefore only compromises, more or less effective, between the performance and the cost of calculation. The methods of the second type by minima searches of the Newton type give a mediocre result because of false minima which distort the determination of motion vectors or motion fields. Another motion search method is gradient descent. This method uses the partial derivatives of luminance to predict the motion vector. This is, for example, described in an article by Lurng-Kuo Liu et al. with the title "A block-based gradient descent search algorithm for block motion estimation in video coding, Circuits and Systems for Video Technology," IEEE Transactions on, 6/4, 419-422 (1996). This method of searching based on gradient descent is rapid, but the method relies on a Newton-Ralphson type estimate, so the result is often trapped by local minima. In addition, the formulas are relatively sensitive to noise in the images. As a result, the research results are not very accurate. EP-A-1 050 850 relates to the estimation of the predominant motion direction between two images and proposes to make this estimate to combine a peak detection algorithm and a multi-resolution regression detection algorithm in order to increase the accuracy of the estimate. At the kth iteration, a vector of motion Ok is calculated according to the vector Ok-1 according to the formula: Ok = Ok-1 + dOk. The iteration is repeated until the correction amplitude of the parameters of the overall motion becomes smaller than a threshold value. The same considerations as mentioned above apply to the teaching of this document. The problem of the present invention is to design a method for searching a motion vector or a motion model based on the luminance data of pixels in an image segment that gives the most accurate estimate. possible motion vector or motion pattern while keeping a reasonable cost. For this purpose, the subject of the invention is a method for determining motion vectors or a motion vector field model between two successive digital images according to the luminance data of the pixels of the images, the second image corresponding to the first image after a motion according to a vector or a motion vector field to be determined, the first image having its own vector or initial vector field, in which process after segmentation and matching of each segment of the two images, it is carried out calculating a vector or an estimated vector field of said vector or said vector field to be determined, pixel by pixel for all or part of the pixels of the segment, the vector or the estimated vector field being added to the vector or initial vector field, which method is characterized in that the vector or the estimated vector field is calculated according to a first calculation by regr sinusoidal pressure, the sinusoidal regression formula being the sum of the difference in luminance between pixels in correspondence of the first and second images multiplied by a first factor dependent on the partial derivative of the luminance and divided by a second factor depending on the square of the luminance gradient standard, divided by the sum of the squares of the first factor dependent on the partial derivative of the luminance and divided by a second factor dependent on the square of the norm of the luminance gradient, said first calculation being replaced or completed, when a condition is reached between the luminance gradients, by a second calculation according to the average of the luminance gradients multiplied by the luminance difference between corresponding pixels of the two images and divided by the square of the norm of the gradient. The technical effect obtained is an accurate and rapid estimation of a motion vector or a motion vector field in a sequence of successive digital images, which reduces the durations of the encoding and decoding processes. such a suite and also gives a high quality of final display images. The images obtained according to the method of the invention are displayed by means of a screen, for example, a liquid crystal screen or light-emitting diodes, the management of the display of the images on this screen being managed by an electronic card associated with the screen. The reduction of the duration of the encoding and decoding processes in a series of digital images can easily be verified by comparing the display images obtained according to the determination according to the present invention with those obtained according to a known determination of the state. of the technique.

En effet, lors d'un encodage d'images, pour chaque image source donnée, il est calculé une image de prédiction en ajoutant un champ de vecteurs de mouvement calculé à une image de référence précédente obtenue à partir de l'image source précédente, ainsi qu'il est calculé une image résiduelle à partir de ladite image source donnée auquel on soustrait ladite image de prédiction. De même, lors d'un décodage d'images, il est délivré des images d'affichage à partir des données recueillies lors de l'encodage, notamment de l'image résiduelle pour chaque image source, le champ de vecteurs de mouvement calculé servant à l'obtention d'une image de prédiction, ladite image de prédiction étant ajoutée à l'image résiduelle pour donner une image de référence servant à l'élaboration de l'image d'affichage correspondante. Le calcul d'un vecteur de mouvement ou d'un champ de vecteurs de mouvement a ainsi une conséquence directe sur le temps d'encodage d'une série d'images sources. De plus, le calcul d'un vecteur de mouvement ou d'un champ de vecteurs de mouvement a une incidence sur la qualité de l'image d'affichage délivrée après décodage, ceci d'une part lors de l'encodage pour le calcul de l'image résiduelle qui peut être faussé par une estimation pas assez précise du vecteur ou du champ de vecteurs et d'autre part lors du décodage pour le calcul de l'image de référence donnant l'image d'affichage.Indeed, during an encoding of images, for each given source image, a prediction image is calculated by adding a calculated motion vector field to a previous reference image obtained from the previous source image, as a residual image is calculated from said given source image to which said prediction image is subtracted. Similarly, during an image decoding, display images are delivered from the data collected during the encoding, in particular from the residual image for each source image, the calculated motion vector field serving obtaining a prediction image, said prediction image being added to the residual image to provide a reference image for developing the corresponding display image. The calculation of a motion vector or a motion vector field thus has a direct consequence on the encoding time of a series of source images. In addition, the calculation of a motion vector or a motion vector field has an effect on the quality of the display image delivered after decoding, on the one hand during the encoding for the calculation the residual image that can be distorted by a not-precise estimate of the vector or the vector field and on the other hand during the decoding for the calculation of the reference image giving the display image.

Ceci est aisément vérifiable par comparaison entre images d'affichages obtenues avec différents procédés de détermination de vecteur ou de champs de vecteurs de mouvement, comme il est détaillé dans l'exemple donné dans la description de la présente demande de brevet.This is easily verifiable by comparison between display images obtained with different vector determination methods or motion vector fields, as detailed in the example given in the description of the present patent application.

Avantageusement, l'estimation par le premier calcul est réitérée par régressions sinusoïdales successives jusqu'à atteindre une précision suffisante du vecteur ou du champ de vecteurs estimé.Advantageously, the estimation by the first calculation is repeated by successive sinusoidal regressions until a sufficient accuracy of the estimated vector or vector field is reached.

Selon une variante avantageuse du procédé, les coordonnées du vecteur estimatif sont calculées comme suit : - pour lesquelles coordonnées : f(pi) est la fonction de la luminance de la première image, g(p,) est la fonction de la luminance de la seconde image, F1 gx(pi) est le premier facteur dépendant de la dérivée partielle en x de la luminance, F1 gy(pi) est le premier facteur dépendant de la dérivée partielle en y de la F2 V ,)112 luminance et H (p est le second facteur dépendant du carré de la norme du gradient de luminance.According to an advantageous variant of the method, the coordinates of the estimated vector are calculated as follows: - for which coordinates: f (pi) is the function of the luminance of the first image, g (p,) is the function of the luminance of the second image, F1 gx (pi) is the first factor dependent on the partial derivative in x of the luminance, F1 gy (pi) is the first factor dependent on the partial derivative in y of the F2 V,) 112 luminance and H ( p is the second factor dependent on the square of the norm of the luminance gradient.

Selon une variante avantageuse du procédé, le premier calcul par régression sinusoïdale est appliqué sur les fonctions de base orthogonales du modèle de mouvement, afin de trouver les coefficients du champ de vecteurs de mouvement selon ce modèle de mouvement. Selon une autre variante du procédé pour un modèle de mouvement, le 5 modèle de mouvement est un ensemble de fonctions k(x,y) qui permettent de définir un champ de vecteurs de mouvement à M(x,y)= (U(x,y), V(x,y)) à l'aide des coefficients ci et di selon les formules : d 10 Pour lesquels : 15 où pour lesquelles coordonnées : f(pi) est la fonction de la luminance de la première image, g(pi) est la fonction de la luminance de la seconde image, F1 gx(pi) est le premier facteur dépendant de la dérivée partielle en x de la luminance, 20 F1 gy(pi) est le premier facteur dépendant de la dérivée partielle en y de la Il F2 V (pi)112 luminance et est le second facteur dépendant du carré de la norme du gradient de luminance. pi)) Jp.1 F 111777-e k22 (pi) F g (pi) / II F2 p)112 Dans une autre variante du procédé, les premiers facteurs F1 gx(pi) et F1 gy(pi) sont respectivement les dérivées partielles en x et y de la luminance de la seconde image. 11 (p;)112 Dans une autre variante du procédé, est la norme du gradient de la seconde image. Dans une autre variante du procédé, les premiers facteurs F1 gx(pi) et F1 gy(pi) sont respectivement la moyenne des dérivées partielles en x et y de la 10 luminance pour les pixels associés des première et seconde images. , I F2 V (pi)II est la norme de la Dans une autre variante du procédé, moyenne des gradients de luminance pour les pixels associés des première et seconde images. 15 Dans une autre variante du procédé, la pertinence du résultat du premier calcul par régression est vérifiée en calculant la somme des carrés ou des valeurs absolues de la différence entre les résultats et la courbe sinusoïdale, l'estimation du vecteur ou du modèle de mouvement étant réussie si cette 20 somme est inférieure à une valeur prédéfinie. Dans une autre variante du procédé, les images sont filtrées en supprimant les variations trop rapides de la luminance, ceci préalablement aux étapes de régression sinusoïdale. 25 Dans une autre variante du procédé, la série de vecteurs ou de champs de vecteurs de mouvement subissant la régression sinusoïdale est pondérée, ladite pondération étant fonction soit de la norme du gradient, soit de la position du pixel, soit de la norme du gradient et de la position du pixel. 30 Dans une autre variante du procédé, le premier calcul par régression sinusoïdale est d'abord appliqué sur les images à taille réduite afin d'obtenir un vecteur ou un champ de vecteurs de mouvement préliminaire grossier, ledit vecteur ou champ de vecteurs préliminaire étant ensuite transféré aux images d'origine pour servir de vecteur ou de champ de vecteurs initial, le premier calcul par régression sinusoïdale étant alors appliqué sur les images de taille d'origine avec ledit vecteur ou champ de vecteurs initial pour l'obtention du vecteur ou du champ de vecteurs estimé.According to an advantageous variant of the method, the first sinusoidal regression calculation is applied to the orthogonal basic functions of the motion model, in order to find the coefficients of the motion vector field according to this motion model. According to another variant of the method for a motion model, the motion model is a set of functions k (x, y) which make it possible to define a motion vector field at M (x, y) = (U (x , y), V (x, y)) using the coefficients ci and di according to the formulas: d For which: where for which coordinates: f (pi) is the function of the luminance of the first image, g (pi) is the function of the luminance of the second image, F1 gx (pi) is the first factor dependent on the partial derivative in x of the luminance, F1 gy (pi) is the first factor dependent on the partial derivative The luminance is the second factor dependent on the square of the norm of the luminance gradient. In another variant of the method, the first factors F1 gx (pi) and F1 gy (pi) are the derivatives, respectively. partial x and y of the luminance of the second image. 11 (p;) 112 In another variant of the method, is the norm of the gradient of the second image. In another variant of the method, the first factors F1 gx (pi) and F1 gy (pi) are respectively the average of the x and y partial derivatives of the luminance for the associated pixels of the first and second images. In another variant of the method, the average of the luminance gradients for the associated pixels of the first and second images. In another variant of the method, the relevance of the result of the first regression calculation is verified by calculating the sum of the squares or absolute values of the difference between the results and the sinusoidal curve, the estimation of the vector or the motion model. being successful if this sum is less than a predefined value. In another variant of the method, the images are filtered by suppressing too rapid changes in luminance, prior to the sinusoidal regression steps. In another variant of the method, the series of vectors or motion vector fields undergoing sinusoidal regression is weighted, said weighting being a function of either the gradient norm, the pixel position, or the gradient norm. and the position of the pixel. In another variation of the method, the first sinusoidal regression calculation is first applied to the reduced size images to obtain a vector or field of coarse preliminary motion vectors, which vector or preliminary vector field is then transferred to the original images for use as an initial vector or vector field, the first sinusoidal regression calculation then being applied to the original size images with said initial vector or vector field for obtaining the vector or vector. estimated vector field.

Dans une autre variante du procédé, la condition atteinte entre les gradients de luminance pour le remplacement ou le complément du premier calcul par régression sinusoïdale par ledit second calcul est que la corrélation des gradients de luminance dans le segment dépasse un coefficient de corrélation prédéterminée, ledit coefficient variant entre 0,65 et 0,9.In another variant of the method, the condition reached between the luminance gradients for the replacement or complement of the first sinusoidal regression calculation by said second calculation is that the correlation of luminance gradients in the segment exceeds a predetermined correlation coefficient, said coefficient varying between 0.65 and 0.9.

L'invention concerne aussi un système d'encodage et de décodage vidéo comprenant des moyens d'encodage d'images vidéo comprenant des moyens de calcul pour chaque image source donnée à partir de la seconde image source d'une image de prédiction à partir d'un champ de vecteurs de mouvement et ensuite d'une image de référence et d'une image résiduelle à partir de ladite image de prédiction, des moyens de mémorisation au moins temporaire et des moyens de transmission de données relatives aux images résiduelles et aux champs de vecteurs de mouvement et des moyens de décodage pour l'obtention de chaque image d'affichage, ledit système comprenant des moyens de calcul pour reconstituer la série d'images de référence servant à l'obtention d'images d'affichage à partir des données transmises relatives aux champs de vecteurs et aux images résiduelles, lequel système est caractérisé en ce que les moyens de décodage comprennent des moyens de calcul pour la détermination de vecteurs de mouvement ou d'un modèle de champ de vecteurs de mouvement entre deux images numériques successives pour la mise en oeuvre d'un tel procédé.The invention also relates to a video encoding and decoding system comprising means for encoding video images comprising calculation means for each given source image from the second source image of a prediction image from a motion vector field and then a reference image and a residual image from said prediction image, at least temporary storage means and residual image and field data transmission means motion vectors and decoding means for obtaining each display image, said system comprising calculation means for reconstructing the series of reference images for obtaining display images from the transmitted data relating to the vector fields and the residual images, which system is characterized in that the decoding means comprise calculation means for the determination of n of motion vectors or of a motion vector field model between two successive digital images for the implementation of such a method.

L'invention va maintenant être décrite plus en détail mais de façon non limitative en regard des figures annexées, dans lesquelles : - la figure 1 est une vue schématique d'un système d'encodage et de décodage selon la présente invention, - la figure 2 est une vue schématique des diverses étapes du procédé de détermination de vecteurs de mouvement ou d'un modèle de champ de vecteurs de mouvement entre deux images numériques successives selon les données de luminance des pixels des images.The invention will now be described in more detail but in a nonlimiting manner with reference to the appended figures, in which: FIG. 1 is a diagrammatic view of an encoding and decoding system according to the present invention, FIG. 2 is a schematic view of the various steps of the method for determining motion vectors or a motion vector field model between two successive digital images according to the luminance data of the pixels of the images.

Un exemple non limitatif d'une forme de réalisation d'un système d'encodage et de décodage vidéo selon la présente invention est donné en regard de la figure 1. A cette figure, un flux vidéo d'images sources et un champ de vecteurs de mouvement relatif à ces images parviennent à des moyens d'encodage 1.A nonlimiting example of an embodiment of a video encoding and decoding system according to the present invention is given with reference to FIG. 1. In this figure, a video stream of source images and a vector field of movement relative to these images reach encoding means 1.

Les moyens d'encodage 1 d'images vidéo comprennent des moyens de calcul pour chaque image source donnée d'une image de prédiction, d'une image de référence et d'une image résiduelle. Le calcul de l'image de prédiction est fait de sorte que l'image de prédiction est, soit identique à l'image source, soit celle obtenue après application du champ de vecteurs de mouvement aux images de référence antérieures ou postérieures. Conformément à la présente invention, le champ de vecteurs de mouvement est alors déterminé par des moyens de calcul présents dans les moyens d'encodage 1 fonctionnant conformément au procédé de détermination selon l'invention qui va être ultérieurement décrit. Pour l'image résiduelle, celle-ci peut être obtenue par la différence entre l'image source et l'image de prédiction, tandis que l'image de référence peut être déduite de l'image de prédiction par l'ajout de l'image résiduelle.The encoding means 1 of video images comprise calculation means for each given source image of a prediction image, a reference image and a residual image. The calculation of the prediction image is done so that the prediction image is either identical to the source image or that obtained after application of the motion vector field to the previous or subsequent reference images. According to the present invention, the motion vector field is then determined by calculation means present in the encoding means 1 operating in accordance with the determination method according to the invention which will be described later. For the residual image, this can be obtained by the difference between the source image and the prediction image, while the reference image can be deduced from the prediction image by adding the residual image.

Ensuite, les données concernant les images résiduelles et les champs de vecteur de mouvement sont stockées par des moyens de mémorisation qui sont référencés 2 à la figure 1. Ces données peuvent être transmises à des moyens de transmission 3 qui, par l'intermédiaire d'un réseau de communication 4 quelconque, notamment Internet, envoient les données à des moyens de réception 5.Then, the data relating to the residual images and the motion vector fields are stored by storage means which are referenced 2 in FIG. 1. These data can be transmitted to transmission means 3 which, via the intermediary of FIG. any communication network 4, in particular the Internet, sends the data to reception means 5.

Le système d'encodage et de décodage vidéo selon la forme de réalisation montrée à la figure 5 comprend des moyens de décodage 6 permettant de décoder les données transmises. Ces moyens de décodage 6 permettent l'obtention de chaque image d'affichage et comprennent des moyens de calcul pour reconstituer la série d'images de référence servant à l'obtention d'images d'affichage à partir des données transmises relatives aux champs de vecteurs et aux images résiduelles. Enfin, le système de décodage comprend des moyens d'affichage 7 du type écran télévision, écran d'ordinateur ou projecteur pour la visualisation des images d'affichage. Dans ce mode de réalisation, les moyens d'encodage sont séparés des moyens de décodage mais ce n'est pas forcément toujours le cas.The video encoding and decoding system according to the embodiment shown in FIG. 5 comprises decoding means 6 making it possible to decode the transmitted data. These decoding means 6 make it possible to obtain each display image and comprise calculation means for reconstructing the series of reference images used to obtain display images from the data transmitted relative to the fields of the display. vectors and residual images. Finally, the decoding system comprises display means 7 of the television screen type, computer screen or projector for viewing the display images. In this embodiment, the encoding means are separate from the decoding means but this is not necessarily always the case.

La figure 2 illustre les étapes du procédé de détermination de vecteurs de mouvement ou d'un modèle de champ de vecteurs de mouvement entre deux images numériques successives selon les données de luminance des pixels des images, la seconde image correspondant à la première image après un mouvement selon un vecteur ou un champ de vecteurs de mouvement à déterminer, la première image présentant son propre vecteur ou champ de vecteurs initial. Dans le procédé selon l'invention, il est procédé à la segmentation SI de la première image source et à la segmentation S2 de la seconde image source.FIG. 2 illustrates the steps of the method for determining motion vectors or a motion vector field model between two successive digital images according to the luminance data of the pixels of the images, the second image corresponding to the first image after a motion according to a vector or a motion vector field to be determined, the first image having its own vector or initial vector field. In the method according to the invention, it is proceeded to the segmentation SI of the first source image and to the segmentation S2 of the second source image.

A l'étape référencée M à la figure 2, il est procédé à la mise en correspondance de chaque segment des deux images. L'étape suivante est le calcul selon un premier calcul Cl et/ou un second calcul C2 d'un vecteur ou d'un champ de vecteurs estimatif dudit vecteur ou dudit champ de vecteurs à déterminer, pixel par pixel pour tout ou une partie des pixels du segment. Le calcul peut se faire de deux manières différentes soit par le premier calcul Cl ou le second calcul C2 ou ce calcul peut être l'association complémentaire des premier Cl et second C2 calculs. Après l'un de ces calculs C1, C2 ou l'association de ces calculs C1, C2, le vecteur ou le champ de vecteurs estimatif est ajouté au vecteur ou champ de vecteurs initial.At the step referenced M in FIG. 2, each segment of the two images is matched. The next step is the calculation according to a first calculation C1 and / or a second calculation C2 of a vector or an estimated vector field of said vector or said vector field to be determined, pixel by pixel for all or part of the pixels of the segment. The calculation can be done in two different ways either by the first calculation C1 or the second calculation C2 or this calculation can be the complementary association of the first C1 and second C2 calculations. After one of these calculations C1, C2 or the combination of these calculations C1, C2, the vector or the estimated vector field is added to the initial vector or vector field.

Lors du premier calcul C1, le vecteur ou le champ de vecteurs estimatif est calculé par régression sinusoïdale, la formule de la régression sinusoïdale étant la somme de la différence de luminance entre pixels en correspondance des première et seconde images multipliée par un premier facteur dépendant de la dérivée partielle de la luminance et divisée par le carré de la norme d'un second facteur dépendant du gradient de luminance, divisée par la somme des carrés du premier facteur dépendant de la dérivée partielle de la luminance et divisée par un second facteur dépendant du carré de la norme du gradient de luminance.During the first calculation C1, the vector or the estimated vector field is calculated by sinusoidal regression, the sinusoidal regression formula being the sum of the difference in luminance between pixels in correspondence of the first and second images multiplied by a first factor dependent on the partial derivative of the luminance and divided by the standard square of a second luminance gradient dependent factor, divided by the sum of the squares of the first partial luminance derivative dependent factor and divided by a second luminance dependent factor square of the norm of the luminance gradient.

Comme précédemment mentionné, le premier calcul Cl peut être remplacé ou complété, quand une condition est atteinte entre les gradients de luminance, par un second calcul C2. Ce second calcul C2 se fait selon la moyenne des gradients de luminance multipliés par la différence de luminance entre pixels se correspondant des deux images et divisés par le carré de la norme du gradient. Un exemple de modèle de mouvement est le cas où les fonctions de base sont les fonctions linéaires sur les coordonnées spatiales des images, et la régression sinusoïdale donne les coefficients d'un champ de vecteurs d'une transformation affine. Pour une image numérique, la luminance forme une fonction à deux variables, soit f (x, y) pour une première image.As previously mentioned, the first calculation C1 can be replaced or completed, when a condition is reached between the luminance gradients, by a second calculation C2. This second calculation C2 is based on the average of the luminance gradients multiplied by the difference in luminance between corresponding pixels of the two images and divided by the square of the norm of the gradient. An example of a motion model is the case where the basic functions are the linear functions on the spatial coordinates of the images, and the sinusoidal regression gives the coefficients of a vector field of an affine transformation. For a digital image, luminance forms a two-variable function, f (x, y) for a first image.

Soit la fonction g (x, y) correspondant à une seconde image issue de la première image après un mouvement uniforme avec un vecteur de mouvement RT=(U, V), il existe alors une relation entre les fonctions f et g qui est : f(x, y)=g(x+U, y+V). Soient le gradient sur un point (xo, yo), cp = arctan( gy/gx) l'angle =(h,' hy) le vecteur normalisé dans la d'orientation de direction de v, où /11711=eastcp) et h.-=gy 71i=sin (q)) Autour du point (xo, yo), le développement limité de la fonction donne : f(xo, yo)=g (xo-F-U, yo+V )=g (xo, yo)-FUgx+Vgy+02 où 02 est un terme d'ordre supérieur ou égal à 2 pour u et y. Donc pour une approximation d'ordre 1, on peut omettre le terme 02, pour avoir : 1-igaVg)41ff II Il I> II cost,a où a est l'angle entre le vecteur de mouvement M et le gradient . Cela veut dire que la projection orthogonale de M sur 7 est égale au vecteur : 11,11e) , dans le cas où T est non-nul. Les pixels n , P2 , --- Pn du segment de l'image donnent une série de vecteurs : Dans un tel cas, la régression sinusoïdale permet de trouver un vecteur _). m =(u, ) dont les projections orthogonales sur les vecteurs 1/1/7=(ai, bi) sont les plus proches de 11-17 possible. Les formules de la régression sinusoïdale sont : V - Dans le cas présentement décrit, il est pris comme premiers facteurs F1 gx(pi) et F1 gy(pi) respectivement les dérivées partielles en x et y de la luminance de la seconde image. Il est à garder à l'esprit que ceci n'est pas limitatif et qu'il peut être pris, dans les formules générales du calcul de u et v données plus haut en fonction des facteurs F1 gx(pi) et F1 gy(pi), ces facteurs F1 gx(pi) et F1 gy(pi) comprenant lesdites dérivées partielles en x et y de la luminance de la seconde image tout en n'étant pas limités auxdites dérivés et pouvant être autres.Let the function g (x, y) corresponding to a second image coming from the first image after a uniform movement with a motion vector RT = (U, V), there then exists a relation between the functions f and g which is: f (x, y) = g (x + U, y + V). Let be the gradient on a point (xo, yo), cp = arctan (gy / gx) the angle = (h, 'hy) the normalized vector in the directional orientation of v, where / 11711 = eastcp) and h .- = gy 71i = sin (q)) Around the point (xo, yo), the limited expansion of the function gives: f (xo, yo) = g (xo-FU, yo + V) = g (xo , yo) -FUgx + Vgy + 02 where 02 is a term of order greater than or equal to 2 for u and y. So for an approximation of order 1, we can omit the term 02, to have: 1-igaVg) 41ff II II> II cost, where a is the angle between the motion vector M and the gradient. This means that the orthogonal projection of M over 7 is equal to the vector: 11, 11e), in the case where T is non-zero. The pixels n, P2, --- Pn of the segment of the image give a series of vectors: In such a case, the sinusoidal regression makes it possible to find a vector _). m = (u,) whose orthogonal projections on vectors 1/1/7 = (ai, bi) are as close to 11-17 as possible. The formulas of the sinusoidal regression are: V - In the case currently described, it is taken as first factors F1 gx (pi) and F1 gy (pi) respectively the partial derivatives in x and y of the luminance of the second image. It should be borne in mind that this is not limiting and that it can be taken, in the general formulas of the calculation of u and v given above according to the factors F1 gx (pi) and F1 gy (pi ), these factors F1 gx (pi) and F1 gy (pi) comprising said partial derivatives in x and y of the luminance of the second image while not being limited to said derivatives and may be other.

Par exemple, sans que cela soit limitatif, il peut être pris des premiers facteurs F1 gx(pi) et F1 gy(pi) étant respectivement la moyenne des dérivées partielles en x et y de la luminance pour les pixels associés des première et seconde images.For example, without being limiting, it can be taken from the first factors F1 gx (pi) and F1 gy (pi) being respectively the average of the partial derivatives in x and y of the luminance for the associated pixels of the first and second images .

II en va de même pour la norme II F2 V (0112 qui peut être autre que la norme de en tant que gradient de la seconde image, en étant par exemple la norme de la moyenne des gradients de luminance pour les pixels associés des première et seconde images.The same applies to the standard II F2 V (0112 which may be other than the norm of as a gradient of the second image, for example being the norm of the average of the luminance gradients for the associated pixels of the first and second images.

Cette régression donne toujours un résultat, sauf dans le cas où tous les termes dans la somme d'un dénominateur sont nuls. Dans ce dernier cas, il est donné comme valeur une valeur correspondante à O.This regression always gives a result, except in the case where all the terms in the sum of a denominator are zero. In the latter case, a value corresponding to O is given as a value.

Dans le cas où les deux séries de dérivées partielles (gx (pi), gx (Pi), gx (pi,)) et (gy (pi), gy (pi), gy (pn)) ne sont pas hautement corrélées et où le vecteur de mouvement M n'est pas très important par rapport à 02, le vecteur obtenu in" après la régression offre une excellente approximation de M. Donc pour une application récursive de la régression, la convergence est rapide.In the case where the two sets of partial derivatives (gx (pi), gx (Pi), gx (pi,)) and (gy (pi), gy (pi), gy (pn)) are not highly correlated and where the vector of motion M is not very important compared to 02, the vector obtained in "after the regression offers an excellent approximation of M. So for a recursive application of the regression, the convergence is fast.

Dans le cas où les deux séries de dérivées partielles sont fortement corrélées, la situation est ambiguë et l'étude restreinte dans le segment ne peut pas déterminer le vecteur Fi sans ambiguïté. Dans ce cas, on peut, conformément à la présente invention, quand une condition est atteinte entre les gradients de luminance remplacer ou compléter la régression par la projection orthogonale de M sur la direction corrélée des gradients. La projection de ersur la direction orthogonale des gradients est indéterminée, mais elle peut être déterminée par une étude des situations dans les segments voisins.In the case where the two sets of partial derivatives are strongly correlated, the situation is ambiguous and the restricted study in the segment can not determine the vector Fi unambiguously. In this case, it is possible, in accordance with the present invention, when a condition is reached between the luminance gradients to replace or supplement the regression by the orthogonal projection of M on the correlated gradient direction. The projection of ersur the orthogonal direction of the gradients is indeterminate, but it can be determined by a study of the situations in the neighboring segments.

La régression sinusoïdale s'applique aussi sur un modèle de mouvement. Un tel modèle de mouvement est un ensemble fini de fonctions de base ki(x, y) (j=1,..., i,...,t), de préférence orthogonales, fonctions qui permettent de définir un champ de vecteurs de mouvement Ie(x, y) = (U(x, y), V(x, y)) à l'aide des coefficients constants ci et di (j=1,..., i,...,t) : U( .r Cr. y Les formules suivantes de régression permettent de déterminer les coefficients c et di (p,)- g (pi) k (p,)/117(Pi) IF (Pi) (pi) /11 (P;) Là encore, les formules générales de calcul de cj et dj s'effectuent à partir des facteurs F1 gx(pi) et F1 gy(pi) qui ne sont pas limités aux dérivées partielles en x et y de la luminance de la seconde image, en étant par exemple mais non obligatoirement fonction de la moyenne des dérivées partielles en x et y de la luminance pour les pixels associés des première et seconde images.Sinusoidal regression also applies to a motion model. Such a model of motion is a finite set of basic functions ki (x, y) (j = 1, ..., i, ..., t), preferably orthogonal, functions that make it possible to define a vector field of motion Ie (x, y) = (U (x, y), V (x, y)) using the constant coefficients ci and di (j = 1, ..., i, ..., t ): U (.r Cr. Y The following regression formulas are used to determine the coefficients c and di (p,) - g (pi) k (p,) / 117 (Pi) IF (Pi) (pi) / 11 (P;) Here again, the general formulas for calculating cj and dj are made from the factors F1 gx (pi) and F1 gy (pi) which are not limited to the partial derivatives in x and y of the luminance of the second image, being for example but not necessarily a function of the average of the partial derivatives in x and y of the luminance for the associated pixels of the first and second images.

II en va de même pour la norme II F2 V (pall2 qui peut être autre que la norme de en tant que gradient de la seconde image, en étant par exemple la norme de la moyenne des gradients de luminance pour les pixels associés des première et seconde images.The same applies to the standard II F2 V (pall2 which may be other than the norm of as a gradient of the second image, for example being the norm of the average of the luminance gradients for the associated pixels of the first and second images.

Un cas particulier de modèle de mouvement est le cas et ki(x, y) =x-x0, k2(x, y) =y-yo où (x-xo) est le centre du segment et. Dans ce cas, les coefficients obtenus par les régressions sinusoïdales déterminent une matrice de transformation affine.A special case of motion model is the case and ki (x, y) = x-x0, k2 (x, y) = y-yo where (x-xo) is the center of the segment and. In this case, the coefficients obtained by the sinusoidal regressions determine an affine transformation matrix.

Des tests du procédé selon la présente invention ont été réalisés sur quelques centaines de paires d'images issues de séquences vidéo de différents types et différents niveaux de difficulté. Les segments sont des blocs carrés dont les côtés sont entre 8 et 16 pixels.Tests of the method according to the present invention have been performed on a few hundred pairs of images from video sequences of different types and levels of difficulty. The segments are square blocks whose sides are between 8 and 16 pixels.

Dans la plupart des cas, la distance de mouvement de départ est au-dessous de 2 à 3 pixels et les réitérations avec la régression sinusoïdale convergent vers une position avec un vecteur de mouvement résiduel au-dessous de 0,2 pixel après 1 à 3 itérations.In most cases, the starting motion distance is below 2 to 3 pixels and the reiterations with sinusoidal regression converge to a position with a residual motion vector below 0.2 pixel after 1 to 3 iterations.

Pour mesurer la précision de positionnement des segments, des paires d'images de bonne qualité graphique ayant des mouvements réguliers comme différence ont été sélectionnées pour un test. Après applications du procédé, segment par segment, les variations irrégulières de positionnement entre segments voisins sont mesurées. La moyenne de ces variations irrégulières est d'environ 0,1 pixel, malgré le fait qu'une paramétrisation agressive des réitérations peut réduire les vecteurs de mouvement résiduel au-dessous de 0,03 pixel. Les variations irrégulières sont donc probablement dues à des bruits causés par la pixellisation et les compressions antérieures dans les images. Les tests montrent que la régression sinusoïdale est capable de récupérer les décalages de mouvement jusqu'à une vingtaine de pixels suivant les situations. Avec une recherche hiérarchique appliquant les régressions sinusoïdales d'abord sur des images à taille réduite par 3 fois et avec des extensions par voisinage, des mouvements de plus de 100 pixels sont retrouvés sans difficulté.To measure the positioning accuracy of the segments, pairs of good quality graphic images having regular movements as a difference were selected for a test. After process applications, segment by segment, the irregular variations in positioning between neighboring segments are measured. The average of these irregular variations is about 0.1 pixel, despite the fact that aggressive reiteration parameterization can reduce the residual motion vectors below 0.03 pixel. The irregular variations are thus probably due to noises caused by pixelation and previous compressions in the images. The tests show that the sinusoidal regression is able to recover the movement offsets up to twenty pixels depending on the situation. With a hierarchical search applying the sinusoidal regressions first on 3-fold reduced images and with neighborhood extensions, motions of more than 100 pixels are found without difficulty.

La complexité de la recherche de mouvements est essentiellement fonction de la complexité de mouvements mutuels et de déformations de la scène. Cette complexité peut se mesurer avec le nombre de calculs de 11711 Il VII par pixel en moyenne.The complexity of the search for movements is essentially a function of the complexity of mutual movements and deformations of the scene. This complexity can be measured with the number of calculations of 11711 Il VII per pixel on average.

Pour une paire d'images où les mouvements sont principalement réguliers, sans beaucoup d'objets en mouvements mutuels et compliqués, même si la scène contient des mouvements de nature affine ou projective, le nombre de calculs par pixel se situe généralement entre 2 et 4, pour une détermination de mouvements avec une précision maximale de 0,1 pixel. En réduisant la précision à 0,3-0,5 pixel, ce nombre de calcul peut être réduit à moins de 1 par pixel.For a pair of images where the movements are mainly regular, without many objects in mutual and complicated movements, even if the scene contains movements of an affine or projective nature, the number of computations per pixel is generally between 2 and 4 , for motion determination with a maximum accuracy of 0.1 pixel. By reducing the accuracy to 0.3-0.5 pixels, this calculation number can be reduced to less than 1 per pixel.

Pour une scène avec mouvements rapides et hautement complexes telle qu'une scène sportive, la mise en oeuvre du procédé mettra jusqu'à 8 à 10 calculs par pixel pour une précision maximale, car il y a des essais répétitifs dans les régions avec des occlusions ou déformations.For a scene with fast and highly complex movements such as a sports scene, the implementation of the process will put up to 8 to 10 calculations per pixel for maximum accuracy, because there are repetitive trials in regions with occlusions or deformities.

La capacité et la précision du procédé selon la présente invention sont illustrées par l'exemple suivant. Cet exemple concerne des images extraites d'une séquence vidéo, avec un écart temporel de 8 images (1/3 seconde). Cette vidéo consiste en une prise de vue aérienne comprenant une rotation d'environ 15 degrés, des déplacements jusqu'à 150 pixels, et des mouvements mutuels avec occlusion de plus de 50 pixels. La taille des images est 960x600 pixels, images qui sont déduites d'une séquence vidéo de haute définition avec 1920x1080 pixels.The capacity and accuracy of the process according to the present invention is illustrated by the following example. This example concerns images extracted from a video sequence, with a time difference of 8 images (1/3 second). This video consists of an aerial shot with a rotation of about 15 degrees, displacements up to 150 pixels, and mutual movements with occlusion of more than 50 pixels. The size of the images is 960x600 pixels, images that are deduced from a high-definition video sequence with 1920x1080 pixels.

Cette réduction de taille permet de supprimer la grande partie des artéfacts créés par la compression antérieure, pour éviter que ces artefacts faussent le résultat de l'expérience. Le calcul est entièrement basé sur les deux images, sans tenir compte des informations dans d'autres images de la séquence pouvant éventuellement aider à augmenter la précision.This size reduction removes most of the artifacts created by the previous compression, to prevent these artifacts from distorting the result of the experiment. The calculation is based entirely on the two images, ignoring information in other images in the sequence that may help to increase accuracy.

Après une moyenne de 7,5 calculs par pixel, le procédé selon la présente invention produit un champ de vecteurs avec une résolution de 3 pixels. Sauf pour les zones occultées par des objets en mouvements mutuels, ce champ de vecteurs est correct et précis dans la grande majorité des endroits. Mais on constate aussi de petites irrégularités dans les zones sombres, ce qui indique que la limite de la capacité de la recherche est presque atteinte pour les paramètres choisis dans ce test.After an average of 7.5 calculations per pixel, the method according to the present invention produces a vector field with a resolution of 3 pixels. Except for areas obscured by mutually moving objects, this vector field is correct and accurate in the vast majority of locations. But there are also small irregularities in the dark areas, indicating that the limit of the search capacity is almost reached for the parameters chosen in this test.

Cette précision du champ de vecteurs permet de recréer la totalité de la séquence vidéo entre les deux images, avec des images résiduelles réduites au minimum. Pour une comparaison, il a été testé le procédé H.264 sur cette séquence vidéo, telle qu'il est implémenté par le logiciel x264.This precision of the vector field makes it possible to recreate the entire video sequence between the two images, with residual images reduced to a minimum. For a comparison, the H.264 process was tested on this video sequence, as implemented by the x264 software.

Il est constaté que la recherche de mouvement dans x264 est déjà très approximative avec un intervalle de deux images dans la séquence, puisque dans ce cas, l'image résiduelle (de type P) a une taille équivalente à 25% de la totalité de l'image (image de type I), et qu'entre deux images de type P, l'image de type B nécessite toujours une image résiduelle non-négligeable équivalente à 6% de la totalité de l'image. Il est ainsi estimé que pour cette séquence de vidéo, une recherche de mouvements basée sur le procédé selon l'invention permet de diviser les tailles des images résiduelles de type P et B au moins par 4, par rapport au procédé de recherche dans le logiciel x264 et ce pour un temps de recherche probablement moindre.20It is found that the search for motion in x264 is already very approximate with an interval of two images in the sequence, since in this case, the residual image (of type P) has a size equivalent to 25% of the totality of the image. image (type I image), and between two P-type images, the B-type image always requires a non-negligible residual image equivalent to 6% of the entire image. It is thus estimated that for this video sequence, a motion search based on the method according to the invention makes it possible to divide the sizes of the residual images of type P and B by at least 4, compared to the search method in the software. x264 for a probably shorter search time.20

Claims (15)

REVENDICATIONS1. Procédé de détermination de vecteurs de mouvement ou d'un modèle de champ de vecteurs de mouvement entre deux images numériques successives selon les données de luminance des pixels des images, la seconde image correspondant à la première image après un mouvement selon un vecteur ou un champ de vecteurs de mouvement à déterminer, la première image présentant son propre vecteur ou champ de vecteurs initial, dans lequel procédé après segmentation (51, S2) et mise en correspondance (M) de chaque segment des deux images, il est procédé au calcul (C1, C2) d'un vecteur ou d'un champ de vecteurs estimatif dudit vecteur ou dudit champ de vecteurs à déterminer, pixel par pixel pour tout ou une partie des pixels du segment, le vecteur ou le champ de vecteurs estimatif étant ajouté au vecteur ou champ de vecteurs initial, lequel procédé est caractérisé en ce que le vecteur ou le champ de vecteurs estimatif est calculé selon un premier calcul (C1) par régression sinusoïdale, la formule de la régression sinusoïdale étant la somme de la différence de luminance entre pixels en correspondance des première et seconde images multipliée par un premier facteur dépendant de la dérivée partielle de la luminance et divisée par le carré de la norme d'un second facteur dépendant du gradient de luminance, divisée par la somme des carrés du premier facteur dépendant de la dérivée partielle de la luminance et divisée par un second facteur dépendant du carré de la norme du gradient de luminance, ledit premier calcul (C1) étant remplacé ou complété, quand une condition est atteinte entre les gradients de luminance, par un second calcul (C2) selon la moyenne des gradients de luminance multipliés par la différence de luminance entre pixels se correspondant des deux images et divisés par le carré de la norme du gradient.REVENDICATIONS1. Method for determining motion vectors or a motion vector field model between two successive digital images according to the luminance data of the pixels of the images, the second image corresponding to the first image after a movement according to a vector or a field of motion vectors to be determined, the first image having its own vector or initial vector field, in which process after segmentation (51, S2) and mapping (M) of each segment of the two images, it is computed ( C1, C2) of a vector or an estimated vector field of said vector or said vector field to be determined, pixel by pixel for all or part of the pixels of the segment, the vector or the estimated vector field being added to the vector or initial vector field, which method is characterized in that the vector or the estimated vector field is calculated according to a first calculation (C1) by sinuso regression dale, the sinusoidal regression formula being the sum of the difference in luminance between pixels in correspondence of the first and second images multiplied by a first factor dependent on the partial derivative of the luminance and divided by the square of the norm of a second luminance gradient dependent factor, divided by the sum of the squares of the first partial luminance derivative dependent factor and divided by a second square dependence factor of the luminance gradient standard, said first calculation (C1) being replaced or completed, when a condition is reached between the luminance gradients, by a second calculation (C2) according to the average of the luminance gradients multiplied by the luminance difference between corresponding pixels of the two images and divided by the square of the gradient norm . 2. Procédé selon la revendication 1, pour lequel l'estimation par le premier calcul (C1) est réitérée par régressions sinusoïdales successives jusqu'à atteindre une précision suffisante du vecteur ou du champ de vecteurs estimé.2. The method of claim 1, wherein the estimate by the first calculation (C1) is repeated by successive sinusoidal regressions until a sufficient accuracy of the vector or the estimated vector field. 3. Procédé selon l'une des revendications 1 ou 2, pour lequel les coordonnées du vecteur estimatif sont calculées comme suit : (f(pi) - g (pi)) Fig.-(pi) 1I1 F2 V (pi) Ir Fig/r(P,) f II F2 (i) If En ai (Pi:) - g (Pi)) FLgy(P.i.) /II F.71` (Pi) ir v i-1 11,2e ,-1 pour lesquelles coordonnées : f(pi) est la fonction de la luminance de la première image, g(pi) est la fonction de la luminance de la seconde image, F1 gx(pi) est le premier facteur dépendant de la dérivée partielle en x de la luminance, F1 gy(pi) est le premier facteur dépendant de la dérivée partielle en y de la luminance, Il F2 V (pi)112 est le second facteur dépendant du carré de la norme du gradient de luminance.3. The method according to claim 1, wherein the coordinates of the estimated vector are calculated as follows: / r (P,) f II F2 (i) If In (Pi :) - g (Pi)) FLgy (Pi) / II F.71 (Pi) ir v i-1 11,2e, -1 for whose coordinates: f (pi) is the function of the luminance of the first image, g (pi) is the function of the luminance of the second image, F1 gx (pi) is the first factor dependent on the partial derivative in x of the luminance, F1 gy (pi) is the first factor dependent on the partial derivative in y of the luminance, Il F2 V (pi) 112 is the second factor depending on the square of the norm of the luminance gradient. 4. Procédé selon l'une des revendications 1, 2 ou 3, pour lequel le premier calcul (C1) par régression sinusoïdale est appliqué sur les fonctions de base orthogonales du modèle de mouvement, afin de trouver les coefficients du champ de vecteurs de mouvement selon ce modèle de mouvement.4. Method according to one of claims 1, 2 or 3, wherein the first calculation (C1) by sinusoidal regression is applied to the orthogonal basic functions of the motion model, in order to find the coefficients of the motion vector field. according to this model of movement. 5. Procédé selon la revendication 4, pour lequel le modèle de mouvement est un ensemble de fonctions k(x, y) qui permettent de définir un champs de vecteurs de mouvement à M(x, y)= (U(x, y), V(x, y)) à l'aide des coefficients ci et d; selon les formules : Fig2,(Pi) /il F2 Vb,) Ifu(r,y)=Eci" 1/(27.y. E(4ki(1,y) pour lesquels : (pi) - g (pi)) k, (pi) F gr (pi) /1177e (pà k' (pi) F1g2r (pi) /11 r77.- (pi) 1 (Pi) g (Pi ) k, Fig,(pi) /11 F2 (P;) I I2 = r-1 k2 (Pi.) 11: g2e (pi) III F2 (Pi) où pour lesquelles coordonnées : f(pi) est la fonction de la luminance de la première image, g(pi) est la fonction de la luminance de la seconde image, F1 gx(pi) est le premier facteur dépendant de la dérivée partielle en x de la luminance, F1 gy(pi) est le premier facteur dépendant de la dérivée partielle en y de la luminance, il F2 V (pi)II est le second facteur dépendant du carré de la norme du 15 gradient de luminance.5. Method according to claim 4, wherein the motion model is a set of functions k (x, y) which make it possible to define a motion vector field at M (x, y) = (U (x, y) , V (x, y)) using the coefficients ci and d; according to the formulas: ## EQU3 ## where (r, y) = Eci "1 / (27.y, E (4ki (1, y) for which: (pi) - g (pi) ) k, (pi) F gr (pi) / 1177e (pq k '(p1) F1g2r (p1) / 11 r77.- (p1) 1 (Pi) g (Pi) k, Fig, (p1) / 11 F2 (P;) I I2 = r-1 k2 (Pi) 11: g2e (pi) III F2 (Pi) where for which coordinates: f (pi) is the function of the luminance of the first image, g (pi) is the function of the luminance of the second image, F1 gx (pi) is the first factor dependent on the partial derivative in x of the luminance, F1 gy (pi) is the first factor dependent on the partial derivative in y of the luminance F 2 V (pi) II is the second square-dependent factor of the luminance gradient standard. 6. Procédé selon l'une quelconque des revendications 3, 4 ou 5, pour lequel les premiers facteurs F1 gx(pi) et F1 gy(pi) sont respectivement les dérivées partielles en x et y de la luminance de la seconde image. 20 2 V6. Method according to any one of claims 3, 4 or 5, wherein the first factors F1 gx (pi) and F1 gy (pi) are respectively the partial derivatives in x and y of the luminance of the second image. 20 2 V 7. Procédé selon la revendication 6, pour lequel Il F (p)112 est la norme du gradient de la seconde image.7. The method of claim 6, wherein Il F (p) 112 is the gradient standard of the second image. 8. Procédé selon l'une quelconque des revendications 3 ou 5, pour lequel les premiers facteurs F1 gx(pi) et F1 gy(pi) sont respectivement la moyenne des dérivées partielles en x et y de la luminance pour les pixels associés des première et seconde images.The method according to claim 3, wherein the first factors F1 gx (pi) and F1 gy (pi) are respectively the mean of the partial derivatives in x and y of the luminance for the associated pixels of the first and second images. 9. Procédé selon l'une quelconque des revendications 3 ou 5, pour lequelII F2 V {W112 est la norme de la moyenne des gradients de luminance pour les pixels associés des première et seconde images.9. A method according to any of claims 3 or 5, for which F 2 V (W 112) is the norm of the average of the luminance gradients for the associated pixels of the first and second images. 10. Procédé selon l'une quelconque des revendications précédentes, pour lequel la pertinence du résultat du premier calcul (1) par régression est vérifiée en calculant la somme des carrés ou des valeurs absolues de la différence entre les résultats et la courbe sinusoïdale, l'estimation du vecteur ou du modèle de mouvement étant réussie si cette somme est inférieure à une valeur prédéfinie.The method according to any one of the preceding claims, wherein the relevance of the result of the first computation (1) by regression is verified by calculating the sum of squares or absolute values of the difference between the results and the sinusoidal curve. estimation of the motion vector or model being successful if this sum is less than a predefined value. 11. Procédé selon l'une quelconque des revendications précédentes, dans lequel les images sont filtrées en supprimant les variations trop rapides de la luminance, ceci préalablement aux étapes de régression 20 sinusoïdale.The method of any of the preceding claims, wherein the images are filtered by suppressing too rapid changes in luminance prior to the sinusoidal regression steps. 12. Procédé selon l'une quelconque des revendications précédentes, pour lequel la série de vecteurs ou de champs de vecteurs de mouvement subissant la régression sinusoïdale est pondérée, ladite 25 pondération étant fonction soit de la norme du gradient, soit de la position du pixel, soit de la norme du gradient et de la position du pixel.A method according to any one of the preceding claims, wherein the series of vectors or motion vector fields undergoing sinusoidal regression is weighted, said weighting being a function of either the gradient standard or the pixel position. , the gradient standard and the position of the pixel. 13. Procédé selon l'une quelconque des revendications précédentes, pour lequel le calcul (C1) par régression sinusoïdale est d'abord 30 appliqué sur les images à taille réduite afin d'obtenir un vecteur ou un champ de vecteurs de mouvement préliminaire grossier, ledit vecteur ou champ de vecteurs préliminaire étant ensuite transféré aux images d'origine pour servirde vecteur ou de champ de vecteurs initial, le premier calcul (C1) par régression sinusoïdale étant alors appliqué sur les images de taille d'origine avec ledit vecteur ou champ de vecteurs initial pour l'obtention du vecteur ou du champ de vecteurs estimé.A method according to any one of the preceding claims, wherein the sinusoidal regression calculation (C1) is first applied to the reduced size images to obtain a rough preliminary motion vector or vector field, said preliminary vector or vector field is then transferred to the original images to serve as an initial vector or vector field, the first sinusoidal regression calculation (C1) then being applied to the original size images with said vector or field initial vectors for obtaining the vector or the estimated vector field. 14. Procédé selon l'une quelconque des revendications précédentes, pour lequel la condition atteinte entre les gradients de luminance pour le remplacement ou le complément du calcul (C1) par régression sinusoïdale par ledit second calcul (C2) est que la corrélation des gradients de luminance dans le segment dépasse un coefficient de corrélation prédéterminée, ledit coefficient variant entre 0,65 et 0,9.A method according to any one of the preceding claims, wherein the condition reached between the luminance gradients for replacing or complementing the calculation (C1) by sinusoidal regression by said second calculation (C2) is that the correlation of the gradients of luminance in the segment exceeds a predetermined correlation coefficient, said coefficient varying between 0.65 and 0.9. 15. Système d'encodage et de décodage vidéo comprenant: - des moyens d'encodage (1) d'images vidéo comprenant des moyens de calcul pour chaque image source donnée à partir de la seconde image source d'une image de prédiction à partir d'un champ de vecteurs de mouvement, et ensuite d'une image de référence et d'une image résiduelle à partir de ladite image de prédiction, - des moyens de mémorisation (2) au moins temporaire et de 20 transmission (3 à 5) de données relatives aux images résiduelles et aux champs de vecteurs de mouvement, et - des moyens de décodage (6) pour l'obtention de chaque image d'affichage, comprenant des moyens de calcul pour reconstituer la série d'images de référence servant à l'obtention d'images d'affichage à partir des 25 données transmises relatives aux champs de vecteurs et aux images résiduelles, lequel système est caractérisé en ce que les moyens de décodage comprennent des moyens de calcul pour la détermination de vecteurs de mouvement ou d'un modèle de champ de vecteurs de mouvement entre deux 30 images numériques successives pour la mise en oeuvre d'un procédé selon l'une quelconque des revendications précédentes.A video encoding and decoding system comprising: video image encoding means (1) comprising calculation means for each given source image from the second source image of a prediction image from a motion vector field, and then a reference image and a residual image from said prediction image; - at least one temporary storage and transmission means (3 to 5); ) data relating to the residual images and to the motion vector fields, and decoding means (6) for obtaining each display image, comprising calculation means for reconstituting the series of reference images serving obtaining display images from the transmitted data relating to the vector fields and the residual images, which system is characterized in that the decoding means comprise calculation means for the determination of vector vectors. motion or motion vector field pattern between two successive digital images for carrying out a method according to any one of the preceding claims.
FR1202077A 2012-07-20 2012-07-20 Method for determining movement vectors or field model movement vectors between successive digital images for video compression, involves calculating vector or vectors field according to calculation that is replaced by another calculation Pending FR2993690A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1202077A FR2993690A1 (en) 2012-07-20 2012-07-20 Method for determining movement vectors or field model movement vectors between successive digital images for video compression, involves calculating vector or vectors field according to calculation that is replaced by another calculation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1202077A FR2993690A1 (en) 2012-07-20 2012-07-20 Method for determining movement vectors or field model movement vectors between successive digital images for video compression, involves calculating vector or vectors field according to calculation that is replaced by another calculation

Publications (1)

Publication Number Publication Date
FR2993690A1 true FR2993690A1 (en) 2014-01-24

Family

ID=47594803

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1202077A Pending FR2993690A1 (en) 2012-07-20 2012-07-20 Method for determining movement vectors or field model movement vectors between successive digital images for video compression, involves calculating vector or vectors field according to calculation that is replaced by another calculation

Country Status (1)

Country Link
FR (1) FR2993690A1 (en)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Sans recherche *

Similar Documents

Publication Publication Date Title
Wronski et al. Handheld multi-frame super-resolution
Jeon et al. Accurate depth map estimation from a lenslet light field camera
CN106991650B (en) Image deblurring method and device
CA2701698A1 (en) Method for synchronising video streams
Khaloo et al. Pixel‐wise structural motion tracking from rectified repurposed videos
FR3011368A1 (en) METHOD AND DEVICE FOR REINFORCING THE SHAPE OF THE EDGES FOR VISUAL IMPROVEMENT OF THE RENDER BASED ON DEPTH IMAGES OF A THREE-DIMENSIONAL VIDEO STREAM
KR20130112311A (en) Apparatus and method for reconstructing dense three dimension image
EP1672585A1 (en) Method, device and system for the processing of images by estimated movement
Mustaniemi et al. Fast motion deblurring for feature detection and matching using inertial measurements
EP1746486A1 (en) Process for detecting movement of an entity fitted with an image sensor and a device for implementing it
FR3057095B1 (en) METHOD FOR CONSTRUCTING A DEPTH MAP OF A SCENE AND / OR A COMPLETELY FOCUSED IMAGE
KR100922273B1 (en) Mechanism for reconstructing a 3D model using key-frames selected from image sequences
EP2856424A1 (en) Method of three-dimensional measurements by stereo-correlation using a parametric representation of the measured object
FR2993690A1 (en) Method for determining movement vectors or field model movement vectors between successive digital images for video compression, involves calculating vector or vectors field according to calculation that is replaced by another calculation
EP1746487B1 (en) Process and device for detection of movement of an entity fitted with an image sensor
Zheng et al. Non-local single image de-raining without decomposition
FR2934453A1 (en) ERROR MASKING METHOD AND DEVICE
EP2943935B1 (en) Estimation of the movement of an image
Song et al. Analysis and improvement of joint bilateral upsampling for depth image super-resolution
WO2019081587A1 (en) Image restoration method
Ogniewski et al. Pushing the limits for view prediction in video coding
Galgali et al. Real-time image deblurring and super resolution using convolutional neural networks
Krämer et al. Super-resolution mosaicing from MPEG compressed video
EP3072110B1 (en) Method for estimating the movement of an object
Chen et al. Image deblurring by motion estimation for remote sensing