FR2824689A1 - Public video phones object extraction process having initial image real time evaluated calculation euclidean distance background/current image and finding level/object shape then extracting image. - Google Patents
Public video phones object extraction process having initial image real time evaluated calculation euclidean distance background/current image and finding level/object shape then extracting image. Download PDFInfo
- Publication number
- FR2824689A1 FR2824689A1 FR0106284A FR0106284A FR2824689A1 FR 2824689 A1 FR2824689 A1 FR 2824689A1 FR 0106284 A FR0106284 A FR 0106284A FR 0106284 A FR0106284 A FR 0106284A FR 2824689 A1 FR2824689 A1 FR 2824689A1
- Authority
- FR
- France
- Prior art keywords
- image
- background
- current image
- luminance
- phase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N5/275—Generation of keying signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
WAP.WAP.
PROCÉDÉ POUR EXTRAIRE LES OBJETS D'UNE IMAGE, SUR UN METHOD FOR EXTRACTING OBJECTS FROM AN IMAGE ON A
FOND UNIFORME ET INCRUSTATION DE CES OBJETS DANS UNE UNIFORM BACKGROUND AND INTEGRATION OF THESE OBJECTS INTO A
SCÈNE.SCENE.
s L'invention concerne un procédé pour extraire les objets d'une image, sur un fond uniforme et s The invention relates to a method for extracting objects from an image, on a uniform background and
l' incrustation de ces objets dans une scène. the inlay of these objects in a scene.
Il est destiné à des applications en temps réel sur PC, aussi variées que le multimédia sur Internet, la visioconférence, la télésurveillance, la réalité It is intended for real-time applications on PC, as varied as multimedia on the Internet, videoconferencing, remote monitoring, reality
virtuelle, le jeu....virtual, the game ....
Bien que cette application ne doive pas être considérée comme limitative, l'utilisation du procédé de l' invention est particulièrement adaptée à la visiophonie grand public, dans des conditions Although this application should not be considered as limiting, the use of the method of the invention is particularly suitable for videophone for the general public, under conditions
d'éclairage naturel et/ou artificiel de prise de vues. natural and / or artificial lighting.
Il est connu que les systèmes d'imagerie numérique permettent à l'utilisateur d'extraire l' objet du fond et d'incruster cet objet dans un autre fond plus convivial, It is known that digital imaging systems allow the user to extract the object from the background and embed this object in another more user-friendly background,
comme une image de la lune, une scène virtuelle animée. like an image of the moon, an animated virtual scene.
Auparavant, deux méthodes ont été utilisées pour obtenir ce résultat: l) le fond, constitué d'un écran brillant de couleur uniforme est utilisé derrière l' objet ou le personnage, de manière à construire un masque du personnage par la méthode " d'écran bleu " ou de " Chroma key ". Un exemple de cette méthode est décrite dans le document US Previously, two methods were used to obtain this result: l) the background, consisting of a brilliant screen of uniform color is used behind the object or the character, so as to construct a mask of the character by the "d" method blue screen "or" Chroma key ". An example of this method is described in the document US
5424,781.5424.781.
Cette méthode peut donner dexcellents résultats, mais nécessite un fond de couleur uniforme avec un éclairage soigné et coûteux. Par ailleurs cette méthode utilise des composants matériels spécifiques pour son traitement This method can give excellent results, but requires a uniform color background with careful and expensive lighting. In addition, this method uses specific hardware components for its processing.
en temps réel.in real time.
2) Le personnage peut être capturé devant n'importe quel type de fond, et extrait du fond par des outils logiciels comme Adobe Photoshop par exemple. Cependant 2) The character can be captured in front of any type of background, and extracted from the background by software tools such as Adobe Photoshop for example. However
le traitement est réalisé en temps différé. processing is carried out in deferred time.
Par ailleurs, une clé chromatique peut être réalisée indépendamment des variations du niveau d'intensité du signal de couleur, comme le décrit le document US ,608,466, cependant il nécessite des composants Furthermore, a chromatic key can be produced independently of variations in the intensity level of the color signal, as described in document US Pat. No. 608,466, however it requires components
matériels spécifiques pour son traitement en temps réel. specific materials for its processing in real time.
La présente invention permet de remédier à ces inconvénients en proposant un procédé destiné à extraire les objets d'une image, sur un fond uniforme de couleur bleu de préférence et les incruster dans une scène, sans nécessiter de composants matériels particuliers et un The present invention overcomes these drawbacks by proposing a method for extracting the objects from an image, preferably on a uniform background of blue color and embedding them in a scene, without requiring any particular hardware components and a
éclairage spécifique.specific lighting.
Un algorithme décrit les différentes étapes de traitement en temps réel du procédé avec une tolérance aux variations d'intensité de lumière, de manière à bénéficier des conditions d'éclairage usuelles, comme la lumière du j our et/ou l'éclairage traditionnel d'une An algorithm describes the different stages of real-time processing of the process with a tolerance to variations in light intensity, so as to benefit from the usual lighting conditions, such as daylight and / or traditional lighting. a
plèce.plece.
Le traitement destiné à extraire les objets du fond est réalisé à la base par un calcul de distance Euclidienne entre les points d'une image initiale représentant un fond uniforme et les points de l' image The processing intended to extract the objects from the background is carried out at the base by a Euclidean distance calculation between the points of an initial image representing a uniform background and the points of the image
courante représentant les objets dans ce fond uniforme. current representing the objects in this uniform background.
De manière générale, la distance est une fonction de valeur réelle d[(jl, kl), (j2, k2)] de deux points d'image (jl, kl) et (j2, k2) qui satisfait les propriétés suivantes: d[(jl, kl), (j2, k2)] 2 0 d[(jl, kl), (j2, k2)] = d[(j2, k2), (jl, kl)] d[(jl, kl), (j2, k2)] + d[(j2, k2), (j3, k3)] 2 d[(jl, kl), (j3, k3)] Il y a un nombre de fonctions distance qui satisfont les propriétés ainsi définies telles que la distance Euclidienne est: dE = [(jl-j2) 2 + (kl-k2) 2]1/2 Par ailleurs, la prise en compte des variations dintensité de la source de lumière capturée par la caméra, permet de s'affranchir des problèmes de bruit et d'obtenir suffisamment d'information, notamment dans des In general, the distance is a function of real value d [(jl, kl), (j2, k2)] of two image points (jl, kl) and (j2, k2) which satisfies the following properties: d [(jl, kl), (j2, k2)] 2 0 d [(jl, kl), (j2, k2)] = d [(j2, k2), (jl, kl)] d [(jl, kl ), (j2, k2)] + d [(j2, k2), (j3, k3)] 2 d [(jl, kl), (j3, k3)] There are a number of distance functions that satisfy the properties thus defined such that the Euclidean distance is: dE = [(jl-j2) 2 + (kl-k2) 2] 1/2 Furthermore, taking into account variations in intensity of the light source captured by the camera, allows to overcome noise problems and obtain sufficient information, especially in
conditions d'éclairage naturel.natural lighting conditions.
L'invention concerne donc plus particulièrement un procédé pour extraire les objets d'une image composée d'objets vidéo en premier plan et d'un fond uniforme en arrière plan; cette image initiale étant désignce par l' image courante d'une séquence d'images capturce par The invention therefore relates more particularly to a method for extracting objects from an image composed of video objects in the foreground and from a uniform background in the background; this initial image being designated by the current image of a sequence of images captured by
une caméra.a camera.
Pour obtenir en temps réel une extraction de ces objets, avec une tolérance aux variations d'intensité de la source de lumière capLurce par la caméra, dans des conditions d'éclairage naturel et/ou artificiel de prise de vues, il comporte, selon une première caractéristique, les étapes suivantes: - dans une première phase, une représentation de l' image de fond; - dans une deuxième phase, un calcul de la distance Euclidienne entre la représentation de l' image de fond To obtain in real time an extraction of these objects, with a tolerance for variations in intensity of the capLurce light source by the camera, under natural and / or artificial lighting conditions, it includes, according to a first characteristic, the following steps: - in a first phase, a representation of the background image; - in a second phase, a calculation of the Euclidean distance between the representation of the background image
et l' image courante.and the current image.
- dans une troisième phase, la détermination d'un seuil; - dans une quatrième phase, la construction d'un modèle de forme de l'objet; et dans une cinquième phase, la représentation de - in a third phase, the determination of a threshold; - in a fourth phase, the construction of a model of the shape of the object; and in a fifth phase, the representation of
l'objet, extrait de l' image courante. the object, extracted from the current image.
s Selon des modes particuliers de réalisation: 15. dans la première phase, la représentation de l' image du fond peut être obtenue par l' acquisition d'une image de fond, préalablement au traitement de s According to particular embodiments: 15. in the first phase, the representation of the background image can be obtained by acquiring a background image, before processing
l' image courante.the current image.
20. dans la première phase, pour être peu sensible aux variations d'intensité, la représentation de l' image de fond peut être obtenue à partir d'une zone d'intérêt de l' image courante, lorsque cette zone représente le fond. la zone d'intérêt peut comporter au moins la première ligne de luminance de l' image courante, de préférence les quatre premières, afin d'anticiper la 20. in the first phase, to be insensitive to variations in intensity, the representation of the background image can be obtained from an area of interest of the current image, when this area represents the background. the area of interest can comprise at least the first luminance line of the current image, preferably the first four, in order to anticipate the
détection dobjets dans cette première ligne. object detection in this first line.
la détection du fond dans la zone d'intérêt de limage courante peut être réalisée selon les étapes suivantes: s - une détection de contour, de préférence en colonne et ligne des cinq premières lignes de luminance de l' image courante; - un seuillage de l'ordre de 10; - un filtre médian, de préférence, en colonne et ligne, utilisant 3 éléments structurants; et un test d'au moins une première ligne binaire, de the detection of the background in the area of interest of the current image can be carried out according to the following steps: s - a detection of the contour, preferably in column and line of the first five lines of luminance of the current image; - a threshold of around 10; - a median filter, preferably in column and row, using 3 structuring elements; and a test of at least a first binary line, of
préférence les quatre premières.preferably the first four.
l' image de fond peut être reconstruite, selon une recopie de la première de l' image courante, dans toutes les lignes respectives de l' image du fond, the background image can be reconstructed, according to a copy of the first of the current image, in all the respective lines of the background image,
lorsque cette première ligne représente le fond. when this first line represents the background.
une moyenne glissante des pixels de la première ligne de luminance et de chrominance de l' image courante, peut être effectuée préalablement à la recopie de la première ligne de l' image courante, afin d'obtenir a sliding average of the pixels of the first line of luminance and chrominance of the current image, can be carried out before the copying of the first line of the current image, in order to obtain
une première ligne de référence homogène. a first homogeneous reference line.
l' image de fond peut être rafraîchie selon les étapes suivantes, lorsque la première ligne de luminance de l' image courante représente le fond: dans une première partie, une soustraction entre la valeur moyenne des pixels de la première ligne de luminance de l' image courante et la valeur moyenne des pixels de la première ligne de luminance de l' image the background image can be refreshed according to the following steps, when the first luminance line of the current image represents the background: in a first part, a subtraction between the average value of the pixels of the first luminance line of the current image and the average pixel value of the first luminance line of the image
initiale de fond.initial background.
- dans une deuxième partie, une addition entre la valeur signée de cette soustraction, et le niveau de tension de chaque pixal du signal de luminance de l' image initiale de fond, lorsque la valeur absolue de cette soustraction est supérieur à une valeur de seuil n - in a second part, an addition between the signed value of this subtraction, and the voltage level of each pixal of the luminance signal of the initial background image, when the absolute value of this subtraction is greater than a threshold value not
préalablement définie, par exemple 5. previously defined, for example 5.
dans la deuxième phase, pour réduire le temps de calcul, la distance Euclidienne entre la représentation de l' image du fond, définie par les signaux de luminance (Yf), de chrominance (Uf, Vf) et l' image courante, définie par les signaux de luminance (Ypf), de chrominance (Upf, Vpf), peut être calculée par la relation de Chrominance suivante: dE W = [(Uf Upf) 2 + (Vf - Vpf) 2] dans la deuxième phase, la distance Euclidienne entre la représentation de l' image du fond, définie par les signaux de luminance (Yf), de chrominance (Uf, Vf) et l' image courant, définie par les signaux de luminance (Ypf), de chrominance (Upf, Vpf), peut être calculée par la relation de Luminance et Chrominance suivante: dE Y W = [(yf _ ypf) 2 + (Uf - Upf) 2 + (Vf - Vpf) 2] dans la troisième phase, pour étendre sa plage de fonctionnement, il peut comporter un seuil adaptatif, basé sur la valeur minimum d'un histogramme de la distance Euclidienne entre la représentation de l' image in the second phase, to reduce the calculation time, the Euclidean distance between the representation of the background image, defined by the luminance (Yf), chrominance (Uf, Vf) signals and the current image, defined by the luminance (Ypf) and chrominance (Upf, Vpf) signals can be calculated by the following chrominance relation: dE W = [(Uf Upf) 2 + (Vf - Vpf) 2] in the second phase, the distance Euclidean between the representation of the background image, defined by the luminance (Yf), chrominance (Uf, Vf) signals and the current image, defined by the luminance (Ypf), chrominance (Upf, Vpf signals) ), can be calculated by the following Luminance and Chrominance relation: dE YW = [(yf _ ypf) 2 + (Uf - Upf) 2 + (Vf - Vpf) 2] in the third phase, to extend its operating range , it can include an adaptive threshold, based on the minimum value of a histogram of the Euclidean distance between the representation of the image
de fond et l' image courante.background and the current image.
le seuil adaptatif peut comporter, en outre, un intervalle de fonctionnement dynamique, basé sur la the adaptive threshold may also include a dynamic operating interval, based on the
valeur maximum de l'histogramme.maximum value of the histogram.
le seuil adaptatif, basé sur la valeur minimum et maximum de l'histogramme de la distance Euclidienne entre la représentation de l' image de fond et l' image courante, peut être calculé sur une moyenne glissante des valeurs précédentes du seuil adaptatif, par exemple the adaptive threshold, based on the minimum and maximum value of the histogram of the Euclidean distance between the representation of the background image and the current image, can be calculated on a sliding average of the previous values of the adaptive threshold, for example
des cinq dernières valeurs.of the last five values.
dans la quatrième phase, pour obtenir un modèle de forme de l'objet, la construction d'un masque peut être réalisée par l' image binaire seuillée de la distance Euclidienne entre la représentation de l' image in the fourth phase, to obtain a shape model of the object, the construction of a mask can be carried out by the threshold binary image of the Euclidean distance between the representation of the image
de fond et l' image courante.background and the current image.
dans la quatrième phase, pour obtenir des niveaux de tension intermédiaires dans la région de contour du masque, il peut comporter un plan Alpha défini selon une équation de type: Alpha Yn =... (An-2).(Yn-2) + (An-l).(Yn-1) + An.Yn + (An+l).(Yn+1)..... o An sont les coefficients respectifs des nivaux de tension intermédiaires et Yn les pixcls de l' image du masque. pour obtenir des paliers intermédiaires dans la région de contour du masque, par exemple et plus avantageusement 5 niveaux de tension intermédiaires pour la luminance et 3 niveaux de tension intermédiaires pour la chrominance, les plans Alpha respectifs peuvent être définis selon les équations suivantes, pour la luminance: Alpha Yn3 = (An-3).(Yn-3) + (An-2).(Yn-2) + (An-l).(Yn 1) + An.Yn + (An+l).(Yn+1) + (An+2).(Yn+2) avec les coefficients: An-3=1/12, An-2=2/12, An-1=3/12, An=3/12, An+1=2/12, An+2=1/12; ce qui donne pour un échelon {0, 255}, les niveaux successifs {0, 21.25, 63.75, 127.50,191.25, 233.75, 255} pour la chrominance: Wn4=(An-2).(Wn-2) + (An-l).(Wn-l)+ An.Wn + (An+l).(Wn+l). avec les coefficients An-2=1/6, An-1=2/6, An=2/6, An+l=1/6; ce qui donne pour un échelon de {0, 255}, les niveaux successifs {0, 42.50, 127.50, 212.50, 255} dans la quatrième phase, pour réduire le temps de calcul du plan Alpha, ce dernier peut être construit dans une zone dintérêt du masque représentant la région in the fourth phase, to obtain intermediate levels of tension in the contour region of the mask, it can comprise an Alpha plane defined according to an equation of type: Alpha Yn = ... (An-2). (Yn-2) + (An-l). (Yn-1) + An.Yn + (An + l). (Yn + 1) ..... o An are the respective coefficients of the intermediate voltage levels and Yn the pixcls of l image of the mask. to obtain intermediate steps in the contour region of the mask, for example and more advantageously 5 intermediate voltage levels for the luminance and 3 intermediate voltage levels for the chrominance, the respective Alpha planes can be defined according to the following equations, for the luminance: Alpha Yn3 = (An-3). (Yn-3) + (An-2). (Yn-2) + (An-l). (Yn 1) + An.Yn + (An + l). (Yn + 1) + (An + 2). (Yn + 2) with the coefficients: An-3 = 1/12, An-2 = 2/12, An-1 = 3/12, An = 3/12 , An + 1 = 2/12, An + 2 = 1/12; which gives for a step {0, 255}, the successive levels {0, 21.25, 63.75, 127.50,191.25, 233.75, 255} for the chrominance: Wn4 = (An-2). (Wn-2) + (An -l). (Wn-l) + An.Wn + (An + l). (Wn + l). with the coefficients An-2 = 1/6, An-1 = 2/6, An = 2/6, An + l = 1/6; which gives for a step of {0, 255}, the successive levels {0, 42.50, 127.50, 212.50, 255} in the fourth phase, to reduce the calculation time of the Alpha plan, the latter can be built in a zone of interest of the mask representing the region
de contour des objets.contour of objects.
la zone d'intérêt destinée au calcul du plan Alpha peut être définie, à partir des contours du masque, par un changement d'origine de l'équation du plan Alpha la zone d'intérêt destinée au calcul du plan Alpha peut être définie par la construction d'un masque the zone of interest intended for the calculation of the Alpha plane can be defined, from the contours of the mask, by a change of origin of the equation of the Alpha plane the zone of interest intended for the calculation of the Alpha plane can be defined by building a mask
de contour du masque de 1'objet.contour of the object mask.
dans la cinquième phase, pour extraire l'objet de l' image courante, il peut effectuer une première in the fifth phase, to extract the object from the current image, it can perform a first
multiplication entre l' image courante et le plan Alpha. multiplication between the current image and the Alpha plane.
30. le procédé pour incruster les objets dans une scène, peut utiliser le procédé destiné à extraire les objets dune image, pour effectuer une reconstruction des signaux de luminance et de chrominance de l' image représentant la scène, avec les objets extraits de 30. the method for embedding objects in a scene, can use the method intended for extracting objects from an image, for carrying out a reconstruction of the luminance and chrominance signals of the image representing the scene, with the objects extracted from
l' image courante.the current image.
pour incruster les objets dans une scène, il peut comporter les étapes suivantes: - une construction d'un modèle de forme du fond par une inversion du plan Alpha de l'objet; - une représentation d'un fond de scène par une deuxième multiplication entre l' image de scène et l'inverse du plan Alpha; - une reconstruction de l' image par une addition entre le fond de scène provenant de la deuxième multiplication et l'objet de l' image courante provenant to embed objects in a scene, it can include the following steps: - construction of a background shape model by inverting the object's Alpha plane; - a representation of a scene background by a second multiplication between the scene image and the reverse of the Alpha plane; - a reconstruction of the image by an addition between the background from the second multiplication and the object of the current image from
de la première multiplication.of the first multiplication.
pour réaliser un détourage, il peut comporter les étapes suivantes: - une détection de contour du masque W; - un chargement des valeurs de contour à une valeur to perform a clipping, it may include the following steps: - detection of the outline of the mask W; - loading of contour values to a value
nulle de chrominance, telle que 128. no chroma, such as 128.
Les dessins annexés illustrent l' invention: - La figure 1 illustre schématiquement les étapes de traitement d'images, selon le procédé conforme à l' invention, dans son principe de fonctionnement de base. - La figure 2 représente schématiquement les étapes de traitement d' images, selon le procédé conforme à l'invention, dans sa réalisation complète, relatif à la norme W. - La figure 3 est une image représentant un histogramme en avant plan et le masque d'un personnage, The accompanying drawings illustrate the invention: - Figure 1 schematically illustrates the steps of image processing, according to the method according to the invention, in its basic operating principle. - Figure 2 shows schematically the image processing steps, according to the method according to the invention, in its complete embodiment, relating to the standard W. - Figure 3 is an image representing a histogram in the foreground and the mask of a character,
en arrière plan.background.
- La figure 4 représente schématiquement les étapes de traitement d' images, selon le procédé conforme à l'invention, dans sa réalisation complète, relatif à la norme Y W. - La figure 5 représente schématiquement les étapes - Figure 4 schematically shows the steps of image processing, according to the method according to the invention, in its complete embodiment, relating to the standard Y W. - Figure 5 shows schematically the steps
de reconstruction de l' image de fond. reconstruction of the background image.
- La figure 6 est une représentation schématique - Figure 6 is a schematic representation
des étapes de rafraîchissement de l' image de fond. steps to refresh the background image.
- La figure 7 représente schématiquement les étapes - Figure 7 shows schematically the steps
de la construction optimisée du plan Alpha. of the optimized construction of the Alpha plan.
- La figure 8 représente un exemple d' images illustrant les différentes étapes de la construction - Figure 8 shows an example of images illustrating the different stages of construction
optimisée du plan Alpha de la figure 7. optimized from the Alpha plan of figure 7.
- La figure 9 est une représentation graphique des - Figure 9 is a graphical representation of
étapes de la construction optimisée du plan Alpha. stages of the optimized construction of the Alpha plan.
- La figure 10 représente schématiquement la - Figure 10 schematically shows the
reconstruction de l' image.reconstruction of the image.
- La figure 11 illustre schématiquement les étapes - Figure 11 schematically illustrates the steps
de détourage de l' image de fond.background image clipping path.
- La figure 12 représente graphiquement une construction optimisée du plan Alpha du signal de - Figure 12 graphically represents an optimized construction of the Alpha plane of the signal
luminance.luminance.
- La figure 13 est une représentation graphique de - Figure 13 is a graphical representation of
la construction du plan Alpha du signal de chrominance. construction of the alpha plane of the chrominance signal.
- La figure 14 représente graphiquement la - Figure 14 graphically represents the
construction du plan Alpha, après un détourage. construction of the Alpha plan, after a clipping.
En référence à ces dessins, la figure 1 représente les étapes du procédé pouvant être mis en _uvre With reference to these drawings, FIG. 1 represents the steps of the process that can be implemented
conformément à l' invention, dans son principe de base. in accordance with the invention, in its basic principle.
Selon un exemple non limitatif, une caméra (1) prend une image initiale d'un fond (3) uniforme, puis les images (2) composées dun modèle placé devant un fond uniforme. Ces deux étapes fournissent une image de fond (3) et une image composée qui sera considérée comme According to a nonlimiting example, a camera (1) takes an initial image of a uniform background (3), then the images (2) composed of a model placed in front of a uniform background. These two steps provide a background image (3) and a composite image which will be considered as
l' image courante (2).the current image (2).
A ces deux images, un premier traitement va être appliqué, permettant de définir une zone d'intérêt de To these two images, a first treatment will be applied, allowing to define an area of interest of
l' image.the image.
Cette première étape peut être mise en _uvre par un calcul de distance Euclidienne (4) entre l' image de fond This first step can be implemented by calculating the Euclidean distance (4) between the background image
(3) et l' image courante (2).(3) and the current image (2).
Un seuil (5) permet de définir différentes classes (au moins deux) de niveaux de gris. Par exemple, au moins une de ces classes correspond au fond de l' image et n'est pas retenue: le mode du fond est alors ramené à 0 dans l' image source. De cette opération, on peut donc en déduire un modèle de forme (6) de l'objet, qui A threshold (5) makes it possible to define different classes (at least two) of gray levels. For example, at least one of these classes corresponds to the background of the image and is not retained: the background mode is then reduced to 0 in the source image. From this operation, we can therefore deduce a model of form (6) of the object, which
permet de définir une zone dintérêt de l' image. allows to define an area of interest of the image.
L'objet (8) extrait de l' image courante (2) est obtenu par une multiplication (7) entre le modèle de forme (6) de l'objet et l' image courante (2). Cet objet (8) ne contient donc plus que les éléments de l' image qui sont The object (8) extracted from the current image (2) is obtained by a multiplication (7) between the shape model (6) of the object and the current image (2). This object (8) therefore contains only the elements of the image which are
choisis comme significatifs.chosen as significant.
On réalise ensuite un traitement global (approche globale) de l' image: l'objet (8) va être incrusté (9) dans une image composant une scène, pour afficher une We then carry out a global processing (global approach) of the image: the object (8) will be embedded (9) in an image composing a scene, to display a
image (10) recomposée.recomposed image (10).
La figure 2 illustre la chaîne de traitement du procédé de linvention, selon la norme W. Cette chaîne permet de réaliser, dans une première étape, une extraction de l'objet dune image vidéo. Cette image étant considérée comme l' image courante (2) de référence. Cette première étape consiste à effectuer une représentation de l' image de fond (11), à partir de l' image courante (2). Le calcul de la distance Euclidienne (12) entre les chrominances de la représentation de l' image de fond (11) et l' image courante (2), permet d'obtenir une représentation de base de l'objet composant l' image FIG. 2 illustrates the processing chain of the invention process, according to the W standard. This chain makes it possible, in a first step, to extract the object from a video image. This image being considered as the current reference image (2). This first step consists in making a representation of the background image (11), from the current image (2). The calculation of the Euclidean distance (12) between the chrominances of the representation of the background image (11) and the current image (2), makes it possible to obtain a basic representation of the object composing the image.
courante (2).current (2).
La valeur minimum de l'histogramme (13) de la distance Euclidienne (12) permet de définir un seuil adaptatif (14) tandis qu'une moyenne glissante (15) de ce seuil (14) participe à la construction d'un modèle de forme de l'objet caractérisé par la construction d'un masque (16) et d'un plan Alpha (18) de luminance (16) et The minimum value of the histogram (13) of the Euclidean distance (12) makes it possible to define an adaptive threshold (14) while a sliding average (15) of this threshold (14) participates in the construction of a model of shape of the object characterized by the construction of a mask (16) and an alpha plane (18) of luminance (16) and
d'un masque (17) de chrominance.a chrominance mask (17).
La deuxième étape consiste à incruster l'objet dans une scène. Pour cela, les opérations de reconstruction du signal de luminance (19) et de chrominance (20) vont permettre d'obtenir, après un détourage (21) sur la chrominance, une image recomposée (10) représentant The second step is to embed the object in a scene. For this, the operations of reconstruction of the luminance (19) and chrominance (20) signal will make it possible to obtain, after a clipping (21) on the chrominance, a recomposed image (10) representing
l'objet dans un fond de scène.the object in the background.
La figure 3 est un exemple d' image qui représente, en arrière plan une image binaire du masque (16) d'un personnage et en avant plan l'histogramme (13) de la distance Euclidienne (12) entre l' image courante (2) et FIG. 3 is an example of an image which represents, in the background a binary image of the mask (16) of a character and in the foreground the histogram (13) of the Euclidean distance (12) between the current image ( 2) and
la représentation de l' image de fond (11). the representation of the background image (11).
La description de cet histogramme (13) met en The description of this histogram (13) highlights
évidence trois régions: - une première région (ou " mode haut ") qui contient uniquement le fond de l' image; - une région centrale, qui contient principalement une information de découpage des zones d'intérêt de l' image; - une troisième région (ou " mode bas ") qui contient principalement l' information du personnage. La région centrale de l'histogramme est délimitée par un intervalle de fonctionnement dynamique (S1, S2), evidence of three regions: - a first region (or "high mode") which contains only the background of the image; - a central region, which mainly contains information dividing the areas of interest of the image; - a third region (or "low mode") which mainly contains the character information. The central region of the histogram is delimited by a dynamic operating interval (S1, S2),
calé sur la valeur maximum (S1) de l'histogramme (13). set to the maximum value (S1) of the histogram (13).
Tandis que le seuil (14) adaptatif est déterminé par la valeur minimum de l'histogramme (13), dans l'intervalle While the adaptive threshold (14) is determined by the minimum value of the histogram (13), in the interval
considéré (S1, S2).considered (S1, S2).
Une moyenne glissante (15) du seuil (14) permet d'obtenir une valeur de seuil adaptée à la construction A sliding average (15) of the threshold (14) makes it possible to obtain a threshold value adapted to the construction
du masque (16).of the mask (16).
En référence à la figure 4, la chaîne de traitement du procédé de l' invention, selon la norme Y W. reprend dans son principe une démarche similaire au traitement With reference to FIG. 4, the processing chain of the process of the invention, according to the standard Y W. in principle takes up an approach similar to the processing
précédent selon la norme W. illustrée dans la figure 2. previous according to the W. standard illustrated in figure 2.
La représentation de l' image de fond (11) est The representation of the background image (11) is
réalisée à partir de l' image courante (2). made from the current image (2).
Le calcul de la distance Euclidienne (22) de luminance et chrominance, entre la représentation de l' image de fond (11) et l' image courante (2), permet d'obtenir une représentation de base de l'objet The calculation of the Euclidean distance (22) of luminance and chrominance, between the representation of the background image (11) and the current image (2), makes it possible to obtain a basic representation of the object.
composant l' image courante (2).composing the current image (2).
La valeur minimum de l'histogramme (13) de la distance Euclidienne (22) permet de définir un seuil adaptatif (14) tandis qu'une moyenne glissante (15) de ce seuil (14) participe à la construction d'un modèle de forme de l'objet, relatif aux signaux de luminance et chrominance. La construction de ce modèle de forme se décline en trois parties: la construction d'un masque (23, 17), d'un filtre médian (24, 25) et dun plan Alpha (18, 26) The minimum value of the histogram (13) of the Euclidean distance (22) makes it possible to define an adaptive threshold (14) while a sliding average (15) of this threshold (14) participates in the construction of a model of shape of the object, relating to the luminance and chrominance signals. The construction of this shape model comes in three parts: the construction of a mask (23, 17), a median filter (24, 25) and an Alpha plane (18, 26)
relatif aux signaux de luminance et chrominance. relating to the luminance and chrominance signals.
La deuxième étape consiste à incruster l'objet dans une scène. Pour cela, les opérations de reconstruction du signal de luminance (19) et de chrominance (20) vont permettre d'obtenir, après un détourage (21) sur la chrominance, une image recomposée (10) représentant The second step is to embed the object in a scene. For this, the operations of reconstruction of the luminance (19) and chrominance (20) signal will make it possible to obtain, after a clipping (21) on the chrominance, a recomposed image (10) representing
l'objet dans un fond de scène.the object in the background.
Par ailleurs, les chaînes de traitement selon la norme W et YUV, illustrées dans les figures 2 et 4, se caractérisent par les trois points comparatifs suivants: 1). l'utilisation de cette deuxième chaine de traitement selon la norme Y W, permet dobtenir une représentation optimum des contours de l'objet, en raison de la définition initiale du masque (23) de luminance, qui correspond à la méme définition que le Furthermore, the processing chains according to the W and YUV standard, illustrated in FIGS. 2 and 4, are characterized by the following three comparative points: 1). the use of this second processing chain according to the Y W standard makes it possible to obtain an optimum representation of the contours of the object, due to the initial definition of the luminance mask (23), which corresponds to the same definition as the
signal de luminance de l' image courante (2). luminance signal of the current image (2).
Tandis que la première chaine de traitement selon la norme W. présentée dans la figure 2, dispose d'un masque (16) de luminance, calculé sur la base de la définition du signal de chrominance; soit avec quatre fois moins de pixels. Cependant le plan Alpha (18) permet d'améliorer les bords du masque (16, 23) de While the first processing chain according to the standard W. presented in FIG. 2, has a luminance mask (16), calculated on the basis of the definition of the chrominance signal; or with four times less pixels. However the Alpha plane (18) makes it possible to improve the edges of the mask (16, 23) of
manière significative.significantly.
2). le temps de traitement de la deuxième chaine Y W est plus important que la première W. compte tenu 2). the processing time of the second chain Y W is greater than the first W. taking into account
des opérations qui sont ajoutées.operations that are added.
A titre dexemple, une machine " grand public " de type PCO utilisant un processeur Pentium à 133Mhz, un langage de programmation évolué comme le " langage C ", et des images au format QCIF définies par 176x144 pixels, effectuera le traitement du procédé de l'invention, dans les conditions suivantes: 5. Selon la norme Y W. en référence à la figure 4, le temps de calcul est de l'ordre de 260ms, soit environ: As an example, a PCO type "general public" machine using a 133Mhz Pentium processor, an advanced programming language like "C language", and images in QCIF format defined by 176x144 pixels, will process the process. invention, under the following conditions: 5. According to the standard Y W. with reference to FIG. 4, the calculation time is of the order of 260 ms, ie approximately:
- 3ms pour la construction (11) de l' image de fond. - 3ms for the construction (11) of the background image.
- lOOms pour le calcul de distance Euclidienne selon - 100ms for Euclidean distance calculation according to
léquation (22) de luminance et de chrominance. equation (22) of luminance and chrominance.
- lms pour le calcul de la moyenne glissante (15) du - lms for the calculation of the sliding average (15) of the
seuil adaptatif (14), résultant de l'histogramme (13). adaptive threshold (14), resulting from the histogram (13).
- 7ms pour la construction du masque Y (23). - 7 ms for the construction of the Y mask (23).
- 26ms pour le filtre médian Y (24) à 3 éléments - 26ms for the 3-element Y filter (24)
structurants en ligne et colonne.structuring in row and column.
- 50ms pour la construction optimisée (18) du plan Alpha Y. - 50ms for the optimized construction (18) of the Alpha Y plan.
- 27ms pour la reconstruction Y (19). - 27ms for reconstruction Y (19).
- 4ms pour le masque W (17).- 4 ms for the mask W (17).
- 7ms pour le filtre médian W (25) à 3 éléments - 7 ms for the 3-way W (25) median filter
structurants en ligne et colonne.structuring in row and column.
- 5ms pour la construction optimisce du plan Alpha W (26). Selon la norme W. en référence à la figure 2, le temps de calaul est de l'ordre de 14Oms, soit environ: - 5ms for the optimal construction of the Alpha W plan (26). According to the W. standard with reference to FIG. 2, the calaul time is of the order of 14 ms, or approximately:
- 3ms pour la construction (11) de l' image de fond. - 3ms for the construction (11) of the background image.
- 3Oms pour le calcul de distance Euclidienne (12) selon - 3Oms for Euclidean distance calculation (12) according to
l'équation de chrominance.the chrominance equation.
- lms pour le calcul de la moyenne glissante (15) du - lms for the calculation of the sliding average (15) of the
seuil (14) adaptatif, résultant de l'histogramme (13). adaptive threshold (14), resulting from the histogram (13).
- 3ms pour la construction du masque Y (16) et W (17). - 3ms for the construction of the mask Y (16) and W (17).
- 50ms pour la construction optimisée du plan Alpha Y (18). - 50ms for the optimized construction of the Alpha Y plan (18).
- 27ms pour la reconstruction Y (19). - 27ms for reconstruction Y (19).
- 15ms pour la reconstruction W (20) et le détourage (21). -lOms pour la copie des signaux Y W dans le pointeur de l' image, destiné à l'affichage (10). 3). Dans une application concernant la visiophonie grand public, les conditions déclairage peuvent varier - 15ms for reconstruction W (20) and clipping (21). -lOms for copying the Y W signals into the image pointer, intended for display (10). 3). In an application relating to consumer video telephony, the lighting conditions may vary
de manière non négligeable.not negligible.
A cet effet, le deuxième traitement selon la norme Y W est relativement sensible aux variations de luminosité, en référence aux termes Ypf qui est le signal de luminance de l' image courante représentant le personnage et le fond Yf qui est le signal de luminance de l' image de fond, dans la relation de Luminance et Chrominance (22) suivante: For this purpose, the second processing according to the YW standard is relatively sensitive to variations in brightness, with reference to the terms Ypf which is the luminance signal of the current image representing the character and the background Yf which is the luminance signal of the background image, in the following relation of Luminance and Chrominance (22):
dE Y W = [(yf _ ypf) 2 + (Uf - Upf) 2 + (Vf - Vpf) 2]. dE Y W = [(yf _ ypf) 2 + (Uf - Upf) 2 + (Vf - Vpf) 2].
Tandis que le premier traitement W est moins sensible aux variations de luminosité car il dépend uniquement du signal de chrominance, selon les termes Upf Vpf qui sont les signaux de chrominance U et V de l' image courante et Uf Vf qui sont les signaux de chrominance U et V de l' image de fond de l'équation (12) suivante: While the first processing W is less sensitive to variations in brightness because it depends only on the chrominance signal, according to the terms Upf Vpf which are the chrominance signals U and V of the current image and Uf Vf which are the chrominance signals U and V of the background image of the following equation (12):
dE W = [(Uf - Upf) 2 + (Vf - Vpf) 2]. dE W = [(Uf - Upf) 2 + (Vf - Vpf) 2].
En référence à la figure 5, les étapes de construction de l' image de fond sont réalisées à partir With reference to FIG. 5, the stages of construction of the background image are carried out from
de l' image courante (2).of the current image (2).
Dans un premier temps, une zone d'intérêt de l' image courante (2) est définie, selon un exemple non limitatif, par la première ligne de l' image courante (2); cette ligne étant amenée à représenter le plus Firstly, an area of interest of the current image (2) is defined, according to a nonlimiting example, by the first line of the current image (2); this line being brought to represent the most
souvent le fond.often the bottom.
A cet effet, une détection de contours (27) des premières lignes du signal de luminance de l' image courante (2), suivi d'un seuillage (28) et d'un filtrage (29) médian, permet de détecter (30) les objets dans For this purpose, a detection of contours (27) of the first lines of the luminance signal of the current image (2), followed by a thresholding (28) and a median filtering (29), makes it possible to detect (30 ) objects in
cette zone d'intérêt.this area of interest.
Dans un deuxième temps, la présence d'objets dans cette zone entraîne l'utilisation de la dernière image de fond reconstruite (32); Tandis que l' absence dobjets permet le calcul de la moyenne glissante (31) de la première ligne de luminance et de chrominance (33), suivi dune copie (34) de ces premières lignes (31, 33) dans toutes les lignes respectives de l' image de fond, afin dobtenir une Secondly, the presence of objects in this area leads to the use of the last reconstructed background image (32); While the absence of objects allows the calculation of the sliding average (31) of the first line of luminance and chrominance (33), followed by a copy (34) of these first lines (31, 33) in all the respective lines of the background image, in order to obtain a
nouvelle image de fond reconstruite (11). new reconstructed background image (11).
La figure 6 représente la chaîne de traitement de FIG. 6 represents the processing chain for
l' image de fond rafraîchie.the refreshed background image.
Elle reprend partiellement les étapes de reconstruction de l' image de fond, présenté dans la figure 5 précédente, pour prendre en compte, le contenu It partially repeats the stages of reconstruction of the background image, presented in the previous figure 5, to take into account, the content
de l' image (3) initiale du fond.of the initial background image (3).
En effet, une zone dintérêt de l' image courante (2) est définie, selon un exemple non limitatif, par la première ligne de l' image courante (2); cette ligne Indeed, an area of interest of the current image (2) is defined, according to a nonlimiting example, by the first line of the current image (2); this line
étant amenée à représenter le plus souvent le fond. being brought more often to represent the bottom.
A cet effet, une détection de contours (27) des premières lignes du signal de luminance de l' image courante (2), suivi dun seuillage (28) et dun filtrage (29) médian, permet de détecter (30) les objets dans To this end, a detection of contours (27) of the first lines of the luminance signal of the current image (2), followed by a thresholding (28) and a median filtering (29), makes it possible to detect (30) the objects in
cette zone d'intérêt.this area of interest.
Dans un deuxième temps, la présence d'obets dans cette zone entraîne l'utilisation de la dernière image de fond rafraichie (40); Tandis que l' absence dobjets permet de déterminer l'écart de luminosité entre l' image courante et l' image initiale du fond, par la différence (37) entre la valeur moyenne des pixels de la première ligne de luminance de l' image courante (36) et celle de l' image initiale du fond (35) et de réaliser ainsi un rafraîchissement de l' image de fond (11) en affectant cet écart (39) à chaque pixel du signal de luminance de l' image initiale du fond (3), lorsque la valeur absolue de cet écart est supérieur à une valeur n préalablement définie (38) par Secondly, the presence of objects in this area results in the use of the last refreshed background image (40); While the absence of objects makes it possible to determine the difference in brightness between the current image and the initial image of the background, by the difference (37) between the average value of the pixels of the first line of luminance of the current image (36) and that of the initial background image (35) and thus to refresh the background image (11) by assigning this difference (39) to each pixel of the luminance signal of the initial image of the background. background (3), when the absolute value of this difference is greater than a previously defined value n (38) by
exemple 5.example 5.
Il est rappelé que l' image initiale du fond est une image unique, prise par la caméra (1), préalablement au premier traitement de l' image courante (2), en référence It is recalled that the initial image of the background is a single image, taken by the camera (1), prior to the first processing of the current image (2), with reference
à la figure (1).in figure (1).
La construction optimisée du plan Alpha, présentée en figure 7, comporte selon une première caractéristique, une détection (41) de contour du masque (23) de l'objet tandis qu'un seuillage (42) permet The optimized construction of the Alpha plane, presented in FIG. 7, comprises, according to a first characteristic, a detection (41) of the outline of the mask (23) of the object while a thresholding (42) allows
d'obtenir une image de contour exempt de bruit. obtain a noise-free contour image.
Un changement d'origine (43) de l'équation du plan Alpha est basé sur les contours présents dans l' image seuillée (42). Ce qui permet de construire (44) le plan Alpha uniquement dans la région de contour du masque (23), A change of origin (43) of the equation of the Alpha plane is based on the contours present in the thresholded image (42). This makes it possible to construct (44) the Alpha plane only in the contour region of the mask (23),
pour obtenir un plan Alpha (18) optimisé. to obtain an optimized Alpha plan (18).
Les images illustrées dans la figure 8, montre les différentes étapes de construction du plan Alpha The images illustrated in figure 8, shows the different stages of construction of the Alpha plan
optimisé, à partir dun exemple dimage (23) de masque. optimized, from an example of a mask image (23).
L' image (42) seuillée fait apparaître de manière significative les contours du masque tandis que la construction du plan Alpha réalisée uniquement dans la région de contour du masque est présentée dans l' image (44) suivante. Enfin, la construction optimisée du plan Alpha qui est illustrée dans la dernière image (18), permet de vérifier la qualité du plan Alpha, comparable à un traitement traditionnel, réalisé sur le masque entier avec un temps de traitement plus important, dans un rapport de deux à trois, selon la représentation de l'objet. En référence à la figure 9, les étapes graphiques de la construction optimisée du plan Alpha, montrent les opérations qui sont effectuées dans les régions de The thresholded image (42) makes the mask contours appear significantly, while the construction of the Alpha plane carried out only in the mask contour region is presented in the following image (44). Finally, the optimized construction of the Alpha plane which is illustrated in the last image (18), makes it possible to check the quality of the Alpha plane, comparable to a traditional treatment, carried out on the entire mask with a longer treatment time, in a report. two to three, depending on the representation of the object. Referring to Figure 9, the graphical steps of the optimized construction of the Alpha plan show the operations that are carried out in the regions of
contours du masque (23).contours of the mask (23).
Le graphe (42) de l' image binaire seuillée présente les contours du masque (23), sous forme d'une impulsion, dans la région transitoire du masque, tandis que le graphe (43) représente le changement d'origine de l'équation du plan Alpha, avec un décalage vers la gauche, suffisant pour qu'il corresponde à la valeur médiane du plan Alpha construit (44) uniquement dans la The graph (42) of the threshold binary image presents the contours of the mask (23), in the form of an impulse, in the transient region of the mask, while the graph (43) represents the change of origin of the equation of the Alpha plane, with a shift to the left, sufficient to correspond to the median value of the Alpha plane constructed (44) only in the
région de contour du masque.mask outline region.
La chaîne de traitement présentée dans la figure , illustre le mode opératoire d'une reconstruction de The processing chain presented in the figure illustrates the operating mode of a reconstruction of
l' image.the image.
Une première multiplication (45) entre l' image courante (2) et le plan Alpha (18) de l'objet permet d'obtenir l'objet extrait de l' image courante (2) tandis qu'une deuxième multiplication (48) entre le plan Alpha (18) inverse (47) et une image de scène (46) permet de restituer un fond de scène qui est ajouté (49) à l'objet extrait de l' image courante, afin d'obtenir une image A first multiplication (45) between the current image (2) and the Alpha plane (18) of the object makes it possible to obtain the object extracted from the current image (2) while a second multiplication (48) between the reverse Alpha plane (18) (47) and a scene image (46) makes it possible to restore a background which is added (49) to the object extracted from the current image, in order to obtain an image
(19) recomposée de l'objet dans une scène. (19) recomposed of the object in a scene.
La construction du détourage qui est présentée à la figure 11, comporte une détection de contour (50) du The construction of the trimming which is presented in FIG. 11, includes a contour detection (50) of the
masque de chrominance (17). Un chargement du contour (51) à une valeur nulle de chrominance, parchrominance mask (17). A loading of the contour (51) at a zero chroma value, by
exemple 128, dans la région de contour du masque de chrominance (17), permet diobtenir un example 128, in the contour region of the chrominance mask (17), makes it possible to obtain a
détourage (21) de l' image de fond (3). clipping (21) of the background image (3).
En référence au premier graphe de la figure 12, le 1S signal de luminance (18) du plan Alpha de l'objet, est construit, à partir du masque (23), sur cinq niveaux intermédiaires, selon l'équation: Alpha Y = (An-3).(Yn-3) + (An-2).(Yn-2) + (An-l).(Yn-l) + An.Yn + (An+l).(Yn+l) + (An+2).(Yn+2) avec les coefficients: An-3=1/12, An-2=2/12, An-1=3/12, An=3/12, An+ l=2/12, An+2=1/12; ce qui donne pour un échelon {0, 255}, les niveaux successifs {0, 21.25, 63.75, 127.50, 191.25, 233.75, 255} Le plan Alpha inverse (47) représentant le fond de scène se recoupe avec le plan Alpha (18) de l'objet dans la partie médiane de la transition du signal (18) de luminance. Le graphe de la figure 13, représente le signal de chrominance (26) du plan Alpha de l' image, construit à partir du masque (17), selon l'équation suivante: Alpha W=(An-2).(Wn-2) + (An-l).(Wn-1) +An.Wn + (An+l) .(Wn+1). avec les coefficients An-2=1/6, An-1=2/6,An=2/6, An+1=1/6; ce qui donne pour un échelon de {0, 255}, les niveaux With reference to the first graph in FIG. 12, the 1S luminance signal (18) of the object's Alpha plane, is constructed, from the mask (23), on five intermediate levels, according to the equation: Alpha Y = (An-3). (Yn-3) + (An-2). (Yn-2) + (An-l). (Yn-l) + An.Yn + (An + l). (Yn + l ) + (An + 2). (Yn + 2) with the coefficients: An-3 = 1/12, An-2 = 2/12, An-1 = 3/12, An = 3/12, An + l = 2/12, An + 2 = 1/12; which gives for a step {0, 255}, the successive levels {0, 21.25, 63.75, 127.50, 191.25, 233.75, 255} The reverse Alpha plane (47) representing the background overlaps with the Alpha plane (18 ) of the object in the middle part of the transition of the luminance signal (18). The graph in FIG. 13 represents the chrominance signal (26) of the alpha plane of the image, constructed from the mask (17), according to the following equation: Alpha W = (An-2). (Wn- 2) + (An-l). (Wn-1) + An.Wn + (An + l). (Wn + 1). with the coefficients An-2 = 1/6, An-1 = 2/6, An = 2/6, An + 1 = 1/6; which gives for a step of {0, 255}, the levels
successifs {0, 42.50, 127.50, 212.50, 255}. successive {0, 42.50, 127.50, 212.50, 255}.
En référence au graphe de la figure 14, le détourage intervient sur deux pixels (51) dans la region de contour du masque (17), pour obtenir un détourage affiné du signal de chrominance (21) de l' image reconstruite. With reference to the graph in FIG. 14, the clipping occurs on two pixels (51) in the contour region of the mask (17), in order to obtain a refined clipping of the chrominance signal (21) of the reconstructed image.
Claims (23)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0106284A FR2824689B1 (en) | 2001-05-14 | 2001-05-14 | PROCESS FOR EXTRACTING OBJECTS FROM AN IMAGE ON A UNIFORM BACKGROUND AND EMBEDDING THESE OBJECTS INTO A SCENE |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0106284A FR2824689B1 (en) | 2001-05-14 | 2001-05-14 | PROCESS FOR EXTRACTING OBJECTS FROM AN IMAGE ON A UNIFORM BACKGROUND AND EMBEDDING THESE OBJECTS INTO A SCENE |
Publications (2)
Publication Number | Publication Date |
---|---|
FR2824689A1 true FR2824689A1 (en) | 2002-11-15 |
FR2824689B1 FR2824689B1 (en) | 2004-12-17 |
Family
ID=8863202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR0106284A Expired - Fee Related FR2824689B1 (en) | 2001-05-14 | 2001-05-14 | PROCESS FOR EXTRACTING OBJECTS FROM AN IMAGE ON A UNIFORM BACKGROUND AND EMBEDDING THESE OBJECTS INTO A SCENE |
Country Status (1)
Country | Link |
---|---|
FR (1) | FR2824689B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2894353A1 (en) * | 2005-12-02 | 2007-06-08 | France Telecom | METHOD FOR EXTRACTING AN OBJECT ON A PROJECTED BACKGROUND |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5400081A (en) * | 1994-02-15 | 1995-03-21 | The Grass Valley Group, Inc. | Chroma keyer with correction for background defects |
US5953076A (en) * | 1995-06-16 | 1999-09-14 | Princeton Video Image, Inc. | System and method of real time insertions into video using adaptive occlusion with a synthetic reference image |
-
2001
- 2001-05-14 FR FR0106284A patent/FR2824689B1/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5400081A (en) * | 1994-02-15 | 1995-03-21 | The Grass Valley Group, Inc. | Chroma keyer with correction for background defects |
US5953076A (en) * | 1995-06-16 | 1999-09-14 | Princeton Video Image, Inc. | System and method of real time insertions into video using adaptive occlusion with a synthetic reference image |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2894353A1 (en) * | 2005-12-02 | 2007-06-08 | France Telecom | METHOD FOR EXTRACTING AN OBJECT ON A PROJECTED BACKGROUND |
WO2007063262A3 (en) * | 2005-12-02 | 2008-06-26 | France Telecom | Method of extracting an object on a projected backdrop |
US9036911B2 (en) | 2005-12-02 | 2015-05-19 | Orange | Method of extracting an object on a projected backdrop |
Also Published As
Publication number | Publication date |
---|---|
FR2824689B1 (en) | 2004-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ancuti et al. | Night-time dehazing by fusion | |
Tao et al. | Low-light image enhancement using CNN and bright channel prior | |
Ancuti et al. | Image and video decolorization by fusion | |
EP0114559B1 (en) | Method for the continuous colour correction in video imaging, and system for carrying out this method | |
Kao | High dynamic range imaging by fusing multiple raw images and tone reproduction | |
CN115034982A (en) | Underwater image enhancement method based on multi-scale attention mechanism fusion | |
Zheng et al. | Low-light image and video enhancement: A comprehensive survey and beyond | |
Lee et al. | HDR image reconstruction using segmented image learning | |
CN112927160B (en) | Single low-light image enhancement method based on depth Retinex | |
FR2824689A1 (en) | Public video phones object extraction process having initial image real time evaluated calculation euclidean distance background/current image and finding level/object shape then extracting image. | |
Saha et al. | Combining highlight removal and low‐light image enhancement technique for HDR‐like image generation | |
CN105321153B (en) | Video monitoring low-light (level) image color restoring method and device | |
WO2023110880A1 (en) | Image processing methods and systems for low-light image enhancement using machine learning models | |
FR2827109A1 (en) | Improved quality digital image processing identifying shadows having luminance found/chromatic components normalised and compared luminance level identifying image shadow areas. | |
EP0843867B1 (en) | Method for processing a noisy digital image source sequence | |
CN113643202A (en) | Low-light-level image enhancement method based on noise attention map guidance | |
Kumari et al. | Image fusion techniques based on pyramid decomposition | |
Baek et al. | Color image enhancement using the laplacian pyramid | |
US20230186612A1 (en) | Image processing methods and systems for generating a training dataset for low-light image enhancement using machine learning models | |
CN115482162B (en) | Implicit image blind denoising method based on random rearrangement and label-free model | |
Toda et al. | Image Clarification Method Based on Structure-Texture Decomposition with Texture Refinement | |
Subramanium et al. | A Hybrid Optimum Method for Removal of Haze using Weight Map Estimation and Fusion Strategy | |
Verma | Enhancing Underwater Images Through Non-Local Prior-Based Dehazing | |
Gopal et al. | Single scale RETINEX algorithm for low light image enhancement | |
FR3054359A1 (en) | METHOD FOR INCRUSTATION OF SOURCE IMAGE IN TARGET IMAGE |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ST | Notification of lapse |
Effective date: 20130131 |