FR2857133A1 - Procede de generation de flou - Google Patents

Procede de generation de flou Download PDF

Info

Publication number
FR2857133A1
FR2857133A1 FR0308114A FR0308114A FR2857133A1 FR 2857133 A1 FR2857133 A1 FR 2857133A1 FR 0308114 A FR0308114 A FR 0308114A FR 0308114 A FR0308114 A FR 0308114A FR 2857133 A1 FR2857133 A1 FR 2857133A1
Authority
FR
France
Prior art keywords
zone
image
area
pixels
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR0308114A
Other languages
English (en)
Inventor
Laurent Blonde
Thierry Viellard
David Sahuc
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Priority to FR0308114A priority Critical patent/FR2857133A1/fr
Priority to EP04102738.4A priority patent/EP1494174B1/fr
Priority to US10/878,597 priority patent/US20050220358A1/en
Priority to CN2004100550120A priority patent/CN1577401B/zh
Priority to KR1020040051655A priority patent/KR20050004124A/ko
Priority to JP2004198411A priority patent/JP4541786B2/ja
Publication of FR2857133A1 publication Critical patent/FR2857133A1/fr
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T5/70

Abstract

Le procédé est caractérisé en ce qu'il comporte les étapes suivantes:- découpage de l'image 2D en zones 2D (2) en fonction des profondeurs attribuées aux pixels, une zone étant définie par une profondeur minimum et maximum,- calcul de flou d'une zone 2D par convolution pour les pixels de part et d'autre de la frontière avec une autre zone, la taille du noyau de convolution (24, 25) étant fonction de la profondeur des pixels de la zone 2D traitée.Les applications sont la création d'effets spéciaux pour les jeux vidéo, la production de films.

Description

L'invention concerne un procédé de génération d'effets de flou de distance
sur des images de synthèse. Les applications sont par exemple la création d'effets spéciaux pour les jeux vidéo, la production de films.
Dans la vie courante le flou de distance est un facteur important de réalisme, puisque nous l'observons continuellement lors de la modification de la distance d'accommodation que l'oeil réalise: les avants plans ou les arrières plans deviennent flous. Cet effet de flou de distance ou effet de profondeur de champ est le plus souvent oublié dans la génération d'images de synthèse pour les jeux vidéo. Ceci est dû à la charge de calcul à mettre en oeuvre, dans les solutions classiquement utilisées, pour réaliser de tels effets.
La méthode la plus communément utilisée pour générer du flou de distance est la génération de multiples images de synthèse, avec des points de vue légèrement différents, caractéristiques du flou de distance que l'on souhaite générer. Pour obtenir le résultat, ces multiples images sont moyennées entre elles. Cette méthode simule la multiplicité des chemins optiques créés par une pupille de taille non nulle. Le nombre d'images moyennées peut varier par exemple de 10 à 100, ce qui multiplie la durée de calcul d'autant.
Il existe également des méthodes approximatives utilisant des effets de brume, mais dont la qualité de rendu est relativement pauvre, et qui en particulier ne traitent pas correctement les phénomènes de masquage par des avant-plans. Cette technique a été utilisée comme astuce dans de nombreux jeux vidéo, car elle permet d'utiliser des techniques de réduction de complexité géométrique de la scène, par exemple en cachant les défauts par l'effet de flou/brouillard.
Une autre technique, connue sous l'appellation anglaise de "mip-mapping", consiste en l'exploitation de textures de différentes qualités pour la même image qui sont utilisées suivant la distance dans la scène ou suivant le flou à simuler. Les images de basse résolution sont utilisées pour les distances les plus grandes. Elles sont également ré- échantillonnées, ré-agrandies, ce qui crée une interpolation ayant l'apparence d'un flou, pour figurer un flou sur des objets plus proches. Cette solution permet un rendu approximatif des phénomènes de flou, en gardant des techniques de type traitement de polygones.
Ces différentes solutions sont soit complexes à mettre en oeuvre, soit de qualité médiocre diminuant le réalisme des scènes. La génération de flou à la frontière des objets, lors de superposition d'objets, par exemple des objets en avant plan ou en arrière plan, n'est pas réalisée de manière réaliste. Le temps de calcul, pour leur mise en oeuvre, est élevé, diminuant les performances du système.
L'invention a pour but de pallier les inconvénients précités. Elle a pour objet un procédé de génération de flou dans une image 2D représentant une scène 3D, à partir de son image de distance associée attribuant une profondeur aux pixels de l'image, caractérisé en ce qu'il comporte les étapes suivantes: - découpage de l'image 2D en zones 2D en fonction des profondeurs attribuées aux pixels, une zone étant définie par une profondeur 15 minimum et maximum, - calcul de flou d'une zone 2D par convolution pour les pixels de part et d'autre de la frontière avec une autre zone, la taille du noyau de convolution étant fonction de la profondeur des pixels de la zone 2D traitée.
Selon une mise en oeuvre particulière, les zones 2D sont traitées séquentiellement de la plus éloignée à la plus proche, le calcul de flou d'une zone courante 2D étant réalisé sur les frontières de cette zone avec la zone précédemment traitée, pour fournir une image intermédiaire, cette image intermédiaire étant celle exploitée pour la convolution, lors du traitement de la zone suivante.
Selon une mise en oeuvre particulière, la convolution pour un pixel en bordure de zone appartenant à la zone courante prend en compte les pixels appartenant à la zone courante et ceux appartenant à la zone précédente, la convolution pour un pixel en bordure de zone appartenant à la zone précédente prend en compte les seuls pixels appartenant à la zone courante.
Dans ce dernier cas, pour le calcul de flou, la valeur d'un pixel dans la zone précédente peut être obtenu en ajoutant la valeur initiale du pixel au résultat de convolution, dans des proportions correspondant à la surface du noyau dans la zone précédente relativement à la surface globale du noyau.
L'invention concerne également un dispositif de génération de flou, caractérisé en ce qu'il comprend un processeur graphique pour la génération d'une image de synthèse et d'une carte de profondeur associée, un processeur de flou de distance comprenant des moyens de calcul pour définir des zones 2D de l'image correspondant à des zones de profondeur, le calcul de flou d'une zone 2D traitée étant obtenu par convolution pour les pixels de part et d'autre de la frontière avec une autre zone, la taille du noyau de convolution étant fonction de la profondeur des pixels de la zone 2D traitée.
L'invention propose un procédé de calcul du flou de distance, travaillant sur des données image, c'est à dire sur des données 2D plutôt que des données de scène 3D, se situant en aval de l'opération de synthèse d'image et pouvant être mis en pipe-line avec celle-ci. Les calculs peuvent ainsi être réalisés par une unité de traitement en parallèle des opérations de synthèse.
Le procédé rend accessible les effets de flou de distance, avec une haute qualité et à un bien moindre coût en calcul que les solutions existantes.
D'autres particularités et avantages de l'invention apparaîtront clairement dans la description donnée à titre d'exemple non limitatif, et faite en regard des figures annexées qui représentent: - la figure 1, un organigramme du procédé selon l'invention, - la figure 2, le principe de génération du flou de distance, - la figure 3, la définition des paramètres optiques, - la figure 4, un exemple de zones de profondeur, la figure 5, un exemple de construction de masques, - la figure 6, un dispositif selon l'invention.
L'invention utilise comme base l'image résultat d'une synthèse d'image, image d'intensité, ainsi que l'image de distance associée, image en Z ou Z-buffer qui fournit une distance ou une profondeur pour chaque pixel de l'image d'intensité. L'exploitation de masques relatifs à des zones de profondeur pour le raccordement d'une zone donnée avec les zones précédemment traitées permet de résoudre le problème de masquage d'objets.
La figure 1 représente l'algorithme de traitement du flou de distance. L'image source qui représente la scène à traiter est transmise à l'étape 1. L'étape 2 effectue un découpage de la scène en n zones de profondeur indicées i. La troisième étape 3 initialise la valeur i à 1 qui correspond à la zone la plus éloignée. La quatrième étape référencée 4 génère, pour la zone i, un masque de sélection destiné à déterminer les régions de l'image atteintes par le flou. La cinquième étape référencée 5 réalise la génération de flou pour la zone i à partir de l'image précédemment traitée, c'est à dire sur laquelle à été généré le flou, correspondant à la zone précédente i-1. Cette nouvelle image avec flou est mémorisée à l'étape 6 pour être prise en compte à l'étape 5 de l'itération suivante. La valeur de i est comparée à n à l'étape 7. Si elle est inférieure, i est incrémenté à l'étape 8 puis les étapes 4 à 6 sont réalisées avec la nouvelle valeur de i. Si elle est égale, le traitement est terminé et l'image finale est celle mémorisée à l'étape précédente 6.
La figure 2 symbolise ces différentes étapes. L'image source référencée 9 sur la figure est l'image traitée. Un découpage de la scène représentée sur cette image source est effectué pour fournir des zones de profondeur aussi appelées plans, référencées 10, 11 et 12. Un masque de sélection 13, 14, 15 est créé pour chacune des zones. Le traitement est d'abord effectué sur la zone en arrière-plan 10 pour fournir le masque 13. L'image, est traitée à partir du masque 13 pour fournir, par convolution, pour la partie correspondant à la zone de profondeur la plus éloignée, une image de flou 16. L'image est traitée à partir du masque 14 pour fournir, par convolution, pour la partie correspondant à la deuxième zone de profondeur, une image de flou puis est combinée avec l'image de flou 16 pour fournir une image plus complète de flou 17. L'image est également traitée à partir du masque 15 pour fournir, par convolution, pour la partie correspondant à la zone de profondeur la moins éloignée, une image de flou puis est combinée avec l'image de flou 17 pour fournir l'image finale 18.
La résolution des effets de masquage, opération indispensable pour limiter les artefacts, est très coûteuse: il faut vérifier le masquage pour chaque point de chaque tache. Pour limiter cet inconvénient, on considère que l'effet du masquage est nul pour des points proches entre eux, en profondeur. Par contre il est à envisager dans les zones de l'image où il y a de fortes variations de distance, cas du contour des objets, car il y a alors rupture de continuité selon Z. Un découpage de l'image en zones de profondeur permet de regrouper les points selon un critère de proximité de distance. Ces zones correspondent à une certaine fourchette de distance par rapport à l'objectif, les objets de la scène appartenant à une zone ayant alors un flou similaire. Un même masque de convolution pourra ainsi être utilisé pour une zone.
Une zone de profondeur est donc un ensemble de points regroupés ayant une distance à l'observateur similaire sans tenir compte des limites des objets présents dans la scène. Dans le domaine 2 D, une zone 2D est donc définie par l'ensemble des pixels dont la profondeur associée se trouve dans une fourchette définissant cette zone de profondeur. Les bords d'une zone 2D, aussi appelés contour de zone 2 D, définis comme la frontière de cet ensemble de pixels avec les ensembles de pixels appartenant à des zones de profondeur différentes, correspondent à la région sensible pour le traitement des effets de masquage tandis que l'intérieur de la zone 2D peut être traité sans considération particulière.
Comme expliqué plus loin, un masque de sélection délimite, pour une zone donnée, ce qui doit être considéré comme intérieur et ce qui doit être considéré comme bords de la zone.
Le découpage de la scène en zones de profondeur peut se faire à partir de la dimension des taches de flou pour les pixels de l'image.
Un calcul préliminaire du diamètre de ces taches, pour une configuration optique et une distance d'observation donnée, est donc effectué.
La figure 3 donne une définition des différents paramètres du système optique permettant le calcul du diamètre des taches de flou: - f est la focale du système optique.
- A est un point source, distant de D du système optique.
- A' est l'image de A à travers le système optique, distant de D' du système.
D- planimage est la distance du plan image (CCD, pellicule...) au système optique.
- Ddiaph est le diamètre du diaphragme.
- dtache est le diamètre de la tache créée par A située sur le plan image.
I est l'intensité du point source A. Le plan d'observation n'étant pas confondu avec le plan image passant par A', il en résulte une tache de diamètre non nul. Ce diamètre est obtenu à partir des formules suivantes: 1 + = (conjugaison) D D' D D D p,aainiag Ddiaph d tache e (Thales) Le diamètre d'une tache est donc associé à une distance de plan objet D, les autres paramètres sont des valeurs fixes dépendant du système optique. Cette valeur D est obtenue par la carte de profondeur ou Z-buffer qui associe une valeur de profondeur à chaque pixel de l'image. Une information de flou ou de diamètre de tache peut donc être calculée pour chaque pixel de l'image.
La détermination des zones s'effectue en fonction du diamètre des taches. Deux seuils définissent, en pixels, la variation maximale du diamètre des taches au sein d'une zone de profondeur. En complément, un seuil de population minimale, en nombre de pixels, évite la création de zone vide ou ne contenant que peu de points.
Les bords d'une zone 2 D sont récupérés par cette technique du fait des discontinuités dans la direction Z au niveau des contours d'objets. Toutefois, les contours de zones 2D, contours d'ensembles de points équidistants, dans une fourchette donnée, à l'observateur, passent aussi ailleurs que sur des contours d'objets.
La figure 4 représente la génération de 3 zones dans une image, découpe de l'espace tridimensionnel par des plans qui sont à des distances fixes de l'objectif et qui représentent les limites hautes et basses des fourchettes. Les deux plans de séparation des zones, référencés 19 et 20, sont représentés en gras et correspondent aux seuils de variation du diamètre des taches. On constate que des grandes surfaces, par exemple le dtache = Ddiaph D plan image (1 1v f D, mur à gauche, peuvent appartenir à plusieurs zones distinctes. Le traitement de chaque zone permet un raccordement correct de ces surfaces.
L'étape 4 consiste en une création des masques de sélection.
Un masque de sélection est une image associée à une zone de profondeur dont les pixels ont 5 états possibles. Ce masque a deux fonctions: l'une est de délimiter les parties de l'image sur lesquelles doit agir la convolution permettant de générer le flou, états 1, 2, 3, l'autre est de différencier les régions sensibles de raccordement entre les plans, états 2 et 3.
Pour chaque pixel appartenant à la zone de profondeur, on copie la tache correspondante dans l'image masque. L'état associé au pixel est défini en fonction de la ou des zones auxquelles appartiennent les pixels de la tache. Les 5 états possibles pour un pixel du masque de sélection sont les suivants: - Etat 0: le pixel n'est pas atteint par le traitement de la zone. Le point (pixel) n'appartient pas à la zone mais à une zone située en avant.
- Etat 1: le pixel est atteint par le traitement de la zone. Le pixel appartient à la zone et la tache générée recouvre uniquement des pixels de la zone.
- Etat 2: le pixel est atteint par le traitement de la zone. Le pixel appartient à la zone et la tache générée recouvre des pixels qui n'appartiennent pas tous à la zone. La tache générée déborde de la zone de profondeur.
- Etat 3: le pixel est atteint par le traitement de la zone car il est atteint par des taches de la zone. Le pixel n'appartient pas à la zone mais à une zone située en arrière et la tache générée recouvre des pixels appartenant à la zone.
- Etat 4: le pixel appartient à un arrière-plan. Le pixel n'appartient pas à la zone mais à une zone située en arrière et la tache générée ne recouvre pas des pixels appartenant à la zone.
Le diamètre des taches associées aux pixels est le diamètre calculé à partir de la profondeur réelle des pixels concernés. II est possible cependant de prendre en compte un diamètre moyen calculé pour une zone de profondeur par exemple en fonction de la distance moyenne des pixels relatifs à cette zone.
La simple information de profondeur, éventuellement la profondeur moyenne attribuée à une zone, permet donc d'obtenir les états des pixels ou points des masques.
La figure 5 représente un exemple de construction de masques de sélection.
Le fond est considéré comme une zone située en arrière plan. L'image source 21 ou scène est constituée d'un cône et d'une sphère en avant plan. Cette image est découpée en deux zones, une zone située en avant et comprenant la sphère et une zone située en arrière et comprenant le cone. Ces deux zones de profondeur, en fait les pixels correspondant aux points 3D appartenant à chacune de ces zones, sont représentées respectivement par les images référencées 22 et 23.
Un masque de sélection est construit pour chacune des zones.
II consiste à définir des états pour les pixels de chacune de ces zones. Les rayons des taches de flou pris en compte pour la construction sont ceux au niveau des contours traités et définis par la distance Z pour les pixels de ce contour. On remarque que la taille de la tache 24 pour le contour du cone est supérieure à la taille de la tache 25 pour le contour de la sphère qui est en arrière plan.
Pour le cone sont ainsi créées 3 régions triangulaires, découpées par la sphère, les régions 26, 27, 28 correspondant respectivement aux états 1, 2 et 3. La région 26 correspond à l'aire délimitée par un triangle intérieur au triangle initial représentant le cone, dont les cotés sont distants d'un rayon de tache de ceux du triangle initial, la région 27 correspond à l'aire délimitée par le triangle initial et le triangle intérieur, la région 28 correspond à l'aire délimitée par un triangle extérieur dont les cotés sont distants d'un rayon de tache de ceux du triangle initial et le triangle initial. La sphère étant une zone d'avant plan, région 29, ses pixels correspondent à l'état 0. Le fond, pour la partie restante, région 30, correspond à l'état 4.
Pour la sphère sont également créées 3 régions concentriques 31, 32, 33 correspondant respectivement aux états 1, 2 et 3. La région 31 correspond à l'aire délimitée par un cercle intérieur et concentrique au cercle initial représentant la sphère, dont le rayon est inférieur, d'un rayon de tache, au rayon du cercle initial, la région 32 correspond à une couronne définie par le cercle initial et le cercle intérieur, la région 33 correspond à une couronne définie par un cercle extérieur concentrique dont le rayon est supérieur, d'un rayon de tache, au rayon du cercle initial, et le cercle initial. Le fond, région 34, pour la partie restante, c'est à dire hors région 33, correspond à l'état 4.
Les points à l'état 1, 2 et 3 permettent de délimiter la région dans laquelle appliquer la convolution. De plus, les pixels à l'état 2 et 3 indiquent les régions transparentes aux arrière-plans pour le raccordement entre zones. On remarquera que la sphère découpe le masque du plan "cône" à l'endroit où elle le recouvre, restituant le masquage du flou par les avant-plans.
L'étape référencée 5 consiste en la génération du flou et la combinaison des zones 2D pour leur raccordement.
L'application du flou de distance dans une zone de profondeur provoque l'affaiblissement de la luminosité au niveau des contours de la zone 2D correspondante. Visuellement, tout se passe comme s'il y avait un fondu entre la région floue du pourtour de la zone 2D, qui correspond aux états 2 et 3 du masque, et ce qui se trouve en arrière plan de cette zone.
Plus on s'approche de la mise au point sur une zone de profondeur, plus la zone de fondu est faible puisque le diamètre de la tache est réduit et mieux la zone de profondeur se découpe sur son fond. Lorsqu'il y a mise au point, l'ensemble des points ayant l'état 2 et 3 est nul. Il n'y a aucun mélange avec les arrières plans: la zone de profondeur se découpe parfaitement sur son fond.
Ce mode de raccord des zones de profondeur exploitant ces différents états résout ainsi les effets de masquage par des avant-plans, où aucun flou n'est à créér.
Pour une zone donnée, l'information d'arrière plan est nécessaire et doit avoir été calculée précédemment. Les zones doivent donc être traitées de la plus éloignée à la plus proche. On remarque que pour les pixels du masque à l'état 2, l'information d'arrière plan est inexistante. On ne dispose donc que d'une partie de l'information souhaitée pour assurer une transition correcte entre les zones.
La génération du flou est faite par convolution. Elle consiste à prendre en compte l'environnement immédiat d'un pixel pour recalculer sa valeur, par exemple un moyennage pondéré des valeurs de pixels se trouvant dans la surface de la tache dont le pixel à recalculer est le centre. Le noyau de convolution ou fenêtre de filtrage, qui définit la pondération affectée aux valeurs des pixels, elle-même définie par les coefficients du noyau, est par exemple une courbe en cloche ou une courbe en cylindre.
La convolution est effectuée différemment selon l'état du point du masque associé au point à traiter. En effet, il s'agit d'exploiter l'information disponible, selon la valeur des points du masque de sélection.
- si un point du masque est à l'état 0, il appartient à un avant 10 plan. On passe au pixel suivant.
- si un point du masque est à l'état 1, le noyau de convolution est entièrement contenu dans la zone de profondeur, on est à "l'intérieur" de cette zone. A l'aide de l'information de distance, on calcule la taille du noyau de convolution, qui est la taille de la tache de flou rapportée au plan image.
La convolution est appliquée normalement, en parcourant les points de la zone associés au noyau. Le résultat est copié dans l'image finale.
- si un point du masque est à l'état 2, l'information d'arrière plan n'existe pas. On fait rentrer dans la convolution tous les pixels dès lors qu'ils appartiennent à la zone courante ou à une zone précédemment traitée. Le résultat est copié dans l'image finale. Les pixels correspondant à l'état 2 sont source d'artefacts puisqu'on fait entrer dans la convolution des pixels appartenant à des zones précédemment traitées, c'est à dire en arrière-plan. En effet, ces pixels sont traités comme s'ils appartenaient à la zone courante, avec un noyau qui n'a donc pas la taille convenable, ce qui provoque des discontinuités géométriques, par exemple sur des contours qui sont plus étalés que ce qu'ils devraient. En général, ces erreurs sont peu perceptibles. Elles augmentent avec l'importance du flou, c'est à dire de la surface à l'état 2 ou lors de contrastes importants entre zones de profondeur.
- si un point du masque est à l'état 3, on se trouve dans la zone de transition "externe" entre la zone de profondeur courante et une zone de profondeur en arrière-plan. L'information de la zone en arrière-plan est disponible, elle a été calculée précédemment.. La convolution est ici effectuée en ne prenant en compte, dans le noyau, que les points contenus dans la zone courante. Le résultat est mélangé à l'image finale Les proportions du mélange sont fonctions de la surface du noyau contenue dans la zone courante vis à vis de la surface totale active du noyau. On ajoute par exemple, pour le calcul d'un point de la zone 3, le résultat de la convolution relatif à la zone courante (le noyau prend en compte les seuls pixels de la zone courante) à l'intensité pondérée calculée pour ce point, cette pondération consistant à multiplier l'intensité calculée précédemment par le rapport de la surface de la tache dans la zone en arrière-plan à la surface totale de la tache.
L'image finale est ainsi construite et mémorisée à l'étape 6, zone par zone, à partir de la zone la plus éloignée. Les points d'une zone sont soit copiés (état 1, 2), soit mélangés (état 3) à l'image finale correspondant à la précédente zone traitée.
Un exemple de dispositif mettant en oeuvre l'invention est représenté à la figure 6.
La réalisation matérielle peut se faire à l'aide de processeurs programmables de traitement du signal et de mémoires d'images mis en pipe-line avec les processeurs graphiques de synthèse d'image.
Une unité centrale, non représentée sur la figure, transmet les données à un moteur 3D référencé 35, processeur graphique, pour la génération d'une l'image de synthèse. Les données relatives à la carte de profondeur ou Zbuffer, par exemple codée sur 24 bits, sont transmises à une mémoire d'image 36 qui mémorise cette carte de profondeur. Les données relatives à l'image de synthèse proprement dite ou image source, par exemple au format RVB, 8 bits par couleur, sont transmises à une mémoire d'image RVB référencée 37.
Ces données mémorisées sont transmises à un processeur de flou de distance 38. Ce processeur reçoit également de l'unité centrale des paramètres caractérisant la profondeur dans la scène, distance min et distance max, ainsi que le système de prise de vue à simuler, focale, diaphragme. La sortie du processeur de flou est constituée d'une image avec flou de distance simulé.
Les mémoires nécessaires au traitement sont, dans cet exemple de: - 3 plans (RVB) pour l'image source.
- 3 plans pour l'image de distance, Z étant codé sur 24 bits.
- 3 plans (RVB) pour l'image finale.
- 1 plan (monochrome) pour le masque.
Les mémoires relatives à l'image finale et au masque ne sont pas détaillées sur la figure, elles sont intégrées dans le circuit 38 qui est le processeur de flou de distance.
Le processeur de flou de distance met en oeuvre le procédé de génération de flou précédemment décrit. Il comprend des moyens de calcul pour définir des zones 2D de l'image correspondant à des zones de profondeur, le calcul de flou d'une zone 2D traitée étant obtenu par convolution pour les pixels de part et d'autre de la frontière avec une autre zone, la taille du noyau de convolution étant fonction de la profondeur des pixels de la zone 2D traitée.

Claims (8)

13 REVENDICATIONS
1 Procédé de génération de flou dans une image 2D représentant une scène 3D, à partir de son image de distance associée attribuant une profondeur aux pixels de l'image, caractérisé en ce qu'il comporte les étapes suivantes: - découpage de l'image 2D en zones 2D (2) en fonction des profondeurs attribuées aux pixels, une zone étant définie par une profondeur 10 minimum et maximum, - calcul de flou d'une zone 2D par convolution pour les pixels de part et d'autre de la frontière avec une autre zone, la taille du noyau de convolution (24, 25) étant fonction de la profondeur des pixels de la zone 2D traitée.
2 Procédé selon la revendication 1, caractérisé en ce que les zones 2D sont traitées séquentiellement de la plus éloignée (23) à la plus proche (22), le calcul de flou d'une zone courante 2D étant réalisé sur les frontières de cette zone avec la zone précédemment traitée (26, 27, 28; 31, 32, 33), pour fournir une image intermédiaire (6), cette image intermédiaire étant celle exploitée pour la convolution (5), lors du traitement de la zone suivante (8).
3 Procédé selon la revendication 2, caractérisé en ce que la convolution pour un pixel en bordure de zone appartenant à la zone courante (27, 32) prend en compte les pixels appartenant à la zone courante (27, 32) et ceux appartenant à la zone précédente (28, 33).
4 Procédé selon la revendication 2, caractérisé en ce que la convolution pour un pixel en bordure de zone appartenant à la zone précédente (28, 33) prend en compte les seuls pixels appartenant à la zone courante (27, 32).
Procédé selon la revendication 4, caractérisé en ce que, pour 35 le calcul de flou, la valeur d'un pixel dans la zone précédente est obtenu en ajoutant la valeur initiale du pixel au résultat de convolution, dans des proportions correspondant à la surface du noyau dans la zone précédente relativement à la surface globale du noyau.
6 Procédé selon la revendication 1, caractérisé en ce que 5 l'image 2D est une image de synthèse.
7 Procédé selon la revendication 1, caractérisé en ce que le noyau de convolution est une fonction en cloche.
8 Dispositif de génération de flou, caractérisé en ce qu'il comprend un processeur graphique (35) pour la génération d'une image de synthèse (37) et d'une carte de profondeur associée (36) , un processeur de flou de distance (38) comprenant des moyens de calcul pour définir des zones 2D de l'image correspondant à des zones de profondeur, le calcul de flou d'une zone 2D traitée étant obtenu par convolution pour les pixels de part et d'autre de la frontière avec une autre zone, la taille du noyau de convolution (24, 25) étant fonction de la profondeur des pixels de la zone 2D traitée.
FR0308114A 2003-07-03 2003-07-03 Procede de generation de flou Pending FR2857133A1 (fr)

Priority Applications (6)

Application Number Priority Date Filing Date Title
FR0308114A FR2857133A1 (fr) 2003-07-03 2003-07-03 Procede de generation de flou
EP04102738.4A EP1494174B1 (fr) 2003-07-03 2004-06-16 Procédé de géneration de flou
US10/878,597 US20050220358A1 (en) 2003-07-03 2004-06-28 Method of generating blur
CN2004100550120A CN1577401B (zh) 2003-07-03 2004-07-02 产生模糊的方法
KR1020040051655A KR20050004124A (ko) 2003-07-03 2004-07-02 흐림 생성 방법
JP2004198411A JP4541786B2 (ja) 2003-07-03 2004-07-05 ぼかしを発生させる方法およびぼかし発生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0308114A FR2857133A1 (fr) 2003-07-03 2003-07-03 Procede de generation de flou

Publications (1)

Publication Number Publication Date
FR2857133A1 true FR2857133A1 (fr) 2005-01-07

Family

ID=33427680

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0308114A Pending FR2857133A1 (fr) 2003-07-03 2003-07-03 Procede de generation de flou

Country Status (6)

Country Link
US (1) US20050220358A1 (fr)
EP (1) EP1494174B1 (fr)
JP (1) JP4541786B2 (fr)
KR (1) KR20050004124A (fr)
CN (1) CN1577401B (fr)
FR (1) FR2857133A1 (fr)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019883A1 (en) * 2005-07-19 2007-01-25 Wong Earl Q Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
US7929801B2 (en) * 2005-08-15 2011-04-19 Sony Corporation Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
US20080118175A1 (en) * 2006-11-16 2008-05-22 Barinder Singh Rai Creating A Variable Motion Blur Effect
JP5109803B2 (ja) * 2007-06-06 2012-12-26 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP5006727B2 (ja) * 2007-07-26 2012-08-22 株式会社リコー 画像処理装置およびデジタルカメラ
US8316096B2 (en) * 2008-04-29 2012-11-20 Kota Enterprises, Llc Facemail
US8280194B2 (en) * 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
JP5124372B2 (ja) * 2008-07-10 2013-01-23 株式会社リコー 画像処理装置、画像処理方法およびデジタルスチルカメラ
US8194995B2 (en) * 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
US8553093B2 (en) 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
CN101751664B (zh) * 2008-12-02 2013-04-17 奇景光电股份有限公司 立体深度资讯的产生系统及产生方法
US8750637B2 (en) * 2009-03-30 2014-06-10 Telefonaktiebolaget L M Ericsson (Publ) Barcode processing
JP5300756B2 (ja) * 2010-02-05 2013-09-25 キヤノン株式会社 撮像装置及び画像処理方法
JP2011210197A (ja) * 2010-03-30 2011-10-20 Toshiba Corp 画像処理装置
FR2971604B1 (fr) * 2011-02-15 2014-01-24 E On Software Procede d'analyse de donnees d'une image bidimensionnelle.
US8406548B2 (en) 2011-02-28 2013-03-26 Sony Corporation Method and apparatus for performing a blur rendering process on an image
US9307134B2 (en) 2011-03-25 2016-04-05 Sony Corporation Automatic setting of zoom, aperture and shutter speed based on scene depth map
US9007435B2 (en) * 2011-05-17 2015-04-14 Himax Technologies Limited Real-time depth-aware image enhancement system
US9020280B2 (en) * 2011-12-01 2015-04-28 Sony Corporation System and method for evaluating focus direction under various lighting conditions
JP5911292B2 (ja) * 2011-12-19 2016-04-27 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
KR20130103217A (ko) * 2012-03-09 2013-09-23 삼성전자주식회사 블러화된 이미지의 제공 장치 및 블러화된 이미지의 제공 방법
DE112013002024T5 (de) * 2012-04-10 2015-03-05 Mahle Powertrain, Llc Farbsichtinspektionssystem und Verfahren zum Inspizieren eines Fahrzeugs
CN104063858B (zh) * 2013-03-19 2017-04-26 展讯通信(上海)有限公司 图像模糊处理方法及装置
TWI547142B (zh) 2013-04-02 2016-08-21 杜比實驗室特許公司 引導的3d顯示器適配
JP6319972B2 (ja) 2013-08-26 2018-05-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP6270413B2 (ja) * 2013-10-29 2018-01-31 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
JP6516410B2 (ja) * 2014-02-21 2019-05-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9905054B2 (en) * 2016-06-09 2018-02-27 Adobe Systems Incorporated Controlling patch usage in image synthesis
CN111241993B (zh) * 2020-01-08 2023-10-20 咪咕文化科技有限公司 座位数的确定方法、装置、电子设备及存储介质
CN114331828A (zh) * 2020-09-30 2022-04-12 脸萌有限公司 图片转视频的方法、装置、设备及存储介质
WO2024018166A1 (fr) 2022-07-22 2024-01-25 Blackbird Plc Procédés, mis en œuvre par ordinateur, de flou d'une image numérique, terminaux d'ordinateur et produits-programmes d'ordinateur

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2325131A (en) * 1997-03-27 1998-11-11 British Broadcasting Corp Improvements in artificial distance effect in image generation
US5986659A (en) * 1994-11-02 1999-11-16 U.S. Philips Corporation Blurring for computer graphics generated images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63259778A (ja) * 1987-04-17 1988-10-26 Hitachi Ltd 画像デ−タの表示方法
US5524162A (en) * 1991-07-22 1996-06-04 Levien; Raphael L. Method and apparatus for adaptive sharpening of images
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
JP3083995B2 (ja) * 1996-08-30 2000-09-04 株式会社ハドソン 画像処理方法および装置
US6115078A (en) * 1996-09-10 2000-09-05 Dainippon Screen Mfg. Co., Ltd. Image sharpness processing method and apparatus, and a storage medium storing a program
US6289113B1 (en) * 1998-11-25 2001-09-11 Iridian Technologies, Inc. Handheld iris imaging apparatus and method
JP2000251090A (ja) * 1999-03-01 2000-09-14 Sony Computer Entertainment Inc 描画装置及び該描画装置で被写界深度を表現する方法
JP3338021B2 (ja) * 2000-07-10 2002-10-28 コナミ株式会社 3次元画像処理装置及び3次元画像処理プログラムを記録した可読記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5986659A (en) * 1994-11-02 1999-11-16 U.S. Philips Corporation Blurring for computer graphics generated images
GB2325131A (en) * 1997-03-27 1998-11-11 British Broadcasting Corp Improvements in artificial distance effect in image generation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PRZEMYSLAW ROKITA: "FAST GENERATION OF DEPTH OF FIELD EFFECTS IN COMPUTER GRAPHICS", COMPUTERS AND GRAPHICS, PERGAMON PRESS LTD. OXFORD, GB, vol. 17, no. 5, 1 September 1993 (1993-09-01), pages 593 - 595, XP000546559, ISSN: 0097-8493 *

Also Published As

Publication number Publication date
KR20050004124A (ko) 2005-01-12
US20050220358A1 (en) 2005-10-06
EP1494174A1 (fr) 2005-01-05
CN1577401B (zh) 2010-05-05
EP1494174B1 (fr) 2018-11-07
CN1577401A (zh) 2005-02-09
JP2005025766A (ja) 2005-01-27
JP4541786B2 (ja) 2010-09-08

Similar Documents

Publication Publication Date Title
FR2857133A1 (fr) Procede de generation de flou
EP1292921B1 (fr) Raffinement d'un maillage triangulaire en trois dimensions
EP2174289B1 (fr) Procede de traitement d'objet numerique et systeme associe.
EP2828834B1 (fr) Modèle et procédé de production de modèles 3d photo-réalistes
Barsky et al. Algorithms for rendering depth of field effects in computer graphics
EP2755187A2 (fr) Procédé et système de génération d'effet d'animation 3D
FR2596175A1 (fr) Procede et dispositif d'echantillonnage selon des points pseudo-aleatoires en informatique graphique
WO2003007243A2 (fr) Procede et systeme pour modifier une image numerique en prenant en compte son bruit
Shirley et al. A local image reconstruction algorithm for stochastic rendering
Zheng et al. Constrained predictive filters for single image bokeh rendering
CN113222845A (zh) 基于卷积神经网络的肖像外部阴影去除方法
EP1673728A1 (fr) Procede et systeme pour m7difier une image numérique de maniere differenciee et quasi reguliere par pixel
WO2010003844A1 (fr) Procede de composition temps reel d'une video
FR3057981A1 (fr) Procede d'elaboration d'un nuage de points 3d representatif d'une oreille 3d d'un individu, et systeme associe
WO2014170482A1 (fr) Procede de generation d'un flux video de sortie a partir d'un flux video large champ
FR3066304A1 (fr) Procede de compositon d'une image d'un utilisateur immerge dans une scene virtuelle, dispositif, equipement terminal, systeme de realite virtuelle et programme d'ordinateur associes
CN105574818B (zh) 一种景深渲染方法和装置
CA2277788C (fr) Methode de detection d'une discontinuite geologique presente dans un milieu par utilisation du flux optique
Han et al. Virtual out of focus with single image to enhance 3D perception
Mandl et al. Neural Bokeh: Learning Lens Blur for Computational Videography and Out-of-Focus Mixed Reality
Sheng et al. Dr. Bokeh: DiffeRentiable Occlusion-aware Bokeh Rendering
FR2968813A1 (fr) Procede de rendu d’images a partir d’une scene virtuelle en trois dimensions
Hu et al. Real-time depth of field rendering with bokeh effect
CN115698870A (zh) 信息处理装置、信息处理方法、程序和全息图显示系统
FR3137980A1 (fr) Hologramme physique fabriqué à partir d’un hologramme numérique et dispositif holographique associé