FR2817986A1

FR2817986A1 - Procede de classification d'une image en couleur selon la prise de vue en exterieur ou en interieur

Info

Publication number: FR2817986A1
Application number: FR0015933A
Authority: FR
Inventors: Walid Mahdi; Mohsen Ardebilian; Liming Chen
Original assignee: Ecole Centrale de Lyon
Current assignee: Ecole Centrale de Lyon
Priority date: 2000-12-07
Filing date: 2000-12-07
Publication date: 2002-06-14
Anticipated expiration: 2020-12-07
Also published as: WO2002047029A3; FR2817986B1; US20040071341A1; JP2004524726A; AU2002217204A1; EP1348200A2; WO2002047029A2

Abstract

Procédé de classification d'une image en couleur en vue de déterminer le lieu de la prise en extérieur ou en intérieur, caractérisé en ce qu'il consiste à : . déterminer des bandes spectrales de couleurs de référence B i correspondant à des valeurs différentes de la température d'une image, permettant de caractériser une image en extérieur ou une image en intérieur,. sélectionner une image en couleur à analyser,. numériser l'image en couleur sélectionnée de manière à être définie dans un espace déterminé de couleurs (par exemple RGB),. déterminer pour au moins les bandes spectrales de couleurs de référence, la distribution des spectres de couleur d'au moins une partie de l'image en couleur,. et analyser les spectres de couleurs de l'image numérisée de manière à déterminer, en fonction de leur répartition selon les bandes spectrales de couleurs de référence, la température de l'image correspondant à une image en intérieur ou en extérieur.

Description

L'objet de la présente invention concerne le domaine technique de l'image au sens général et elle vise plus précisément le domaine de la classification des images en couleur selon le lieu de la prise de vue de l'image, c'est-à-dire soit en extérieur, soit en intérieur.

L'objet de l'invention trouve une application particulièrement avantageuse mais non limitative dans le domaine de la macro-segmentation des images vidéo.

Dans le domaine technique ci-dessus, la macro-segmentation d'une vidéo a pour objectif de classifier les plans en des unités sémantiques qui sont les scènes. Cette macro-segmentation de la vidéo en plans repose sur l'analyse d'un signal obtenu à partir des images successives de la vidéo. Une image reflétant le contenu d'un plan est ensuite choisie comme étant l'image représentative de celui-ci. La classification de plans en fonction de leur lieu facilite la segmentation d'une vidéo en scènes. En effet, le terme intérieur est une indication de lieu, fixé au moment de la première étape de l'écriture du scénario, juste avant la description des scènes. Ce terme est en opposition avec le terme extérieur. Cette indication du lieu permet donc à l'équipe technique de connaître à l'avance toutes les scènes qui doivent être tournées à l'intérieur, respectivement à l'extérieur. L'utilisation adéquate de ce terme facilite aussi le travail du directeur de la photographie qui est ainsi en mesure de connaître les scènes exigeant un éclairage différent et d'élaborer en conséquence l'éclairage qui convient en fonction du lieu de la scène, à savoir à l'extérieur ou à l'intérieur. La connaissance de cet indice de lieu est aussi important au moment de l'analyse des images vidéo dans la mesure où il constitue un indice sémantique.

Il apparaît donc le besoin de pouvoir classifier une image en couleur selon que la prise de vue est réalisée en extérieur, à savoir essentiellement dans la nature ou à l'intérieur, par exemple, d'une pièce, d'un bâtiment ou d'une grotte.

L'objet de l'invention vise donc à satisfaire ce besoin en proposant un procédé permettant de classifier une image en couleur en vue de déterminer le lieu de la prise de vue de l'image, c'est-à-dire en extérieur ou en intérieur.

Conformément à l'invention, le procédé selon l'invention consiste :

* à déterminer des bandes spectrales de couleurs de référence correspondant à des valeurs différentes de la température d'une image, permettant de caractériser une image en extérieur ou une image en intérieur, * à sélectionner une image en couleur à analyser, * à numériser l'image en couleur sélectionnée de manière à être définie dans un espace déterminé de couleurs (par exemple RGB), * à déterminer pour au moins les bandes spectrales de couleurs de référence, la distribution des spectres de couleur d'au moins une partie de l'image en couleur numérisée, 'et à analyser les spectres de couleurs de l'image numérisée de manière à déterminer, en fonction de leur répartition selon les bandes spectrales de couleurs de référence, la température de l'image correspondant à une image en intérieur ou à une image en extérieur.

Selon une autre caractéristique avantageuse de réalisation, le procédé selon l'invention consiste à déterminer en tant que bandes spectrales de couleurs de référence, les bandes spectrales de couleur rouge, jaune et verte ordonnées dans l'ordre croissant de leur température.

La figure 1 est un schéma fonctionnel d'un dispositif permettant la mise en oeuvre du procédé selon l'invention.

Les figures 2a à 2i sont différents histogrammes de spectres permettant d'expliciter le procédé conforme à l'invention.

Tel que cela ressort plus précisément de la figure 1, l'objet de l'invention concerne un dispositif 1 permettant de classifier une image en couleur en fonction du lieu de la prise de vue de l'image, c'est-à-dire soit en extérieur (dans la nature), soit en intérieur (une pièce, un bâtiment, ou une grotte par exemple).

Dans l'exemple illustré, le système 1 comporte un capteur d'images 2 telle que par exemple une caméra vidéo reliée en sortie à un moyen de numérisation 3 permettant de numériser les images qui sont définies dans un espace spectral déterminé de couleurs, par exemple RGB, connu et défini par la CIE (Commission International de l'Eclairage).

La sortie du moyen de numérisation 3 est reliée à un système de traitement de données 4 tel qu'un ordinateur comportant des moyens programmés permettant notamment d'analyser les images afin de déterminer le lieu de la prise de vue pour chaque image sélectionnée. Le système de traitement de données 4 est relié à des moyens de stockage 5 permettant d'enregistrer chaque image analysée ainsi que pour chacune d'entre elles, l'indice d'indication de lieu associé c'est-à-dire une image en intérieur ou une image en extérieur.

Le système 4 comporte des moyens permettant de déterminer des bandes spectrales de couleur de référence Bi correspondant à des valeurs différentes de la température d'une image et permettant de caractériser une image en extérieur ou en intérieur. En effet, la température thermodynamique d'une source lumineuse peut être estimée par une analyse de la distribution spectrale Mf du rayonnement et par une classification de la couleur associée à celle-ci.

Une distribution spectrale Mf d'un rayonnement est présentée selon sept bandes spectrales comme illustré dans le tableau 1 ci-dessous :

<tb>
<tb> B, <SEP> : <SEP> Couleur <SEP> Longueur <SEP> d'onde <SEP> Température
<tb> Violet <SEP> 380-450 <SEP> nm <SEP> +
<tb> Bleu <SEP> 450-480 <SEP> nm
<tb> Cyan <SEP> 480-490 <SEP> nm
<tb> Vert <SEP> 490-560 <SEP> nm
<tb> Jaune <SEP> 560-580 <SEP> nm
<tb> Orange <SEP> 580-600 <SEP> nm
<tb> Rouge <SEP> 600-700 <SEP> nm
<tb>

Les différentes bandes spectrales sont ordonnées dans l'ordre décroissant de leur température. Il doit être considéré que la lumière artificielle, contrairement à la lumière naturelle, possède un spectre dont les valeurs se retrouvent majoritairement dans la bande spectrale de couleur rouge et, et de façon minoritaire dans les bandes spectrales des couleurs verte et bleue. Ainsi, une image avec un spectre à dominante

rouge dont la température est considérée comme la température la moins chaude, correspond à une lumière intérieure (cas de la température des couleurs intérieures d'une chambre, dans un bâtiment, dans une grotte, etc.). Dans ce cas, l'image est classifiée comme étant une image en intérieur, c'est-à-dire dont la prise de vue a été effectuée à l'intérieur d'un bâtiment, etc..

Inversement, une image avec un spectre à dominante verte dont la température est classifiée parmi les températures les plus chaudes (cas de la température de la couleur du ciel, couleur de la mer, etc. ) correspond à une lumière de l'extérieur. Dans ce cas, l'image est classifiée comme une image en extérieur, c'est-à-dire dont la prise de vue est effectuée dans la nature.

Selon une caractéristique préférée de réalisation, il est choisi de prendre en compte, en tant que bandes spectrales de couleur de référence, les bandes spectrales de couleur rouge, jaune, et verte ordonnées dans l'ordre croissant de leur température. En effet, il peut être considéré que la bande spectrale de couleur bleue est dans certains cas difficile à quantifier dans un spectre de lumière. En effet, il a été constaté que les producteurs de cinéma ont tendance à compenser l'excès du spectre en couleur bleue de sorte que son analyse peut fausser les résultats. Par ailleurs, la bande spectrale de couleur jaune est facile à quantifier dans la mesure où elle est présente pratiquement dans tous les spectres. Même si son taux de présence dans un spectre dépend du type de lumière, à savoir naturel ou artificiel, elle reste dans la plupart des cas suffisamment importante pour pouvoir être quantifiée.

Le système de traitement de données 4 comporte également des moyens permettant de déterminer pour au moins les bandes spectrales de couleur de référence, la distribution des spectres de couleur d'au moins une partie de l'image en couleur numérisée et sélectionnée pour être analysée.

Selon une caractéristique préférée de la réalisation, il est prévu de choisir une région déterminée de l'image comportant un maximum d'informations concernant la température.

Selon cette variante préférée de réalisation, l'image en couleur numérisée définit dans l'espace déterminé de couleurs RGB est transformée en une image de l'espace de couleurs YIQ connue en soi et défini par le NTSC (National Television System

Committee). A titre de rappel, dans le système YIQ, les trois composantes couleurs sont respectivement ; Luminance, In phase et Quatrature phase et matérialisent les trois axes (blanc-noir), (rouge-cyan) et (magenta-vert) de l'espace des couleurs. La transformation de l'espace spectral RGB dans l'espace spectral YIQ est donnée par le tableau 2 ci-dessous : ETAPE SYSTEME DE DESCRIPTION
COULEURS
0 C. I. E. Le système Sources monochromatiques primaires Pl spectral primaire R, G, B rouge = 700 nm, P2, vert = 546.1 nm, P3, bleu = 435. 8 nm
1 Système C. I. E. X, Y, Z X 0.490 0.310 0.200 R
Y = 0. 177 0.813 0.011 G
Z 0.000 0.010 0.990 B
2 Système NTSC de RN 1. 910-0. 533-0. 288 X récepteurs primaires RN, GN-0. 985 2. 000-0. 028 Y
GN, BN BN 0. 058-0. 118 0.896 Z

3 Y =0. 299RN+0. 587GN+0. 114BN
1 = 0. 596 RN-0. 274 GN-0. 322 BN
Q = 0. 058 RN-0. 523 GN+ 0. 312 BN
L'image choisie et transformée dans l'espace de couleur YIQ est divisée en blocs élémentaires de pixels. Par exemple, chaque bloc élémentaire peut comporter 16 fois 16 pixels. Pour chaque bloc élémentaire de pixels, il est calculé la moyenne en luminance Y et la moyenne en phase 1. Il est à noter que l'originalité de l'axe 1 du système YIQ est qu'il représente l'axe (rouge-cyan) de l'espace des couleurs alors que l'axe Y représente la luminance selon l'axe (blanc-noir).

Il est ensuite calculé pour chaque bloc élémentaire de pixels, la somme de la moyenne en luminance Y et la moyenne en phase 1. Le bloc de pixels ayant le maximum de la somme de la moyenne en luminance Y et la moyenne en phase 1 est sélectionnée dans la mesure où il représente la région de l'image ayant le plus d'informations concernant la température. Le maximum en luminance Y et en phase 1

dans l'image correspond à la région de l'image ayant la température la plus élevée associée à la source lumineuse.

Le procédé consiste ensuite à étudier la température pour le bloc de pixels sélectionné. A cet effet, il est déterminé pour le bloc de pixels sélectionné, la distribution des spectres de couleur Mf, par la formule suivante :
Mf=Mrto+Mvov+Mbbo, avec Mir, Mv, Mb correspondant à la matrice de pixels de la partie de l'image de la composante respectivement rouge (R), verte (G) et bleu (B), et ro = 700, vo = 546,1 et bo = 435, 8.

La distribution spectrale Mf obtenue par la formule ci-dessus est décrite en fonction des sept bandes spectrales visibles présentées dans le tableau 1. Afin de faciliter le processus de classification et de quantification des différentes bandes spectrales visibles de la matrice Mf, il est utilisé une version amplifié Af de la matrice Mf par la formule suivante
380 si 380 # Mf(i,j) # 450
450 si 450 < M f (i, 480
480 si 480 < Mf(i,j) # 490 Af (i, j) = 490 si 490 < Mf (i, j) : 9 560
560 si 560 < Mf (i, j) : 9 580
580 si 580 < Mf (i, j) : 9 600
600 si 600 < M f (i, j) 700 avec i, j, les nombres de pixels de la matrice de la partie de l'image.

Le procédé consiste ensuite à appliquer à la matrice amplifiée Af, un processus de quantification et de classification qui est focalisé sur les trois bandes spectrales de référence comme expliqué ci-dessus, à savoir les spectres de couleur rouge (Af (ij) = 600), jaune (Af (i, j)) = 560) et verte (Af (ij) = 490).

Il est à noter que les spectres de couleur violette, cyan et orange sont ignorées, tandis que les spectres de couleur bleue sont remplacés par les spectres de couleur jaune. A partir du bloc de pixels sélectionné, il est calculé l'histogramme du spectre selon les trois bandes spectrales de couleur de référence, à savoir rouge, jaune et verte définies précédemment.

Le procédé consiste ensuite à détecter les deux bandes spectrales dominantes, c'est-à-dire les deux pics les plus importants dans l'histogramme du spectre. La comparaison des valeurs de ces pics ainsi que leur position par rapport à l'axe de température permet de décider si les composantes du spectre du bloc de pixels sélectionné, ont tendance à être plus proche des spectres chauds ou au contraire des spectres plutôt froids, permettant de classer l'image en une image en intérieur ou en une image en extérieur.

Ainsi, selon la température chaude ou froide du spectre, il est possible de classifier une image en une image intérieur ou en une image extérieur.

Les figures 2a à 2i illustrent les différents cas de figures susceptibles d'être rencontrés lors de la détermination des deux spectres dominants de l'histogramme du spectre d'une image.

La figure 2a donne le cas d'un spectre totalement froid, de sorte que l'image est classée en image en intérieur, tandis que la figure 2b correspond à un spectre totalement chaud correspondant à une image classée en extérieur. Il s'agit dans le premier cas d'un spectre composé à 100 % dans la bande spectrale rouge (température froide) et dans le deuxième cas d'un spectre composé à 100 % dans la bande spectrale verte (température chaude).

La figure 2c montre le cas d'un spectre à dominante verte puisque la bande spectrale verte est plus importante que celle de couleur rouge. En conséquence, l'image correspondante est classée en une image en extérieur car la température de la lumière est plutôt chaude.

La figure 2d illustre le cas d'un spectre à dominante rouge puisque la bande spectrale rouge est plus importante que celle de la couleur verte. La lumière correspondante est plutôt froide et l'image associée est classée en une image en intérieur.

Dans le cas de la figure 2e, les deux pics de couleur jaune et rouge se sont placées plutôt du côté de la température chaude dans la mesure où le pic jaune est supérieur au pic rouge. L'image associée est donc classée en une image en extérieur.

Par analogie, dans le cas de la figure 2f, une image donnant un pic de couleur rouge supérieur à celui de la couleur jaune correspond à une image classée en intérieur.

La figure 2g illustre le cas où le pic de couleur verte est plus important que celui de couleur jaune. La lumière associée se situe donc plutôt du côté de la température chaude, de sorte que l'image correspondante est classée en image en extérieur.

De même, la figure 2h illustre le cas où le pic de couleur jaune est plus important que celui de couleur verte. Dans ce cas, l'image est classée en intérieur.

La figure 2i correspond à un spectre composé à 100% dans la bande spectrale jaune. Un tel spectre provient généralement d'une image à contre-jour. Dans ce cas, la détermination de la matrice de la distribution spectrale abouti à une dominance de lumière jaune du bloc qui est identifié comme appartenant à une source lumineuse intense (ciel ou soleil de midi) visible par exemple par une fenêtre. En conséquence, l'intensité du blanc indique si l'image présente un effet de contre-jour ou une image de l'extérieur. Cet effet est identifié par l'analyse de l'histogramme en niveaux de gris de l'image prise dans sa totalité. L'analyse de l'histogramme en niveaux de gris permet en fonction des pixels dans les zones de couleur blanche ou sombre à classifier l'image respectivement en une image en extérieur ou en une image en intérieur.

L'accumulation d'un grand nombre de pixels dans les zones de couleur blanche et intense signale qu'il s'agit d'une image en extérieur. Dans le cas inverse, l'image est classifiée comme une image en intérieur.

L'objet de l'invention concerne ainsi un procédé permettant de classifier une image en couleur en fonction de la température thermodynamique de la source lumineuse existante lors de la prise de vue de l'image. La prise en compte de cette température qui est estimée par l'analyse de la distribution spectrale du rayonnement permet de classifier l'image en fonction du lieu de sa prise de vue à savoir, en intérieur ou en extérieur.

Claims

REVENDICATIONS 1-Procédé de classification d'une image en couleur en vue de déterminer le lieu de la prise de vue de l'image, c'est-à-dire en extérieur ou en intérieur, caractérisé en ce qu'il consiste : . à déterminer des bandes spectrales de couleurs de référence Bi correspondant à des valeurs différentes de la température d'une image, permettant de caractériser une image en extérieur ou une image en intérieur, 'à sélectionner une image en couleur à analyser, * à numériser l'image en couleur sélectionnée de manière à être définie dans un espace déterminé de couleurs (par exemple RGB), 'à déterminer pour au moins les bandes spectrales de couleurs de référence, la distribution des spectres de couleur d'au moins une partie de l'image en couleur numérisée, 'et à analyser les spectres de couleurs de l'image numérisée de manière à déterminer, en fonction de leur répartition selon les bandes spectrales de couleurs de référence, la température de l'image correspondant à une image en intérieur ou à une image en extérieur.
2-Procédé selon la revendication 1, caractérisé en ce qu'il consiste à déterminer en tant que bandes spectrales de couleurs de référence, les bandes spectrales de couleur rouge, jaune et verte ordonnées dans l'ordre croissant de leur température.
3-Procédé selon la revendication 1, caractérisé en ce qu'il consiste, pour sélectionner une partie de l'image en couleur numérisée :

* à transformer l'image en couleur numérisée définie dans un espace déterminé de couleurs (par exemple (RGB)), en une image de l'espace de couleurs YIQ, 'à diviser l'image de l'espace de couleurs YIQ en blocs élémentaires de pixels, 'à calculer pour chaque bloc élémentaire de pixels, la moyenne en luminance Y et la moyenne en phase I, * à sélectionner le bloc de pixels ayant le maximum de la somme de la moyenne en luminance Y et la moyenne en phase I, * et à déterminer la distribution des spectres de couleur pour le bloc de pixels sélectionné correspondant à la partie de l'image en couleur.

<Desc/Clms Page number 10>
4-Procédé selon la revendication 1 ou 3, caractérisé en ce qu'il consiste à déterminer la distribution des spectres de couleur Mf d'une partie de l'image en couleur en utilisant la formule suivante :

Mf=Mfro+Mvvo+Mbbo, avec Mr, Mv, Mb correspondant à la matrice de pixels de la partie de l'image de la composante respectivement rouge (R), verte (G) et bleu (B), et ro = 700, vo = 546,1 etbo=435, 8.
5-Procédé selon la revendication 4, caractérisé en ce qu'il consiste à calculer une version amplifiée Af de la distribution des spectres de couleur Mf, par la formule

suivante : 380 si 380 Mf (i, j) < 450 450 si 450 < Mf (i, j) < 480 480 si 480 < M f (i, i) 490 Af (i, j) = 490 si 490 < M f (i, j) 560

560 si 560 < Mf (ij) 580

580 si 580 < Mf (i, j) < 600

600 si 600 < Mf (i, j) 700 avec i, j, les nombres de pixels de la matrice de la partie de l'image.
6-Procédé selon la revendication 5, caractérisé en ce qu'il consiste à déterminer à partir de la version amplifiée Af, l'histogramme des spectres de couleur de la partie de l'image pour les spectres de couleur rouge (Af (i, j) = 600), jaune (Af (i, j)) = 560) et verte (Af (i, j) = 490).
7-Procédé selon la revendication 6, caractérisé en ce qu'il consiste à déterminer les deux pics des spectres de couleurs en ce qui concerne les bandes de couleur rouge, jaune et verte.
8-Procédé selon les revendications 1 et 7, caractérisé en ce qu'il consiste à analyser les deux pics des spectres de couleurs dans les bandes de couleur rouge, jaune et verte afin de déterminer la température de l'image et, par suite, si elle correspond à une image en intérieur ou une image en extérieur.
9-Procédé selon la revendication 8, caractérisé en ce qu'il consiste, dans le cas de la présence d'un seul pic correspondant à 100% de la bande spectrale rouge ou verte,

<Desc/Clms Page number 11>

à classifier l'image respectivement en une image en intérieur ou en une image en extérieur.
10-Procédé selon la revendication 8, caractérisé en ce qu'il consiste, dans le cas de la présence d'un pic dans la bande de couleur rouge de valeur supérieure ou inférieure au pic dans la bande de couleur verte, à classifier l'image respectivement en une image en intérieur ou en une image en extérieur.
11-Procédé selon la revendication 8, caractérisé en ce qui consiste, dans le cas de la présence d'un pic dans la bande de couleur rouge de valeur supérieure ou inférieure au pic dans la bande de couleur jaune, à classifier l'image en une image respectivement en intérieur ou en une image en extérieur.
12-Procédé selon la revendication 8, caractérisé en ce qu'il consiste dans le cas de la présence d'un pic dans la bande de couleur jaune de valeur supérieure ou inférieure au pic dans la bande de couleur verte, à classifier l'image en une image respectivement en intérieur ou en une image en extérieur.
13-Procédé selon revendication 8, caractérisé en ce qu'il consiste dans le cas de la présence d'un seul pic correspondant à 100 % de la bande spectrale jaune, à transformer l'image en niveaux de gris et à analyser l'histogramme en niveaux de gris de manière à classifier en fonction du nombre de pixels dans les zones de couleur blanche ou sombre, l'image respectivement en une image en extérieur ou en une image en intérieur.