FR2895823A1 - Human, animal or object surface`s color image correcting method, involves forcing output of neuron of median layer in neural network, during propagation steps of learning phase, to luminance value of output pixel - Google Patents
Human, animal or object surface`s color image correcting method, involves forcing output of neuron of median layer in neural network, during propagation steps of learning phase, to luminance value of output pixel Download PDFInfo
- Publication number
- FR2895823A1 FR2895823A1 FR0650035A FR0650035A FR2895823A1 FR 2895823 A1 FR2895823 A1 FR 2895823A1 FR 0650035 A FR0650035 A FR 0650035A FR 0650035 A FR0650035 A FR 0650035A FR 2895823 A1 FR2895823 A1 FR 2895823A1
- Authority
- FR
- France
- Prior art keywords
- neural network
- color
- res
- output
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
Abstract
Description
Correction d'image couleur et obtention d'au moins un invariant couleur LaColor image correction and obtaining at least one color invariant La
présente invention se situe dans le domaine du traitement d'image. Plus précisément l'invention concerne un procédé de correction d'images couleur pour compenser les changements d'illumination, utilisant un réseau de neurones. The present invention is in the field of image processing. More specifically, the invention relates to a color image correction method for compensating for illumination changes, using a neural network.
L'utilisation de caméras et de systèmes de vision artificielle, dans le domaine du traitement d'image, contraint à travailler sur des images de pixels dont les couleurs ne correspondent pas à celles qu'un être humain percevrait sur les scènes qui correspondent à ces images. En effet, l'apparence des couleurs très diverses présentes dans la nature changent en fonction de l'éclairage. Afin de déterminer de manière plus fiable les couleurs sur la surface des objets, les êtres humains et certains animaux ont développé la faculté de ne pas tenir compte d'une partie de l'illumination des couleurs, ce qui se traduit par une certaine constance des couleurs dans la perception humaine. Les images de pixels obtenues par les systèmes d'acquisition d'images ne rendent pas cette faculté, et ne permettent donc pas de rendre la couleur de la surface d'un objet de manière réaliste et constante. Cet inconvénient est particulièrement gênant pour certaines applications, par exemple pour le contrôle de la qualité de produits à distance. Plusieurs procédés de correction d'images couleur existent afin de tenter de reproduire cette constance des couleurs sur des images obtenues par un système d'acquisition comme par exemple une caméra. Néanmoins ces méthodes sont souvent complexes et ne permettent de coder la chromaticité des couleurs qu'au moyen d'un seul invariant couleur. En effet, il est possible de définir une couleur suivant sa chromaticité, codée généralement par un ou deux invariants couleur, ne dépendant pas de son illumination, et par sa luminance, qui elle, en dépend. L'utilisation de deux invariants couleur au lieu d'un seul invariant couleur pour définir la chromaticité d'une couleur permet une indexation plus précise des couleurs, et donc de mieux les représenter. L'utilisation de plus de deux invariants couleur pour coder cette chromaticité est aussi envisageable, mais ajouterait un bruit potentiellement gênant sur les images corrigées par les procédés de correction d'images qui utiliseraient cette option. Il est à noter que les systèmes classiques de codage de couleur, tels que le codage RougeNert/Bleu RGB d'après l'anglais "Red Green Blue" ou le codage Teinte/SaturationNaleur HSV d'après l'anglais "Hue Saturation Value" par exemple, ne permettent pas de séparer efficacement la chromaticité d'une couleur de sa luminance. Par exemple la teinte, appelée "hue" en anglais, présente une certaine sensibilité aux changements d'illumination. Parmi les procédés de correction d'images actuels, permettant de corriger les images afin de compenser les changements d'illumination, on peut citer le procédé décrit dans l'article IEEE, d'après l'anglais " Institute of Electrical and Electronic Engineer ", de S.M. Courtney, L.H. Finkel et G. Buchsbaum, publié en juillet 1995 et intitulé "A multistage neural network for color constancy and color induction". Ce procédé utilise un réseau de neurones inspiré de la biologie, c'est-à-dire du comportement des neurones du cerveau humain, afin d'obtenir à partir d'une couleur une couleur corrigée invariante à l'illumination. Le réseau de neurones utilisé est donc complexe. De plus il ne permet d'obtenir qu'un seul invariant couleur par couleur. The use of cameras and artificial vision systems, in the field of image processing, makes it necessary to work on images of pixels whose colors do not correspond to those that a human being would perceive on the scenes corresponding to these images. images. Indeed, the appearance of the very diverse colors present in nature change according to the lighting. In order to more reliably determine the colors on the surface of objects, humans and some animals have developed the ability to ignore some of the color illumination, which translates into a certain constancy of colors. colors in human perception. The pixel images obtained by the image acquisition systems do not render this faculty, and therefore do not make it possible to render the color of the surface of an object in a realistic and constant manner. This disadvantage is particularly troublesome for certain applications, for example for the quality control of remote products. Several color image correction methods exist in order to attempt to reproduce this color constancy on images obtained by an acquisition system such as a camera. Nevertheless, these methods are often complex and only allow the chromaticity of the colors to be coded by means of a single color invariant. Indeed, it is possible to define a color according to its chromaticity, coded generally by one or two color invariants, not depending on its illumination, and by its luminance, which depends on it. The use of two color invariants instead of a single color invariant to define the chromaticity of a color allows a more accurate indexing of colors, and therefore to better represent them. The use of more than two color invariants to encode this chromaticity is also conceivable, but would add a potentially annoying noise to the corrected images by the image correction methods that would use this option. It should be noted that conventional color coding systems, such as the RedNert / Blue RGB coding according to the English "Red Green Blue" or the Hue Saturation / Saturation HSV value according to the English "Hue Saturation Value" for example, do not effectively separate the chromaticity of a color from its luminance. For example the hue, called "hue" in English, has a certain sensitivity to changes in illumination. Current image correction methods for correcting images to compensate for illumination changes include the method described in IEEE, "Institute of Electrical and Electronic Engineer". , by SM Courtney, LH Finkel and G. Buchsbaum, published in July 1995 and entitled "A multistage neural network for color constancy and color induction". This process uses a biology-inspired neural network, that is, the behavior of neurons in the human brain, to obtain a corrected color that is invariant to illumination from a color. The neural network used is therefore complex. In addition it allows to obtain only one invariant color by color.
La présente invention a pour but de résoudre les inconvénients de la technique antérieure en fournissant un procédé et un dispositif de correction d'images couleur pour compenser les changements d'illumination et utilisant un réseau de neurones. Ce procédé permet notamment d'obtenir, à partir d'une couleur de l'image à corriger, un ou plusieurs invariants couleur correspondant à cette couleur. De plus ce procédé est rapide, car il permet de corriger chaque pixel indépendamment, alors que d'autres procédés de correction d'images couleur requièrent l'utilisation d'un voisinage plus ou moins grand de chaque pixel ou même l'utilisation de l'image entière à corriger. It is an object of the present invention to overcome the disadvantages of the prior art by providing a method and a color image correction device for compensating for illumination changes and using a neural network. This method makes it possible in particular to obtain, from a color of the image to be corrected, one or more color invariants corresponding to this color. Moreover, this method is fast because it makes it possible to correct each pixel independently, whereas other color image correction methods require the use of a greater or lesser neighborhood of each pixel or even the use of the pixel. entire image to correct.
A cette fin, l'invention propose un procédé de correction d'une image couleur de pixels pour compenser sa sensibilité aux changements d'illuminations, utilisant un réseau de neurones multicouche ayant une entrée et une sortie, soumis préalablement à une phase d'apprentissage comportant des cycles d'étapes de propagation et de rétro-propagation, ledit procédé étant caractérisé en ce que: - ledit réseau de neurones utilisé comporte une couche médiane, - pendant ladite phase d'apprentissage, utilisant des paires de pixels d'apprentissage ayant subi entre eux des changements d'illumination, lorsqu'un pixel d'apprentissage d'une desdites paires est appliqué à ladite entrée du réseau de neurones, le pixel d'apprentissage associé est appliqué à ladite sortie du réseau de neurones, pendant lesdites étapes de propagation de ladite phase d'apprentissage, un neurone de ladite couche médiane a sa sortie forcée à la valeur de la luminance dudit pixel d'apprentissage appliqué à la sortie du réseau de neurones, - et après la phase d'apprentissage, ledit neurone a sa sortie forcée à une valeur de luminance prédéterminée, tandis que les pixels de l'image couleur à corriger sont appliqués successivement à ladite entrée du réseau de neurones afin d'obtenir en sortie les pixels d'une image couleur corrigée. Grâce à l'invention, on obtient des images pour lesquelles les changements d'éclairage sont compensés de manière à rendre ces images plus proches de notre perception visuelle, par une mise en oeuvre simple, efficace et rapide. To this end, the invention proposes a method of correcting a color image of pixels to compensate for its sensitivity to changes in illumination, using a multilayer neural network having an input and an output, submitted before a learning phase. comprising cycles of propagation and back propagation steps, said method being characterized in that: said used neural network comprises a middle layer, during said learning phase, using pairs of training pixels having undergone changes in illumination between them, when a learning pixel of one of said pairs is applied to said input of the neural network, the associated learning pixel is applied to said output of the neural network, during said steps for propagating said learning phase, a neuron of said middle layer has its forced output at the value of the luminance of said learning pixel app liquefied at the output of the neural network, and after the learning phase, said neuron has its forced output at a predetermined luminance value, while the pixels of the color image to be corrected are successively applied to said input of the network neurons to output the pixels of a corrected color image. Thanks to the invention, we obtain images for which the lighting changes are compensated so as to make these images closer to our visual perception, by a simple, efficient and fast implementation.
L'invention concerne également un procédé d'obtention, pour une couleur donnée, d'au moins un invariant couleur, utilisant un réseau de neurones multicouche ayant une entrée et une sortie, ledit réseau de neurones étant soumis préalablement à une phase d'apprentissage comportant des cycles d'étapes de propagation et de rétro-propagation, ledit procédé étant caractérisé en ce que: - ledit réseau de neurones utilisé comporte une couche médiane, - pendant ladite phase d'apprentissage, utilisant des paires de couleurs d'apprentissage ayant subi entre elles des changements d'illumination, lorsqu'une couleur d'apprentissage d'une desdites paires est appliquée à ladite entrée du réseau de neurones, la couleur d'apprentissage associée est appliquée à ladite sortie du réseau de neurones, - pendant lesdites étapes de propagation de ladite phase d'apprentissage, un neurone de ladite couche médiane a sa sortie forcée à la valeur de la luminance de ladite couleur d'apprentissage appliquée à la sortie du réseau de neurones, - et après la phase d'apprentissage, ladite couleur donnée est appliquée à ladite entrée du réseau de neurones et ledit au moins un invariant couleur est obtenu par au moins une valeur de sortie parmi les autres neurones de ladite couche médiane. Ce procédé d'obtention d'invariants couleur a l'avantage d'une mise en oeuvre simple, rapide, et de permettre d'obtenir plus d'un invariant couleur par couleur. Selon une caractéristique préférée du procédé d'obtention d'au moins un invariant couleur selon l'invention, pour une couleur donnée appliquée en entrée du réseau de neurones, deux invariants couleur sont obtenus, la couche médiane du réseau de neurones comportant trois neurones. Comme indiqué précédemment, l'obtention de deux invariants couleur pour caractériser la chromaticité d'une couleur est intéressante pour obtenir ensuite une bonne représentation des couleurs. Selon une caractéristique préférée de ces procédés selon l'invention, le réseau de neurones utilisé comporte cinq couches de neurones. The invention also relates to a method for obtaining, for a given color, at least one color invariant, using a multilayer neural network having an input and an output, said neural network being subjected beforehand to a learning phase. comprising cycles of propagation and back propagation steps, said method being characterized in that: said used neural network comprises a middle layer, during said learning phase, using pairs of training colors having undergone illumination changes between them, when a learning color of one of said pairs is applied to said input of the neural network, the associated learning color is applied to said output of the neural network, - during said propagation steps of said learning phase, a neuron of said middle layer has its forced output at the value of the luminance of said color of a the training applied to the output of the neural network, and after the learning phase, said given color is applied to said input of the neural network and said at least one color invariant is obtained by at least one output value from among the others neurons of said middle layer. This method of obtaining color invariants has the advantage of a simple, fast implementation, and to obtain more than one color invariant per color. According to a preferred characteristic of the method for obtaining at least one color invariant according to the invention, for a given color applied at the input of the neuron network, two color invariants are obtained, the middle layer of the neuron network comprising three neurons. As indicated above, obtaining two color invariants to characterize the chromaticity of a color is interesting to then obtain a good representation of the colors. According to a preferred feature of these methods according to the invention, the neural network used comprises five layers of neurons.
La limitation du nombre de couches du réseau de neurones à cinq, qui est un nombre minimal étant donnée la structure particulière du réseau de neurones selon l'invention, permet de diminuer les risques de "surapprentissage", ou "apprentissage par coeur", du réseau de neurones. The limitation of the number of layers of the neural network to five, which is a minimal number given the particular structure of the neural network according to the invention, makes it possible to reduce the risks of "over-learning", or "learning by heart", of the neural network.
Selon une autre caractéristique préférée de ces procédés selon l'invention, les deuxième et quatrième couches du réseau de neurones utilisé comportent chacune huit neurones. La valeur huit pour le choix du nombre de neurones des couches intermédiaires du réseau de neurones semble être une valeur optimale qui permet une faible sensibilité au bruit, c'est-à-dire limite encore les risques de "surapprentissage", et donne de bonnes performances du réseau dans la mise en oeuvre des procédés selon l'invention. L'invention concerne de plus un dispositif de correction d'une image couleur mettant en oeuvre le procédé de correction d'une image couleur selon 15 l'invention. L'invention concerne aussi un dispositif d'obtention d'au moins un invariant couleur mettant en oeuvre le procédé d'obtention d'au moins un invariant couleur selon l'invention. L'invention concerne encore un programme d'ordinateur comportant 20 des instructions pour mettre en oeuvre les procédés selon l'invention précédemment présentés. Les dispositifs de correction d'une image couleur et d'obtention d'au moins un invariant couleur, ainsi que le programme d'ordinateur, présentent des avantages analogues à ceux des procédés selon l'invention. 25 D'autres caractéristiques et avantages apparaîtront à la lecture d'un mode de réalisation préféré décrit en référence aux figures dans lesquelles : - la figure 1 représente un réseau de neurones utilisé par les procédés selon l'invention, 30 - la figure 2 représente différentes phases aux- r s est soumis ce réseau de neurones, - la figure 3 représente des équipements permettant de mettre en oeuvre les procédés selon l'invention, - la figure 4 représente les différentes étapes d'une phase d'apprentissage à laquelle on soumet le réseau de neurones utilisé par les procédés selon l'invention. According to another preferred characteristic of these methods according to the invention, the second and fourth layers of the neuron network used each comprise eight neurons. The value eight for the choice of the number of neurons of the intermediate layers of the neural network seems to be an optimal value which allows a low sensitivity to noise, that is to say, further limits the risks of "over-learning", and gives good network performance in the implementation of the methods according to the invention. The invention further relates to a color image correction device embodying the method of correcting a color image according to the invention. The invention also relates to a device for obtaining at least one color invariant implementing the method for obtaining at least one color invariant according to the invention. The invention also relates to a computer program comprising instructions for implementing the methods according to the invention presented above. The devices for correcting a color image and obtaining at least one color invariant, as well as the computer program, have advantages similar to those of the methods according to the invention. Other features and advantages will appear on reading a preferred embodiment described with reference to the figures in which: FIG. 1 represents a neural network used by the methods according to the invention, FIG. various phases are subjected to this network of neurons; FIG. 3 represents equipment for implementing the methods according to the invention; FIG. 4 represents the various steps of a learning phase to which one submits the neural network used by the methods according to the invention.
Selon un mode de réalisation préféré de l'invention, les procédés de correction d'images couleur et d'obtention d'invariants couleur utilisent un réseau de neurones RES représenté à la figure 1. Ce réseau neuronal est par exemple un perceptron multicouche aussi appelé MLP, d'après l'anglais "Multi Layer Perceptron", comportant dans ce mode de réalisation cinq couches de neurones, dont une première couche d'entrée, une dernière couche de sortie, et trois couches cachées. Il est possible d'utiliser plus de couches cachées, si leur nombre reste impair, mais un nombre important de couches cachées rend le modèle de correction de couleur implémenté par le réseau de neurones trop complexe: le réseau de neurones risque dans ce cas d'apprendre du bruit, problème qualifié de "surapprentissage". Les deuxième et quatrième couches de neurones comportent un nombre de neurones arbitraires, typiquement entre trois et dix neurones, huit neurones, biais exclus, semblant être un nombre optimal pour la mise en oeuvre des procédés selon l'invention. La couche médiane du réseau de neurones comporte, biais exclus, autant de neurones que d'invariants couleur que l'on souhaite obtenir à partir d'une couleur donnée, plus un neurone. Dans ce mode de réalisation, on obtient deux invariants couleur pour une couleur donnée, et la couche médiane est la troisième couche. Celle-ci comporte donc trois neurones. De plus, dans ce mode de réalisation, on travaille sur des images de pixels. Les couleurs sont donc codées suivant le système de codage couleur RGB. C'est pourquoi la première couche comporte trois neurones, biais exclus, dont les valeurs d'entrée Rx, Gx et Bx permettent de recevoir le codage d'un pixel selon le système de codage couleur RGB. La dernière couche comporte également trois neurones, biais exclus, dont les valeurs de sortie Ry, Gy et By permettent de recevoir le codage d'un pixel selon le système RGB. En variante, on travaille sur des images dont les couleurs sont codées suivant d'autres systèmes de codage couleur, par exemple HSV, ou les systèmes de chrominance de la Commission Internationale de l'Eclairage (CIE) La*b* et Lu*v*, ou encore les systèmes utilisés dans les standards télévision tels que YUV, YIQ, et YCbCr. Le nombre de neurones dans les couches d'entrée et de sortie est alors égal au nombre de dimensions utilisées par le système de codage couleur choisi. According to a preferred embodiment of the invention, the methods for correcting color images and obtaining color invariants use an array of RES neurons shown in FIG. 1. This neural network is for example a multilayer perceptron also called MLP, according to the English "Multi Layer Perceptron", comprising in this embodiment five layers of neurons, including a first input layer, a final output layer, and three hidden layers. It is possible to use more hidden layers, if their number remains odd, but a large number of hidden layers makes the model of color correction implemented by the neural network too complex: the neural network risk in this case of learn noise, a problem called "over-learning". The second and fourth layers of neurons comprise a number of arbitrary neurons, typically between three and ten neurons, eight neurons, bias excluded, appearing to be an optimal number for the implementation of the methods according to the invention. The median layer of the neural network includes, excluding bias, as many neurons as color invariants that it is desired to obtain from a given color, plus a neuron. In this embodiment, two color invariants are obtained for a given color, and the middle layer is the third layer. This one therefore comprises three neurons. In addition, in this embodiment, we work on images of pixels. The colors are coded according to the RGB color coding system. That is why the first layer has three neurons, bias excluded, whose input values Rx, Gx and Bx can receive the coding of a pixel according to the RGB color coding system. The last layer also has three neurons, bias excluded, whose output values Ry, Gy and By allow to receive the coding of a pixel according to the RGB system. Alternatively, we work on images whose colors are encoded according to other color coding systems, for example HSV, or chrominance systems of the International Commission on Illumination (CIE) * b * and Lu * v *, or the systems used in television standards such as YUV, YIQ, and YCbCr. The number of neurons in the input and output layers is then equal to the number of dimensions used by the chosen color coding system.
En variante, il est également possible de travailler sur des images dont les couleurs sont codées suivant une combinaison de différents systèmes de codage couleur. Par exemple on peut combiner les systèmes HSV et RGB pour obtenir une représentation de couleur hybride "HSVRGB". Il est à noter qu'une telle représentation de la couleur présente des redondances. Le nombre de neurones dans les couches d'entrée et de sortie est alors égal au nombre de dimensions utilisées par le système de codage couleur choisi. Dans ce perceptron multicouche, les neurones ont une fonction d'activation sigmoïde, les liens entre les neurones sont associés à des poids et le réseau comporte également des termes de biais et de moments, un taux d'apprentissage, et un gain associé à la fonction sigmoïde. Les notions de biais, moment, taux d'apprentissage et gain sont connues de l'homme du métier, qui travaille sur les réseaux de neurones. Les valeurs des biais des neurones du MLP sont fixées à la valeur 1, valeur généralement utilisée par l'homme de métier. Le gain a aussi la valeur 1. Les valeurs des moments sont par exemple fixées à une constante 0.01 choisie expérimentalement. Cette constante a une valeur faible pour obtenir un apprentissage progressif. Le taux d'apprentissage est également fixé expérimentalement à la valeur 0.001. Les valeurs initiales des poids sont choisies aléatoirement entre zéro et un, mais différentes de zéro.30 Le réseau de neurones RES est soumis, préalablement à son utilisation par les procédés selon l'invention pendant la phase d'utilisation p2 représentée à la figure 2, à une phase d'apprentissage 01. Alternatively, it is also possible to work on images whose colors are encoded according to a combination of different color coding systems. For example, HSV and RGB systems can be combined to produce a hybrid HSVRGB color representation. It should be noted that such a representation of color has redundancies. The number of neurons in the input and output layers is then equal to the number of dimensions used by the chosen color coding system. In this multilayer perceptron, the neurons have a sigmoid activation function, the links between the neurons are associated with weights and the network also includes terms of bias and moments, a learning rate, and a gain associated with the sigmoid function. The notions of bias, moment, learning rate and gain are known to those skilled in the art who work on neural networks. The values of the neurons of the MLP are set at the value 1, a value generally used by those skilled in the art. The gain also has the value 1. The values of the moments are for example fixed at a constant 0.01 chosen experimentally. This constant has a low value for progressive learning. The learning rate is also set experimentally at the value 0.001. The initial values of the weights are randomly chosen between zero and one, but different from zero. The neural network RES is subjected, prior to its use by the methods according to the invention during the use phase p2 represented in FIG. , at a learning phase 01.
Le réseau de neurones RES est typiquement implémenté de manière logicielle dans un ordinateur ORD, représenté à la figure 3. L'ordinateur ORD implémente la phase d'apprentissage 01 dans un module d'apprentissage MAP, et la phase d'utilisation 02 dans un module de correction MCO. Chacun de ces modules MAP et MCO implémente le réseau de neurones RES. The neural network RES is typically implemented in a software manner in an ORD computer, shown in FIG. 3. The ORD computer implements the learning phase 01 in a learning module MAP, and the use phase 02 in a MCO correction module. Each of these MAP and MCO modules implements the RES neural network.
La phase d'apprentissage 01 nécessite préalablement la constitution d'une base de paires d'images BDD, prises avec différentes caméras CAM, reliées par exemple tour à tour à l'ordinateur ORD. Un module d'acquisition MAC dans l'ordinateur permet d'acquérir ces images et de les enregistrer dans la base d'images BDD. Chaque paire d'images correspond à des images de scènes identiques prises avant et après un changement d'éclairage. Différents éclairages sont utilisés pour constituer cette base d'images BDD, par exemple des éclairages fluorescents, des éclairages intérieurs variés et l'illumination extérieure naturelle. Cette base d'images sert, pendant la phase d'apprentissage 01 du réseau de neurones RES, à entraîner celui-ci à obtenir les invariants couleur de couleurs soumises à des changements d'éclairage. Les poids P; du réseau de neurones, après cette phase d'apprentissage, ont convergé vers des minima locaux. Le réseau de neurones RES est alors prêt à être utilisé pendant la phase d'utilisation 02 pour corriger rapidement une image de manière à rendre ses couleurs moins sensibles à l'illumination. La phase d'apprentissage p1 du réseau de neurones RES est détaillée à la figure 4. The learning phase 01 requires the prior establishment of a database of BDD image pairs, taken with different CAM cameras, for example connected in turn to the computer ORD. A MAC acquisition module in the computer makes it possible to acquire these images and to record them in the BDD image database. Each pair of images corresponds to images of identical scenes taken before and after a change of lighting. Different lighting is used to create this base of BDD images, for example fluorescent lighting, various interior lighting and natural outdoor illumination. This image database serves, during the learning phase 01 of the neural network RES, to cause it to obtain the color-color invariants subjected to illumination changes. P weights; of the neural network, after this learning phase, converged to local minima. The RES neural network is then ready to be used during the use phase 02 to quickly correct an image so as to make its colors less sensitive to illumination. The learning phase p1 of the neural network RES is detailed in FIG.
Dans une première étape el, on sélectionne un sous-ensemble de pixels d'apprentissage dans la base d'images BDD afin de servir à la phase d'apprentissage. Pour cela on choisit aléatoirement par paire d'images de la base d'images BDD par exemple un nombre constant de pixels dans une des images de cette paire d'images. A chaque pixel tiré ainsi aléatoirement correspond, aux mêmes coordonnées que ce pixel, un pixel de l'autre image dans la paire d'image, on obtient donc une sélection de couples de pixels d'apprentissage. Chaque couple de pixels correspond à une même couleur avant et après changement d'illumination. In a first step el, a subset of learning pixels is selected in the database BDD to serve the learning phase. For this purpose, a random number of pixels of the image database BDD is selected for example from a constant number of pixels in one of the images of this pair of images. To each pixel thus randomly matched, to the same coordinates as this pixel, a pixel of the other image in the image pair, a selection of pairs of learning pixels is thus obtained. Each pair of pixels corresponds to the same color before and after change of illumination.
Dans une seconde étape e2, on sélectionne aléatoirement parmi le sous-ensemble sélectionné à l'étape el, un couple de pixels d'une paire d'images C; représentée à la figure 3. La couleur du premier pixel est alors appliquée à l'entrée du réseau de neurones RES. Dans ce mode de réalisation du procédé selon l'invention, sa couleur est codée par les valeurs RX, GX et BX, représentées à la figure 1. La couleur du second pixel est appliquée à la sortie du réseau de neurones RES. Sa couleur est donc codée par les valeurs Ry, Gy et By. In a second step e2, a pair of pixels of a pair of images C is selected randomly from among the subset selected in step e; represented in FIG. 3. The color of the first pixel is then applied to the input of the neural network RES. In this embodiment of the method according to the invention, its color is coded by the values RX, GX and BX, shown in FIG. 1. The color of the second pixel is applied to the output of the neural network RES. Its color is coded by the Ry, Gy and By values.
Dans une troisième étape e3, on effectue une propagation du réseau de neurones RES, mettant à jour les poids P; par descente de gradient. Cette étape de propagation diffère néanmoins par rapport à une étape de propagation classique par le fait que l'un des neurones de la couche médiane a une sortie forcée à une valeur donnée. En effet pendant cette étape e3, la valeur de sortie du neurone N1 de la couche médiane du réseau de neurones RES, est forcée à une valeur de luminance L égale à la luminance du deuxième pixel, selon l'équation: In a third step e3, propagation of the neural network RES is carried out, updating the weights P; by gradient descent. This propagation step nevertheless differs from a conventional propagation step in that one of the neurons of the middle layer has a forced output at a given value. Indeed, during this step e3, the output value of the neuron N1 of the median layer of the neural network RES is forced to a luminance value L equal to the luminance of the second pixel, according to the equation:
R +G. +B, L= 3R + G. + B, L = 3
Dans une quatrième étape e4, on effectue une rétro-propagation du réseau de neurones RES, la seule différence par rapport à une rétro-propagation classique de perceptron multicouche étant que l'on ne rétro- propage pas l'erreur sur la sortie du neurone N1 Les étapes e2 à e4 sont ensuite répétées cycliquement jusqu'à ce que les poids P; du réseau de neurones RES aient convergé vers des minima locaux. A la fin de chaque cycle ou époque d'apprentissage, les nouveaux poids sont validés sur un ensemble de paires de pixels de test. Ces paires de pixels de test sont choisis aléatoirement dans la base de données BDD de la même manière que les paires de pixels d'apprentissage, mais de manière à ce que le sous-ensemble de pixels de test soit distinct du sous-ensemble de pixels d'apprentissage. Par exemple les pixels de test et les pixels d'apprentissage sont tirés aléatoirement sur des paires d'images différentes. In a fourth step e4, the neural network RES is backpropagated, the only difference compared to a conventional multilayer perceptron backscatter being that the error is not retro-propagated to the output of the neuron. N1 Steps e2 to e4 are then repeated cyclically until the weights P; of the RES neural network converged to local minima. At the end of each cycle or learning episode, the new weights are validated on a set of test pixel pairs. These pairs of test pixels are randomly selected in the BDD database in the same manner as the learning pixel pairs, but so that the subset of test pixels is distinct from the subset of pixels. learning. For example, the test pixels and the learning pixels are randomly drawn on different image pairs.
Ce mécanisme d'utilisation combinée durant un apprentissage de données d'apprentissage et de données de test, les données étant ici des pixels, est connu de l'homme de métier. Cette validation des poids P; par des pixels de test permet de vérifier que le réseau de neurones n'a pas effectué de "surapprentissage". This combined use mechanism during learning of training data and test data, the data here being pixels, is known to those skilled in the art. This validation of the P weights; by test pixels makes it possible to verify that the neural network has not performed "over-learning".
A la fin de cette phase d'apprentissage 01, les valeurs de sortie À et p des deux autres neurones de la couche médiane, représentées à la figure 1, définissent la chromaticité de la couleur d'un premier pixel appliqué à l'entrée du réseau RES, et d'un second pixel appliqué à la sortie du réseau RES. En effet, le réseau a été entraîné pendant cette phase d'apprentissage, à reconstruire au mieux la couleur Ry Gy By du pixel de sortie à partir de sa luminance L et de valeurs de sortie intermédiaires a et p. La luminance L étant directement fonction de l'illumination, les valeurs de sortie À et p sont donc liées à la partie invariante à l'illumination de la couleur du pixel de sortie. At the end of this learning phase 01, the output values λ and ρ of the two other neurons of the middle layer, shown in FIG. 1, define the chromaticity of the color of a first pixel applied to the input of the RES network, and a second pixel applied to the output of the network RES. Indeed, the network was trained during this learning phase, to reconstruct at best the Ry Gy By color of the output pixel from its luminance L and intermediate output values a and p. Since the luminance L is directly a function of the illumination, the output values λ and ρ are therefore related to the invariant part of the illumination of the color of the output pixel.
Pendant la phase d'utilisation 02, le réseau de neurones RES avec les poids P; appris est utilisé sur une image IM, représentée à la figure 3, pixel par pixel. Pour cela, chaque pixel de l'image IM est appliqué à l'entrée du réseau de neurones RES et propagé pour obtenir les invariants couleur de ce pixel, donnés par les valeurs de sortie À et p des deux neurones autres que Ni de la couche médiane du réseau RES. On obtient ainsi une image d'invariants couleur correspondant à l'image 1M. During the use phase 02, the neural network RES with the weights P; learned is used on an IM image, shown in Figure 3, pixel by pixel. For this, each pixel of the IM image is applied to the input of the RES neural network and propagated to obtain the color invariants of this pixel, given by the output values λ and ρ of the two neurons other than Ni of the layer median of the RES network. An image of color invariants corresponding to the 1M image is thus obtained.
Si au lieu d'obtenir une image d'invariants couleur, on veut corriger l'image IM pour obtenir une image couleur corrigée IMc, on applique également successivement chaque pixel de l'image 1M à l'entrée du réseau de neurones RES, et on propage chaque pixel dans le réseau, tandis que l'on force la sortie du neurone N1 à une valeur de luminance L prédéterminée. Cette luminance L est arbitraire, elle est par exemple choisie de telle manière que l'image corrigée soit illuminée par une lumière uniforme et blanche. Dans ce cas la valeur de la luminance L est la même pour tous les pixels de l'image IM. Les pixels obtenus successivement en sortie permettent de reconstituer, pixel par pixel, l'image corrigée IMc, correspondant à l'image IM dans laquelle les couleurs ont été rendues plus proches de notre perception visuelle. En variante, la valeur de la luminance L appliquée en sortie du neurone NI pour chaque pixel de l'image IM est choisie proportionnelle à la valeur de luminance de ce pixel. Dans ce cas la valeur de la luminance L est différente suivant les pixels de l'image IM. Les pixels obtenus successivement en sortie permettent de reconstituer, pixel par pixel, une image corrigée IMc ayant un éclairage par exemple moins important par rapport à l'image d'origine IM.20 If instead of obtaining an image of color invariants, it is desired to correct the IM image to obtain a corrected color image IMc, each pixel of the image 1M is also successively applied to the input of the neural network RES, and each pixel is propagated in the network, while the output of the neuron N1 is forced to a predetermined luminance value L. This luminance L is arbitrary, it is for example chosen such that the corrected image is illuminated by a uniform white light. In this case the value of the luminance L is the same for all the pixels of the IM image. The pixels obtained successively at the output make it possible to reconstruct, pixel by pixel, the corrected image IMc, corresponding to the IM image in which the colors have been made closer to our visual perception. As a variant, the value of the luminance L applied at the output of the neuron NI for each pixel of the image IM is chosen proportional to the luminance value of this pixel. In this case the value of the luminance L is different according to the pixels of the image IM. The pixels obtained successively at the output make it possible to reconstruct, pixel by pixel, a corrected image IMc having a lighting for example less important compared to the original image IM.20
Claims (8)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0650035A FR2895823A1 (en) | 2006-01-05 | 2006-01-05 | Human, animal or object surface`s color image correcting method, involves forcing output of neuron of median layer in neural network, during propagation steps of learning phase, to luminance value of output pixel |
| PCT/FR2006/051412 WO2007077380A2 (en) | 2006-01-05 | 2006-12-21 | Colour image correction and obtaining of at least one colour invariant |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0650035A FR2895823A1 (en) | 2006-01-05 | 2006-01-05 | Human, animal or object surface`s color image correcting method, involves forcing output of neuron of median layer in neural network, during propagation steps of learning phase, to luminance value of output pixel |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR2895823A1 true FR2895823A1 (en) | 2007-07-06 |
Family
ID=37314069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR0650035A Withdrawn FR2895823A1 (en) | 2006-01-05 | 2006-01-05 | Human, animal or object surface`s color image correcting method, involves forcing output of neuron of median layer in neural network, during propagation steps of learning phase, to luminance value of output pixel |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR2895823A1 (en) |
| WO (1) | WO2007077380A2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787559A (en) * | 2016-02-29 | 2016-07-20 | 嘉兴学院 | Colored spun yarn color matching method based on neural network |
| GB2560218A (en) * | 2017-03-02 | 2018-09-05 | Adobe Systems Inc | Editing digital images utilizing a neural network with an in-network rendering layer |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107464244A (en) * | 2017-03-09 | 2017-12-12 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | A kind of image irradiation method of estimation based on neutral net |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5386496A (en) * | 1991-02-15 | 1995-01-31 | Toyo Ink Mfg. Co., Ltd. | Method and device for nonlinear transformation of colour information by neural network |
| US5771311A (en) * | 1995-05-17 | 1998-06-23 | Toyo Ink Manufacturing Co., Ltd. | Method and apparatus for correction of color shifts due to illuminant changes |
| US5929906A (en) * | 1995-12-07 | 1999-07-27 | Shiro Usui | Color correcting method and apparatus |
-
2006
- 2006-01-05 FR FR0650035A patent/FR2895823A1/en not_active Withdrawn
- 2006-12-21 WO PCT/FR2006/051412 patent/WO2007077380A2/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5386496A (en) * | 1991-02-15 | 1995-01-31 | Toyo Ink Mfg. Co., Ltd. | Method and device for nonlinear transformation of colour information by neural network |
| US5771311A (en) * | 1995-05-17 | 1998-06-23 | Toyo Ink Manufacturing Co., Ltd. | Method and apparatus for correction of color shifts due to illuminant changes |
| US5929906A (en) * | 1995-12-07 | 1999-07-27 | Shiro Usui | Color correcting method and apparatus |
Non-Patent Citations (2)
| Title |
|---|
| COURTNEY S M ET AL: "A MULTISTAGE NEURAL NETWORK FOR COLOR CONSTANCY AND COLOR INDUCTION", IEEE TRANSACTIONS ON NEURAL NETWORKS, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 6, no. 4, 1 July 1995 (1995-07-01), pages 972 - 985, XP000527411, ISSN: 1045-9227 * |
| COURTNEY S M ET AL: "Biologically-based neural network model of color constancy and color contrast", PROCEEDINGS OF THE INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS. (IJCNN). BALTIMORE, JUNE 7 - 11, 1992, NEW YORK, IEEE, US, vol. VOL. 3, 7 June 1992 (1992-06-07), pages 55 - 60, XP010060056, ISBN: 0-7803-0559-0 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787559A (en) * | 2016-02-29 | 2016-07-20 | 嘉兴学院 | Colored spun yarn color matching method based on neural network |
| CN105787559B (en) * | 2016-02-29 | 2017-12-26 | 嘉兴学院 | Colour-spun yarns color matching method based on neutral net |
| GB2560218A (en) * | 2017-03-02 | 2018-09-05 | Adobe Systems Inc | Editing digital images utilizing a neural network with an in-network rendering layer |
| US10430978B2 (en) | 2017-03-02 | 2019-10-01 | Adobe Inc. | Editing digital images utilizing a neural network with an in-network rendering layer |
| GB2560218B (en) * | 2017-03-02 | 2020-01-01 | Adobe Inc | Editing digital images utilizing a neural network with an in-network rendering layer |
| AU2017248506B2 (en) * | 2017-03-02 | 2021-07-29 | Adobe Inc. | Implementation of an advanced image formation process as a network layer and its applications |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2007077380A3 (en) | 2007-08-23 |
| WO2007077380A2 (en) | 2007-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10498941B2 (en) | Sensor-synchronized spectrally-structured-light imaging | |
| Monno et al. | A practical one-shot multispectral imaging system using a single image sensor | |
| CA2864763C (en) | Method and device for measuring the colour of an object | |
| Henz et al. | Deep joint design of color filter arrays and demosaicing | |
| EP3387824B1 (en) | System and method for acquiring visible and near infrared images by means of a single matrix sensor | |
| US11776129B2 (en) | Semantic refinement of image regions | |
| CN112465727A (en) | Low-illumination image enhancement method without normal illumination reference based on HSV color space and Retinex theory | |
| JP2008501256A (en) | Reproducing different types of light from objects using digital imaging devices | |
| US20190373232A1 (en) | Systems, methods and computer programs for colorimetric mapping | |
| Sadeghipoor et al. | Optimum spectral sensitivity functions for single sensor color imaging | |
| WO2016202926A1 (en) | Method and device for producing a digital image | |
| FR2895823A1 (en) | Human, animal or object surface`s color image correcting method, involves forcing output of neuron of median layer in neural network, during propagation steps of learning phase, to luminance value of output pixel | |
| EP3682201A1 (en) | Device for capturing a hyperspectral image | |
| WO2006005831A1 (en) | Multispectral scanner with enlarged range, in particular a single-pass flat scanner | |
| Fairchild et al. | Spectral and metameric color imaging | |
| CN105321153B (en) | Video monitoring low-light (level) image color restoring method and device | |
| US20220247889A1 (en) | Raw to rgb image transformation | |
| Risson | Application de la morphologie mathématique à l'analyse des conditions d'éclairage des images couleur | |
| EP0809408A1 (en) | Special effects camera | |
| EP2062196A1 (en) | Method of framing an object in an image and corresponding device | |
| FR3054707A3 (en) | METHOD FOR ACQUIRING COLOR IMAGES UNDER INCOMING AMBIENT LIGHTING | |
| FR2826151A1 (en) | COLOR FINGERPRINT RECOGNITION METHOD AND COMPUTER SYSTEM FOR CARRYING OUT SAID METHOD | |
| Shrestha et al. | Computational color constancy using chromagenic filters in color filter arrays | |
| FR3104291A1 (en) | Method and system for configuring an imaging device of a motor vehicle comprising N sensors and N dedicated encoder neural networks | |
| Maali Amiri | Novel Approaches to the Spectral and Colorimetric Color Reproduction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ST | Notification of lapse |
Effective date: 20070930 |