FR3113968A3 - Détection d’artefacts d’une photographie dus à une source lumineuse additionnelle - Google Patents

Abstract

La présente invention consiste principalement à déterminer l’emplacement des yeux dans une photographie prise avec une source de lumière additionnelle comme un flash, en déterminant les zones dont la couleur rouge augmente le plus lorsque la source de lumière additionnelle est allumée. Elle concerne plus généralement la détermination de toute zone comportant des artefacts dus à une source de lumière additionnelle. On prend deux photos à intervalle rapproché, et on diminue dans l’image prise avec lumière additionnelle la luminosité et/ou la saturation des pixels correspondant à ces zones. A la différence de l’art antérieur, l’opération est faite automatiquement lors de la prise de vue, et l’image est acquise dès que l’opérateur l’a lancée et non avec retard comme c’est souvent le cas avec les méthodes de l’art antérieur.. Figure pour l’abrégé : Fig. 3 ]

Description

Détection d’artefacts d’une photographie dus à une source lumineuse additionnelle

L’invention est un procédé de détection d’artefacts d’une photographie dus à un éclairage additionnel. Il permet par exemple l’élimination des yeux rouges lors d’un portrait photographique avec flash.

La méthode consistant à prendre deux photographies avec et sans flash, pour en faire la différence afin de “tuer la lumière ambiante”, est connue depuis longtemps. Le livre de Bryan Peterson intitulé « Flash Photography » publié pour la première fois en 1952 et republié en 2011, expose comment « tuer la lumière ambiante » en soustrayant une photographie sans flash d’une photographie avec flash.

Le brevet US20080158258A1 du 27 décembre 2006 (David B. Lazarus [US] et John D. Ogden [US] – General Instrument Corporation) expose une méthode comportant l’acquisition d’une pluralité d'images numériques à au moins deux niveaux d'éclairage différents à partir d'une source de lumière contrôlée, et l'analyse de la pluralité d'images numériques pour obtenir une image représentant la contribution d'éclairage fournie par la source de lumière contrôlée.

Le brevet US7590344B2 du 15 septembre 2009 (Georg Petschnigg [US] – Microsoft) décrit un processus pour améliorer les images prises avec flash, consistant à acquérir une première image capturée avec le flash et la lumière ambiante, puis une deuxième image, correspondant à la première image, capturée avec la lumière ambiante, et à utiliser la première image et la deuxième image pour créer une troisième image avec flash uniquement.

On connait donc de nombreuses méthodes qui font appel à une comparaison entre des images prises avec et sans flash pour supprimer la lumière ambiante et ne conserver que l’effet du flash. Cette comparaison peut cependant se faire dans le cadre d’autres méthodes, pour d’autres usages.

Problème technique

Lorsqu’on prend une photo de visage en utilisant un flash, la lumière de ce dernier éclaire le fond de l’œil, qui apparait en rouge sur la photographie.

Une solution connue consiste à déclencher une lumière intense avant la prise de vue (parfois en plusieurs éclairs) et qui fait se contracter l'iris de l'œil afin de réduire la taille de la pupille. Ainsi, lors de la prise de vue proprement dite, la pupille a une taille suffisante pour empêcher la lumière d'aller éclairer la rétine. Cette solution a deux inconvénients qui sont d’éblouir plus longtemps que nécessaire les sujets photographiés, et surtout de retarder la prise de vue ce qui peut être grave car l’événement que l’on souhaite photographier peut être terminé lorsqu’on prend la photo.

Une autre solution connue consiste à modifier manuellement après l’acquisition les zones correspondant à des yeux, qui ont été anormalement rougies par le flash.

Le premier objectif de la présente invention est de supprimer automatiquement le défaut des yeux rouges lors d’un portrait photographique réalisé avec un flash.

Plus généralement, elle vise à détecter et corriger d’autres artefacts dus à un éclairage additionnel comme un flash, apparaissant dans une photographie ou une vidéo.

L’invention sera bien comprise, et d’autres buts, avantages et caractéristiques de celle-ci apparaîtront plus clairement à la lecture de la description qui va suivre, laquelle est illustrée par les figures 1 à 8.

est un portrait photographique réalisé avec flash. On voit que les pupilles sont anormalement éclairées par le flash.

est une portrait photographique pris juste après la photo de la figure 1, lorsque le flash commence à s’éteindre. Les pupilles sont moins éclairées par le flash.

est le résultat de la c entre les photos des figures 1 et 2, une soustraction d’une image par l’autre dans la couche rouge de la photographie. Elle permet d’isoler les zones de la photo qui ont rougi sous l’effet du flash.

est le résultat de la diminution de luminosité et de la saturation de couleur de la photographie de la figure 1, dans les zones isolées dans la figure 3.

est une photographie d’un tableau prise avec un flash.

est une photographie du même tableau prise sans flash.

est le résultat de la soustraction de la photographie de la figure 6 de la photographie de la figure 5. Elle fait apparaitre les zones de la photographie qui ont été abusivement éclairée par le flash. Plus ces zones sont blanches plus l’éclairage du flash a été abusif.

est le résultat de la diminution de luminosité de la photographie de la figure 5, dans les zones apparaissant dans la figure 7. La luminosité est d’autant plus diminuée que les zones considérées sont plus éclairées dans la couleur de l’éclairage additionnel, en l’occurrence le blanc, dans l’image de la figure 7.

La présente invention est un procédé de détection d’artefacts d’une image réalisée avec une source lumineuse additionnelle dite image à corriger, caractérisé en ce qu’il comporte l’acquisition d’une seconde image dite autre image de la même scène avec ladite source lumineuse additionnelle diminuée ou éteinte, et la détermination de zones dites zones d’artefacts en recherchant les zones de ladite image à corriger qui sont plus claires ou d’une couleur différente que les mêmes zones dans ladite autre image.

Description détaillée de l’invention

Il est connu de modifier dans une image prise avec flash une zone dite yeux rouges ou le reste de l’image, pour corriger le défaut connu sous l’expression yeux rouges. On recherche manuellement la zone à corriger, et on modifie sa luminosité, sa couleur ou sa saturation.

On corrige alors ces pixels dans l’image prise avec source de lumière additionnelle, par exemple en diminuant leur luminosité ou leur saturation. On peut aussi modifier les pixels du reste de l’image, par exemple en augmentant leur luminosité ou leur saturation. Ces deux méthodes peuvent d’ailleurs être combinées.

Ce qu’apporte la présente invention est la détermination automatique de cette zone dite yeux rouges. La méthode consiste à détecter la différence de luminosité dans une plage de longueur d’ondes prédéterminée entre les pixels de l’image acquise avec source de lumière additionnelle et les pixels correspondants aux mêmes éléments de la scène d’une image réalisée sans flash ou avec un éclairage moindre de la source de lumière additionnelle. Cela permet de déterminer les pixels de l’image avec source de lumière additionnelle qui sont plus rouges que ceux de l’autre image.

A la différence de la méthode de l’art antérieur consistant à corriger manuellement les zones rouges des yeux des personnes photographiées après avoir fait les prises de vues, l’opération est faite automatiquement lors de la prise de vue, ce qui constitue un avantage particulièrement important.

Une autre méthode de l’art antérieur consiste à allumer une source de lumière additionnelle avant de prendre la photo, pour que les pupilles du sujet aient le temps de se fermer. Cette méthode a pour effet que la photographie est prise avec un certain délai, généralement entre une et deux secondes, après que l’opérateur de l’appareil de prises de vues ait déclenché l’acquisition. Dans de nombreux cas, cela conduit à manquer l’événement que l’on souhaite photographier.

La couleur rouge est avantageusement celle qui est proche de celle qui augmente le plus la luminosité d’un fond d’œil. L’homme de l’art peut facilement la déterminer, par calcul ou bien en comparant l’image faite avec source de lumière additionnelle avec celle faite avec un éclairage moindre.

Une solution particulièrement simple, lorsqu’une photo est prise à l’aide de trois capteurs de lumières rouge verte et bleue, consiste à analyser comme couleur rouge celle qui est captée par le capteur de lumière rouge. Une telle image comporte trois composantes rouge, verte et bleue, et la correction est avantageusement faite en diminuant la luminosité des zones à corriger dans ladite composante rouge.

On pourrait considérer que c’est une variante particulière de la méthode décrite plus haut sous l’expression « tuer la lumière ambiante », mais c’est tout l’inverse. On soustrait la composante rouge d’une photographie sans flash de la même composante d’une photographie avec flash pour obtenir une image correspondant uniquement à la composante rouge de l’éclairage avec flash, laquelle détermine dans le cas présent la zone faisant apparaitre les yeux rouges à corriger.

On peut évidemment déterminer plusieurs séries de pixels correspondant à des augmentations plus ou moins importantes de luminosité de l’image avec source de lumière additionnelle dans les longueurs d’onde proches du rouge, et corriger la luminosité des pixels considérés en tenant compte de l’augmentation de la luminosité constatée. Avantageusement la diminution de luminosité et/ou de saturation de pixels de l’image prise avec source de lumière additionnelle est d’autant plus importante que ces pixels sont plus rouges dans cette image que dans l’autre image.

Ce qui vient d’être décrit pour la correction des yeux rouges s’applique en fait à tous les artefacts susceptibles d’être provoqués par un éclairage additionnel. Au lieu de rechercher les zones de l’image à corriger qui sont plus rouges que dans la seconde image, on recherche les zones de ladite image avec source lumineuse additionnelle qui sont plus claires ou d’une couleur différente que dans ladite autre image

Il est avantageux de prendre les deux images dans un temps très court, par exemple dans un temps de moins d’une demie seconde, pour éviter que le sujet ait trop bougé entre les deux images, ou que la caméra ait trop bougé ou changé de cadrage.

L’homme de l’art peut avantageusement modifier le cadrage de l’une des deux images après son acquisition pour que les éléments composant la scène représentée par les deux images soient situés aux mêmes endroits dans chacune des deux images. L’homme de l’art connait de nombreuses méthodes pour réaliser cette opération automatiquement.

L’image dite autre image n’est pas nécessairement prise sans flash. Il peut s‘agir d’une image prise lorsque la source de lumière additionnelle n’est pas totalement allumée ou pas totalement éteinte. L’important est de pouvoir déterminer l’effet de la source de lumière additionnelle sur l’augmentation de lumière dans l’image à corriger.

La solution la plus avantageuse consiste à acquérir deux images au rythme le plus rapide auquel le moyen d’acquisition permet de prendre deux images l’une après l’autre, et à acquérir une image avec source de lumière additionnelle et l’autre image juste avant ou juste après que cette source de lumière additionnelle soit totalement allumée.

Dans un mode de mise en œuvre perfectionné, l’image dite autre image appartient à une série d’images prises après que la source de lumière additionnelle soit totalement allumée, et elle est sélectionnée comme étant celle qui a à la fois le moins de modification de luminosité et/ou de lumière dans les plages de longueur d’onde de la source de lumière additionnelle ou d’une autre plage de longueurs d’onde recherchée, et une différence suffisante de lumière dans ces longueurs d’onde pour pouvoir déterminer les zones à corriger.

Avec des algorithmes connus de reconnaissance d’image, l’homme de l’art peut utiliser la présente invention pour réaliser des vidéos dans lesquelles les artefacts seront corrigés dans toutes les images successives où ils apparaissent.

Il est également avantageux de diminuer la puissance de la source de lumière additionnelle pendant un instant, par exemple lors du temps nécessaire à l’acquisition d’une image d’une séquence vidéo, pour mettre en œuvre le procédé selon l’invention à une fréquence régulière pendant le tournage d’une vidéo. Cela peut rester pratiquement imperceptible par le spectateur de la vidéo.

Il est avantageux dans ce cas de corriger dans une seconde étape la luminosité des images de la vidéo acquises avec un éclairage moindre, pour que la luminosité des images reste constante malgré les modifications temporaires de l’éclairage.

Dans la description qui précède, on a supposé d’une façon générale que la lumière de la source additionnelle était blanche ou d’un blanc d’ordre supérieur, mais l’homme de l’art peut utiliser une source de lumière additionnelle de longueurs d’onde particulières. C’est alors la variation de luminosité dans ces longueurs d’onde particulières qui est recherchée pour déterminer les zones à corriger. Il est possible de déterminer la zone d’artefacts comme étant celle des zones de ladite image à corriger qui sont plus claires dans au moins une des longueurs d’onde de l’éclairage additionnel que dans l’autre image.

Il est avantageux de comparer l’augmentation de luminosité de l’image avec source de lumière additionnelle dans les longueurs d’onde recherchées avec l’augmentation de luminosité de l’image avec source de lumière additionnelle dans d’autres longueur d’onde, pour ne diminuer la luminosité que des pixels dont la luminosité a plus augmenté dans les longueurs d’onde recherchées que dans les autres plages de longueur d’onde.

L’homme de l’art peut facilement déterminer ces plages de longueur d’ondes en comparant l’image faite avec source de lumière additionnelle avec celle faite avec un éclairage moindre.

L’invention est aussi un dispositif d’acquisition photographique, comme par exemple un smartphone, muni d’un moyen de mise en œuvre du procédé de détection d’artefacts décrit plus haut.

Elle est aussi une photographie corrigée par la mise en œuvre d’un procédé de détection d’artefacts décrit plus haut.

Applications

La présente invention s’applique aux logiciels équipant les appareils photographiques numériques, et aux appareils eux-mêmes.

Le procédé objet de la présente invention permet aussi de vérifier que la photographie d’une personne, prise avec une source de lumière additionnelle, comporte bien des zones de ladite image avec source lumineuse additionnelle qui sont plus claires ou d’une couleur différente que dans ladite autre image, et que ces zones correspondent aux pupilles des yeux. Il permet donc de vérifier qu’un être vivant photographié est bien réel et n’a pas été remplacé par la présentation d’une photographie d’un autre être vivant.

Claims (10)

1. Procédé de détection d’artefacts d’une image réalisée avec une source lumineuse additionnelle dite image à corriger, caractérisé en ce qu’il comporte l’acquisition d’une seconde image dite autre image de la même scène avec ladite source lumineuse additionnelle diminuée ou éteinte, et la détermination de zones dites zones d’artefacts en recherchant les zones de ladite image à corriger qui sont plus claires ou d’une couleur différente que les mêmes zones dans ladite autre image.
2. Procédé de détection d’artefacts d’une image à corriger comportant les pupilles des yeux d’un sujet acquise avec une source lumineuse additionnelle, dans laquelle ladite zone d’artefacts est celle représentant lesdites pupilles, caractérisé en ce que la détermination de ladite zone d’artefacts est celle des zones de ladite image avec source additionnelle de lumière qui sont plus rouges que dans ladite autre image.
3. Procédé de détection d’artefacts selon l’une quelconque des revendications 1 ou 2 caractérisé en ce qu’il est suivi de la correction desdits artefacts par une diminution de luminosité et/ou de saturation de pixels de ladite image à corriger d’autant plus importante que ces pixels sont plus lumineux et/ou d’une couleur plus différente dans cette image que dans ladite autre image.
4. Procédé de détection d’artefacts selon l’une quelconque des revendications précédentes caractérisé en ce que ladite autre image est acquise juste avant ou juste l’après que ladite source de lumière additionnelle soit totalement allumée.
5. Procédé de détection d’artefacts selon l’une quelconque des revendications précédentes, caractérisé en ce que la détermination de ladite ou lesdites zones d’artefacts sont celles des zones de ladite image à corriger qui sont plus claires dans au moins une des longueurs d’onde dudit éclairage additionnel que dans ladite autre image.
6. Procédé de détection d’artefacts selon l’une quelconque des revendications précédentes caractérisé en ce l’on modifie le cadrage de l’une des deux images après son acquisition pour que les éléments composant la scène représentée par les deux images soient situés aux mêmes endroits dans chacune des deux images.
7. Procédé de détection d’artefacts selon l’une quelconque des revendications précédentes caractérisé en ce l’on diminue la puissance de la source de lumière additionnelle pendant un instant lors d’une acquisition vidéo.
8. Dispositif d’acquisition photographique muni d’un moyen de mise en œuvre du procédé de détection d’artefacts selon l’une quelconque des revendications précédentes.
9. Photographie corrigée par la mise en œuvre d’un procédé de détection d’artefacts selon l’une quelconque des revendications précédentes.
10. Procédé de correction d’artefacts selon la revendication 3, appliqué à une image comportant trois composantes rouge, verte et bleue, caractérisé en ce qu’il est suivi de la correction desdits artefacts en diminuant la luminosité de ladite zone rouge dans ladite composante rouge de ladite image à corriger.