FR3113759A3 - Process for eliminating red eyes in a photographic portrait with flash - Google Patents
Process for eliminating red eyes in a photographic portrait with flash Download PDFInfo
- Publication number
- FR3113759A3 FR3113759A3 FR2008680A FR2008680A FR3113759A3 FR 3113759 A3 FR3113759 A3 FR 3113759A3 FR 2008680 A FR2008680 A FR 2008680A FR 2008680 A FR2008680 A FR 2008680A FR 3113759 A3 FR3113759 A3 FR 3113759A3
- Authority
- FR
- France
- Prior art keywords
- image
- red
- light source
- additional light
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims description 22
- 201000005111 ocular hyperemia Diseases 0.000 claims description 11
- 241000593989 Scardinius erythrophthalmus Species 0.000 claims description 10
- 238000009432 framing Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims 1
- 238000003379 elimination reaction Methods 0.000 claims 1
- 238000005286 illumination Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30216—Redeye defect
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
La présente invention consiste à déterminer l’emplacement des yeux dans une photographie prise avec une source de lumière additionnelle comme un flash, en déterminant les zones dont la couleur rouge augmente le plus lorsque la source de lumière additionnelle est allumée. On prend deux photos à intervalle rapproché, et on diminue dans l’image prise avec lumière additionnelle la luminosité des pixels correspondant à ces zones. A la différence de l’art antérieur, l’opération est faite automatiquement lors de la prise de vue.The present invention consists in determining the location of the eyes in a photograph taken with an additional light source such as a flash, by determining the areas whose red color increases the most when the additional light source is turned on. Two photos are taken at close intervals, and in the image taken with additional light, the brightness of the pixels corresponding to these areas is reduced. Unlike the prior art, the operation is done automatically when shooting.
Description
L’invention est un procédé d’élimination des yeux rouges lors d’un portrait photographique avec flash.The invention is a method of eliminating red eyes during a photographic portrait with flash.
La méthode consistant à prendre deux photographies avec et sans flash, pour en faire la différence afin de “tuer la lumière ambiante”, est connue depuis longtemps. Le livre de Bryan Peterson intitulé « Flash Photography » publié pour la première fois en 1952 et republié en 2011, expose comment « tuer la lumière ambiante » en soustrayant une photographie sans flash d’une photographie avec flash.The method of taking two photographs with and without flash, to make the difference in order to “kill the ambient light”, has been known for a long time. Bryan Peterson's book "Flash Photography" first published in 1952 and republished in 2011, outlines how to "kill ambient light" by subtracting a photograph without flash from a photograph with flash.
Le brevet US20080158258A1 du 27 décembre 2006 (David B. Lazarus [US] et John D. Ogden [US] – General Instrument Corporation) expose une méthode comportant l’acquisition d’une pluralité d'images numériques à au moins deux niveaux d'éclairage différents à partir d'une source de lumière contrôlée, et l'analyse de la pluralité d'images numériques pour obtenir une image représentant la contribution d'éclairage fournie par la source de lumière contrôlée.Patent US20080158258A1 of December 27, 2006 (David B. Lazarus [US] and John D. Ogden [US] – General Instrument Corporation) describes a method comprising the acquisition of a plurality of digital images at at least two levels of different illumination from a controlled light source, and analyzing the plurality of digital images to obtain an image representing the illumination contribution provided by the controlled light source.
Le brevet US7590344B2 du 15 septembre 2009 (Georg Petschnigg [US] – Microsoft) décrit un processus pour améliorer les images prises avec flash, consistant à acquérir une première image capturée avec le flash et la lumière ambiante, puis une deuxième image, correspondant à la première image, capturée avec la lumière ambiante, et à utiliser la première image et la deuxième image pour créer une troisième image avec flash uniquement.Patent US7590344B2 of September 15, 2009 (Georg Petschnigg [US] – Microsoft) describes a process for improving images taken with flash, consisting of acquiring a first image captured with flash and ambient light, then a second image, corresponding to the first image, captured with ambient light, and using the first image and the second image to create a third image with flash only.
Problème techniqueTechnical problem
Lorsqu’on prend une photo de visage en utilisant un flash, la lumière de ce dernier éclaire le fond de l’œil, qui apparait en rouge sur la photographie.When taking a photo of the face using a flash, the light from the latter illuminates the fundus of the eye, which appears in red in the photograph.
Une solution connue consiste à déclencher une lumière intense avant la prise de vue (parfois en plusieurs éclairs) et qui fait se contracter l'iris de l'œil afin de réduire la taille de la pupille. Ainsi, lors de la prise de vue proprement dite, la pupille a une taille suffisante pour empêcher la lumière d'aller éclairer la rétine. Cette solution a deux inconvénients qui sont d’éblouir plus longtemps que nécessaire les sujets photographiés, et surtout de retarder la prise de vue ce qui peut être grave car l’événement que l’on souhaite photographier peut être terminé lorsqu’on prend la photo.A known solution consists in triggering an intense light before shooting (sometimes in several flashes) and which causes the iris of the eye to contract in order to reduce the size of the pupil. Thus, during actual shooting, the pupil is large enough to prevent light from illuminating the retina. This solution has two disadvantages which are to dazzle the subjects photographed longer than necessary, and above all to delay the shooting which can be serious because the event that one wishes to photograph may be over when the photo is taken. .
Une autre solution connue consiste à modifier manuellement après l’acquisition les zones correspondant à des yeux, qui ont été anormalement rougies par le flash.Another known solution consists in manually modifying after the acquisition the zones corresponding to the eyes, which have been abnormally reddened by the flash.
L’objectif de la présente invention est de supprimer automatiquement le défaut des yeux rouges lors d’un portrait photographique réalisé avec un flash.The objective of the present invention is to automatically eliminate the defect of red eyes during a photographic portrait made with a flash.
La présente invention est un procédé d’élimination des yeux rouges d’une image comportant les yeux d’un sujet acquise avec une source lumineuse additionnelle, comportant une étape de modification dans ladite image d’une zone dite yeux rouges ou du reste de l’image, caractérisé en ce qu’il comporte l’acquisition d’une autre image de la même scène avec l’éclairage additionnel diminué ou éteint, et la détermination de ladite zone yeux rouges en recherchant les parties de ladite image avec source additionnelle de lumière qui sont plus rouges que dans ladite autre image.The present invention is a method for eliminating red eyes from an image comprising the eyes of a subject acquired with an additional light source, comprising a step of modifying in said image a so-called red-eye zone or the rest of the image, characterized in that it comprises the acquisition of another image of the same scene with the additional lighting reduced or extinguished, and the determination of the said red-eye zone by searching for the parts of the said image with additional source of light that are redder than in said other image.
Description détaillée de l’inventionDetailed description of the invention
Il est connu de modifier dans une image prise avec flash une zone dite yeux rouges ou le reste de l’image, pour corriger le défaut connu sous l’expression yeux rouges. On recherche manuellement la zone à corriger, et on modifie sa luminosité, sa couleur ou sa saturation.It is known to modify in an image taken with flash a so-called red-eye zone or the rest of the image, to correct the defect known as red-eye expression. We manually search for the area to be corrected, and we modify its luminosity, its color or its saturation.
On corrige alors ces pixels dans l’image prise avec source de lumière additionnelle, par exemple en diminuant leur luminosité ou leur saturation. On peut aussi modifier les pixels du reste de l’image, par exemple en augmentant leur luminosité ou leur saturation. Ces deux méthodes peuvent d’ailleurs être combinées.These pixels are then corrected in the image taken with an additional light source, for example by reducing their brightness or saturation. You can also modify the pixels of the rest of the image, for example by increasing their brightness or saturation. These two methods can also be combined.
Ce qu’apporte la présente invention est la détermination automatique de cette zone dite yeux rouges. La méthode consiste à détecter la différence de luminosité dans une plage de longueur d’ondes connue entre les pixels de l’image acquise avec source de lumière additionnelle et les pixels correspondants d’une image réalisée sans flash ou avec un éclairage moindre de la source de lumière additionnelle. Cela permet de déterminer les pixels de l’image avec source de lumière additionnelle qui sont plus rouges que ceux de l’autre image.What the present invention provides is the automatic determination of this so-called red-eye zone. The method consists in detecting the difference in luminosity in a known wavelength range between the pixels of the image acquired with additional light source and the corresponding pixels of an image produced without flash or with less illumination of the source. additional light. This makes it possible to determine the pixels of the image with additional light source which are redder than those of the other image.
A la différence de la méthode connue consistant à corriger manuellement les zones rouges des yeux des personnes photographiées après avoir fait les prises de vues, l’opération est faite automatiquement lors de la prise de vue, ce qui constitue un avantage particulièrement important.Unlike the known method of manually correcting the red areas of the eyes of the people photographed after taking the shots, the operation is done automatically during the shot, which is a particularly important advantage.
La couleur rouge est avantageusement celle qui est proche de celle qui augmente le plus la luminosité d’un fond d’œil. L’homme de l’art peut facilement la déterminer, par calcul ou bien en comparant l’image faite avec source de lumière additionnelle avec celle faite avec un éclairage moindre.The red color is advantageously the one that is close to that which most increases the luminosity of a fundus. Those skilled in the art can easily determine it, by calculation or by comparing the image made with an additional light source with that made with less lighting.
Une solution particulièrement simple, lorsqu’une photo est prise à l’aide de trois capteurs rouge vert et bleu, consiste à analyser comme couleur rouge celle qui est captée par le capteur rouge. Une telle image comporte trois composantes rouge, verte et bleue, et la luminosité de ladite zone rouge est avantageusement diminuée dans ladite composante rouge.A particularly simple solution, when a photo is taken using three red, green and blue sensors, consists in analyzing as red the color that is captured by the red sensor. Such an image comprises three red, green and blue components, and the luminosity of said red zone is advantageously reduced in said red component.
On pourrait considérer que c’est une variante particulière de la méthode décrite plus haut sous l’expression « tuer la lumière ambiante ». On soustrait la composante rouge d’une photographie sans flash de la même composante d’une photographie avec flash pour obtenir une image correspondant uniquement à la composante rouge de l’éclairage avec flash, laquelle détermine dans le cas présent la zone faisant apparaitre les yeux rouges à corriger.It could be considered a particular variant of the method described above under the expression “killing the ambient light”. The red component of a photograph without flash is subtracted from the same component of a photograph with flash to obtain an image corresponding only to the red component of the lighting with flash, which in this case determines the area showing the eyes red to correct.
On peut évidemment déterminer plusieurs séries de pixels correspondant à des augmentations plus ou moins importantes de luminosité de l’image avec source de lumière additionnelle dans les longueurs d’onde proches du rouge, et corriger la luminosité des pixels considérés en tenant compte de l’augmentation de la luminosité constatée. Avantageusement la diminution de luminosité et/ou de saturation de pixels de l’image prise avec source de lumière additionnelle est d’autant plus importante que ces pixels sont plus rouges dans cette image que dans l’autre image.It is obviously possible to determine several series of pixels corresponding to more or less significant increases in brightness of the image with an additional light source in the wavelengths close to red, and to correct the brightness of the pixels considered by taking into account the observed increase in brightness. Advantageously, the reduction in luminosity and/or saturation of pixels of the image taken with an additional light source is all the more significant as these pixels are redder in this image than in the other image.
Il est avantageux de comparer l’augmentation de luminosité de l’image avec source de lumière additionnelle dans ces longueurs d’onde avec l’augmentation de luminosité de l’image avec source de lumière additionnelle dans d’autres longueur d’onde, pour ne diminuer la luminosité que des pixels dont la luminosité a plus augmenté dans la couleur rouge que dans les autres couleurs.It is advantageous to compare the increase in brightness of the image with additional light source in these wavelengths with the increase in brightness of the image with additional light source in other wavelengths, for decrease the brightness only of the pixels whose brightness has increased more in the color red than in the other colors.
Il est avantageux de prendre les deux images dans un temps très court, par exemple dans un temps de moins d’une demie seconde, pour éviter que le sujet ait trop bougé entre les deux images, ou que la caméra ait trop bougé ou changé de cadrage.It is advantageous to take the two images in a very short time, for example in a time of less than half a second, to prevent the subject from having moved too much between the two images, or the camera from moving too much or changing framing.
L’homme de l’art peut avantageusement modifier le cadrage de l’une des deux images après son acquisition pour que les éléments composant la scène représentée par les deux images soient situés aux mêmes endroits dans chacune des deux images.The person skilled in the art can advantageously modify the framing of one of the two images after its acquisition so that the elements making up the scene represented by the two images are located at the same places in each of the two images.
L’image dite autre image n’est pas nécessairement prise sans flash. Il peut s‘agir d’une image prise lorsque la source de lumière additionnelle n’est pas totalement allumée ou pas totalement éteinte. L’important est de pouvoir déterminer l’effet de la source de lumière additionnelle sur l’augmentation de lumière dans les yeux.The so-called other image is not necessarily taken without flash. This may be an image taken when the additional light source is not fully on or not fully off. The important thing is to be able to determine the effect of the additional light source on the increase in light in the eyes.
La solution la plus avantageuse consiste à acquérir deux images au rythme le plus rapide auquel le moyen d’acquisition permet de prendre deux images l’une après l’autre, et à acquérir une image avec source de lumière additionnelle et l’autre image juste avant ou juste après que cette source de lumière additionnelle soit totalement allumée.The most advantageous solution consists in acquiring two images at the fastest rate at which the acquisition means makes it possible to take two images one after the other, and in acquiring an image with an additional light source and the other image just before or just after this additional light source is fully switched on.
Dans un mode de mise en œuvre perfectionné, l’image dite autre image appartient à une série d’images prises après que la source de lumière additionnelle soit totalement allumée, et elle est sélectionnée comme étant celle qui a à la fois le moins de lumière rouge supplémentaire, et une différence suffisante de lumière rouge pour pouvoir déterminer ladite zone yeux rouges.In an improved mode of implementation, the so-called other image belongs to a series of images taken after the additional light source is completely on, and it is selected as being the one which has both the least light additional red, and a sufficient difference in red light to be able to determine said red-eye zone.
Avec des algorithmes connus de reconnaissance d’image, l’homme de l’art peut utiliser la présente invention pour réaliser des vidéos dans lesquelles les yeux rouges seront corrigés dans toutes les images successives.With known image recognition algorithms, those skilled in the art can use the present invention to produce videos in which red eyes will be corrected in all successive images.
Il est également avantageux de diminuer la force de la source de lumière additionnelle pendant un très court instant, par exemple lors du temps nécessaire à l’acquisition d’une image de la séquence vidéo, pour mettre en œuvre le procédé selon l’invention à une fréquence régulière pendant le tournage d’une vidéo. Cela peut rester pratiquement imperceptible par le spectateur de la vidéo.It is also advantageous to reduce the strength of the additional light source for a very short time, for example during the time required to acquire an image of the video sequence, to implement the method according to the invention at a regular frequency while shooting a video. This can remain virtually imperceptible to the viewer of the video.
Il est avantageux dans ce cas de corriger dans une seconde étape la luminosité des images de la vidéo acquises avec un éclairage moindre, pour que la luminosité des images reste constante malgré les modifications temporaires de l’éclairage.It is advantageous in this case to correct in a second step the brightness of the images of the video acquired with less lighting, so that the brightness of the images remains constant despite the temporary changes in lighting.
L’invention est aussi un dispositif d’acquisition photographique, comme par exemple un smartphone, muni d’un moyen de mise en œuvre du procédé d’élimination des yeux rouges tel que décrit plus haut.The invention is also a photographic acquisition device, such as for example a smartphone, provided with a means of implementing the process for eliminating red eyes as described above.
ApplicationsApps
La présente invention s’applique aux logiciels équipant les appareils photographiques numériques, et aux appareils eux-mêmes.The present invention applies to software equipping digital cameras, and to the devices themselves.
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2008680A FR3113759A3 (en) | 2020-08-25 | 2020-08-25 | Process for eliminating red eyes in a photographic portrait with flash |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2008680A FR3113759A3 (en) | 2020-08-25 | 2020-08-25 | Process for eliminating red eyes in a photographic portrait with flash |
| FR2008680 | 2020-08-25 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3113759A3 true FR3113759A3 (en) | 2022-03-04 |
Family
ID=80448281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2008680A Withdrawn FR3113759A3 (en) | 2020-08-25 | 2020-08-25 | Process for eliminating red eyes in a photographic portrait with flash |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3113759A3 (en) |
-
2020
- 2020-08-25 FR FR2008680A patent/FR3113759A3/en not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI444041B (en) | Image processing apparatus, image processing method, and storage medium thereof | |
| US8780232B2 (en) | System and method for analyzing a digital image | |
| JP5530440B2 (en) | In-camera based method for detecting defects with high accuracy | |
| US8724921B2 (en) | Method of capturing high dynamic range images with objects in the scene | |
| JP7057221B2 (en) | Imaging device, its control method, and control program | |
| JP4041687B2 (en) | Method and apparatus for removing flash artifacts | |
| Zhuo et al. | Enhancing low light images using near infrared flash images | |
| FR2872661A1 (en) | MULTI-RESOLUTION VIEWING METHOD AND DEVICE | |
| EP3973693B1 (en) | Image capture device for multiple captures and surveillance system for an associated driver | |
| EP2133839A1 (en) | Image treatment method to prevent copying | |
| US9105105B2 (en) | Imaging device, imaging system, and imaging method utilizing white balance correction | |
| JP2003219254A (en) | Camera with photographing mode switching function | |
| CN114666511B (en) | Method and device for automatically obtaining optimal exposure value on tunable spectrum camera | |
| WO2016117137A1 (en) | Image-capturing device, image-capturing method, and image display device | |
| EP1351498B1 (en) | Real time processing method of an image signal | |
| FR3113759A3 (en) | Process for eliminating red eyes in a photographic portrait with flash | |
| JP4029206B2 (en) | Imaging device | |
| FR2969353A1 (en) | METHOD FOR PRODUCING A PANORAMIC IMAGE FROM A VIDEO SEQUENCE AND APPARATUS FOR IMPLEMENTING SAID METHOD | |
| FR3113968A3 (en) | Detection of artefacts in a photograph due to an additional light source | |
| FR3113536A3 (en) | Process for eliminating red eyes in a photographic portrait with flash | |
| WO2019166720A1 (en) | Dynamic detection of stray light in a digital image | |
| CA2491660A1 (en) | Method and device for selecting shade of a colour coding ring | |
| FR2887389A1 (en) | APPARATUS AND METHOD FOR DISPLAYING IMAGES | |
| US20100124374A1 (en) | Method of detecting and rectifying red-eyes automatically when taking photos | |
| JP2009200924A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ST | Notification of lapse |
Effective date: 20220405 |