CN110555810B - 红眼校正技术 - Google Patents

红眼校正技术 Download PDF

Info

Publication number
CN110555810B
CN110555810B CN201910467504.7A CN201910467504A CN110555810B CN 110555810 B CN110555810 B CN 110555810B CN 201910467504 A CN201910467504 A CN 201910467504A CN 110555810 B CN110555810 B CN 110555810B
Authority
CN
China
Prior art keywords
image
eye
region
red
pseudo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910467504.7A
Other languages
English (en)
Other versions
CN110555810A (zh
Inventor
A·加泰
D·海沃德
E·皮尤泽-帕尼弗
M·齐默
白英俊
范志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN110555810A publication Critical patent/CN110555810A/zh
Application granted granted Critical
Publication of CN110555810B publication Critical patent/CN110555810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20156—Automatic seed setting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30216—Redeye defect

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及红眼校正技术。本发明公开了用于校正被摄对象的目标图像中的红眼伪影的系统和方法。使用由相机捕获的包括原始图像的图像来生成所述目标图像。调制所述目标图像的眼睛区域以校正所述红眼伪影，其中基于从所述原始图像和所述目标图像中的至少一者提取的信息来执行校正。调制包括：检测与所述眼睛区域相关联的界标；估计所述红眼伪影的光谱响应；基于所估计的所述红眼伪影的光谱响应和所检测到的界标来分割所述眼睛的图像区域，形成修复掩模；以及修改与所述修复掩模相关联的图像区域。

Description

红眼校正技术
相关申请的交叉引用
本专利申请要求于2018年6月1日提交的美国临时专利申请No.62/679,399的权益，其公开内容据此以引用方式并入本文。
背景技术
红眼伪影在消费者摄影中普遍存在，这主要是由于数字相机的小型化。在配备有相机的移动设备中，闪光灯和镜头高度靠近，通常使得闪光从被摄对象的瞳孔直接反射到相机镜头。由于这种反射光，相机捕获的瞳孔看起来很不自然，根据捕获条件和被摄对象的内在特征呈现出各种颜色(从黑色到较亮的红色色调)。
校正红眼伪影通常涉及到首先检测(分割)包含伪影的眼睛区域，然后校正对应像素的颜色。通常通过使用色彩空间诸如YCbCr或RGB基于颜色来聚类图像像素以及/或者通过使用例如环形过滤器来识别图像图案(例如，瞳孔尺寸和形状)，来分割因红眼伪影而失真的图像区域。一旦识别出受红眼伪影影响的图像区域，通常通过降低其强度(变暗)来校正受影响的像素。许多校正红眼伪影的技术基于已处理的图像进行操作，其中红眼伪影的原始外观由于处理而未保留。
附图说明
图1为示出包括相机、光源和定位在距相机不同距离处的两个被摄对象的配置的图。
图2为示出不同的红眼伪影的图。
图3为示出根据本公开的方面的用于红眼伪影校正的相机系统的框图。
图4为示出根据本公开的方面的示例性图像处理算法的图。
图5为示出根据本公开的方面的用于红眼伪影校正的技术的功能框图。
图6为示出根据本公开的方面的用于红眼伪影校正的技术的中间处理结果的图。
具体实施方式
本文的方面公开了用于校正被摄对象的目标图像中的红眼伪影的系统和方法。在一方面，可接收由相机捕获的包括原始图像的一个或多个图像。可通过处理所捕获的图像生成目标图像。然后，可调制目标图像的眼睛区域以校正红眼伪影，其中可基于从原始图像和目标图像中的至少一者提取的信息来执行校正。在一方面，调制可包括检测与眼睛区域相关联的界标；估计红眼伪影的光谱响应；基于所估计的红眼伪影的光谱响应和所检测到的界标来分割眼睛的图像区域，形成修复掩模；以及修改与修复掩模相关联的图像区域。在另一方面，调制可包括检测与眼睛区域相关联的界标；估计闪烁的光谱响应；基于所估计的闪烁的光谱响应和所检测到的界标来分割眼睛的图像区域，形成闪烁掩模；以及在与闪烁掩模相关联的区域中呈现一个或多个闪烁。通过利用原始图像(或伪原始图像)和经处理图像两者，可提高检测受影响区域、呈现被摄对象眼睛的自然外观和恢复闪烁的准确性。
红眼伪影由从被摄对象眼睛的瞳孔区域反射的光引起。通常，当在黑暗环境中开启相机闪光灯拍摄被摄对象时，红眼伪影会加剧。来自相机闪光灯的光到达被摄对象的瞳孔，并且从瞳孔反射回相机镜头。这些反射被相机的传感器捕获并产生不期望的图像伪影。然而，尽管名为红眼伪影，但其颜色并不总是红色的。从被摄对象的瞳孔反射并被相机的传感器捕获的光的颜色可基于捕获条件而变化。如图1所示，捕获条件可包括：相机与被摄对象之间的距离、眼睛表面与光轴之间的角度以及光源(闪光)的强度。例如，在相机和被摄对象之间的短距离处，红眼伪影可使眼睛反射显现为琥珀色或红色。而在相机和被摄对象之间的长距离处，眼睛反射可显现为偏白色。因此，红眼伪影可在颜色光谱内显现，尤其取决于捕获条件。
图2示出了红眼伪影的外观。一般来讲，红眼伪影可呈现出一系列颜色，从纯白色到黄色、琥珀色、亮红色、褐红色到棕色。如上所述，可影响红眼伪影的颜色和图案的因素可取决于场景条件。例如，如果环境光线非常亮，诸如白天在户外，瞳孔在捕获期间将完全收缩，所得到的图像可能保持其正常颜色。然而，一些因素可与被摄对象自身相关，即人类遗传学、身体状况、是否佩戴眼镜或不透明、彩色接触镜片。
相机系统也可为红眼伪影外观中的重要因素。相机的曝光时间、光圈和光学像差可为影响红眼外观的一些因素。例如，闪光灯越接近相机的光轴，光线就会越直接地从眼睛反射到相机镜头，红眼伪影可能就会“越白”。同样，处理操作诸如色调曲线、数字增益、白平衡、去噪、锐化、直方图均衡化或对准可引起红眼伪影外观(颜色和强度)的进一步变化。
本文所公开的方面利用原始图像(或伪原始图像)以及经处理图像(目标图像)来校正红眼伪影并恢复闪烁。图3示出了根据本公开的方面的相机系统300。相机系统310可捕获被摄对象305的图像数据。相机系统310可具有一个或多个图像传感器例如320.1和320.2、图像配准单元330、图像处理器340和眼睛图像调制器370。传感器320.1和320.2可捕获被摄对象305的图像325。然后，相机系统310可采用图像配准330来对准捕获图像。然后可将对准图像335馈送到可产生目标图像360的图像处理器340中。图像处理器340还可采用与用于目标图像360的处理操作不同的处理操作来产生伪原始图像355。眼睛图像调制器370可对红眼伪影执行校正并且可恢复眼睛闪烁，接收原始图像350(和/或伪原始图像355)和目标图像360作为输入。
在一方面，可捕获一个图像325，从该图像可导出原始图像350和目标图像360。例如，由单个图像传感器320.1捕获的单个图像可由图像处理器340(绕过图像配准单元330)处理，以形成伪原始图像355和目标图像360两者。然后可使用伪原始图像355及其目标图像对应物两者来执行眼睛图像调制370。另选地，除了伪原始图像355之外或代替该伪原始图像，可使用原始图像350连同其目标图像对应物来执行眼睛图像调制370。
在另一方面，可在时间上彼此接近地捕获两个图像325，从这两个图像可导出伪原始图像355和目标图像360。例如，图像传感器320.1可相继捕获两个图像。然后，这两个图像可由图像配准单元330对准。然后可由继而可生成目标图像360和伪原始图像355的图像处理器340来处理这两个图像。然后可使用伪原始图像355及其目标图像对应物两者来执行眼睛图像调制370。另选地，除了伪原始图像355之外或代替该伪原始图像，可使用原始图像350连同其目标图像对应物来执行眼睛图像调制370。在一方面，两个捕获图像325的捕获设置可彼此不同。例如，可针对一个图像(例如，可从其生成目标图像)启用相机闪光灯，并且可针对其他图像(例如，可从其生成原始350或伪原始355图像)禁用相机闪光灯。同样，曝光设置可因图像而异。
在另一方面，图像325可由不同的图像传感器捕获。例如，第一图像传感器320.1可用于捕获可从其导出原始350或伪原始图像355的一个或多个图像，并且第二图像传感器320.2可用于捕获可从其导出目标图像360的一个或多个图像。然后可使用伪原始图像355及其目标图像对应物360两者来执行眼睛图像调制370。另选地，除了伪原始图像355之外或代替该伪原始图像，可使用原始图像350连同其目标图像对应物360来执行眼睛图像调制370。通常，两个图像传感器320.1和320.2可以以彼此之间的预定空间关系来定位。在操作期间，两个图像传感器320.1和320.2可同时或在时间接近度内捕获图像信息。这两个传感器的捕获设置可彼此不同(诸如曝光设置)。
在图像325由不同的传感器捕获、在不同的时间捕获或在这两者均发生的情况下，图像可由于相机系统310的振动或由于被摄对象305的移动而在空间上不对准。为了补偿这种不对准，图像325可通过图像配准单元330在空间上彼此对准，从而产生对准图像335。图像配准单元还可解决由相机镜头(未示出)造成的失真。此外，图像配准单元还可通过匹配从不同传感器320捕获的图像上对应内容的颜色(例如，采用颜色匹配算法)，解决不同传感器之间的颜色分布差异。捕获图像325的对准可改善本文所公开的进一步处理340、370。然而，如果仅使用和处理340一个图像325，则可不采用图像配准330。
图像处理器340可执行图像增强的各种操作。如图4所示，输入图像410(例如，任何对准图像335或者如可不执行对准则任何捕获图像325)可根据算法中的任何一个或组合来处理，这些算法诸如：黑电平调整、降噪、白平衡、RGB-YCC转换(或颜色模式之间的任何转换)、γ校正、RGB混合(或任何颜色模式混合)、滤色器阵列(CFA)内插(或颜色重建)、边缘增强、对比增强或假色度抑制。在一方面，可采用这些算法中的任一种或者可校正任何不期望的失真或以其他方式准备图像410以供进一步处理的其他技术。这些算法中的任一种可连续地或并行地执行。
在一方面，图像处理器可基于对一个或多个对准图像335的处理或者基于对一个或多个捕获图像325的处理(在绕过对准的情况下)来生成两个图像，即伪原始图像355和目标图像360。可使用不同的算法来生成两个图像355和360。另选地或组合地，可使用相同的算法，但设置不同。通常，将根据可增强视觉质量的算法的任何组合的任何设置来处理目标图像360，即将被校正并最终呈现给用户的图像。然而，伪原始图像355可以以不同方式被处理，使得对于红眼伪影的表征可能重要的信息不会受到损害，如下文详细说明的。
在一方面，伪原始图像355可有利于针对目标图像360的校正操作。因此，在一方面，应避免可能导致信息丢失的任何处理。可从其导出伪原始图像355的图像325或335以受限方式被处理340。例如，具有红眼伪影的区域趋于接近饱和；在这种情况下，可导致完全饱和的处理可能导致信息大量丢失。受红眼伪影影响的图像区域：红色时，可能在红色通道中接近饱和(像素RGB值为R～255，G<255，B<255)；白色时，可能在所有通道中接近饱和(像素RGB值为R～255，G～255，B～255)。在处理340时，略微修改超过[0,255]范围的这些像素可能使得它们被修剪到值255，因此，那些像素可能携带的信息可能不可恢复(丢失)。
在一方面，对可从其导出伪原始图像355的图像325或335的处理可基于捕获条件而变化。此类变化可取决于传感器的物理特性、快门、模拟增益或场景的配置和照明。此外，图像处理器340用于生成伪原始图像355的算法可与受限参数设置一起使用。例如，可应用最小降噪来防止来自瞳孔的红色像素与瞳孔图像区域外部的类似红色像素混合。可以以非常规方式应用白平衡增益—根据WB＝(WB_R,WB_G,WB_B)/MIN(WB_R,WB_G,WB_B)常规规格化的每个通道的增益可根据WB＝(WB_R,WB_G,WB_B)/MAX(WB_R,WB_G,WB_B)规格化，使得所有像素值可以保持在[0,255]范围内并且可以不被修剪。可使用平方根倒数来应用γ校正，以防止明亮像素被修剪。可不应用局部色调映射。并且，可禁用平场或指定，以进一步最小化增益。
图5为示出了用于校正红眼伪影和恢复闪烁的方法的功能框图500；方法500可由图3所示的眼睛图像调制器370使用。图6示出了校正红眼伪影和恢复闪烁的示例性中间处理结果。方法500可使用原始图像350和/或伪原始图像355和目标图像360来执行下述处理。如所讨论的，方法500可仅使用原始图像350或仅使用伪原始图像355。另选地，方法500在必要时可利用伪原始图像355及其相应原始图像350两者。
在步骤510中，方法500可基于环境特征估计红眼光谱响应和闪烁光谱响应。例如，可基于被摄对象与相机之间的距离或图像捕获时的光线变化以及/或者基于与捕获条件和被摄对象内在特征相关的任何其他因素来估计红眼光谱响应。
除了估计光谱响应之外，在步骤520中，方法500的方面可在原始350(和/或355)和目标360图像中的两者或任一者中搜索可用于识别(检测)代表眼睛的图像区域的界标。所识别的界标可为不变的面部特征结构，诸如与嘴唇、鼻部和眼睛相关的几何特征。例如，代表眼睛的特征可包括末端点以及巩膜、虹膜和瞳孔的形状和图案。先前用于引导对准330的面部界标可至少用作起始点来引导对眼睛相关界标的检测和提取。
可在步骤530中进一步分析和分割眼睛区域，例如以检测与在步骤510中获得的估计光谱响应匹配的子区域。因此，可基于光谱响应提取两个片段，一个片段可对应于红眼伪影(红眼片段)，另一个片段可对应于闪烁(闪烁片段)。在一方面，红眼片段和/或闪烁片段可通过区域生长算法来确定，从相应片段中的中心位置(种子)开始并向外生长该种子，只要生长区域内的像素类似于相应的光谱响应(或在距相应光谱响应的预定距离内)。在一方面，用于区域生长算法的种子可为对应于虹膜的片段(虹膜片段)的加权质心，因为虹膜通常与瞳孔同心。虹膜片段可基于整个面部的分割来导出。例如，可通过在各种类别(例如，鼻部、巩膜、虹膜和面部的其余部分)上训练的监督分类器(例如，神经网络)来生成面部图像的低分辨率版本的分割。可使用任何其他聚类或分类方法来基于其相应的光谱响应或其他判别特征来将图像像素聚类或分类为属于红眼片段或闪烁片段。
然后可在步骤540中描绘红眼片段，并且可通过修复掩模650来表示红眼片段，如图6所示。类似地，可在步骤550中描绘闪烁片段，并且可通过修复掩模670来表示闪烁片段，如图6所示。注意，红眼片段和闪烁片段可彼此重叠。因此，如所述，可在校正红眼伪影的操作之后进行恢复闪烁的操作。
可使用原始350、伪原始355和目标360图像的任何组合来采用分割步骤530以及形成修复掩模540和闪烁掩模550的步骤。然而，使用伪原始图像(或原始图像)可能是有利的，因为当尝试使用目标图像进行检测时，红眼和闪烁检测可能会受损。这是因为对目标图像采用的无约束图像处理操作340可导致图像细节丢失或内容变化，使得红眼伪影和闪烁的图案更加难以检测。
本文所公开的方面可提供红眼调制370，其中在步骤560中，可以在可由修复掩模540描绘的目标图像的区域中校正红眼伪影。此外，在一方面，可在步骤570中将闪烁恢复到可由闪烁掩模540描绘的区域中的目标图像。在修复和闪烁掩模相对于原始图像350(或伪原始图像355)形成的情况下，这些掩模可首先从该图像空间350映射至目标图像360的图像空间。然而，如果两个图像350和360已对准330，则可能不需要该步骤。
可使用合成纹理来采用红眼伪影调制560。可基于纹理来合成受红眼伪影影响的瞳孔图像区域。纹理可基于从被摄对象的未受影响的眼睛图像区域导出的统计数据。另选地，可通过具有与参考颜色匹配的均值的低通滤波器对预先计算的噪声纹理进行滤波。参考颜色可为预先确定的瞳孔颜色(例如，基于未受影响的眼睛区域的颜色来估计或者基于没有红眼伪影的相同被摄对象的其他图像来估计)。图6的660中示出了根据本文所公开的方面通过调制370进行红眼伪影校正。
类似地，在步骤570中，可通过呈现人工闪烁来执行合成闪烁。在一方面，可通过创建可在相应的闪烁片段内居中的径向盘(例如，类高斯)来恢复闪烁，如图6的680中所示。搜索和识别闪烁图案530并非在所有情况下都成功，因为红眼伪影的光谱响应可接近闪烁的光谱响应(例如，当两者都接近白色时)。在这种情况下，可以通过可不依赖于原始图像350(或伪原始图像355)内容或目标图像360内容的替代技术来呈现类似于闪烁的效果。例如，可执行估计以识别与从相机延伸至被摄对象的光轴重合的眼睛区域。然后可将闪烁效果叠加在该区域上，以模拟目标图像内容中的闪烁。例如，类高斯盘可叠加在该区域。
在一方面，验证步骤可并入方法500中。当可能存在会影响非瞳孔内容的风险从而损害图像质量时，验证步骤可以旨在改变或中止校正红眼伪影的过程。因此，方法500可结合检查以确定是否可能存在此类风险，如果存在，则可改变或中止该方法的操作。例如，可基于修复掩模的形状中止红眼校正—如果修复掩模具有凹形或不规则形状，则可中止红眼校正，否则可采取形成该掩模的替代方法(例如，导出红眼片段的替代方法)。也可基于从中导出修复掩模的光谱响应的特性而中止红眼校正。例如，可分析光谱响应的直方图以确认图像数据(从眼睛区域提取)在瞳孔内表现出强峰响应，并且在非瞳孔结构(例如虹膜或巩膜)内表现出平坦响应。如果在瞳孔内未表现出强峰响应，并且在非瞳孔结构内未表现出平坦响应，则可中止方法500。同样，如果发现原始图像350和/或伪原始图像355不具有足够的质量(太模糊或失真)，则可中止方法500。例如，方法500可包括可指示图像质量(例如，运动模糊估计)的过程，该图像可用于验证过程。
在一方面，其他措施可并入方法500中，以帮助估计成功完成红眼伪影校正和闪烁恢复的可能性(或可能降低图像质量的不成功校正和恢复的风险)。例如，方法500可使用预期瞳孔尺寸和闪烁尺寸来例如评估分割530的有效性。可通过加权因子来估计预期瞳孔尺寸，这些加权因子诸如：瞳孔间距(从眼睛界标的中心导出)、眼睛界标的边框、眼睛中心和鼻尖形成的三角形以及3D头部姿势估计。
在一方面，可首先基于几何信息来作出中止决定。例如，可比较左眼和右眼的修复掩模的几何形状。如果在形状和形式上没有足够的类似，则可作出中止决定，因为预计修复掩模在旋转和平移上类似。在一方面，方法500也可使用面部取向和/或眼睛取向进行验证。可基于所检测的界标520来估计这些取向。
在一方面，方法500包括预测闪烁的位置以及是否存在多于一个闪烁。可基于针对靠近相机的被摄对象(大的被摄对象)的闪烁掩模的加权质心来导出闪烁位置。对于距离较远的被摄对象(小的被摄对象)，未恰当对准的闪烁可能看起来不自然，因此闪烁取自眼睛界标区域的中心。对于可在琥珀色和纯白色之间的红眼伪影(见图2)，可校正整个瞳孔区域，因此恢复可应用于瞳孔校正区域上的单个闪烁可能就足够了。对于可在亮红色和褐红色之间的红眼伪影(见图2)，原始闪烁可存在于目标图像中并且可保持原样。
前述讨论已在相机系统部件的情境下描述了本公开的各方面的操作。这些部件常常作为电子设备来提供。相机系统部件可嵌入到集成电路，诸如专用集成电路、现场可编程门阵列和/或数字信号处理器中。另选地，它们可嵌入到在相机嵌入式设备、个人计算机、笔记本电脑、平板电脑、智能电话或计算机服务器上执行的计算机程序中。此类计算机程序通常存储在物理存储介质诸如基于电子、基于磁性的存储设备和/或基于光学的存储设备中，在这些介质中，它们被读取到处理器中并被执行。并且，当然，这些部件可被提供作为根据需要在专用硬件部件和经编程的通用处理器上具有分配功能的混合系统。
本文具体示出和/或描述了本发明的若干实施方案。然而，应当理解，在不脱离本发明的实质和预期范围的情况下，本发明的修改和变型由上述教导内容涵盖并且在所附权利要求的范围内。

Claims (26)

1.一种用于校正被摄对象的目标图像中的红眼伪影的方法，包括：
接收由相机捕获的包括原始图像的一个或多个图像；
通过使用受限参数设置以受限方式处理所捕获的一个或多个图像，以生成伪原始图像，其中所述受限参数设置基于所述相机的捕获条件、所述相机的物理特性或它们的组合；
以与用于生成伪原始图像的方式不同的方式处理所捕获的一个或多个图像，以生成所述目标图像；以及
基于从所述伪原始图像提取的信息或基于从所述伪原始图像和所述目标图像两者提取的信息，调制所述目标图像的眼睛区域以校正所述红眼伪影，
其中，调制包括从所述伪原始图像提取与所述红眼伪影的表征相关的信息，并且基于与所述红眼伪影的表征相关的信息调制所述目标图像的眼睛区域以校正所述红眼伪影。
2.根据权利要求1所述的方法，其中所述调制包括：
检测与所述眼睛区域相关联的界标；
估计所述红眼伪影的光谱响应；
通过基于所估计的所述红眼伪影的光谱响应和所检测到的界标来分割所述眼睛的图像区域，形成修复掩模；以及
修改与所述修复掩模相关联的图像区域。
3.根据权利要求2所述的方法，其中通过采用区域生长操作来修整所述修复掩模，包括使用与鼻部片段、巩膜片段、虹膜片段、瞳孔片段和面部片段的一个或多个质心相关联的种子。
4.根据权利要求2所述的方法，其中所述修改图像区域包括：
向所述图像区域应用纹理。
5.根据权利要求4所述的方法，其中所述纹理具有与参考颜色匹配的均值。
6.根据权利要求1所述的方法，其中所述调制包括：
检测与所述眼睛区域相关联的界标；
估计闪烁的光谱响应；
基于所估计的所述闪烁的光谱响应和所检测到的界标来分割所述眼睛的图像区域，形成闪烁掩模；以及
在与所述闪烁掩模相关联的区域中呈现一个或多个闪烁。
7.根据权利要求1所述的方法，还包括：
识别与从所述相机延伸至所述被摄对象的光轴重合的所述眼睛的图像区域；以及
通过将径向盘叠加在与所识别的图像区域相关联的区域处来恢复闪烁。
8.根据权利要求1所述的方法，其中所述处理基于以下各项中的一者或多者：
黑电平调整、降噪、白平衡、颜色模式转换、γ校正、混合、滤色器阵列内插、边缘增强、对比增强或假色度抑制。
9.根据权利要求1所述的方法，其中所接收的图像由所述相机的多个传感器捕获。
10.根据权利要求1所述的方法，其中所接收的图像在不同的时间被捕获。
11.根据权利要求1所述的方法，其中所接收的图像基于不同的捕获设置被捕获。
12.根据权利要求1所述的方法，还包括：
通过采用空间对准或颜色匹配中的一者或多者来配准所接收的图像。
13.根据权利要求1所述的方法，其中所述受限参数设置基于所述相机的一个或多个物理特性，包括与传感器、快门或模拟增益相关联的特性。
14.根据权利要求1所述的方法，还包括：
确定所述红眼伪影的校正降低所述目标图像质量的风险；以及
如果所述风险高于阈值，则中止或改变所述红眼伪影的校正。
15.一种计算机系统，包括：
至少一个处理器；
至少一个存储器，所述至少一个存储器包括被配置为由所述至少一个处理器执行以执行一种方法的指令，所述方法包括：
接收由相机捕获的包括原始图像的一个或多个图像；
通过使用受限参数设置以受限方式处理所捕获的一个或多个图像以生成伪原始图像，其中所述受限参数设置基于所述相机的捕获条件、所述相机的物理特性或它们的组合；
以与用于生成伪原始图像的方式不同的方式处理所捕获的一个或多个图像，以生成目标图像；以及
基于从所述伪原始图像提取的信息或基于从所述伪原始图像和所述目标图像两者提取的信息，调制所述目标图像的眼睛区域以校正红眼伪影，
其中，调制包括从所述伪原始图像提取与所述红眼伪影的表征相关的信息，并且基于与所述红眼伪影的表征相关的信息调制所述目标图像的眼睛区域以校正所述红眼伪影。
16.根据权利要求15所述的系统，其中所述调制包括：
检测与所述眼睛区域相关联的界标；
估计所述红眼伪影的光谱响应；
基于所估计的所述红眼伪影的光谱响应和所检测到的界标来分割所述眼睛的图像区域，形成修复掩模；以及
修改与所述修复掩模相关联的图像区域。
17.根据权利要求16所述的系统，其中通过采用区域生长操作来修整所述修复掩模，包括使用与鼻部片段、巩膜片段、虹膜片段、瞳孔片段和面部片段的一个或多个质心相关联的种子。
18.根据权利要求16所述的系统，其中所述修改图像区域包括：
向所述图像区域应用纹理，包括使用与参考颜色匹配的纹理均值。
19.根据权利要求15所述的系统，其中所述调制包括：
检测与所述眼睛区域相关联的界标；
估计闪烁的光谱响应；
基于所估计的所述闪烁的光谱响应和所检测到的界标来分割所述眼睛的图像区域，形成闪烁掩模；以及
在与所述闪烁掩模相关联的区域中呈现一个或多个闪烁。
20.根据权利要求15所述的系统，其中所述受限参数设置基于所述相机的物理特性中的一者或多者，包括与传感器、快门或模拟增益相关联的特性。
21.一种非暂态计算机可读介质，包括可由至少一个处理器执行以执行一种方法的指令，所述方法包括：
接收由相机捕获的包括原始图像的一个或多个图像；
通过使用受限参数设置以受限方式处理所捕获的一个或多个图像以生成伪原始图像，其中所述受限参数设置基于所述相机的捕获条件、所述相机的物理特性或它们的组合；
以与用于生成伪原始图像的方式不同的方式处理所捕获的一个或多个图像，以生成目标图像；以及
基于从所述伪原始图像提取的信息或基于从所述伪原始图像和所述目标图像两者提取的信息，调制所述目标图像的眼睛区域以校正红眼伪影，
其中，调制包括从所述伪原始图像提取与所述红眼伪影的表征相关的信息，并且基于与所述红眼伪影的表征相关的信息调制所述目标图像的眼睛区域以校正所述红眼伪影。
22.根据权利要求21所述的介质，其中所述调制包括：
检测与所述眼睛区域相关联的界标；
估计所述红眼伪影的光谱响应；
基于所估计的所述红眼伪影的光谱响应和所检测到的界标来分割所述眼睛的图像区域，形成修复掩模；以及
修改与所述修复掩模相关联的图像区域。
23.根据权利要求22所述的介质，其中通过采用区域生长操作来修整所述修复掩模，包括使用与鼻部片段、巩膜片段、虹膜片段、瞳孔片段和面部片段的一个或多个质心相关联的种子。
24.根据权利要求22所述的介质，其中所述修改图像区域包括：
向所述图像区域应用纹理，包括使用与参考颜色匹配的纹理均值。
25.根据权利要求21所述的介质，其中所述调制包括：
检测与所述眼睛区域相关联的界标；
估计闪烁的光谱响应；
基于所估计的所述闪烁的光谱响应和所检测到的界标来分割所述眼睛的图像区域，形成闪烁掩模；以及
在与所述闪烁掩模相关联的区域中呈现一个或多个闪烁。
26.根据权利要求21所述的介质，其中所述受限参数设置基于所述相机的物理特性中的一者或多者，包括与传感器、快门或模拟增益相关联的特性。
CN201910467504.7A 2018-06-01 2019-05-31 红眼校正技术 Active CN110555810B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862679399P 2018-06-01 2018-06-01
US62/679,399 2018-06-01

Publications (2)

Publication Number Publication Date
CN110555810A CN110555810A (zh) 2019-12-10
CN110555810B true CN110555810B (zh) 2024-05-14

Family

ID=68576478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910467504.7A Active CN110555810B (zh) 2018-06-01 2019-05-31 红眼校正技术

Country Status (3)

Country Link
US (1) US20190370942A1 (zh)
CN (1) CN110555810B (zh)
DE (1) DE102019114666A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738934B (zh) * 2020-05-15 2024-04-02 西安工程大学 基于mtcnn的红眼自动修复方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005196385A (ja) * 2004-01-06 2005-07-21 Toshiba Corp 画像処理装置、画像処理方法およびデジタルカメラ
CN101213828A (zh) * 2005-04-28 2008-07-02 惠普开发有限公司 将虹膜颜色结合到红眼修正中的方法和设备
CN106471521A (zh) * 2014-06-25 2017-03-01 柯达阿拉里斯股份有限公司 自适应眼睛伪影识别及校正系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738015B2 (en) * 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US6980691B2 (en) * 2001-07-05 2005-12-27 Corel Corporation Correction of “red-eye” effects in images
US7116820B2 (en) * 2003-04-28 2006-10-03 Hewlett-Packard Development Company, Lp. Detecting and correcting red-eye in a digital image
US7606417B2 (en) * 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US8682097B2 (en) * 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US7599577B2 (en) * 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
JP5115568B2 (ja) * 2009-11-11 2013-01-09 カシオ計算機株式会社 撮像装置、撮像方法、及び撮像プログラム
US8786735B2 (en) * 2011-03-21 2014-07-22 Apple Inc. Red-eye removal using multiple recognition channels
US8600194B2 (en) * 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
US9083935B2 (en) * 2012-06-15 2015-07-14 Microsoft Technology Licensing, Llc Combining multiple images in bracketed photography
US9420248B2 (en) * 2014-09-19 2016-08-16 Qualcomm Incorporated Multi-LED camera flash for color temperature matching

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005196385A (ja) * 2004-01-06 2005-07-21 Toshiba Corp 画像処理装置、画像処理方法およびデジタルカメラ
CN101213828A (zh) * 2005-04-28 2008-07-02 惠普开发有限公司 将虹膜颜色结合到红眼修正中的方法和设备
CN106471521A (zh) * 2014-06-25 2017-03-01 柯达阿拉里斯股份有限公司 自适应眼睛伪影识别及校正系统

Also Published As

Publication number Publication date
DE102019114666A1 (de) 2019-12-05
US20190370942A1 (en) 2019-12-05
CN110555810A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
CN108197546B (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
US10825157B2 (en) Glare reduction in captured images
US8331666B2 (en) Automatic red eye artifact reduction for images
JP6312714B2 (ja) 陰影検出および減衰のためのマルチスペクトル撮像システム
US8135184B2 (en) Method and apparatus for detection and correction of multiple image defects within digital images using preview or other reference images
US8254674B2 (en) Analyzing partial face regions for red-eye detection in acquired digital images
JP4893862B1 (ja) 画像処理装置、および画像処理方法
JP4893863B1 (ja) 画像処理装置、および画像処理方法
EP1229734A1 (en) Automatic colour defect correction
JP4078334B2 (ja) 画像処理装置および画像処理方法
WO2016010721A1 (en) Multispectral eye analysis for identity authentication
WO2016010724A1 (en) Multispectral eye analysis for identity authentication
US7295686B2 (en) Method of processing red eye in digital images
CN111083385B (zh) 一种双目或多目摄像头曝光方法、系统和存储介质
US11670066B2 (en) Iris recognition system, iris recognition method, and storage medium
CN111353404A (zh) 一种人脸识别方法、装置及设备
CN111476732B (zh) 一种图像融合及去噪的方法及系统
CN110555810B (zh) 红眼校正技术
CN113313645B (zh) 图像处理方法、图像处理装置、终端及可读存储介质
US11636711B2 (en) Image processing system, image processing method, and storage medium
CN111738930A (zh) 人脸图像的合成方法、装置、电子设备及存储介质
US20220398693A1 (en) Color image inpainting method and neural network training method
CN115829851A (zh) 便携式眼底相机图像缺陷消除方法、系统及存储介质
Akhade et al. Automatic optic disc detection in digital fundus images using image processing techniques
CN114495247A (zh) 一种虹膜定位方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant