CN101563913A - 消除闪光灯图像中的赝像 - Google Patents
消除闪光灯图像中的赝像 Download PDFInfo
- Publication number
- CN101563913A CN101563913A CNA2006800566605A CN200680056660A CN101563913A CN 101563913 A CN101563913 A CN 101563913A CN A2006800566605 A CNA2006800566605 A CN A2006800566605A CN 200680056660 A CN200680056660 A CN 200680056660A CN 101563913 A CN101563913 A CN 101563913A
- Authority
- CN
- China
- Prior art keywords
- view data
- image
- reference picture
- master image
- artifact
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000004590 computer program Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 230000004048 modification Effects 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 9
- 201000005111 ocular hyperemia Diseases 0.000 description 77
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 41
- 208000024754 bloodshot eye Diseases 0.000 description 36
- 230000000694 effects Effects 0.000 description 35
- 238000012545 processing Methods 0.000 description 23
- 210000001747 pupil Anatomy 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 9
- 239000004744 fabric Substances 0.000 description 9
- 230000002349 favourable effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000005498 polishing Methods 0.000 description 6
- 238000003379 elimination reaction Methods 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008030 elimination Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 230000017105 transposition Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000000556 factor analysis Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229940050561 matrix product Drugs 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000012946 outsourcing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/624—Red-eye correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30216—Redeye defect
Abstract
本发明涉及一种用于消除闪光灯图像中的赝像的方法、计算机可读介质、计算机程序以及设备。接收使用第一闪光灯能量级别捕捉的参考图像的图像数据以及使用高于第一闪光灯能量级别的第二闪光灯能量级别捕捉的主图像的图像数据。继而基于所述参考图像的所述图像数据以及所述主图像的所述图像数据来确定第三图像的图像数据，其中所述第三图像是消除了赝像的所述主图像的表示。
Description
技术领域
本发明涉及用于消除闪光灯图像中的赝像的方法、计算机可读介质、计算机程序和设备。
背景技术
闪光灯图像中一种公知的且特别恼人的赝像是所谓的“红眼效应”，其中人类的眼睛看上去是红色的而不是它们本来的颜色。红色是由于闪光灯的光线在血液丰富的视网膜上发生反射而造成的。当闪光灯布置成靠近照相机镜头的光轴时，尤其是在使用诸如紧凑型照相机或集成在移动设备(例如移动电话)中的照相机之类的小型照相机的情况下，此效应尤其显著。
红眼效应可以通过多种方式来防止。
一种特别简单的方式是移动闪光灯以远离照相机镜头的光轴，使得照相机镜头不再接收闪光灯从视网膜的直接反射。然而，由于尺寸限制，这种方法通常不适用于紧凑型照相机或集成在移动设备中的照相机。
根据在美国专利No.4,285,588中描述的另一种方法，其使用引起瞳孔在捕捉实际图像之前闭合的预闪。预闪和实际捕捉图像之间的时间必须选择得足够大以便允许瞳孔闭合。在美国专利No.4,285,588中，优选大约600ms的时间延迟。然而，这增加了图像捕捉的等待时间，而且不适合彻底消除红眼效应，因为预闪不会使瞳孔完全闭合。
此外还可以通过对捕捉的图像进行算法处理以及尝试标识和消除其中包含的红眼(例如，基于眼睛形状规定的几何学约束)来消除红眼效应。然而，红眼检测的错误和遗漏比率通常非常高。
美国专利申请公开文本No.2006/0008171描述了另一种消除红眼的方法，其依赖于拍摄图像对，该图像对包括在没有闪光灯时拍摄的图像以及随后在闪光灯下拍摄的图像。其中，这两张图像在短时内连续拍摄，例如在1/30秒内。确定无闪光灯图像与闪光灯图像之间的红色色度差，并基于阈值来确定哪些区域可能形成潜在的红眼。随后，消除红眼区域。然而，这种方法的性能关键取决于阈值的选择。而且，如果无闪光灯图像太暗，则性能还会严重降低。
发明内容
因此，本发明的目的之一是提供用于减少闪光灯图像中的赝像的方法、计算机可读介质、计算机程序和设备。
根据本发明的第一方面，描述了一种方法，包括：至少接收使用第一闪光灯能量级别捕捉的参考图像的图像数据以及使用高于第一闪光灯能量级别的第二闪光灯能量级别捕捉的主图像的图像数据；以及至少基于参考图像的图像数据以及主图像的图像数据来确定第三图像的图像数据，其中第三图像表示消除了赝像的主图像。
根据本发明的第二方面，描述了一种其上存储有计算机程序的计算机可读介质，该计算机程序包括可操作以使得处理器至少接收使用第一闪光灯能量级别捕捉的参考图像的图像数据以及使用高于第一闪光灯能量级别的第二闪光灯能量级别捕捉的主图像的图像数据的指令；以及可操作以使得处理器至少基于参考图像的图像数据以及主图像的图像数据来确定第三图像的图像数据的指令，其中第三图像表示消除了赝像的主图像。
根据本发明的第三方面，描述了一种计算机程序，包括可操作以使得处理器至少接收使用第一闪光灯能量级别捕捉的参考图像的图像数据以及使用高于第一闪光灯能量级别的第二闪光灯能量级别捕捉的主图像的图像数据的指令；以及可操作以使得处理器至少基于参考图像的图像数据以及主图像的图像数据来确定第三图像的图像数据的指令，其中第三图像表示消除了赝像的主图像。
根据本发明的第四方面，描述了一种设备，包括处理器，其配置用于至少接收使用第一闪光灯能量级别捕捉的参考图像的图像数据以及使用高于第一闪光灯能量级别的第二闪光灯能量级别捕捉的主图像的图像数据；以及用于至少基于参考图像的图像数据以及主图像的图像数据来确定第三图像的图像数据，其中第三图像表示消除了赝像的主图像。
根据本发明的第五方面，描述了一种设备，包括：接收装置，用于至少接收使用第一闪光灯能量级别捕捉的参考图像的图像数据以及使用高于第一闪光灯能量级别的第二闪光灯能量级别捕捉的主图像的图像数据；以及确定装置，用于至少基于参考图像的图像数据以及主图像的图像数据来确定第三图像的图像数据，其中第三图像表示消除了赝像的主图像。
根据本发明，至少接收参考图像和主图像的图像数据并且将其用于确定第三图像的图像数据，其中第三图像表示消除了赝像的主图像。同样地，可以接收多于两幅图像的图像数据并且将其用于确定第三图像的图像数据。消除赝像可以理解为基本上或者完全消除赝像。参考图像是利用比主图像低的闪光灯能量级别而捕捉的。如果捕捉多于两幅图像，则附加的图像(也即，第三图像、第四图像、等等)可以在有闪光灯或无闪光灯的情况下进行捕捉。
参考图像可以在主图像之前、至少部分地与主图像一起被捕捉(例如利用两个图像传感器或利用能够同时捕捉两幅图像的图像传感器)，或者可以在主图像之后被捕捉。在高闪光灯级别的主图像之后捕捉低闪光灯级别的参考图像例如可以是有利的，因为图像目标的面部表情可能会被低级别的预闪迷惑。如果包含在主图像中的赝像包括红眼效应，则例如可以将较低的闪光灯能量级别选择得足够低，使得在参考图像中没有或仅有可忽略的红眼效应。然而，在捕捉参考图像时使用闪光灯确保了：在示例性地基于参考图像的图像数据与主图像的图像数据之间的差异来确定第三图像的图像数据时能够得到适当的结果，因为避免了参考图像太暗并且因而恶化参考图像的图像数据与主图像的图像数据的比较。通过在捕捉参考图像时也使用闪光灯，提高了对所捕捉图像中潜在的赝像区域的检测质量，从而使得赝像消除更为鲁棒。
参考图像和主图像可以在使用不同闪光灯的条件下进行捕捉，也即，第一类型的闪光灯用于捕捉参考图像，而第二类型的闪光灯用于捕捉主图像。所使用的闪光灯的类型例如可以包括但不限于氙气闪光灯、LED闪光灯或指示灯。
对第三图像的图像数据的确定由接收参考图像和主图像的图像数据的处理器来执行。其中，用于捕捉参考图像和主图像的装置例如可以集成在也包括该处理器的同一设备中，或者可以在独立的设备中。在后一情况下，处理器继而例如可以配备有用于接收参考图像和主图像的图像数据的接口并且具体化为模块，该模块可以集成在带有照相机单元的设备中以用于捕捉参考图像和主图像。处理器可以从计算机可读介质(诸如固定安装的或可移除的存储单元)读取程序代码，其中程序代码包括指令，其可操作以使得处理器接收参考图像和主图像的图像数据以及确定第三图像的图像数据。
赝像例如可以包括由于闪光灯光线在人类眼睛血液丰富的视网膜上反射而导致的红眼效应。赝像例如还可以包括闪光灯光线在一大群动物(例如包括猫和狗)的光神经纤维层上反射产生的效应，其使得这些动物的眼睛在闪光灯图像中以不同的颜色不自然的发光。而且，赝像可以理解为包括尤其是由于使用闪光灯而导致的、改变主图像的自然外观或恶化其质量的任何效应。
确定第三图像的图像数据是基于参考图像和主图像的图像数据的。通过这种方式，所述确定不必仅仅依赖于主图像的图像数据，而是还可以考虑这两个图像之间的图像数据的变化。
在此，图像数据可以是模拟图像数据或数字图像数据。图像数据例如可以是从照相机单元获得的原始图像数据，或者其可以已经根据特定颜色空间模型(诸如YUV或RGB模型)进行了变换，或者已经变换为特定图像格式。图像数据也可以仅表示色彩空间模型的一个或多个分量，例如YUV模型的Y、U和V分量，或者RGB模型的R、G和B分量。
根据本发明的第一示例性实施方式，在捕捉参考图像和主图像之间的时间距离不超过100ms。因此，或者在参考图像之后不超过100ms捕捉主图像，或者在主图像之后不超过100ms捕捉参考图像。例如，在前一情况下，由于在捕捉参考图像时使用的低级别闪光灯的目的并不在于适应瞳孔，因此在定义此时间延迟时不必考虑瞳孔的动态特性。然而，将时间延迟按如下方式定义可能是有利的，也即使得目标在捕捉图像之间不可能有较大的运动。此时间延迟的适当值例如可以是30ms或者更短。根据此示例性实施方式，图像捕捉的等待时间可以显著地减小，同时仍然能够消除赝像。当然，在捕捉参考图像与捕捉主图像之间的时间距离也可以超过100ms。例如，如果对参考图像和主图像中的至少一个应用运动补偿，则可以允许在捕捉参考图像与捕捉主图像之间更大的时间距离，因为图像中补偿的运动允许正确地将图像作为基础进行比较以消除赝像。
根据本发明的第二示例性实施方式，第一闪光灯能量级别小于第二闪光灯能量级别的10％。第一闪光灯能量级别例如可以定义得足够小，使得特定赝像(诸如红眼效应)不会或者仅仅是很小程度得出现在参考图像中，但是第一闪光灯能量级别又足够大以确保参考图像不会太暗并且因而适于与主图像进行比较。用于参考图像的闪光灯能量级别和曝光时间例如可以基于取景器图像的统计数据来确定。第一闪光灯能量级别的适当值例如可以是第二闪光灯能量级别的百分之5到10，不过也可以小很多。参考图像和主图像可以在使用相同闪光灯的条件下进行捕捉，只不过应用不同的闪光灯能量级别。同样地，对于捕捉参考图像和主图像，可以分别使用不同类型的闪光灯。第一闪光灯能量级别和/或第二闪光灯能量级别继而例如可以由所采用的闪光灯的类型来确定或限定。例如，对于捕捉参考图像，可以使用比捕捉主图像的闪光灯产生更低闪光能量级别的闪光灯。
根据本发明的第三示例性实施方式，参考图像具有以下至少一个：比主图像更低的质量、更低的采样率以及更低的分辨率。更低的质量、更低的采样率或者更低的分辨率是有利的，因为参考图像就需要更少的存储容量。此更低的质量、更低的采样率或者更低的分辨率可以在捕捉参考图像期间实现，或者可以在图像捕捉之后通过对从照相机单元获得的原始图像进行变换来实现。
根据本发明的第四示例性实施方式，确定第三图像的图像数据包括：在考虑参考图像的图像数据与主图像的图像数据之间的差异的情况下，检测主图像的赝像；以及修正所检测到的赝像以获得第三图像的图像数据。
根据本发明的第四示例性实施方式，检测赝像可以包括：基于主图像的图像数据来标识主图像中的潜在赝像；在考虑参考图像的图像数据与主图像的图像数据之间的差异的情况下确定所述潜在赝像中的误标识；以及从潜在赝像中排除误标识，其中所述修正仅对未被排除的潜在赝像执行。在此，对潜在赝像的标识例如可以通过模式识别算法来执行，例如通过在主图像中搜索脸形或者眼形模型。
此处，参考图像可以在检测主图像中的赝像之前进行处理。对参考图像的处理例如可以包括对参考图像的均衡化，从而补偿参考图像与主图像之间的诸如运动、不同图像尺寸、不同曝光或其他差异。
备选地，根据本发明的第四示例性实施方式，检测赝像可以包括：基于参考图像的图像数据与主图像的图像数据之间的差异来标识主图像中的潜在赝像；在考虑参考图像或者主图像的图像数据的情况下确定所述潜在赝像中的误标识；以及从潜在赝像中排除误标识，其中所述修正仅对未被排除的潜在赝像执行。基于参考图像和主图像二者来执行潜在赝像的标识可以有助于减少确定潜在赝像中的误标识的复杂度。
在本发明的第四示例性实施方式中，修正检测到的赝像可以至少部分地基于参考图像的图像数据。例如，主图像的图像数据可以由参考图像的图像数据所代替，以获得第三图像的图像数据。
根据本发明的第五示例性实施方式，确定第三图像的图像数据包括：对根据参考图像的图像数据和主图像的图像数据形成的数据集执行因子分析；以及将根据因子分析获得的变换应用于该数据集，以获得第四图像的图像数据，其中第三图像的图像数据至少基于第四图像的图像数据而确定。采用因子分析允许无差别地抑制或消除参考图像和主图像之间的整体差异，从而避免模式识别步骤。应当注意，根据本发明的第五示例性实施方式，对第三图像的图像数据的确定也可以应用于无闪光灯条件下捕捉参考图像的情形，也即，接收第一无闪光灯图像的图像数据和第二闪光灯图像的图像数据的情形。继而可以基于第一无闪光灯图像的图像数据和第二闪光灯图像的图像数据来确定第三图像的图像数据。同样地，根据本发明的第五示例性实施方式，对第三图像的图像数据的确定也可以在捕捉超过两幅图像并且继而将其用作确定第三图像的基础时应用。此处，所述参考图像和所述主图像可以使用闪光灯来捕捉，而其他图像可以在有闪光灯或者无闪光灯的情况下进行捕捉。后一情形的例子是使用取景器图像作为另一图像。
因子分析例如可以是对数据集的主元分析，该主元分析针对参考图像的图像数据和主图像的图像数据确定公共部分和差异部分。此处，公共部分表示联合信号的最大可变性，而差异部分表示相应的差异。
所述变换可以基于从主元分析获得的变换矩阵、以及为了抑制或消除差异部分而确定的修改的变换矩阵来确定。通过对数据集应用变换矩阵(转置的形式)，数据集因而被变换至新的坐标系统，并且通过应用修改的变换矩阵，数据集从新的坐标系统变换回来，不过是以抑制或消除差异部分(也即参考图像的图像数据与主图像的图像数据之间的差异)的修改的方式。
在本发明的第五实施方式中，可以基于来自参考图像和主图像的信息来确定模糊似然性图，其中模糊似然性图指示主图像的部分中是否包含赝像，并且可以在执行因子分析之前利用模糊似然性图对参考图像的图像数据和主图像的图像数据进行加权。在模糊似然性图中，例如可以针对每个像素，存在一个在范围[0，1]中的值，其中该值的大小表示此像素是否有可能处于赝像区域(例如，红眼区域)。通过利用模糊似然性图对参考图像的图像数据以及主图像的图像数据进行加权，相对于未对应赝像的图像数据而言，对应于赝像的图像数据被加强，从而在后续处理中给对应于赝像的图像数据更大权重。应用模糊似然性可以不必使用阈值，并且产生空间上平滑的结果，这不同于应用阈值的方法，这种方法导致经过处理以消除图像赝像的区域与未经处理区域之间的可见边缘。
在本发明的第五实施方式中，在考虑模糊似然性图的条件下，第三图像的图像数据可以至少基于参考图像的图像数据、主图像的图像数据以及第四图像的图像数据。而且，模糊似然性图的影响可以从第三图像的图像数据中消除。
在本发明的第五实施方式中，还可以减小部分第三图像的强度。例如，如果赝像包括红眼效应，则根据本发明的第五实施方式的处理，可以减小与瞳孔有关的图像数据的色彩饱和度。为了使这些瞳孔变暗，可以减小强度。
在本发明的第五实施方式中，图像数据可以表示色彩空间模型的分量，对第三图像的图像数据的确定可以针对色彩空间模型的至少一个分量而执行，并且对第三图像的图像数据的确定可以分别针对这些分量而执行。
在本发明的第五实施方式中，色彩空间模型例如可以是YUV模型，并且对第三图像的图像数据的确定可以仅针对U和V分量执行。当针对第三图像的Y分量时，例如可以使用主图像的Y分量。
在本发明的第五实施方式中，色彩空间模型例如可以是YUV模型，并且对第三图像的图像数据的确定可以针对U、V和Y分量执行。
从此后参考实施方式的描述中，本发明的这些和其他方面将变得明显。
附图说明
在附图中示出：
图1a：根据本发明的设备的示例性实施方式的示意框图；
图1b：根据本发明的设备的另一示例性实施方式的示意框图；
图2：根据本发明的方法的示例性实施方式的流程图；
图3：根据本发明的示例性实施方式的闪光灯和图像捕捉时序的示意图示；
图4：图2的流程图的步骤205的示例性实施方式的流程图；以及
图5：图2的流程图的步骤205的另一示例性实施方式的流程图。
具体实施方式
图1a示出了根据本发明的设备1a的示例性实施方式的示意框图。设备1a包括使用不同的闪光灯能量级别来捕捉图像的照相机单元16。
为此，照相机单元16包括图像传感器，诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器，该图像传感器配置用于捕捉经由照相机光学系统投射在其表面上的图像。图像传感器160捕捉的图像至少临时存储在帧缓冲器161中，该帧缓冲器可以配置用于一次存储多幅图像。图像传感器160还可以配备有模数转换器，用于将表示所捕捉图像的信号转换为将要存储在帧缓冲器161中的数字信号。应当注意，帧缓冲器161同样可以形成中央处理器10的功能块或者照相机单元16的功能块。
照相机单元16还包括闪光灯单元162，其配置用于产生具有不同闪光灯能量级别的闪光灯光线(例如闪光脉冲)，例如以便允许使用低闪光灯能量级别来捕捉参考图像，以及使用高闪光灯能量级别来捕捉主图像。闪光灯单元例如可以由闪光用电容器来供电。
而且，照相机单元16配备有快门单元163，其控制快门的开启，而快门控制图像投射到图像传感器160的表面上。举几个例子来说，快门例如可以是卷帘快门或者全局快门。而且，快门可以机械式或电子式实现。
本领域技术人员可以理解，照相机单元16可以包括其他功能单元，诸如用于控制照相机单元16的自动对焦操作的自动对焦单元，或者类似的单元。
设备1a还包括用于控制设备1a的整体操作的中央处理器10。具体地，中央处理器10配置用于控制图像传感器160、帧缓冲器161、闪光灯单元162以及快门单元163，从而允许利用不同的闪光灯能量级别来捕捉连续图像，例如利用低闪光灯能量级别来捕捉参考图像，而利用高闪光灯能量级别来捕捉主图像。
设备1a还包括显示器11、用户接口15以及用于存储所捕捉图像和已处理图像的图像存储器13。图像存储器13可以具体化为固定内置存储器或可移除存储器，诸如记忆棒或卡。显示器11、用户接口15以及图像存储器13全部由中央处理器10来控制。
中央处理器10可以运行存储在处理器存储器12中的程序代码，该处理器存储器12还可以用作中央处理器10的数据存储器，并且其例如可以具体化为随机存取存储器(RAM)、只读存储器(ROM)，这只是几个示例。处理器存储器12同样可以具体化为可从设备1a移除的存储器。存储在处理器存储器12中的程序代码例如可以定义中央处理器10控制设备1a的各个单元的方式，尤其可以定义如何对利用不同闪光灯级别连续捕捉的图像进行处理以消除其内包含的图像赝像。
设备1a例如可以代表数字照相机，其中显示器11继而可以用作取景器以及用作显示所捕捉图像的装置，并且用户接口15可以包括交互元件，诸如照相机触发器、用于缩放的控制元件以及用于操作菜单结构的控制元件。其中，显示器11也可以至少部分地用作用户接口，例如通过显示菜单结构。
同样地，设备1a可以代表附加地具有利用不同的闪光灯能量级别来捕捉连续图像的功能的电子设备。
例如，设备1a可以代表移动设备，诸如移动电话、个人数字助理或膝上型计算机。其中，中央处理器10继而例如可以是用于控制移动设备的功能的标配处理器，显示器11可以是其标配显示器，并且用户接口15可以是其标配用户接口，诸如键盘或小键盘。类似地，存储器12和13可以是已经包含在移动设备中的标配组件。为了给移动设备装配捕捉图像的功能，可以将照相机单元16添加到移动设备上，并且处理器存储器12中的程序代码可以相应地改变以使得处理器10能够控制照相机单元16利用不同的闪光灯能量级别捕捉连续图像，以及能够消除包含在其中的图像赝像。
而且，图1a示出：设备1a还可以包括专用赝像消除处理器14，不过其是可选的，因此用虚线示出。由于图像赝像消除可能是相当复杂的计算任务，因此由专用处理器架构(例如专用集成电路(ASIC)或现场可编程门阵列(FPGA))来执行图像赝像消除可能是有利的。专用赝像消除处理器14继而可以从中央处理器10接收利用不同闪光灯能量级别捕捉的图像的图像数据，并且可以消除包含在其中的图像赝像，从而获得没有图像赝像的图像的图像数据。
图1b示出了根据本发明的设备1b的另一示例性实施方式的示意框图。相比于图1a的设备1a，在图1b的设备1b中，图像处理部分地或者完全地从中央处理器10’外包给图像处理器17。图像处理器17(其也可以表示为成像和视频引擎)例如可以通过用于图像处理任务(尤其包括根据本发明消除图像赝像的图像处理)的硬线和/或可编程功能块来具体化。为此，图像处理器17可以包括用于存储计算机程序的内部或外部存储器，该计算机程序具有可操作以执行根据本发明的赝像消除的指令。类似于图1a的设备1a，在图1b的设备1b中，也有例如以模块形式的专用赝像消除处理器14，可以预见，该专用赝像消除处理器14部分地或完全地从图像处理器17外包图像赝像消除。而且，图像处理器17可以直接与图像存储器13对接。
设备1b例如可以代表数字照相机，其中设备1b的各单元继而如同上面已经参照图1a的设备1a解释的那样工作。同样地，设备1b可以代表附加地具有利用不同的闪光灯能量级别来捕捉连续图像的功能的电子设备；例如，设备1b可以代表移动设备，诸如移动电话、个人数字助理或膝上型计算机。
图2绘出了根据本发明的方法的示例性实施方式的流程图200。此流程图的步骤例如可以由设备1a(参见图1a)的中央处理器10(和/或可选的专用赝像消除处理器14)，或者由设备1b(参见图1b)的中央处理器10’和图像处理器17(和/或可选的专用赝像消除处理器14)来执行。其中，示例性地假设将使用闪光灯来捕捉人物图像，由此，将要从所捕捉图像中消除的赝像是由于闪光灯光线在人眼血液丰富的视网膜上反射而导致的红眼效应。尽管如此，本领域技术人员应当理解，本发明同样可应用于消除闪光灯图像中其他类型的赝像，诸如闪光灯光线在一大群动物(例如包括猫和狗)的光神经纤维层上反射并使得这些动物的眼睛在闪光灯图像中以不同的颜色不自然的发光。而且，示例性地假设：在高闪光灯能量级别的主图像之前捕捉低闪光灯能量级别的参考图像。备选地，也可以在高闪光灯能量级别的主图像之后捕捉低闪光灯能量级别的参考图像。
在流程图200的第一步骤201中，检查用户是否激活了照相机触发器。如果未激活，则流程图在无穷循环中返回步骤201以接收任何照相机触发器激活。
如果在步骤201中确定照相机触发器已经被激活，则在步骤202中，控制照相机单元16利用低闪光灯能量级别捕捉参考图像。此参考图像例如可以仅通过用于捕捉主图像的闪光灯能量的百分之5-10(或甚至更少)以及短曝光时间(例如10-50ms)来拍摄。其中，以如下方式选择闪光灯能量级别可能是有利的，即不产生或仅产生最低限度的红眼效应，但是图像又不会太暗，因而允许与随后将用较高闪光灯能量级别拍摄的主图像进行适当的比较。用于参考图像的闪光灯能量级别和曝光时间例如可以基于取景器图像数据的统计数据来确定。应当注意，在取景器图像足够亮的情况下，也可以使用取景器图像作为参考图像，而完全不必要捕捉参考图像。类似地，在某些情况下，利用零闪光灯强度捕捉参考图像可能是有益的。而且，参考图像例如可以利用比主图像更低的质量、更低的采样率以及更低的分辨率来捕捉。这样可以有助于节省帧缓冲器161中临时存储参考图像所需的存储容量，因为除了主图像之外还要存储参考图像。
在步骤203中，控制照相机单元16利用高闪光灯能量来捕捉主图像，例如利用可用闪光灯电容器能量的百分之百。可以例如全分辨率来捕捉主图像。闪光灯能量级别以及曝光时间例如可以基于取景器图像的统计数据和/或参考图像的统计数据来确定。主图像是实际上唯一希望的画面。然而，由于需要使用高闪光灯能量级别的闪光灯来充分照亮待拍摄的人物，因此红眼效应的发生也是不可避免的。然而，基于来自参考图像和主图像二者的信息，可以从主图像中消除红眼效应，从而获得消除了红眼效应的主图像的图像。在将捕捉参考图像与捕捉主图像之间的时间延迟保持为较短以避免较大的运动和/或内容改变时，可以简化红眼效应的消除。因此，在捕捉参考图像之后尽可能快地捕捉主图像是有利的，例如不超过100ms，在例外情况下也可以在捕捉参考图像之后不超过200ms。例如，如果对这两幅图像之一或二者应用运行补偿，则在捕捉这两幅图像之间可以有较大的延迟。应当注意，主图像和参考图像还可以利用不同的曝光时间进行捕捉，例如较短的曝光时间可以用于主图像。此外，在捕捉参考图像时尽可能晚地使用闪光灯而在捕捉主图像时尽可能早地使用闪光灯可能是有利的。图像捕捉区间内的闪光灯区间的定位也可以是固定的或可变的。
在步骤204中，接收所捕捉的参考图像和所捕捉的主图像的图像数据。其中，所述图像数据例如可以是色彩空间模型(例如YUV模型或RGB模型)的一个分量(例如，原始数据或Y、U、V、R、G、B)或多个分量。本领域技术人员很容易理解，参考图像的图像数据同样可以直接在步骤202的捕捉参考图像之后、在步骤203的捕捉主图像之前进行接收。在步骤204中，继而将只接收主图像的图像数据。继而可以无需使用能够同时存储两幅图像的图像数据的帧缓冲器。
在步骤205中，确定消除了红眼效应的主图像的图像数据。下文将针对图4的流程图400以及图5的流程图500详细讨论此步骤的具体实施方式。所述确定基于参考图像和主图像二者的图像数据。其中，除了其他之外，据研究，利用低闪光灯能量级别捕捉的参考图像很可能不包括红眼效应，并且其仅仅在主图像之前(或者可选地之后)不久被拍摄，因此有可能比较两幅图像来检测其中的变化而不会遭受太多由于运动和/或场景改变导致的赝像。
最后，在步骤206中，例如在图像存储器13(参见图1a/1b)中存储消除了红眼效应的主图像的图像数据。可选地，所述消除了红眼效应的主图像也可以显示在显示器11上。由于红眼效应消除过程产生的处理等待时间，也可以在显示器11上显示未消除红眼效应的图像。流程图继而返回到步骤201。
图3示意性示出根据本发明的示例性实施方式的闪光灯和图像捕捉的时序。上部图30示出在图像捕捉期间闪光灯的使用，下部图31示出图像捕捉的周期。很容易看出，在此示例性实施方式中，在主图像之前示例性地捕捉参考图像，利用短曝光时间20ms、低能量的闪光脉冲300来执行参考图像的捕捉310，而利用较长曝光时间50ms、高能量的闪光脉冲301来执行主图像的捕捉311。而且，参考图像的捕捉310与主图像的捕捉311之间的延迟仅等于5ms。如上面已经论述的，将激活闪光灯300和301的时段置于捕捉时段310和311之内并非强制性的。例如在参考图像的捕捉310结束时激活低能量闪光脉冲300可能是有利的。类似地，可以利用不同的曝光时间来执行参考图像的捕捉310和主图像的捕捉311。而且，闪光灯300和301的振幅可以不同。
图4提供了图2的流程图的步骤205的示例性实施方式的流程图400，也即，如何确定消除了红眼效应的主图像的图像数据的示例性方式。
在第一步骤401中，对参考图像进行均衡化，例如通过执行运行补偿、色彩调整、曝光调整、缩放或其他技术以使得参考图像可与主图像进行比较。不过步骤401是可选的。
在后续步骤402-404中，比较参考图像与主图像之间的变化以检测和修正红眼。在红眼位置处，红色级别显著地变化。在参考图像中，瞳孔几乎是黑色的，而在主图像中瞳孔是红色的。有关图像变化的信息可以用来确定红眼位置。继而在所检测的区域中，需要降低红色数值(例如YUV模型中红色色度通道V，或者RGB图像的R分量)以消除红眼。
为此，在步骤402中，基于主图像的图像数据来执行红眼检测。采用使用诸如脸形检测或眼形检测之类的技术的红眼检测算法来找出主图像中的红眼。作为输出，此算法产生描述主图像中的候选红眼的信息，诸如潜在红眼像素的二元图、或者潜在红眼像素的坐标组、形状和大小。可以对算法进行参数化，从而以高假误率(falsepositive rate)为代价而获得高检测率。这是可能的，因为流程图400随后的步骤403(即红眼检测细化)关注于消除假误。此处允许较多的正误识可以降低检测的复杂性。
在步骤403中，从步骤402的红眼检测中获得的信息中排除假误，从而执行红眼检测细化。红眼检测细化基于参考图像和主图像之间的变化，例如通过分析候选红眼的位置及其周围的色彩变化。例如，只有与显著变化(例如从参考图像的黑色到主图像的红色)相关联的候选红眼位置可以视为真误(true positive)。当执行红眼检测细化时，也可以利用例如脸形检测信息。如果脸形检测方法非常鲁棒，则此信息也可以用来限制步骤402的红眼检测中候选红眼的数量。
最后，在步骤404中，使用红眼修正算法来执行红眼修正，其中红眼修正算法利用从步骤403获得的候选红眼的信息并且修正主图像中的候选红眼，从而获得消除了红眼效应的主图像。其中，来自参考图像的图像数据可以用于修正候选红眼。本领域技术人员已知的是，此处可以应用多种红眼修正方法。此类红眼修正方法的例子在下列参考文献中描述：
·Georg Petschnigg，Maneesh Agrawala，Hugues Hoppe，RichardSzelishi，Michael Cohen，Kentaro Toyama.“Digital Photographywith Flash and No-Flash Image Pairs”.ACM Transactions onGraphics(Proceedings of SIGGRAPH 2004)，2004.
·GAUBATZ，M.，AND ULICHNEY，R.，2002.“Automatic red-eyedetection and correction”.IEEE International Conference on ImageProcessing，pp.804-807.
·PATTI，A.，KONSTANTINIDES，K.，TRETTER，D.AND LIN，Q.，1998.“Automatic digital redeye reduction”.IEEE InternationalConference on Image Processing，pp.55-59.
·Huitao Luo，Yen J.，Tretter D..“An efficient automatic redeyedetection and correction algorithm”，ICPR 2004.Proceedings of the17th International Conference on Pattern Recognition，Volume 2，23-26，Aug.2004 Page(s)：883-886.
下面将参考图5的流程图500来讨论可应用于步骤404的红眼修正算法的另一例子。
应当注意，代替在步骤402中仅基于主图像的图像数据来执行红眼检测，此红眼检测同样可以基于参考图像和主图像二者的图像数据。而且，步骤403中的红眼检测细化继而可以基于单个图像(参考图像或者主图像)的图像数据来执行。由于只需要搜索较少的位置，因此这可以减少单图像红眼检测细化(例如，基于脸形/眼形检测)所需要的计算时间。
图5示出了图2的流程图的步骤205的另一示例性实施方式的流程图500，也即如何确定消除了红眼效应的主图像的图像数据的另一示例性方式。在此示例性实施方式中，假设参考图像和主图像的图像数据由YUV色彩空间模型的Y、U和V分量来表示，其中Y是亮度分量，U和V是色度分量。当然，其他色彩空间也是可行的，例如原始图像数据域或者RGB域。
在第一步骤501中，基于参考图像和主图像的Y、U和V分量来确定模糊似然性图。该图为每个像素提供了一个[0，1]范围内的值，其中较大的值描述该像素有可能位于红眼区域。
在步骤502中，参考图像和主图像基于像素乘以模糊似然性图，使得潜在的红眼像素的值被加强，从而在后续处理中给予更大权重。这使得没必要使用界限分明的阈值，这样做是有利的，因为阈值设置通常非常困难，因此避免设置阈值使得红眼检测更加鲁棒。
至少分别针对参考图像和主图像的色度分量U和V执行随后的步骤503-507，其中对于不同的分量，处理的程度(例如步骤505中对PCA变换矩阵的修改的量)可以不同。
在步骤503中，根据从步骤502获得的加权参考图像和加权主图像的色度分量(U或V)来构建数据集。该数据集例如可以包括加权参考图像的整个V分量以及加权主图像的整个V分量。
在步骤504中，针对(分量特定的)数据集，基于数据集的协方差矩阵(例如主图像的加权V分量和参考图像的加权V分量)来计算主元分析(PCA)。例如，对于红色色度分量V，可以计算2×2的PCA变换矩阵v。PCA变换矩阵提供将PCA变换应用于数据集的系数，其中数据集被分为两部分：一部分表示联合信号的最大可变性或者能量(公共部分)，另一部分表示其余部分，也即图像之间的差异(差异部分)。可以不执行数据集的实际PCA变换。
在步骤505中，以如下方式修改步骤504中获得PCA变换矩阵，使得抑制或者消除较小的PCA分量(差异部分)。例如，对PCA变换矩阵的修改可以是最大特征值与最小特征值的比率的函数，或者是固定参数。这样得到修改的PCA变换矩阵vv。
在步骤506中，基于步骤504中获得的PCA变换矩阵与步骤505中获得的修改的PCA变换矩阵的组合来确定变换。此变换例如可以定义为修改的PCA变换矩阵vv与经转置的PCA变换矩阵v的矩阵乘积，其中转置矩阵应用正向变换，非转置矩阵应用逆变换。在将转置变换矩阵应用于数据集时，数据集因而变换到新的坐标系统，并且通过应用修改的变换矩阵，数据集从新的坐标系统变换回来，然而其方式是抑制或消除差异部分(也即参考图像的图像数据与主图像的图像数据之间的差异)的修改方式。上述两个变换可以单独应用，而不过作为组合矩阵。组合变换继而有效地执行正向PCA和修改的逆向PCA。
当利用不同的参数执行时，此实施方式不仅可以用于减少红眼效应，而且可以用于闪光灯和环境发光的适应性融合(重新打光)。这可以通过还将Y分量整合到PCA处理中来实现。
在步骤507中，继而将步骤506的变换应用于数据集，以获得PCA混合图像的色度分量。其中，步骤507中获得的色度分量表示加权参考图像的色度分量与加权主图像的色度分量的混合。
针对参考图像和主图像的U和V分量分别执行步骤503-507。可选地，步骤503-507也可以针对亮度分量Y来执行。如果不处理Y分量，则主图像的Y分量可以用于流程图500的剩余步骤。
在步骤508中，在考虑模糊似然性图的情况下，组合加权参考图像、加权主图像以及PCA混合图像，以获得组合图像。一种此类组合可以是对PCA混合图像、利用模糊似然性图加权的参考图像以及利用逆模糊似然性图加权的主图像的平均。继而，潜在的红眼的像素值大部分来自PCA混合图像和参考图像，而对于红眼具有小似然性的像素，其值大部分来自主图像。
针对主图像和参考图像的各个色彩空间分量，可以利用变化的参数重复过程(尤其步骤503-508)(例如，强作用于R对，较小作用于G对和B对；或者强作用于V对，较小作用于U对并且不对Y对作用)。
在流程图500的此阶段，例如红色瞳孔已经变得不那么红了。
在步骤509中，将也存在于步骤508的组合图像中的模糊似然性图的影响从组合图像中去除，以获得调整过的组合图像。
在步骤510中，为了使瞳孔变暗，降低如下像素的强度，在这些像素处，相对于流程图500的前述步骤的主图像而言，经处理图像的色彩饱和度被降低。这些像素例如可以通过确定已调整组合图像与主图像之间的差异来标识。这样最终得到消除了红眼效应的主图像的表示。
如上已经论述的，应当注意，根据图5的流程图500的方法也可以用作图4的流程图400中的细化和/或修正方法(步骤403和404)。在这种情况下，可以仅针对在流程图400的步骤402和/或403中检测到的区域进行分析和修正。
上述处理中的一个可选特征是重新打光，在该重新打光中还考虑亮度分量Y。
在一种简单的实现中，代替对Y分量的因子分解，使用参考图像的亮度分量Y的高值，其保留在参考图像中的、在主图像中不亮的明亮区域(例如，灯)。这种实现例如可以是选择参考图像和主图像的独立缩放Y分量的最大亮度值。在一种更高级的重新打光实现中，将亮度分量Y包括在步骤503-507的PCA处理中。
参考图5的流程图500描述的本发明的实施方式使用通过模糊似然性图加权的参考图像(利用低闪光灯能量级别捕捉的)和主图像(利用较高闪光灯能量级别捕捉的)，从而借助于因子分析方法无差别地抑制或消除两幅图像之间局部加权的全局色彩差异。这样得到红眼消除而无需设置阈值或图形识别步骤来找出图像中的眼睛(眼形)。这使得本实施方式在遗漏眼睛方面更加鲁棒，遗漏眼睛是某些红眼消除方法(所谓的哈士奇狗效应)中非常讨厌的方面。
本领域技术人员很容易清楚，参考图5的流程图500描述的本发明的实施方式在参考图像在没有闪光灯的条件下捕捉时，同样可以应用于赝像消除。例如，通过在没有闪光灯的条件下捕捉的取景器图像可以用作参考图像。同样地，可以确定利用闪光灯来捕捉参考图像不是必须的，因为没有闪光灯的条件下的参考图像已经足够亮了。
此外，在图5的流程图500中描绘的本发明的实施方式在计算潜在的红眼像素时使用模糊加权，其使得结果在空间上更平滑，不像其他方法，在那些方法中应用了红眼消除的区域与未应用红眼消除的区域之间存在可见边缘。
根据图5的流程图500中描述的本发明的实施方式，在遗漏眼睛和界限分明的色彩边缘方面获得健壮性的代价是可能稍微改变其他颜色细节，而不仅仅是红眼。例如，当将主图像与消除了红眼效应的主图像表示进行比较时，可以看出某些物体(尤其是阴影中的红色物体)有点不同的颜色。不过，对于最终用户来说只要图像看起来自然这就不是问题，因为用户在捕捉图像时不会看到主图像，而仅仅是(无闪光灯的)取景器图像。颜色中的细微变化比遗漏眼睛更容易忍受。
除了平衡色彩差异(参见步骤503-507)之外，还可以平衡强度(亮度)差异，从而可以在重新打光中使用图5的流程图500中描述的本发明的实施方式。对于红眼消除和重新打光二者的优势在于，此实施方式基于当前图像数据来计算PCA变换矩阵，并且只有该数据驱动的矩阵的修改量可以由参数值来设置，例如由定义最小PCA分量减小或消除多少的参数值来设置。例如，可以为R对设置强作用，为G对和B对设置较小的作用；或者为V对设置强作用，为U对设置较小作用，而为Y对设置中等作用。因此，参数并不定义参考图像和主图像的色彩分量组合的量。而且，这些量即时地计算，并且参数不指定发生红眼消除操作所需的红色差值阈值。
图5的流程图500中描绘的本发明的实施方式不限于PCA；也可以使用其他因子分析方法，诸如独立元分析(ICA)，用于分离参考图像和主图像的公共部分和差异部分。而且，此实施方式不限于使用YUV色彩空间。同样地，可以使用其他色彩空间。例如，此实施方式可以在贝叶解拼(Bayer de-mosaicing)之前或之后用在RGB空间中。
尽管已经示出、描述和指出应用于本发明的优选实施方式的本发明的重要新颖特征，但是可以理解，本领域技术人员可以在不偏离本发明的精神的条件下，对所描述的设备和方法的形式和细节做出各种删除、替换和改变。例如，明确的意图是，以基本上相同方式执行基本上相同功能并获得相同结果的这些元件和/或方法步骤的所有组合都落入本发明的范围内。而且，应该认识到，结合任何公开形式或本发明的实施方式描述和/或示出的结构和/或元件和/或方法步骤可以在任何其他公开的或描述的或建议的形式或实施方式中合并作为设计选择的总体。
Claims (37)
1.一种方法，包括：
-至少接收使用第一闪光灯能量级别捕捉的参考图像的图像数据以及使用高于所述第一闪光灯能量级别的第二闪光灯能量级别捕捉的主图像的图像数据；以及
-至少基于所述参考图像的所述图像数据以及所述主图像的所述图像数据来确定第三图像的图像数据，其中所述第三图像表示消除了赝像的所述主图像。
2.如权利要求1的方法，其中捕捉所述参考图像和所述主图像之间的时间距离不超过100ms。
3.如前述任一权利要求的方法，其中所述第一闪光灯能量级别小于所述第二闪光灯能量级别的10％。
4.如前述任一权利要求的方法，其中所述参考图像具有至少以下之一：比所述主图像更低的质量、更低的采样率以及更低的分辨率。
5.如前述任一权利要求的方法，其中所述确定所述第三图像的所述图像数据包括：
-在考虑所述参考图像的所述图像数据与所述主图像的所述图像数据之间差异的情况下，检测所述主图像中的赝像；以及
-修正所述检测到的赝像，以获得所述第三图像的所述图像数据。
6.如权利要求5的方法，其中所述检测所述赝像包括：
-基于所述主图像的所述图像数据来标识所述主图像中的潜在赝像；
-在考虑所述参考图像的所述图像数据与所述主图像的所述图像数据之间差异的情况下，确定所述潜在赝像中的误标识；以及
-从所述潜在赝像中排除所述误标识，其中所述修正仅对未被排除的潜在赝像执行。
7.如权利要求5-6中任一的方法，还包括在所述检测所述主图像中的所述赝像之前，处理所述参考图像。
8.如权利要求5的方法，其中所述检测所述赝像包括：
-基于所述参考图像的所述图像数据与所述主图像的所述图像数据之间的所述差异来标识所述主图像中的潜在赝像；
-在考虑所述参考图像或者所述主图像的所述图像数据的情况下，确定所述潜在赝像中的误标识；以及
-从所述潜在赝像中排除所述误标识，其中所述修正仅对未被排除的潜在赝像执行。
9.如权利要求5-8中任一的方法，其中所述修正所述检测到的赝像至少部分地基于所述参考图像的所述图像数据。
10.如权利要求1-4中任一的方法，其中所述确定所述第三图像的所述图像数据包括：
-对根据所述参考图像的所述图像数据和所述主图像的所述图像数据形成的数据集执行因子分析；以及
-将从所述因子分析获得的变换应用于所述数据集，以获得第四图像的图像数据，其中所述第三图像的所述图像数据至少基于所述第四图像的所述图像数据而确定。
11.如权利要求10的方法，其中所述因子分析是对所述数据集的主元分析，所述主元分析针对所述参考图像的所述图像数据和所述主图像的所述图像数据来确定公共部分和差异部分。
12.如权利要求11的方法，其中基于从所述主元分析获得的变换矩阵、以及为了抑制或消除所述差异部分而确定的修改的变换矩阵，来确定所述变换。
13.如权利要求10-12中任一的方法，其中基于来自所述参考图像和所述主图像的信息来确定模糊似然性图，其中所述模糊似然性图指示所述主图像的部分中是否包含赝像，并且其中在执行所述因子分析之前，利用所述模糊似然性图对所述参考图像的所述图像数据和所述主图像的所述图像数据进行加权。
14.如权利要求13的方法，其中在考虑所述模糊似然性图的情况下，基于所述参考图像的所述图像数据、所述主图像的所述图像数据以及所述第四图像的所述图像数据来确定所述第三图像的所述图像数据。
15.如权利要求14的方法，还包括将所述模糊似然性图的影响从所述第三图像的所述图像数据中消除。
16.如权利要求14-15中任一的方法，还包括减小所述第三图像的部分的强度。
17.如权利要求10-16中任一的方法，其中所述图像数据表示色彩空间模型的分量，其中所述确定所述第三图像的所述图像数据针对所述色彩空间模型的至少一个所述分量而执行，并且其中所述确定所述第三图像的所述图像数据分别针对所述分量而执行。
18.如权利要求17的方法，其中所述色彩空间模型是YUV模型，并且其中所述确定所述第三图像的所述图像数据仅针对U和V分量而执行。
19.如权利要求17的方法，其中所述色彩空间模型是YUV模型，并且其中确定所述第三图像的所述图像数据针对U、V和Y分量而执行。
20.一种其上存储有计算机程序的计算机可读介质，该计算机程序包括：
-可操作以使得处理器至少接收使用第一闪光灯能量级别捕捉的参考图像的图像数据以及使用高于所述第一闪光灯能量级别的第二闪光灯能量级别捕捉的主图像的图像数据的指令；以及
-可操作以使得处理器至少基于所述参考图像的所述图像数据以及所述主图像的所述图像数据来确定第三图像的图像数据的指令，其中所述第三图像表示消除了赝像的所述主图像。
21.如权利要求20的计算机可读介质，其中捕捉所述参考图像和所述主图像之间的时间距离不超过100ms。
22.一种计算机程序，包括：
-可操作以使得处理器至少接收使用第一闪光灯能量级别捕捉的参考图像的图像数据以及使用高于所述第一闪光灯能量级别的第二闪光灯能量级别捕捉的主图像的图像数据的指令；以及
-可操作以使得处理器至少基于所述参考图像的所述图像数据以及所述主图像的所述图像数据来确定第三图像的图像数据的指令，其中所述第三图像表示消除了赝像的所述主图像。
23.如权利要求22的计算机程序，其中捕捉所述参考图像和所述主图像之间的时间距离不超过100ms。
24.一种设备，包括处理器，所述处理器配置用于：
-至少接收使用第一闪光灯能量级别捕捉的参考图像的图像数据以及使用高于所述第一闪光灯能量级别的第二闪光灯能量级别捕捉的主图像的图像数据；以及
-用于至少基于所述参考图像的所述图像数据以及所述主图像的所述图像数据来确定第三图像的图像数据，其中所述第三图像表示消除了赝像的所述主图像。
25.如权利要求24的设备，还包括照相机单元，其配置用于捕捉所述参考图像和所述主图像。
26.如权利要求24-25中任一的设备，其中捕捉所述参考图像和所述主图像之间的时间距离不超过100ms。
27.如权利要求24-26中任一的设备，其中所述第一闪光灯能量级别小于所述第二闪光灯能量级别的10％。
28.如权利要求24-27中任一的设备，其中所述参考图像具有至少以下之一：比所述主图像更低的质量、更低的采样率以及更低的分辨率。
29.如权利要求24-28中任一的设备，其中所述处理器配置用于在考虑所述参考图像的所述图像数据与所述主图像的所述图像数据之间差异的情况下，检测所述主图像中的赝像；以及修正所述检测到的赝像以获得所述第三图像的所述图像数据。
30.如权利要求29的设备，其中所述处理器还配置用于在检测到所述主图像中的所述赝像之前，处理所述参考图像。
31.如权利要求24-28中任一的设备，其中所述处理器配置用于对根据所述参考图像的所述图像数据和所述主图像的所述图像数据形成的数据集执行因子分析；以及将从所述因子分析获得的变换应用于所述数据集以获得第四图像的图像数据，其中所述第三图像的所述图像数据至少基于所述第四图像的所述图像数据而确定。
32.如权利要求31的设备，其中所述因子分析是对所述数据集的主元分析，所述主元分析针对所述参考图像的所述图像数据和所述主图像的所述图像数据来确定公共部分和差异部分。
33.如权利要求32的设备，其中基于从所述主元分析获得的变换矩阵、以及为了抑制或消除所述差异部分而确定的修改的变换矩阵，来确定所述变换。
34.如权利要求31-33中任一的设备，其中所述处理器配置用于基于来自所述参考图像和所述主图像的信息来确定模糊似然性图，其中所述模糊似然性图指示所述主图像的部分中是否包含赝像，并且其中在执行所述因子分析之前，利用所述模糊似然性图来对所述参考图像的所述图像数据和所述主图像的所述图像数据进行加权。
35.如权利要求34的设备，其中所述处理器还配置用于：在考虑所述模糊似然性图的情况下，基于所述参考图像的所述图像数据、所述主图像的所述图像数据以及所述第四图像的所述图像数据来确定所述第三图像的所述图像数据。
36.如权利要求35的设备，其中所述处理器还配置用于将所述模糊似然性图的影响从所述第三图像的所述图像数据中消除。
37.如权利要求35-36中任一的方法，其中所述处理器还配置用于减小所述第三图像的部分的强度。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/IB2006/055024 WO2008078153A1 (en) | 2006-12-22 | 2006-12-22 | Removal of artifacts in flash images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101563913A true CN101563913A (zh) | 2009-10-21 |
| CN101563913B CN101563913B (zh) | 2011-10-19 |
Family
ID=38212250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2006800566605A Expired - Fee Related CN101563913B (zh) | 2006-12-22 | 2006-12-22 | 消除闪光灯图像中的赝像 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8442349B2 (zh) |
| JP (1) | JP4982567B2 (zh) |
| KR (1) | KR101089393B1 (zh) |
| CN (1) | CN101563913B (zh) |
| WO (1) | WO2008078153A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104537633A (zh) * | 2014-12-18 | 2015-04-22 | 河南师范大学 | 一种利用图像融合技术消除图像反影的方法 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8571271B2 (en) | 2011-05-26 | 2013-10-29 | Microsoft Corporation | Dual-phase red eye correction |
| US10477087B2 (en) * | 2017-11-16 | 2019-11-12 | Duelight Llc | System, method, and computer program for capturing a flash image based on ambient and flash metering |
| KR102075456B1 (ko) | 2013-07-10 | 2020-02-10 | 삼성전자주식회사 | 화질 개선을 위한 영상 처리 방법 및 그것을 이용한 영상 처리 장치 |
| US9824271B2 (en) * | 2014-06-25 | 2017-11-21 | Kodak Alaris Inc. | Adaptable eye artifact identification and correction system |
| US9984466B1 (en) * | 2014-09-02 | 2018-05-29 | Jemez Technology LLC | Autonomous camera-to-camera change detection system |
| US10298864B2 (en) | 2016-06-10 | 2019-05-21 | Apple Inc. | Mismatched foreign light detection and mitigation in the image fusion of a two-camera system |
| US10535122B2 (en) * | 2017-07-26 | 2020-01-14 | Microsoft Technology Licensing, Llc | Composite image for flash artifact removal |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4285588A (en) * | 1980-07-24 | 1981-08-25 | Eastman Kodak Company | Apparatus and method for minimizing red-eye in flash photography |
| US7738015B2 (en) * | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
| US6407777B1 (en) * | 1997-10-09 | 2002-06-18 | Deluca Michael Joseph | Red-eye filter method and apparatus |
| JP2000102022A (ja) * | 1998-09-25 | 2000-04-07 | Minolta Co Ltd | デジタルカメラ |
| US7184059B1 (en) * | 2000-08-23 | 2007-02-27 | Nintendo Co., Ltd. | Graphics system with copy out conversions between embedded frame buffer and main memory |
| GB2372391A (en) * | 2001-02-16 | 2002-08-21 | Hewlett Packard Co | Removal of specular reflection |
| US6859565B2 (en) * | 2001-04-11 | 2005-02-22 | Hewlett-Packard Development Company, L.P. | Method and apparatus for the removal of flash artifacts |
| US6980691B2 (en) | 2001-07-05 | 2005-12-27 | Corel Corporation | Correction of “red-eye” effects in images |
| JP2003179807A (ja) | 2001-12-13 | 2003-06-27 | Fuji Photo Film Co Ltd | 撮像装置 |
| CN1567377B (zh) * | 2003-07-02 | 2011-05-04 | 致伸科技股份有限公司 | 数字图像的红眼处理方法 |
| US20050163498A1 (en) * | 2004-01-28 | 2005-07-28 | Battles Amy E. | User interface for automatic red-eye removal in a digital image |
| DE102004016564A1 (de) | 2004-03-30 | 2006-02-16 | Frie, Werner Rudolf, Dr. | Verfahren und Vorrichtung zur Verminderung der Reflexionen eines Blitzes bei der Bildaufnahme |
| US7457477B2 (en) * | 2004-07-06 | 2008-11-25 | Microsoft Corporation | Digital photography with flash/no flash extension |
| US7127095B2 (en) * | 2004-10-15 | 2006-10-24 | The Brigham And Women's Hospital, Inc. | Factor analysis in medical imaging |
| JP2006166359A (ja) * | 2004-12-10 | 2006-06-22 | Canon Inc | 赤目補正方法 |
| US7450756B2 (en) * | 2005-04-28 | 2008-11-11 | Hewlett-Packard Development Company, L.P. | Method and apparatus for incorporating iris color in red-eye correction |
| US20070030816A1 (en) * | 2005-08-08 | 2007-02-08 | Honeywell International Inc. | Data compression and abnormal situation detection in a wireless sensor network |
| EP3620968A1 (en) * | 2005-11-08 | 2020-03-11 | General Atomics | Apparatus and methods for use in flash detection |
| KR100734849B1 (ko) * | 2005-11-26 | 2007-07-03 | 한국전자통신연구원 | 얼굴 인식 방법 및 그 장치 |
| US20070237364A1 (en) * | 2006-03-31 | 2007-10-11 | Fuji Photo Film Co., Ltd. | Method and apparatus for context-aided human identification |
| US7830418B2 (en) * | 2006-04-28 | 2010-11-09 | Hewlett-Packard Development Company, L.P. | Perceptually-derived red-eye correction |
| US7916971B2 (en) * | 2007-05-24 | 2011-03-29 | Tessera Technologies Ireland Limited | Image processing method and apparatus |
| US8045140B2 (en) * | 2007-10-18 | 2011-10-25 | Stc.Unm | Method for multivariate analysis of confocal temporal image sequences for velocity estimation |
| US8116859B2 (en) * | 2007-10-24 | 2012-02-14 | Ela Medical S.A.S. | Electrocardiologic device for the assisted diagnosis of brugada syndrome or early repolarization syndrome |
| US8411938B2 (en) * | 2007-11-29 | 2013-04-02 | Sri International | Multi-scale multi-camera adaptive fusion with contrast normalization |
| US20090285454A1 (en) * | 2008-05-15 | 2009-11-19 | Samsung Electronics Co., Ltd. | Method and system for facial recognition training of users of entertainment systems |
-
2006
- 2006-12-22 KR KR1020097015397A patent/KR101089393B1/ko active IP Right Grant
- 2006-12-22 WO PCT/IB2006/055024 patent/WO2008078153A1/en active Application Filing
- 2006-12-22 CN CN2006800566605A patent/CN101563913B/zh not_active Expired - Fee Related
- 2006-12-22 JP JP2009538798A patent/JP4982567B2/ja not_active Expired - Fee Related
- 2006-12-22 US US12/520,805 patent/US8442349B2/en active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104537633A (zh) * | 2014-12-18 | 2015-04-22 | 河南师范大学 | 一种利用图像融合技术消除图像反影的方法 |
| CN104537633B (zh) * | 2014-12-18 | 2017-07-11 | 河南师范大学 | 一种利用图像融合技术消除图像反影的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2008078153A1 (en) | 2008-07-03 |
| KR20090101951A (ko) | 2009-09-29 |
| US8442349B2 (en) | 2013-05-14 |
| KR101089393B1 (ko) | 2011-12-07 |
| US20100278452A1 (en) | 2010-11-04 |
| CN101563913B (zh) | 2011-10-19 |
| JP4982567B2 (ja) | 2012-07-25 |
| JP2010511340A (ja) | 2010-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102574141B1 (ko) | 이미지 디스플레이 방법 및 디바이스 | |
| CN101563913B (zh) | 消除闪光灯图像中的赝像 | |
| Battiato et al. | Exposure correction for imaging devices: an overview | |
| CN110248098B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN105765967B (zh) | 使用第二相机来调节第一相机的设置的方法、系统和介质 | |
| JP4519708B2 (ja) | 撮影装置および方法並びにプログラム | |
| CN111915526A (zh) | 一种基于亮度注意力机制低照度图像增强算法的摄影方法 | |
| US9275445B2 (en) | High dynamic range and tone mapping imaging techniques | |
| CN105323497B (zh) | 恒定包围的高动态范围(cHDR)操作 | |
| JP4861952B2 (ja) | 画像処理装置及び撮像装置 | |
| CN102487431A (zh) | 摄影装置、摄影方法和程序 | |
| US20100171837A1 (en) | Varying camera self-determination based on subject motion | |
| KR20080034508A (ko) | 적응형 노출 제어 | |
| US20170054921A1 (en) | Image Processing Method and Electronic Apparatus | |
| US20200412982A1 (en) | Laminated image pickup device, image pickup apparatus, image pickup method, and recording medium recorded with image pickup program | |
| CN110266954A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN103685928A (zh) | 图像处理装置以及图像处理方法 | |
| JP4640198B2 (ja) | 電子カメラ、多数ポイント同時合焦枠表示方法、及びプログラム | |
| JP2008104187A (ja) | 画像形成方法、集積回路、及び画像形成装置 | |
| CN105556957B (zh) | 一种图像处理方法、计算机存储介质、装置及终端 | |
| CN108492266B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110266965A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| O'Malley | A simple, effective system for automated capture of high dynamic range images | |
| CN113989387A (zh) | 相机拍摄参数调整方法、装置及电子设备 | |
| CN101521748A (zh) | 摄像装置和摄像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20160118 Address after: Espoo, Finland Patentee after: NOKIA TECHNOLOGIES OY Address before: Espoo, Finland Patentee before: NOKIA Corp. |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111019 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |