CN105409211B - 用于图像处理的带皮肤色调校正的自动白平衡 - Google Patents
用于图像处理的带皮肤色调校正的自动白平衡 Download PDFInfo
- Publication number
- CN105409211B CN105409211B CN201380078509.1A CN201380078509A CN105409211B CN 105409211 B CN105409211 B CN 105409211B CN 201380078509 A CN201380078509 A CN 201380078509A CN 105409211 B CN105409211 B CN 105409211B
- Authority
- CN
- China
- Prior art keywords
- cluster
- skin
- coloration
- possibility
- skin coloration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
Abstract
方法、系统和制品提供用于图像处理的带皮肤色调校正的自动白平衡。方法包括由图像处理设备确定图像上的至少一个皮肤色度点的皮肤色度应该至少位于颜色空间的第一皮肤色度集群或颜色空间的第二皮肤色度集群内的至少一个可能性、取决于该至少一个可能性而从第一皮肤色度集群的至少一部分和第二皮肤色度集群的至少一部分二者形成目标色度集群、和至少部分地基于目标色度集群上的点的皮肤色度而设置图像的白点。
Description
背景技术
数字图像处理设备(诸如数字相机)使用自动白平衡(AWB)以便为从所捕捉的图像重现的图片提供准确的颜色。AWB是发现或定义图片中称为白点的白颜色的过程。图片中的其他颜色是相当于白点来确定的。AWB调整不同颜色分量(例如,红色、绿色和蓝色)关于彼此的增益以便将白物体呈现为白色,而无论图像场景的色温差或颜色分量的不同敏感度。然而,当白点不正确时,重现的图像可能包括错误的颜色。无论是在硬件中还是软件中,这些颜色错误可能由于相机中的生产变化而发生,这会导致色度响应或颜色渐变的变化。而且,可存在将伪颜色引入到图像中的残留渐变问题。这可由于困难的光照(照明)情形(例如,诸如日光和其他人造光源的混合)而发生。随后AWB模块可在其计算中使用伪颜色,从而导致重现图像更进一步的降级。另外,当图像中不存在清楚的白点时,单色图像也倾向于使AWB算法难以处理从而导致错误的颜色。
由错误的白点导致的一类颜色错误叫做偏色,其中整个图像、图像的一部分、或图像内的某些物体有相同的错误渐变。对于人脸或皮肤,即使皮肤颜色或皮肤色调的轻微错误也能容易地被查看图像的普通人所检测到。因此,当图片中人脸或皮肤的其他区域上存在偏色时,脸或皮肤可能显得例如太紫、太蓝、太红、太绿、太粉、太灰、或太黄。
附图简述
本文所描述的内容是作为示例的方式而不是作为限制的方式在附图中示出的。为了图示的简明和清晰起见,图中示出的元素不必按尺寸绘制。例如,为了清晰,可以将一些元素的尺寸相对于其它元素放大。而且,在认为合适的地方,在图中重复了引用标签以指示相对应的或类似的元素。在附图中:
图1是建立人类皮肤色调的光谱反射率的说明性图;
图2是示例性自动白平衡配置的说明性图;
图3是示出示例图像处理方法的流程图;
图4是操作中的示例图像处理系统的说明性图;
图5是示例图像处理系统的说明性图;
图6是示出总体的示例图像处理方法的流程图;
图7是示出具体的示例自动白平衡过程的流程图;
图8是示出示例聚类形成过程的流程图;
图9是示例系统的说明性图;以及
图10是示例设备的说明性图,全部是至少根据本发明的一些实现而安排的。
具体实施方式
现在参考附图描述了一个或多个实施例或实现。尽管讨论了具体配置和安排,但应当理解,这仅是出于说明的目的。相关领域的技术人员将意识到可以采用其它配置和安排而不背离本描述的精神和范围。对于相关领域的技术人员显而易见的是,本文所描述的技术和/或安排也可以在本文所描述的那些之外的各种其它系统和应用中采用。
尽管以下描述阐述了可以表现在例如片上系统(SoC)架构的架构中的各种实现,但此处所描述的技术和/或安排的实现不限于特定架构和/或计算系统,并可以通过出于类似目的的任何架构和/或计算系统来实现。例如,采用例如多个集成电路(IC)芯片和/或包的各种架构和/或诸如机顶盒、智能电话等等的各种计算设备和/或消费电子(CE)设备可以实现本文所描述的技术和/或安排。而且,尽管以下描述可以阐述诸如逻辑实现、系统组件的类型和相互关系、逻辑分区/集成选择等的众多具体细节,但没有这些具体细节也可以实践所要求保护的主题。在其它实例中,诸如例如控制结构和完整软件指令序列的一些内容,可以不详细示出以便不妨碍本文所公开的内容。
此处所公开的内容可以用硬件、固件、软件或其任何组合来实现。此处所公开的内容也可以实现为存储在机器可读介质上的指令,该指令可以由一个或多个处理器读取和执行。机器可读介质可以包括用于以可由机器(例如计算机设备)读的形式存储或传输信息的任何介质和/或机制。例如,机器可读介质可以包括只读存储器(ROM);随机访问存储器(RAM);磁盘存储介质;光存储介质;闪存设备;电子、光学、声学或其它形式的传播信号(例如载波、红外信号、数字信号等)及其它。在另一种形式中,非瞬态物品(诸如非瞬态计算机可读介质)可与以上述及的示例或其他示例中的任何一个一起使用,只除了它不包括瞬态信号。它包括可以用“瞬态”方式暂时持有数据的除了所述信号之外的那些元素,诸如RAM等。
说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用表示所描述的实现可以包括特定特征、结构或特性,但是,每一个实现可以不必包括该特定特征、结构,或特征。此外,这些短语不必指同一实现。而且,当结合实现描述特定特征、结构或特性时,不管是否在本文明确描述,结合其它实现来实现这样的特征、结构或特性被认为是在本领域技术人员的知识范围内。
下面描述了包括用于图像处理的带皮肤色调校正的自动白平衡的系统、制品和方法。
如上所述,用于图像处理设备(作为一个非限制性示例,诸如数码相机)的自动白平衡用来校正图像的白点,和由此图像上所有其他颜色的颜色参考点。AWB算法用来设置白点,但这个过程对于无论是来自传感器处的制造容限、照明效果或形成伪颜色的图像内容等的错误是易受影响的。当错误导致图像中人脸或皮肤上的偏色使得人脸看起来太紫、绿、蓝、或黄、或一些其他非正常颜色时,这些错误特别明显。
为了避免这些错误,一个方案是使用脸检测技术。例如,一旦确定了图像上的某个区域应该是人脸或者人皮肤区时,就确定了图像上的该区域是否有位于颜色空间上的皮肤色调的单个已知色度集群内的皮肤色度。通过例如,通过用G将R和B传感器组件归一化来在色度空间中定义此集群。如果皮肤色度不在该集群内,则将它移到集群中,并计算白点的相应变化。随后基于此新白点而确定图像中的其他颜色。然而,已经证实了单个皮肤色调或皮肤类型集群太不准确,使得皮肤色调中明显的错误(例如偏色)仍可发生。
参考图1-2,已经建立了人皮肤色调的更准确的表示,并且本文所公开的系统利用此表示。具体而言,已经发现可在色度空间中建立两个皮肤类型色度集群,至少一个是较暗皮肤类型,和至少一个是基于光谱反射率的较亮皮肤类型。见Q.Sun、M.D.Fairchild的《脸光谱反射率的统计表征及其对人像写真光谱估计的应用》,Mubsell颜色科学实验室(2002),第27页。提供了示出400-700nm可见波长区域内的亚洲和非洲(也称为黑色)皮肤类型的光谱反射率相似的图,从而定义了较暗皮肤类型群,并在图1上注释为皮肤类型群A。类似的,白人、亚太、拉美及总体平均皮肤类型有相似的光谱反射率,并形成第二个较亮皮肤类型色度群,在图1上注释为皮肤类型群B。
通过图2中解说的一个示例方案,两个已知的光谱反射率群A和B可用来在色度空间200中形成相应的、不同的、皮肤类型专用色度集群。所解说的示例用由绿色(G)分隔的红色(R)和蓝色(B)分量在线性sRGB空间中示出了集群。应理解,集群可存在于许多不同的颜色空间中供本文所公开的系统和方法使用,颜色空间诸如YUV颜色空间的UV面、YCbCr颜色空间的CbCr面、Lab颜色空间的ab面、或HSV颜色空间的HS、其他示例、或其任何组合。集群也可在三维空间中形成,而不是如所解说的示例中在两维空间中形成。本文中群A形成较暗皮肤类型色度集群202,标记为ST-A。群B形成较亮皮肤类型色度集群204,标记为ST-B。应注意,本文中所讨论的术语暗和亮,包括例如较暗皮肤类型或色调(诸如黑色)对比较亮皮肤类型或色调(诸如白人),指皮肤类型的色度(例如,红色、绿色和蓝色的组合),并且是以由集群分组或定义的一种形式,而不是光亮度或亮度,除非另外地述及。因此,至少在本说明书中较暗皮肤类型集群ST-A指包括黑色或非洲皮肤类型,而较亮皮肤类型集群ST-B指包括白人皮肤类型,无论一个集群中的任何皮肤类型是否比另一个集群中的皮肤类型有更多亮度。
如下面将更详细描述的,用于自动白平衡和增加图像上皮肤色调准确性的操作可通过确定与图像上的点或经检测到的皮肤相关的对象相关联的、颜色空间上点208的色度应该在色度集群ST-A中的可能性或概率,以及单独地色度点208应该在色度集群ST-B中的可能性来实现。点208还可以被称为皮肤色度点。取决于可能性中的至少一个,本系统有能力使用ST-A、ST-B、或经计算的、独特目标皮肤类型色度集群206,该集群标记为ST-C,并且是ST-A和ST-B按比例(也可能取决于可能性)的组合。一旦建立了ST-C,图像的初始色度点208的位置和在颜色空间200中的映射可通过校正而在颜色空间200中移动到集群ST-C 206上的新色度点210。一旦建立了,该校正也可用来计算对应于新色度点210并可随后用来确定同一图像中其他点的颜色的新白点。
参考图3,根据本公开的至少一些实现安排了本文所述的图像处理系统的示例过程300。在所解说的实现中,过程300可包括如由操作302、304和/或306的一个或多个所解说的一个或多个操作、功能或动作。作为非限制性示例,本文将参考图2和4的示例颜色处理系统来描述过程300。
过程300可用作用于自动白平衡的计算机实现的方法。过程300可包括“确定图像的至少一个点的皮肤色度应该位于颜色空间的第一或第二皮肤色度集群内的至少一个可能性”302,其中至少一个可能性是按照图像上经检测来描绘人皮肤的点的色度是应该位于颜色空间的第一皮肤色度集群内还是位于该颜色空间的第二皮肤色度集群内来确定的。例如,由此,这也包括另外的可能性,从而可计算一个可能性来对应较暗皮肤类型(或简称较暗)集群ST-A,和计算另一个可能性来对应较亮皮肤类型(或简称较亮)集群ST-B。这样的多个可能性在使用时可加起来等于100%。
随后,过程300可包括“取决于该至少一个可能性,形成目标色度集群”304,其中目标色度集群可基于第一和第二集群中的至少一个来形成。在一种方案中,目标色度集群是根据第一或较暗皮肤类型色度集群的至少一部分和第二或较亮皮肤类型色度集群的至少一部分二者来形成的。这可包括在例如可能性处于、或高于、或低于某个百分比时形成目标色度集群ST-C(图2中的206)。根据一种方案,这可在ST-A可能性和ST-B可能性都不是100%时发生。在一种形式中,当可能性高于50%时,则相对应的集群ST-A或ST-B的大概100%在集群ST-C中使用。在此情况中,另一个集群ST-A或ST-B将有低于50%的可能性。此另一个集群与可能性成比例的一部分也添加到集群ST-C中。例如,如果皮肤色度点位于集群ST-A内的可能性是70%且该皮肤色度点位于集群ST-B内的可能性是30%,那么集群ST-A的大约100%在集群ST-C中使用,且集群ST-B的大约30%在集群ST-C中使用。还是在此示例形式中,ST-B的30%部分是ST-B可能物理地(或换言之几何地)在色度空间上、最接近色度空间200中的集群ST-A的那部分。
从此配置将理解,当较小可能性接近50%时目标集群ST-C变得更大。因此,在一种形式中,当ST-A和ST-B二者的可能性都是大概50%时,集群ST-C是集群ST-A和ST-B二者的合集。因此,当可能性是50/50时,ST-A和ST-B的可能色度没有一个被消除,且该点的色度可在任一集群中同样地存在。
而且,过程300可包括“至少部分地基于目标色度集群上的点的皮肤色度而设置图像的白点”306。作为一个示例,确定了初始白点,应用了传统自动白平衡来计算RGB增益以调整皮肤色度点的位置至目标色度集群ST_C。用来将皮肤色度点移动到集群ST-C的校正或多个校正随后被用来修改或重计算新白点和新RGB增益。在一个形式中,皮肤色度点从其初始位置208移动到色度空间200上的目标集群ST-C 206上的最近位置210。下面解释了移动皮肤色度点的替换性方法。
参考图4,根据本公开的至少一些实现,示例图像处理系统500操作自动白平衡过程400。更详细地,在所解说的形式中,过程400可包括如由偶数编号的操作402到426的一个或多个所解说的一个或多个操作、功能或动作。作为非限制性示例,本文将参考图5的示例图像处理系统500来描述过程400。
在一种形式中,图像处理系统500可包括逻辑模块504之类和/或其组合。例如,逻辑模块504可包括自动白平衡控制506,且该自动白平衡控制506可包括AWB模块510、皮肤类型检测模块512和AWB调整模块514。逻辑模块504也可由脸/皮肤检测模块508,该脸/皮肤检测模块508可被认为或不认为是包括在自动白平衡控制506以内。这些逻辑模块也可与图像设备502、包括图像信号处理器(ISP)522的处理器520、一个或多个存储器524、显示526、编码器528和天线530合作或通信地耦合,如下面所描述并在图5中示出的。
图像设备502将图像数据提供给逻辑模块504,并具体给脸/皮肤检测模块508和自动白平衡控制506。脸/皮肤检测模块508将脸/皮肤位置数据提供给皮肤类型检测模块512,而AWB模块510使用图像数据来执行常规自动白平衡并计算将应用到初始白点的初始或常规增益。基于常规增益和初始白点,皮肤类型检测模块512提供图像的脸和皮肤区域的色度数据,并提供所检测到的对象的皮肤色度点供分析。皮肤色度点可以是所检测到的对象的平均色度或所检测到的对象的一些其他经选择的点(诸如几何中心或边)。AWB调整模块514随后如本文所述地使用此数据来计算皮肤色度点在皮肤色度集群ST-A或ST-B内的可能性。AWB调整模块514随后可建立皮肤色度目标集群ST-C,并将皮肤色度点移到目标集群ST-C上的最终位置,其中至少一个(但此处这些操作二者都)取决于可能性。此后,到目标集群ST-C上的最终皮肤色度点的校正可用来建立经校正的(或最终,或新)白点。新白点可随后用来确定图像上的脸和皮肤色调区域的色度及图像中的所有其他颜色。
更详细地,过程400可用作用于图像处理的带皮肤色调校正的自动白平衡的计算机实现的方法。过程400可首先包括“接收图像数据”402,其可包括接收如下面所解释的预处理的原始图像数据,且图像数据可随后用来“检测对象位置”404,诸如图像上人脸和/或人皮肤区域的映射。随后可将此对象位置信息提供给皮肤类型检测模块512和AWB模块510,且操作406随后可从AWB 510继续。尽管图4的操作指示了某些模块可从不同模块或其他组件接收数据,然而应理解,这包括一个存储数据并使另一个组件可用该数据以从存储获得数据的组件,无论该另一个组件是控制器、模块、图像处理设备、或其他组件。
AWB模块510也可单独地“接收图像数据”403,或另外地具有由脸/皮肤检测模块508提供或变得可访问的数据。AWB模块510也可接收脸检测、对象位置数据。随后,AWB模块510使用图像数据来“确定(图像的)初始白点”408,并随后“应用AWB算法以获得WB_GAINS_REGULAR(白平衡_增益_常规)”410,其中AWB算法(诸如灰度世界法AWB)在下面进行了描述。WB_增益_常规是应用于初始白点的常规、初始或初步增益。可考虑此来形成经检测的皮肤对象或点的初步皮肤色度点(诸如点208)供处理。如上所述,所选择的皮肤色度点与每一个经检测的对象相关联且可以是整个对象或对象的某些区域的平均色度。由此,对于多个对象,初始白点和常规增益WB_GAINS_REGULAR用来计算每一个对象的相关联皮肤色度点的初始色度。
随后将常规增益提供给AWB调整模块514和皮肤类型检测模块512,且操作412从皮肤类型检测模块512继续。一旦皮肤类型检测模块512获得脸和皮肤位置,它可通过可避免使用常规增益以便避免可纳入于初始色度中的错误的方法来“检测皮肤色调类型”414。由此,根据一种方案,皮肤色调类型检测可通过将皮肤区域与脸的其他区域(诸如眼睛和牙齿)比较来继续,并可将皮肤区域与图像的其他区域比较。另一个方法可包括分析皮肤区域的光亮度,该区域中较亮皮肤倾向于指示包括较亮集群ST-B中的皮肤色度点而较暗皮肤指示包括较暗集群ST-A中的皮肤色度点。下面将更详细地描述这些示例方法中的一个。这些比较可为皮肤色度点的正确(或更正确)色度提供至少部分基础。这些计算的初始色度随后可通过AWB调整模块514变得对操作416可用,用于下面也详细提供的可能性的计算。将理解,在一些情况中,皮肤类型检测模块512或其他模块也可执行可能性计算并简单地将可能性提供给AWB调整模块514。在所解说的示例中,这是由AWB调整模块514自己执行的。
AWB调整模块514可“获得建立集群ST-A和ST-B的数据”418,且具体而言,是色度空间中的较暗色度集群ST-A和较亮色度集群ST-B,取决于检测到的皮肤色调确定针对皮肤色度点的色度空间中的区域,并作为一个示例如图2中所示。一旦AWB调整模块514接收了检测到的脸和图像的其他皮肤区域的色度的数据和常规增益之后,AWB调整模块514就可“计算至少一个可能性”420,并且在一个示例中是初始皮肤色度点208应该位于例如ST-A和/或ST-B内的可能性。如下面所解释和图8中示出的,AWB调整模块514可随后“取决于该可能性建立ST-C”422。在一个示例形式中,如果白点位于集群ST-A或ST-B内的可能性是大约100%,那么经指示为有100%确定性的集群被使用,向前移动用作集群ST-C。根据一个示例,大概整个集群用作集群ST-C,且根据另一个示例,整个集群用作集群ST-C。如果集群ST-A和ST-B二者的可能性都是大约50%,那么集群ST-A和ST-B的合集用作集群ST-C。否则,当集群ST-A或ST-B的可能性在大约50%到大约100%之间时,所指示的集群ST-A或ST-B被使用,并且在一个形式中使用大概整个(大约100%)集群。在此情况中,ST-A和ST-B中有小于50%可能性的另一个集群的比例也被使用,但仅是与其可能性成比例的部分。因此,例如,如果集群ST-A和ST-B的可能性分别是70%和30%,那么ST-A的全部可用来形成集群ST-C,但ST-B仅30%可用在集群ST-C中。许多其它组合是可能的。
一旦建立了目标集群ST-C,执行操作“计算对ST-C的校正”424以将皮肤色度放置在目标集群ST-C上的新皮肤色度点(诸如点210)处。根据一种方案,针对每一个表示性皮肤色度点建立对集群ST-C的校正,从而产生多个校正增益。随后将这些校正组合,或者作为一个示例进行平均,以获得图像的目标集群ST-C的单个校正Ctot。
下一步,对目标集群ST-C的校正可用于“计算WB_GAINS_FINAL并设置最终白点”426。这可通过用总校正Ctot调整常规增益以建立图像的最终增益来执行。随后,最终增益(WB_GAINS_FINAL)可用来设置图像的最终白点。新或最终白点可随后用来确定对象(诸如脸和皮肤及图像中的其他像素)的经校正的色度。
而且,可以响应于由一个或多个计算机程序产品所提供的指令来采取图3和4的操作中的任何一个或多个。这样的程序产品可以包括提供当由例如处理器执行时可以提供此处所描述的功能的指令的承载信号的媒体。计算机程序产品可以在任何形式的计算机可读介质中提供。因此,例如,包括一个或多个处理器核的处理器可以响应于由计算机可读介质传达给处理器的指令而采取图3和4中的一个或多个操作。在一种形式中,计算机可读介质是非瞬态制品或介质。
如在本文所描述的任何实现中所使用的,术语“模块”指被配置为提供本文所描述的功能的软件、固件和/或硬件的任何组合。软件可以体现为软件包、代码和/或指令集或指令,并且如此处所描述的任何实现中所使用的,“硬件”可以包括,例如,独自或以任何组合的,硬连线电路、可编程电路、状态机电路和/或存储由可编程电路执行的指令的固件。模块可以集合地或各自地体现为形成更大系统的一部分的电路,更大系统例如,集成电路(IC)、片上系统(SoC)等等。
参考图5,根据本公开的至少一些实现安排了示例图像处理系统的示例过程500。在各种实现中,示例图像处理系统500可具有图像设备502以形成或接收捕捉到的图像数据。这可以以各种方式实现。因此,在一种形式中,图像处理系统500可以是数码相机或其他图像捕捉设备,且在此情况中图像设备502可以是相机硬件和相机传感器软件或模块503。在其他示例中,图像处理设备500可具有图像设备502,图像设备502包括或可以是相机,且逻辑模块504可与图像设备502远程地通信或另外地可以是通信地耦合到图像设备502以供对图像数据的进一步处理。
在任一情况中,这样的技术可包括相机,诸如数码相机系统、专用相机设备、或成像电话,无论是静态照片或视频相机或二者的一些组合。因此,在一种形式中,图像设备502可包括相机硬件和包括一个或多个传感器及自动对焦、缩放、光圈、ND-过滤器、自动曝光、闪光灯和致动器控制的光学器件。这些控制可以是用于操作传感器的传感器模块503的一部分。传感器模块503可以是图像设备502的一部分,或者可以是逻辑模块504的一部分,或二者都是。这样的传感器模块可以用来为取景器生成图像并拍摄静态照片或视频。图像设备502也可具有镜头、带RGB Bayer色彩滤波器的图像传感器、模拟放大器、A/D转换器、将入射光转换成数码信号的其他组件等等、和/或其组合。本文中数码信号也可称为原始图像数据。
其他形式包括相机传感器类图像设备等等(例如,网络摄像头()或webcam传感器或其他互补金属氧化物半导体(CMOS)型图像传感器或电荷耦合元件(CCD)型图像传感器,不需要使用红-绿-蓝(RGB)深度相机和/或话筒阵列来定位谁正在讲话。在其他示例中,RGB-深度相机和/或话筒阵列可附加于相机传感器或替换相机传感器使用。在一些示例中,图像设备502可设置有眼睛跟踪相机。
在所解说的示例中,逻辑模块504包括自动白平衡控制506和脸/皮肤检测模块508及自动对焦(AF)模块516和自动曝光控制(AEC)模块518。自动白平衡控制506和脸/皮肤检测模块通信地耦合到图像设备502以便接收下面描述的原始图像数据。
根据一种方案,自动白平衡控制506包括AWB模块510、皮肤类型检测模块512、AWB调整模块514等等、和/或其组合。根据一种形式,AWB模块510也从图像设备502接收图像数据,并可按本文所述与皮肤类型检测模块512和AWB调整模块514通信地耦合或者合作。
在所解说的形式中,图像处理系统500还可具有一个或多个处理器520,该处理器520包括专用图像信号处理器(ISP)522(诸如英特尔Atom)、存储器存储524、一个或多个显示器526、编码器528和天线530。在一个示例实现中,图像处理系统100可具有显示器526、至少一个通信地耦合至该显示的处理器520、至少一个通信地耦合到该处理器的存储器524、和用来调整图像的白点使得图像中的颜色可如本文所述得到校正的通信地耦合到处理器的自动白平衡调整控制。可提供编码器528和天线530以压缩经修改的图像日期用于传输到可显示或存储该图像的其他设备。应理解,图像处理系统500也可包括解码器(或者编码器528可包括解码器)以接收和解码用于由系统500处理的图像数据。否则,经处理的图像523可显示在显示器526上或存储在存储器524中。如所解说的,这些组件中的任何一个都能够互相通信和/或与逻辑模块504和/或图像设备502的一部分通信。因此,处理器520可通信地耦合到图像设备502和逻辑模块504二者以操作这些组件。根据一种方案,尽管如图5中所示的图像处理系统500可包括与具体模块相关联的框或动作的一个具体集,但是这些块或动作也可与不同于此处所示的具体模块的不同模块相关联。
参考图6,本文所述的图像处理系统的操作可放置在整体图像过程600内的上下文中。因此,根据本公开的至少一些实现,示例图像处理系统500可操作图像过程600。更详细地,在所解说的形式中,过程600可包括如由偶数编号的操作602到622的一个或多个所解说的一个或多个操作、功能或动作。作为非限制性示例,本文将在合适时参考图5的示例图像处理系统500来描述过程600。
因此,如上述及和在一示例形式中的,可获得来自图像设备的原始数据602。此原始图像数据可具有RGB Bayer滤波器格式,其中对每一个2×2像素块,两个像素有绿色数据,一个红色数据,和一个蓝色数据。在另一个形式中,颜色滤波器可以是CMY Bayer滤波器。在又一种形式中,可使用在硅的不同深度记录不同波长的图像信号的Foveon型传感器。
随后可对原始图像数据应用预处理604。这可包括减噪、像素线性化和渐变补偿。它还可包括减分辨率、Bayer去马赛克和/或渐晕消除。一旦经预处理,就可计算统计信息606。举几个例子,这可包括亮度/色度值和平均值、亮度/色度高频和纹理内容、帧到帧动作内容、任何其他颜色内容值、关于去块化控制的图片统计数据(例如,控制去块化非去块化的信息)、RGB网格、滤波器响应网格和RGB直方图。此信息可在宏块或编码单元(CU)的基础(例如,每16×16、或8×8、或其他大小的像素块)上提供、或可每像素或依赖于用于某些标准编码方案(举几个例子,诸如H.264/高级视频编码(AVC)或高效视频编码(HEVC))的兼容性参数按需以其它单元为基础提供。
根据其中省略了增强的图像过程的一种方案,图像过程600可继续到后处理620和随后图像的显示或存储622。然而,根据本文呈现的增强的图像过程,此过程可继续脸/皮肤类型检测608。在一些示例中,对脸或其他对象的检测可包括至少部分地基于Viola-Jones型框架的检测(例如,见于PaulViola、Michael Jones的《使用简单特征的升压级联的快速对象检测》,CVPR 2001和/或由Yangzhou Du、Qiang Li于2010年12月10日提交的题为《用于人脸检测和跟踪的技术》的PCT/CN2010/000997。这样的面部检测技术可允许相对积累以包括脸部检测、地标检测、脸部对齐、微笑/眨眼/性别/年龄检测、脸部识别、检测两个或多个人脸等等。只要人脸、人皮肤、和/或其他目标对象在图像中的位置可以确定,就可使用其他检测技术。
过程600也可运行(610)自动曝光控制(AEC)算法和自动对焦算法以随后设置(612)用于例如图像捕捉设备或相机中捕捉的下一个图像的照明曝光和镜头焦距的新设置。否则,可使用统计和脸/皮肤检测数据来如本文所解释的运行(614)自动白平衡(AWB)。AWB基于初始白点提供初始或常规白平衡增益WB_gains_regular。本文具体在图4-3和7-8的自动白平衡过程描述的色度集群可随后用来建立新的或最终白点并通过调整常规增益来计算(616)新的或最终白平衡(WB)增益。随后将新的或最终白平衡增益应用(618)到像素、CU或宏块数据。
过程随后继续到数据的后处理620。这可包括颜色滤波阵列(CFA)插值、颜色空间转换(例如,诸如在还未执行时从原始RGB到sRGB)、伽玛校正、RGB到YUV转换、图像锐化等等。后处理可由处理器(诸如用于由软件和/或ISP硬件管道执行这些过程的ISP522)执行。
下一步,经处理的图像可如本文所述的显示或存储。替换性地或附加地,可将图像数据提供给编码器用于压缩和传输到另一个显示或存储设备。
参考图7,用AWB过程700解说了根据本文所述的过程执行自动白平衡的一个示例方案,并可将该示例方案视为整体图像过程600的操作614、616和618的一个示例方案。因此,根据本公开的至少一些实现,示例图像处理系统500可操作图像过程700。更详细地,在所解说的形式中,过程700可包括如由偶数编号的动作702到720的一个或多个所解说的一个或多个操作、功能或动作。作为非限制性示例,本文将在合适时参考图5的示例图像处理系统500来描述过程700。
此AWB过程可在经捕捉的图像数据上运行(702)常规AWB。如果还未执行则可包括在此操作中的其他初步任务是将原始数据转换成RGB(线性),并如图2中所示将数据转换进线性色度空间(R/G,B/G)中。
AWB操作702可包括执行AWB算法,诸如颜色相关、色域映射、灰边、和/或灰度世界AWB方法。作为示例,对于灰度世界方法,计算所有颜色分量的平均值,并随后对每一个颜色分量应用适当的增益使得平均值变得彼此相等。计算产生图像的初始或常规增益WB_gains_regular。WB_gains_regular可指原色的三个增益(例如,gain_R、gain_G、gain_B)。此操作也可建立初始白点。
在此点处,考虑脸部检测结果使得对于每一个或多个检测到的对象可以确定皮肤色度点并可以计算校正。为了考虑图像中多个人脸或其他对象的因素,可确定正被分析的图像中脸部检测(或其他相关对象)的总计数。随后,当对第一对象的分析开始时可将计数器设置(704)为i=1。
随后,对于第一检测到的脸部或对象i=1,估计(706)皮肤色度点存在于色度空间中的第一或第二集群中的可能性。在所解说的形式中,可对较暗集群ST-A确定至少一个可能性L-A,并可对较亮集群ST-B确定另一个可能性L-B。如下面参考过程800解释的,每一个或多个集群的可能性可预先计算,或者可能性可在需要时计算。
根据一个实现,可能性是至少部分地基于先前指示为人脸或人皮肤的另一区域上的皮肤的一部分的像素或像素块之间的比较。随后将这些特征与眼白、牙齿等等进行比较。根据另一示例,这些皮肤特征也可与图像的其他部分进行比较。检测到的对象上的色度点的亮度也可用来检测皮肤色调或皮肤类型。在一个示例实现中,可能性是基于眼白和皮肤的平均亮度之间的比例通过下列方程式而计算的:
对于皮肤色度点的色度应在较暗集群ST-A中的可能性(L_A):
if(比率≤0.85){L_A=0%} (2)
elseif(0.95≤比率≤1.05){L_A=50%} (4)
elseif(比率≥2.0){L_A=100%} (6)
随后,对于色度点应在较亮集群ST-B中的可能性:
L_B=100%-L_A (7)
值avg_eye_white_Y和avg_skin_Y分别指图像上检测到的人的眼白的平均亮度级和图像上的人的皮肤的平均亮度级。值在线性sRGB颜色空间中(不在伽玛校正的或另外的非线性颜色空间中)。应注意,提供阈值的实际值仅是作为可能值的示例。
替换性地,可以将牙齿亮度的平均值和眼白亮度的平均值一起使用来代替仅使用眼白亮度,以便在眼睛半闭或全闭的情况中提供更多数据。类似地,在眼睛和嘴巴二者都闭上的情况中也可以使用嘴唇亮度。可以利用时间信息,使得只要在数码相机的取景期间人的眼睛在某一点睁开过,就可以在皮肤类型分类中使用眼白亮度信息。
一旦建立了可能性,就可定位或计算(708)目标或定制集群ST-C,并且在一个示例方案中,是通过操纵集群ST-A和ST-B各自的可能性L-A和L-B来确定在用图8描述的过程中颜色空间中的哪些色度应包括在集群ST-C中。此过程可建立线性转换、缩放、或可能性的范围、以及进而ST-A和ST-B的许多潜在的不同组合,以避免强硬的或二元转换。这可包括或不包括将色度转换到经归一化的sRGB颜色空间的计算。此转换可稍后执行用于带下面述及的初步白点SC(i)的计算。
如果还未执行过,检测到的脸或皮肤区域i的皮肤色度SC(i)可至少部分地基于常规增益WB_gains_regular来计算,710。根据一种方案,可认为SC(i)是通过使用常规增益定位的色度空间中的初步皮肤色度点。根据一种方案,可通过如下方程式来找到RGB空间中的初步、常规皮肤色度点(wbdRGB):
wbdRGB=[wbdR,wbdG,wbdB]T=[gain_R*rawR,gain_G*rawG,gain_B*rawB]T (8)其中,(rawR,rawG,rawB)是所使用的每一个像素、块或其他单元的经预处理的原始R、G和B平均值,(gain_R,gain_G,gain_B)是用作对皮肤色度点的初步调整的常规增益,以及(wbdR,wbdG,wbdB)是新的经白平衡的(wbd)皮肤色度点。
此后,可如下使用3×3颜色转换矩阵(CCM)来将RGB空间值转换成线性sRGB值(或其他不依赖于设备的颜色空间):
ccmRGB=[ccmR,ccmG,ccmB]T=CCM*wbdRGB (9)
可将结果值归一化以确定色度空间的常规色度(如图2中所示),其中:
SC(i)=[ccmR/ccmG,ccmB/ccmG] (10)
一旦在颜色空间中建立了集群ST-C(i)和初步皮肤色度点SC(i)的位置,则根据一个选项,计算(712)额外增益(或校正)来对检测到的对象(i)将初步皮肤色度点SC(i)移到集群ST-C(i)上的最终皮肤色度点位置SC-F(i)。这假定一开始未发现初步皮肤色度点存在于集群ST-C内。校正用增益向量校正C(i)表示,其中:
C(i)=[extra_gain_R,extra_gain_G,extra_g]T (11)
其中(extra_gain_R,extra_gain_G,extra_g)分别是rawR、rawG、rawB的校正,其与WB_gains_regular(WB_gains(i)=WB_gains_regular*C(i))组合会导致SC(i)移向ST-C(i)。应注意,额外增益在传感器RGB颜色空间中,不在SC(i)所处的线性sRGB颜色空间中。校正可如下从线性sRGB空间转换到传感器RGB颜色空间:
C(i)=inv(CCM)*Csrgb(i) (12)
其中将SC(i)移到ST-C的增益是线性sRGB空间中的Csrgb(i),且传感器RGB空间中相应的增益是C(i)。
在一种形式中,皮肤色度点可移到集群ST-C上最近的点,成为集群ST-C的边。根据另一种形式,额外增益可仅仅将皮肤色度点移近集群ST-C但不移到集群ST-C上或之内。根据其他形式,可将某些色度组合固定,使得皮肤色度点可在颜色空间中水平地、垂直地、或按其他指定方向地移向集群ST-C。根据又一示例,最终皮肤色度点可设置在关于目标集群ST-C的一些其他定义点,诸如集群ST-C的中心点。
一旦对于当前检测到的对象或脸i=1建立了额外增益,那么就确定(714)了另一对象是否在应被分析的图像内。这可通过确定i是否等于图像中这类检测到的对象或脸的总数来执行。如果不是,将i设为i+1,且过程返回到操作706以为来自图像的下一对象或脸计算新可能性。重复此过程直到i等于图像中对象的总数。随后,操作继续将所有校正C(i)组合(716)成总校正Ctot。Ctot可以是平均值或其他组合,无论经加权与否。随后,如下用Ctot修改(718)常规AWB结果以确定最终WB增益;
WB_gains_final=WB_gains_regular*Ctot (13)
一旦建立了新白点,就可应用时间稳定化720。根据此方案,可使用脸部识别算法使得来自对同一人脸已经建立了皮肤的先前或未来帧的数据可随后再次使用或使用以调整皮肤色调色度或亮度,使其与同一场景内的相邻帧或图像一致。否则,可在较大尺度使用脸部识别来贯穿多个帧、多个场景、视频、或静态图片库文件、或其他图像数据单元等等、和或其组合找到同一脸,以确定对某个脸是否已经建立了正确的颜色并可重用。替换性地或附加地,脸的颜色可在当前图像上重计算,并可用来调整先前图像上过去的结果(诸如在其中脸部颜色设置还不稳定的最近过去的帧上)。
而且,应理解,用于设置增益的计算也可考虑R、G和B偏移因素和/或整体数码增益因素,以在颜色平衡之外增加或降低图像亮度和/或对比。附加地,尽管迄今所述的AWB过程包括消除非线性和在线性环境中的预处理数据上操作,但替换性地它也可能提供非线性校正的数量和形状。这可在后处理期间在更最终化的图像数据上应用,并通过使用非线性增益来获得非线性效果。这可通过减去或加上与对增益的非线性校正相关联的值,或通过使用查找表来执行到非线性数据的转换来完成。
此后,过程可如整体图像过程600中所述地继续到后处理。应理解,如针对AWB过程700所述的操作和功能不需要总是以如图7中所示的次序执行,且其他次序是可能的。
除了通过用额外增益调整白平衡来修改白点之外,存在调整白点的替换性方式。一种替换性方式是修改3×3颜色转换矩阵(CCM)中的对角线元素。
根据又一替换性方式,代之以使用额外增益或除了使用额外增益之外,可修改例如由ISP使用的其他参数来调整皮肤色度点,并进而调整白点。可额外或替代性地使用多轴颜色校正模块来改变某些色调段的色调或饱和度。
而且,如本文述及的,取决于图像可能的分辨率,可提供多于两个的集群。根据一个示例,可能针对多个或每一个如图2中列出的皮肤色调类型提供集群,从而可提供两个到六个集群。这样的处理细节可能计算量非常大,并可在提供了足够的分辨率时对于保证图像上人皮肤的这类细节是最实用的。
由于此AWB过程不仅仅依赖传统AWB算法,本文所述的AWB过程可在极少或没有参考白色或灰色出现在图像中时和例如在灰度世界分数很低时更稳健或更准确。这因为当前AWB过程至少部分地基于检测到的皮肤色调而不是完全根据针对例如灰色度分析的块来确定白平衡增益。因此,即使在极端颜色条件中AWB也会改善。
参考图8,提供了用于如本文所述从集群ST-A和ST-B建立目标集群ST-C的一个示例过程800。根据一种示例方案,可如过程700所述地计算802相应于集群ST-A和ST-B中的一个的可能性。此处,提供了集群ST-A的可能性L-A,但可能反而首先使用集群ST-B的可能性L-B或者如果多于两个的集群正被分析时单个集群或集群组的其他可能性。在操作804中,如果可能性L-A等于或者大概等于100%,则集群ST-A用作(806)集群ST-C,且在一个形式中,可能不需要进一步的可能性计算来建立集群ST-C。在一个形式中,整个集群ST-A可用作集群ST-C,在其他形式中,大概集群ST-A的全部可用作集群ST-C。过程可随后如上所述继续计算(826)对集群ST-C的白平衡(WB)校正(或额外增益)。
如果L-A不是大概等于100%,则计算(808)可能性L-B。在此情况中,如果L-B大概等于或等于100%(操作810),那么集群ST-B用作(812)集群ST-C,且过程对集群ST-A如以上解释地继续。如果L-B也不是大概100%,那么确定(814)是否L-A和L-B二者都是大概50%。如果是,则集群ST-A和ST-B的并集用作(816)集群ST-C。再一次,这可大概包括整个集群ST-A和ST-B二者。
当L-A和L-B不都是大概50%且没有一个是大概100%时,那么在一个示例形式中,一整个集群加上另一个集群的一部分用作集群ST-C。具体而言,过程确定(818,822)L-A或L-B是否大于大约50%和小于大约100%,或者另外地大于50%和小于100%。如果这对L-A是真,那么集群ST-A用来(820)形成集群ST-C的一部分。而且等于可能性L-B的集群ST-B的一部分用在集群ST-C中,且在一个形式中,这是集群最接近相对集群ST-A的比例。由此,根据一个非限制性示例,如果L-A是70%且L-B是30%,则在集群ST-C中使用集群ST-A的全部和集群ST-B中最接近集群ST-A的30%。在操作824中,当L-B而不是L-A大于大约50%且小于大约100%时同样如此,但除了产生相反配置。随后过程如上面解释地继续计算最终WB增益和最终白点。
应理解,许多其他替换性方式是可能的。例如,目标集群ST-C可从集群ST-A和ST-B二者形成,并且二者比例上都相对应于它们各自的可能性L-A和L-B。根据另一示例,当提供了多于两个的集群时(诸如通过对于每一个皮肤色调类型提供集群),每一个或多个集群可各自相对应于其可能性按比例对集群ST-C做出贡献。
参考图9,根据本公开的示例系统900操作本文所述的图像处理系统的一个或多个方面。从下面描述的系统组件的本质应了解,这样的组件可关联于或用来操作上面所述的图像处理系统的某个或某些部分。在各种实现中,系统900可以是媒体系统,尽管系统900不限于此上下文。例如,系统900可以合并进数字静态相机、数字视频相机、带相机或视频功能的移动设备诸如图像电话、摄像头、个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板机、触摸垫、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如智能电话、智能平板机或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备等。
在各种实现中,系统900包括耦合到显示920的平台902。平台902可以从内容设备接收内容,内容设备诸如内容服务设备930或内容递送设备940或其它类似内容源。包括一个或多个导航特征的导航控制器950可以用来与例如平台902和/或显示920交互。下面将更详细地描述这些组件中的每一个。
在各种实现中,平台902可包括芯片组905、处理器910、存储器912、存储914、图形子系统915、应用916和/或无线电918的任何组合。芯片组905可提供处理器910、存储器912、存储914、图形子系统915、应用916和/或无线电918之间的互通信。例如,芯片组905可包括能够提供与存储914的互通信的存储适配器(未示出)。
处理器910可实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容的处理器、多核、或任何其它微处理器或中央处理单元(CPU)。在各种实现中,处理器910可以是双核处理器、双核移动处理器等等。
存储器912可实现为易失性存储器设备,诸如但不限于,随机访问存储器(RAM)、动态随机访问存储器(DRAM)或静态RAM(SRAM)。
存储914可以实现为非易失性存储设备,诸如但不限于,磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附连存储设备、闪存、电池备用SDRAM(异步DRAM)和/或网络可访问存储设备。在各种实现中,存储914包括在包括多个硬盘驱动器时增加对有价值的数字媒体的存储性能增强保护的技术。
图形子系统915可以执行诸如用于显示的静态或视频图像的处理。例如,图形子系统915可以是图形处理单元(GPU)或视觉处理单元(VPU)。可以使用模拟或数字接口将图形子系统915和显示920通信地耦合。例如,接口可以是高清晰度多媒体接口、显示端口、无线HDMI、和/或符合无线HD的技术中的任何一个。
图形子系统915可以集成进处理器910或芯片组905中。在一些实现中,图形子系统915可以是通信地耦合到芯片组905的独立卡。
此处描述的图形和/或视频处理技术可用各种硬件架构实现。例如,图形和/或视频功能可集成在芯片组中。替换性地,可使用离散图形和/或视频处理器。如又一实现,图形和/或视频功能可通过通用处理器包括多核处理器来实现。在又一实施例中,功能可在消费电子设备中实现。
无线电918可包括能够使用各种适合的无线通信技术发送和接收信号的一个或多个无线电。这些技术可涉及跨一个或多个无线网络的通信。示例无线网络包括(但不限于)无线局域网(WLAN)、无线个人区域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在跨这些网络的通信中,无线电818可根据一个或多个适用的标准的任何版本操作。
在各种实现中,显示920可以包括电视型监视器或显示。显示器920可以包括,例如,计算机显示屏、触摸屏显示、视频监视器、电视机类的设备和/或电视机。显示器920可以是数字的和/或模拟的。在各种实现中,显示器920可以是全息显示器。显示器920也可以是可以接收视觉投影的透明表面。这样的投影可传递各种形式的信息、图像、物体等。例如,这样的投影可以是移动增强现实(MAR)应用的视觉覆盖。在一个或多个软件应用916的控制下,平台902可在显示920上显示用户接口922。
在各种实现中,内容服务设备930可由任何国家的、国际的和/或独立服务主存,并因此经由例如因特网对平台902是可访问的。内容服务设备930可耦合到平台902和/或显示器920。平台902和/或内容服务设备930可以耦合到网络960以将媒体信息去往和来自网络960地通信(例如发送和/或接收)。内容递送设备940也可耦合到平台902和/或显示器920。
在各种实现中,内容服务设备930可以包括有线电视盒、个人计算机、网络、电话、能够递送数字信息和/或内容的启用因特网的设备或电器、和能够经由网络960或直接地、单向地或双向地在内容提供者和平台902和显示器920之间通信内容的任何其它类似设备。应理解,内容可以经由网络960单向地和/或双向地去往和来自系统900中的任何一个组件和内容提供者通信。内容的示例可以包括任何媒体信息,包括例如视频、音乐、医疗和游戏信息等。
内容服务设备930可以接收内容,诸如有线电视节目包括媒体信息、数字信息或其它内容。内容提供者的示例可以包括任何有线或卫星电视或无线电或因特网内容提供者。所提供的示例不旨在以任何方式限制根据本公开的实现。
在各种实现中,平台902可以从具有一个或多个导航特征的导航控制器950接收控制信号。导航控制器950的导航特征可以用来与例如用户接口922交互。在各实施例中,导航控制器950可以是定点设备,其可以是允许用户将空间(例如连续的和多维的)数据输入进计算机的计算机硬件组件(具体而言,人机接口设备)。诸如图形用户接口(GUI)和电视机和监视器的许多系统允许用户使用物理姿势控制计算机或电视机并向计算机或电视机提供数据。
导航控制器950的导航特征的动作可以通过指针、光标、焦点环或显示在显示器上的其它视觉指示符的动作而在显示(例如显示器920)上回显。例如,在软件应用916的控制下,位于导航控制器950上的导航特征可映射到显示在用户接口922上的虚拟导航特征。在各实施例中,控制器950可以不是单独的组件,而是可以集成进平台902和/或显示器920中。然而本公开不限于此处所示出或描述的元素或上下文。
在各种实现中,驱动器(未示出)可以包括像电视机在初始启动之后用按钮的触摸(当启用时,例如)使用户能立即打开或关闭平台902的技术。即使当平台被“关闭”时,程序逻辑也可允许平台902将内容流传输到内容适配器或其它内容服务设备930或内容递送设备940。而且,例如,芯片组905可包括支持例如8.1环绕声音频和/或高清晰度7.1环绕声音频的硬件和/或软件。驱动器可以包括用于集成图形平台的图形驱动器。在各实施例中,图形驱动器可以包括外围组件互连快速(PCIe)图形卡。
在各种实现中,任何一个或多个系统900中示出的组件都可以是集成的。例如,平台902和内容服务设备930可以是集成的;或者平台902和内容递送设备940可以是集成的;或者平台902、内容服务设备930和内容递送设备940可以是集成的。在各种实施例中,平台902和显示器920可以是集成的单元。例如,显示器920和内容服务设备930可以是集成的,或者显示器920和内容递送设备940可以是集成的。这些示例不旨在限制本公开。
在各种实施例中,系统900可以实现为无线系统、有线系统或二者的组合。当实现为无线系统时,系统900可包括适合于通过无线共享介质诸如一个或多个天线、发送器、接收器、收发器、放大器、滤波器、控制逻辑等通信的组件和接口。无线共享介质的示例可包括无线频谱的部分,诸如RF频谱等等。当实现为有线系统时,系统900可以包括适合于通过诸如输入/输出(I/O)适配器、将I/O适配器与相对应的有线通信介质连接的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等的有线通信介质通信的组件和接口。有线通信介质的示例可包括导线、电缆、金属线、印刷电路板(PCB)、背板、交换光纤、半导体材料、双绞线、同轴电缆、光纤等。
平台902可以建立一个或多个逻辑或物理信道以通信信息。信息可包括媒体信息和控制信息。媒体信息可以指表示为用户准备的内容的任何数据。内容的示例可包括,例如,来自语音对话的数据、视频会议、流视频、电子邮件(email)消息、语音邮件消息、字母数字符号、图形、图形、视频文本等。来自语音对话的数据可以是,例如,发言信息、沉默期、背景噪音、舒适噪音、音质等。控制信息可以指表示命令、指令或为自动系统准备的控制字的任何数据。例如,控制信息可以用来路由媒体信息通过系统,或指令节点以预确定的方式处理媒体信息。然而各实现不限于图9中示出或描述的元素或上下文。
参考图10,小型设备1000是系统900可体现于其中的不同物理风格或形式因子的一个示例。根据此方案,设备1000可以实现为具有无线能力的移动计算设备。移动计算设备可以指具有处理系统和例如诸如一个或多个电池的无线电力源或供应的任何设备。
如上所述,移动计算设备的示例可包括数字静态相机、数字视频相机、带相机或视频功能的移动设备诸如图像电话、摄像头、个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板机、触摸垫、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如智能电话、智能平板机或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备等。
移动计算设备的示例也可以包括安排为由人佩戴的计算机,诸如腕式计算机、指式计算机、环式计算机、眼镜计算机、带扣计算机、臂环计算机、鞋式计算机、衣式计算机和其它可佩戴的计算机。例如,在各种实施例中,移动计算设备可以实现为能够执行计算机应用及语音通信和/或数据通信的智能电话。尽管一些实施例可以用作为示例实现为智能电话的移动计算设备描述,但应理解,其它实施例也可以使用其它无线移动计算设备实现。各实施例不限于该上下文。
如图10中所示,设备1000可包括外壳1002、包括屏幕1010的显示器1004、输入/输出(I/O)设备1006和天线1008。设备1000也可包括导航特征1012。显示器1004可以包括用于显示适合于移动计算设备的信息的任何适合的显示单元。I/O设备1006可以包括用于将信息输入进移动计算设备的任何适合的I/O设备。I/O设备1006的示例可以包括字母数字键盘、数字小键盘、触摸垫、输入建、按钮、开关、翘板开关、话筒、扬声器、语音识别设备和软件等。信息也可以通过话筒的方式输入进设备1000中。这样的信息可通过语音识别设备(未示出)数字化。各实施例不限于该上下文。
本文所述的各种形式的设备和过程可以使用硬件元件、软件元件或二者的组合来实现。硬件元件的示例可以包括处理器、微处理器、电路、电路元件(例如,晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储器单元、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件的示例可包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序编程接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、文字、值、符号、或其任何组合。确定一实施例是否使用硬件元件和/或软件元素来实现可以根据任何数量的因素而变化,这些因素诸如所需的计算速率、功率级、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能约束。
至少一个实施例的一个或多个方面可以由存储在机器可读介质上的表示性指令来实现,指令表示处理器中的各种逻辑,指令在被机器读取时使得该机器制作用于执行本文所述的技术的逻辑。称为“IP核”的这种表示可以存储在有形的、机器可读的介质上并供应给各种顾客或制造设施以装载进实际制造该逻辑或处理器的制造机器中。
尽管已经参考各种实现描述了此处所阐述的某些特征,但本描述不旨在以限制性的意义来解释。因此,对于本公开目标所涉及的领域的技术人员显而易见的此处所描述的实现的各种修改和其它实施例被认为落入本公开的精神和范围之内。
以下示例涉及进一步的实现。
自动白平衡的计算机实现的方法包括由图像处理设备确定图像上至少一个点的皮肤色度应该至少位于颜色空间的第一皮肤色度集群或颜色空间的第二皮肤色度集群内的至少一个可能性。取决于至少一个可能性,目标色度集群可从第一皮肤色度集群的至少一部分和第二皮肤色度集群的至少一部分二者来形成。图像的白点可至少部分地基于该点在目标色度集群上的皮肤色度而设置。
根据其他实现,可计算包括相对应于较暗皮肤类型的一个可能性和相对应于较亮皮肤类型的另一个可能性至少两个可能性。方法也可包括形成目标色度集群,该形成包括使用第一或第二皮肤色度集群的一部分,其中该部分与至少一个可能性成比例。当可能性小于大约50%时该部分可与相对应的可能性成比例。附加地,该部分可在集群内几何地或物理地最接近颜色空间上的第一和第二皮肤色度集群中的另一个。另外地,方法可包括当相对应的可能性高于50%时使用第一或第二皮肤色度集群的大概100%。
在一种形式中,目标色度集群可通过以下方式形成:(1)当相对应的可能性是大概100%时将目标色度集群建立为大概等于第一皮肤色度集群,(2)当相对应的可能性是大概100%时将目标色度集群建立为大概等于第二皮肤色度集群,(3)当第一和第二皮肤色度集群的相应可能性二者都是大概50%时将目标色度集群建立为大概是第一和第二皮肤色度集群的联合,(4)当相对应于第一皮肤色度集群的可能性多于50%时将目标色度集群建立为第一皮肤色度集群加上第二皮肤色度集群的成比例部分,其中该成比例部分对应于皮肤色度点被发现位于第二皮肤色度集群内的可能性,以及(5)当相对应于第二皮肤色度集群的可能性多于50%时将目标色度集群建立为第二皮肤色度集群加上第一皮肤色度集群的成比例部分,其中该成比例部分对应于皮肤色度点被发现位于第一皮肤色度集群中的可能性。
在又一实现中,集群可包括两到六个皮肤色度集群。而且,可能性可通过使用检测到的脸的人眼亮度和皮肤亮度和使用检测到的脸的人眼亮度、嘴唇亮度和皮肤亮度中的一个来确定。方法也可包括建立皮肤色度点在颜色空间上的初始位置、和确定皮肤色度点的色度(通过将校正应用到皮肤色度空间以将皮肤色度点移到以下至少一种:朝向目标色度集群、移到目标色度集群的边、和移到目标色度集群上的最近点。方法也可包括对图像上检测到的多个提供皮肤的对象中的每一个检测到的提供皮肤的对象确定至少一个校正增益,和使用校正增益来确定最终白点。
根据又一实现,用于带自动白平衡的图像处理的系统包括显示器、通信地耦合到显示器的至少一个处理器、通信地耦合到至少一个处理器的至少一个存储器、和通信地耦合到处理器的自动白平衡调整模块。该模块被配置为确定图像上至少一个皮肤色度点的皮肤色度应该至少位于颜色空间的第一皮肤色度集群或颜色空间的第二皮肤色度集群内的至少一个可能性。模块还取决于至少一个可能性从第一皮肤色度集群的至少一部分和第二皮肤色度集群的至少一部分二者来形成目标色度集群。模块也可至少部分地基于目标色度集群上的点的皮肤色度而设置图像的白点。
在更多的实现中,自动白平衡调整模块被配置为计算包括相对应于较暗皮肤类型的一个可能性和相对应于较亮皮肤类型的另一可能性的至少两个可能性。目标色度集群可包括第一或第二皮肤色度集群的一部分,其中该部分与至少一个可能性成比例。当可能性小于大约50%时,目标色度集群也可包括第一或第二皮肤色度集群的一部分,该部分与相对应的可能性成比例。另外地,目标色度集群可包括第一或第二皮肤色度集群的一部分,该部分与至少一个可能性成比例,其中集群的该部分在集群内几何地最接近颜色空间上的第一和第二皮肤色度集群中的另一个。当相对应的可能性高于50%时,目标色度集群可包括第一或第二皮肤色度集群的大概100%。
根据一种形式,目标色度集群可大概等于:(1)第一皮肤色度集群——当相对应的可能性是大概100%时,(2)第二皮肤色度集群——当相对应的可能性是大概100%时,(3)第一和第二皮肤色度集群的联合——当它们相应的可能性都是大概50%时,(4)第一皮肤色度集群加上第二皮肤色度集群的一部分——当相对应于第一皮肤色度集群的可能性大于50%且该部分相对应于皮肤色度点被发现在第二皮肤色度集群内的可能性时,以及(5)第二皮肤色度集群加上第一皮肤色度集群的一部分——当相对应于第二皮肤色度集群的可能性大于50%且该部分相对应于皮肤色度点被发现在第一皮肤色度集群内的可能性时。
根据其他替换性方式,集群可包括两到六个皮肤色度集群。而且,可能性可通过使用检测到的脸的人眼亮度和皮肤亮度和使用检测到的脸的人眼亮度、嘴唇亮度和皮肤亮度中的一个来确定。而且,自动白平衡调整模块可被配置为建立皮肤色度点在颜色空间上的初始位置、和确定皮肤色度点的色度(通过将校正应用到皮肤色度空间以将颜色空间上的皮肤色度点移到以下至少一种:朝向目标色度集群、移到目标色度集群的边、和移到目标色度集群上的最近点)。自动白平衡模块也可被配置为对图像上检测到的多个提供皮肤的对象中的每一个检测到的提供皮肤的对象确定至少一个校正增益,和至少使用校正增益来确定图像的最终白点。
对于其他实现,用于自动白平衡的至少一个非瞬态制品已经将计算机程序存储于其中,该计算机程序既有当执行时导致计算机由图像处理设备确定图像上至少一个皮肤色度点的皮肤色度应该至少位于颜色空间的第一皮肤色度集群或颜色空间的第二皮肤色度集群内的至少一个可能性的指令。指令还导致计算机取决于至少一个可能性而从第一皮肤色度集群的至少一部分和第二皮肤色度集群的至少一部分二者形成目标色度集群,并至少部分地基于目标色度集群上的点的皮肤色度设置图像的白点。
在又一实现中,指令导致计算机计算包括相对应于较暗皮肤类型的一个可能性和相对应于较亮皮肤类型的另一可能性的至少两个可能性。指令也可包括形成目标色度集群,该形成包括使用第一或第二皮肤色度集群的一部分,其中该部分与至少一个可能性成比例。当可能性小于大约50%时该部分可与相对应的可能性成比例。附加地,该部分可在集群内几何地最接近颜色空间上的第一和第二皮肤色度集群中的另一个。另外地,指令当被执行时可导致计算机在相对应的可能性高于50%时使用第一或第二皮肤色度集群的大概100%。
在一个形式中,指令可导致目标色度集群通过以下方式来形成:(1)当相对应的可能性是大概100%时将目标色度集群建立为大概等于第一皮肤色度集群,(2)当相对应的可能性是大概100%时将目标色度集群建立为大概等于第二皮肤色度集群,(3)当第一和第二皮肤色度集群的相应可能性二者都是大概50%时将目标色度集群建立为大概是第一和第二皮肤色度集群的联合,(4)当相对应于第一皮肤色度集群的可能性多于50%时将目标色度集群建立为第一皮肤色度集群加上第二皮肤色度集群的成比例部分,其中该成比例部分对应于皮肤色度点被发现位于第二皮肤色度集群中的可能性。(5)当相对应于第二皮肤色度集群的可能性多于50%时将目标色度集群建立为第二皮肤色度集群加上第一皮肤色度集群的成比例部分,其中该成比例部分对应于皮肤色度点被发现位于第一皮肤色度集群中的可能性。
在又一实现中,集群可包括两到六个皮肤色度集群。而且,可能性可通过使用检测到的脸的人眼亮度和皮肤亮度和使用检测到的脸的人眼亮度、嘴唇亮度和皮肤亮度中的一个来确定。指令也可导致计算机建立皮肤色度点在颜色空间上的初始位置、和确定皮肤色度点的色度(通过将校正应用到皮肤色度空间以将颜色空间上的皮肤色度点移到以下至少一种:朝向目标色度集群、移到目标色度集群的边、和移到目标色度集群上的最近点)。指令也可导致计算机对图像上检测到的多个提供皮肤的对象中的每一个检测到的提供皮肤的对象确定至少一个校正增益,和至少使用校正增益来确定图像的最终白点。
在进一步示例中,至少一个计算机可读介质可包括多个指令,所述指令响应于在计算设备上执行而致使所述计算设备根据以上示例中任一个而执行方法。
在还进一步示例中,装置可包括用于根据以上示例中任一个而执行方法的手段。
以上示例可包括特征的具体组合。然而,以上示例不限于此,且在各种实现中,以上示例可包括仅采取这些特征的子集、采取这些特征的不同次序、采取这些特征的不同组合、和/或采取明确地列出的那些特征之外的特征。例如,相关于本文的任何示例方法描述的所有特征都可相关于任何示例装置、示例系统、和/或示例制品而实现,且反之亦然。
Claims (35)
1.一种计算机实现的自动白平衡的方法,所述方法包括:
由图像处理设备确定图像上至少一个皮肤色度点的皮肤色度应该至少位于颜色空间的第一皮肤色度集群或所述颜色空间的第二皮肤色度集群内的至少一个可能性;
取决于所述至少一个可能性,从所述第一皮肤色度集群的至少一部分和所述第二皮肤色度集群的至少一部分二者来形成目标色度集群;以及
至少部分地基于所述目标色度集群上的所述点的所述皮肤色度而设置所述图像的白点。
2.如权利要求1所述的方法,其特征在于,计算包括相对应于较暗皮肤类型的一个可能性和相对应于较亮皮肤类型的另一个可能性的至少两个可能性。
3.如权利要求1所述的方法,其特征在于,形成目标色度集群包括使用所述第一或第二皮肤色度集群的一部分,其中所述一部分与所述至少一个可能性成比例。
4.如权利要求1所述的方法,其特征在于,形成目标色度集群包括当相对应的可能性小于大约50%时,使用所述第一或第二皮肤色度集群与所述相对应的可能性成比例的一部分。
5.如权利要求1所述的方法,其特征在于,形成目标色度集群包括使用所述第一或第二皮肤色度集群与所述至少一个可能性成比例的一部分,其中所述第一皮肤色度集群和所述第二皮肤色度集群中的一个皮肤色度集群的所述一部分在所述第一皮肤色度集群和所述第二皮肤色度集群中的所述一个皮肤色度集群内几何地最接近所述颜色空间上的所述第一皮肤色度集群和所述第二皮肤色度集群中的另一个皮肤色度集群。
6.如权利要求1所述的方法,其特征在于,包括:当相对应的可能性高于50%时,使用所述第一或第二皮肤色度集群的大概100%。
7.如权利要求1所述的方法,其特征在于,形成目标色度集群包括:
当相对应的可能性是大概100%时将所述目标色度集群建立为大概等于所述第一皮肤色度集群,
当相对应的可能性是大概100%时将所述目标色度集群建立为大概等于所述第二皮肤色度集群,
当所述第一和第二皮肤色度集群的相应可能性二者都是大概50%时将所述目标色度集群建立为大概是所述第一和第二皮肤色度集群的联合,
当相对应于所述第一皮肤色度集群的可能性多于大约50%时将所述目标色度集群建立为所述第一皮肤色度集群加上所述第二皮肤色度集群的成比例部分,其中所述成比例部分对应于所述皮肤色度点的色度被发现位于所述第二皮肤色度集群中的可能性,以及
当相对应于所述第二皮肤色度集群的可能性多于大约50%时将所述目标色度集群建立为所述第二皮肤色度集群加上所述第一皮肤色度集群的成比例部分,其中所述成比例部分对应于皮肤色度点的色度被发现位于所述第一皮肤色度集群中的可能性。
8.如权利要求1所述的方法,其特征在于,有两个到六个皮肤色度集群。
9.如权利要求1所述的方法,其特征在于,所述可能性通过使用检测到的脸的人眼亮度和皮肤亮度来确定。
10.如权利要求1所述的方法,其特征在于,所述可能性通过使用检测到的脸的人眼亮度、嘴唇亮度和皮肤亮度来确定。
11.如权利要求1所述的方法,其特征在于,包括建立所述皮肤色度点在所述颜色空间上的初始位置,和通过将校正应用于所述皮肤色度点以将所述颜色空间上的所述皮肤色度点移到下列中的至少一个来确定所述皮肤色度点的色度:
朝向所述目标色度集群,
到所述目标色度集群的边,以及
到所述目标色度集群的最近点。
12.如权利要求1所述的方法,其特征在于,包括:对于所述图像上检测到的多个提供皮肤的对象中的每一个检测到的提供皮肤的对象,确定至少一个校正增益;以及至少使用所述校正增益来确定所述图像的最终白点。
13.如权利要求1所述的方法,其特征在于:
计算包括相对应于较暗皮肤类型的一个可能性和相对应于较亮皮肤类型的另一个可能性的至少两个可能性;
形成目标色度集群包括使用所述第一或第二皮肤色度集群的一部分,其中所述一部分与所述至少一个可能性成比例;
其中当所述可能性小于大约50%时所述部分与相对应的可能性成比例;
其中所述第一皮肤色度集群和所述第二皮肤色度集群中的一个皮肤色度集群的所述一部分在所述第一皮肤色度集群和所述第二皮肤色度集群中的所述一个皮肤色度集群内几何地最接近所述颜色空间上的所述第一皮肤色度集群和所述第二皮肤色度集群中的另一个皮肤色度集群;
包括当相对应的可能性高于50%时使用所述第一或第二皮肤色度集群的大概100%;
其中形成目标色度集群包括:
当相对应的可能性是大概100%时将所述目标色度集群建立为大概等于所述第一皮肤色度集群,
当相对应的可能性是大概100%时将所述目标色度集群建立为大概等于所述第二皮肤色度集群,
当所述第一和第二皮肤色度集群的相应可能性二者都是大概50%时将所述目标色度集群建立为大概是所述第一和第二皮肤色度集群的联合,
当相对应于所述第一皮肤色度集群的可能性多于50%时将所述目标色度集群建立为所述第一皮肤色度集群加上所述第二皮肤色度集群的成比例部分,且其中所述成比例部分对应于所述点被发现位于所述第二皮肤色度集群内的可能性,以及
当相对应于所述第二皮肤色度集群的可能性多于50%时将所述目标色度集群建立为所述第二皮肤色度集群加上所述第一皮肤色度集群的成比例部分,其中所述成比例部分对应于所述点被发现位于所述第一皮肤色度集群中的可能性;
其中有两个到六个皮肤色度集群;
其中所述可能性是通过下列之一确定的:
使用检测到的脸的人眼亮度和皮肤亮度,以及
使用检测到的脸的人眼亮度、嘴唇亮度和皮肤亮度;以及
包括建立所述皮肤色度点在所述颜色空间上的初始位置,和通过将校正应用于所述皮肤色度点确定所述皮肤色度点的色度,以将所述颜色空间上的所述皮肤色度点移到下列中的至少一个:
朝向所述目标色度集群,
到所述目标色度集群的边,以及
到所述目标色度集群的最近点;以及
包括对于所述图像上的多个提供皮肤的对象中的每一个检测到的提供皮肤的对象,确定至少一个校正增益,并且至少使用所述校正增益来确定所述图像的最终白点。
14.一种用于带自动白平衡的图像处理的系统,所述系统包括:
显示器;
通信地耦合到所述显示器的至少一个处理器;
通信地耦合到所述至少一个处理器的至少一个存储器;以及
通信地耦合到所述处理器自动白平衡调整模块,所述模块被配置为:
确定图像上至少一个皮肤色度点的皮肤色度应该至少位于颜色空间的第一皮肤色度集群或所述颜色空间的第二皮肤色度集群内的至少一个可能性;
取决于所述至少一个可能性,从所述第一皮肤色度集群的至少一部分和所述第二皮肤色度集群的至少一部分二者来形成目标色度集群;以及
至少部分地基于所述目标色度集群上的所述点的所述皮肤色度而设置所述图像的白点。
15.如权利要求14所述的系统,其特征在于,所述自动白平衡调整模块被配置为计算包括相对应于较暗皮肤类型的一个可能性和相对应于较亮皮肤类型的另一可能性的至少两个可能性。
16.如权利要求14所述的系统,其特征在于,所述目标色度集群包括所述第一或第二皮肤色度集群的一部分,其中所述一部分与所述至少一个可能性成比例。
17.如权利要求14所述的系统,其特征在于,当所述可能性小于大约50%时,所述目标色度集群包括所述第一或第二皮肤色度集群与相对应的可能性成比例的一部分。
18.如权利要求14所述的系统,其特征在于,所述目标色度集群包括所述第一或第二皮肤色度集群与所述至少一个可能性成比例的一部分,其中所述第一皮肤色度集群和所述第二皮肤色度集群中的一个皮肤色度集群的所述一部分在所述第一皮肤色度集群和所述第二皮肤色度集群中的所述一个皮肤色度集群内几何地最接近所述颜色空间上的所述第一皮肤色度集群和所述第二皮肤色度集群中的另一个皮肤色度集群。
19.如权利要求14所述的系统,其特征在于,当相对应的可能性高于50%时,所述目标色度集群包括所述第一或第二皮肤色度集群的大概100%。
20.如权利要求14所述的系统,其特征在于,所述目标色度集群大概等于:
所述第一皮肤色度集群——当相对应的可能性是大概100%时,
所述第二皮肤色度集群——当相对应的可能性是大概100%时,
所述第一和第二皮肤色度集群的联合——当所述第一皮肤色度集群和所述第二皮肤色度集群相应的可能性都是大概50%时,
所述第一皮肤色度集群加上所述第二皮肤色度集群的成比例部分——当相对应于所述第一皮肤色度集群的可能性大于50%时,其中所述成比例部分相对应于所述皮肤色度点被发现在所述第二皮肤色度集群内的可能性,以及
所述第二皮肤色度集群加上所述第一皮肤色度集群的成比例部分——当相对应于所述第二皮肤色度集群的可能性大于50%时,其中所述成比例部分相对应于所述皮肤色度点被发现在所述第一皮肤色度集群内的可能性。
21.如权利要求14所述的系统,其特征在于,
所述自动白平衡调整模块被配置为计算包括相对应于较暗皮肤类型的一个可能性和相对应于较亮皮肤类型的另一可能性的至少两个可能性;
所述目标色度集群包括所述第一或第二皮肤色度集群的一部分,其中所述一部分与所述至少一个可能性成比例;
当所述可能性小于大约50%时,所述目标色度集群包括所述第一或第二皮肤色度集群与相对应的可能性成比例的一部分;
所述目标色度集群包括所述第一或第二皮肤色度集群与所述至少一个可能性成比例的一部分;
其中所述第一皮肤色度集群和所述第二皮肤色度集群中的一个皮肤色度集群的所述一部分在所述第一皮肤色度集群和所述第二皮肤色度集群中的所述一个皮肤色度集群内物理地最接近所述颜色空间上的所述第一皮肤色度集群和所述第二皮肤色度集群中的另一个皮肤色度集群;
当相对应的可能性高于50%时,所述目标色度集群包括所述第一或第二皮肤色度集群的大概100%;
其中所述目标色度集群大概等于:
所述第一皮肤色度集群——当相对应的可能性是大概100%时,
所述第二皮肤色度集群——当相对应的可能性是大概100%时,
所述第一和第二皮肤色度集群的联合——当所述第一皮肤色度集群和所述第二皮肤色度集群相应的可能性都是大概50%时,
所述第一皮肤色度集群加上所述第二皮肤色度集群的成比例部分——当相对应于所述第一皮肤色度集群的可能性大于50%时,其中所述成比例部分相对应于所述皮肤色度点被发现在所述第二皮肤色度集群内的可能性,以及
所述第二皮肤色度集群加上所述第一皮肤色度集群的成比例部分——当相对应于所述第二皮肤色度集群的可能性大于50%时,其中所述成比例部分相对应于所述皮肤色度点被发现在所述第一皮肤色度集群内的可能性;
其中有两个到六个皮肤色度集群;
其中所述可能性是通过下列之一确定的:
使用检测到的脸的人眼亮度和皮肤亮度,以及
使用检测到的脸的人眼亮度、嘴唇亮度和皮肤亮度;以及
所述自动白平衡调整模块被配置为建立所述皮肤色度点在所述颜色空间上的初始位置,和通过将校正应用于所述皮肤色度点来确定所述皮肤色度点的色度以将所述颜色空间上的所述皮肤色度点移到下列中的至少一个:
朝向所述目标色度集群,
到所述目标色度集群的边,以及
到所述目标色度集群的最近点;以及
所述自动白平衡模块被配置为对所述图像上的多个提供皮肤的对象中的每一个检测到的提供皮肤的对象确定至少一个校正增益,和至少使用校正增益来确定所述图像的最终白点。
22.至少一种计算机可读介质,包括多条指令,所述多条指令响应于在计算设备上执行而使所述计算设备执行如权利要求1到13中任一项所述的方法。
23.一种用于图像处理的设备,所述设备包括:
用于由图像处理设备确定图像上至少一个皮肤色度点的皮肤色度应该至少位于颜色空间的第一皮肤色度集群或所述颜色空间的第二皮肤色度集群内的至少一个可能性的装置;
用于取决于所述至少一个可能性而从所述第一皮肤色度集群的至少一部分和所述第二皮肤色度集群的至少一部分二者来形成目标色度集群的装置;以及
用于至少部分地基于所述目标色度集群上的所述点的所述皮肤色度而设置所述图像的白点的装置。
24.如权利要求23所述的设备,其特征在于,计算包括相对应于较暗皮肤类型的一个可能性和相对应于较亮皮肤类型的另一个可能性的至少两个可能性。
25.如权利要求23所述的设备,其特征在于,用于形成目标色度集群的装置包括用于使用所述第一或第二皮肤色度集群的一部分的装置,其中所述一部分与所述至少一个可能性成比例。
26.如权利要求23所述的设备,其特征在于,用于形成目标色度集群的装置包括用于当相对应的可能性小于大约50%时使用所述第一或第二皮肤色度集群与所述相对应的可能性成比例的一部分的装置。
27.如权利要求23所述的设备,其特征在于,用于形成目标色度集群的装置包括用于使用所述第一或第二皮肤色度集群与所述至少一个可能性成比例的一部分的装置,其中所述第一皮肤色度集群和所述第二皮肤色度集群中的一个皮肤色度集群的所述一部分在所述第一皮肤色度集群和所述第二皮肤色度集群中的所述一个皮肤色度集群内几何地最接近所述颜色空间上的所述第一皮肤色度集群和所述第二皮肤色度集群中的另一个皮肤色度集群。
28.如权利要求23所述的设备,其特征在于,用于当相对应的可能性高于50%时使用所述第一或第二皮肤色度集群的大概100%的装置。
29.如权利要求23所述的设备,其特征在于,用于形成目标色度集群的装置包括:
用于当相对应的可能性是大概100%时将所述目标色度集群建立为大概等于所述第一皮肤色度集群的装置,
用于当相对应的可能性是大概100%时将所述目标色度集群建立为大概等于所述第二皮肤色度集群的装置,
用于当所述第一和第二皮肤色度集群的相应可能性二者都是大概50%时将所述目标色度集群建立为大概是所述第一和第二皮肤色度集群的联合的装置,
用于当相对应于所述第一皮肤色度集群的可能性多于大约50%时将所述目标色度集群建立为所述第一皮肤色度集群加上所述第二皮肤色度集群的成比例部分的装置,其中所述成比例部分对应于所述皮肤色度点的色度被发现位于所述第二皮肤色度集群中的可能性,以及
用于当相对应于所述第二皮肤色度集群的可能性多于大约50%时将所述目标色度集群建立为所述第二皮肤色度集群加上所述第一皮肤色度集群的成比例部分的装置,其中所述成比例部分对应于皮肤色度点的色度被发现位于所述第一皮肤色度集群中的可能性。
30.如权利要求23所述的设备,其特征在于,有两个到六个皮肤色度集群。
31.如权利要求23所述的设备,其特征在于,所述可能性通过使用检测到的脸的人眼亮度和皮肤亮度来确定。
32.如权利要求23所述的设备,其特征在于,所述可能性通过使用检测到的脸的人眼亮度、嘴唇亮度和皮肤亮度来确定。
33.如权利要求23所述的设备,其特征在于,包括:用于建立所述皮肤色度点在所述颜色空间上的初始位置的装置;以及用于通过将校正应用于所述皮肤色度点以将所述颜色空间上的所述皮肤色度点移到下列中的至少一个来确定所述皮肤色度点的色度的装置:
朝向所述目标色度集群,
到所述目标色度集群的边,以及
到所述目标色度集群的最近点。
34.如权利要求23所述的设备,其特征在于,包括:用于对于所述图像上检测到的多个提供皮肤的对象中的每一个检测到的提供皮肤的对象的装置,确定至少一个校正增益的装置;以及用于至少使用所述校正增益来确定所述图像的最终白点的装置。
35.如权利要求23所述的设备,其特征在于:
计算包括相对应于较暗皮肤类型的一个可能性和相对应于较亮皮肤类型的另一个可能性的至少两个可能性;
其中用于形成目标色度集群的装置包括用于使用所述第一或第二皮肤色度集群的一部分的装置,其中所述一部分与所述至少一个可能性成比例;
其中当所述可能性小于大约50%时所述部分与相对应的可能性成比例;
其中所述第一皮肤色度集群和所述第二皮肤色度集群中的一个皮肤色度集群的所述一部分在所述第一皮肤色度集群和所述第二皮肤色度集群中的所述一个皮肤色度集群内几何地最接近所述颜色空间上的所述第一皮肤色度集群和所述第二皮肤色度集群中的另一个皮肤色度集群;
所述设备包括用于当相对应的可能性高于50%时使用所述第一或第二皮肤色度集群的大概100%的装置;
其中用于形成目标色度集群的装置包括:
用于当相对应的可能性是大概100%时将所述目标色度集群建立为大概等于所述第一皮肤色度集群的装置,
用于当相对应的可能性是大概100%时将所述目标色度集群建立为大概等于所述第二皮肤色度集群的装置,
用于当所述第一和第二皮肤色度集群的相应可能性二者都是大概50%时将所述目标色度集群建立为大概是所述第一和第二皮肤色度集群的联合的装置,
用于当相对应于所述第一皮肤色度集群的可能性多于50%时将所述目标色度集群建立为所述第一皮肤色度集群加上所述第二皮肤色度集群的成比例部分的装置,且其中所述成比例部分对应于所述点被发现位于所述第二皮肤色度集群内的可能性,以及
用于当相对应于所述第二皮肤色度集群的可能性多于50%时将所述目标色度集群建立为所述第二皮肤色度集群加上所述第一皮肤色度集群的成比例部分的装置,其中所述成比例部分对应于所述点被发现位于所述第一皮肤色度集群中的可能性;
其中有两个到六个皮肤色度集群;
其中所述可能性是通过下列之一确定的:
使用检测到的脸的人眼亮度和皮肤亮度,以及
使用检测到的脸的人眼亮度、嘴唇亮度和皮肤亮度;以及
所述设备包括:用于建立所述皮肤色度点在所述颜色空间上的初始位置的装置;以及通过将校正应用于所述皮肤色度点确定所述皮肤色度点的色度以将所述颜色空间上的所述皮肤色度点移到下列中的至少一个的装置:
朝向所述目标色度集群,
到所述目标色度集群的边,以及
到所述目标色度集群的最近点;以及
所述设备包括用于对于所述图像上的多个提供皮肤的对象中的每一个检测到的提供皮肤的对象确定至少一个校正增益的装置;以及用于至少使用所述校正增益来确定所述图像的最终白点的装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2013/056612 WO2015030705A1 (en) | 2013-08-26 | 2013-08-26 | Automatic white balancing with skin tone correction for image processing |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105409211A CN105409211A (zh) | 2016-03-16 |
CN105409211B true CN105409211B (zh) | 2018-07-10 |
Family
ID=52480027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380078509.1A Active CN105409211B (zh) | 2013-08-26 | 2013-08-26 | 用于图像处理的带皮肤色调校正的自动白平衡 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9398280B2 (zh) |
EP (1) | EP3039864B1 (zh) |
KR (1) | KR101762081B1 (zh) |
CN (1) | CN105409211B (zh) |
WO (1) | WO2015030705A1 (zh) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6427332B2 (ja) * | 2014-04-08 | 2018-11-21 | 株式会社ミツトヨ | 画像測定機 |
CN104468578B (zh) * | 2014-12-10 | 2017-12-26 | 怀效宁 | 一种无线通讯的优先通讯系统和通讯方法 |
US9762878B2 (en) | 2015-10-16 | 2017-09-12 | Google Inc. | Auto white balance using infrared and/or ultraviolet signals |
US10135447B2 (en) | 2016-07-21 | 2018-11-20 | Andapt, Inc. | Compensation memory (CM) for power application |
KR102359276B1 (ko) | 2017-03-24 | 2022-02-07 | 삼성전자주식회사 | 전자 장치의 화이트 밸런스 기능 제어 방법 및 장치 |
JP6677222B2 (ja) * | 2017-06-21 | 2020-04-08 | カシオ計算機株式会社 | 検出装置、画像処理装置、検出方法、及び画像処理方法 |
CN107343189B (zh) | 2017-07-10 | 2019-06-21 | Oppo广东移动通信有限公司 | 白平衡处理方法和装置 |
KR102397396B1 (ko) | 2017-09-13 | 2022-05-12 | 삼성전자주식회사 | 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치 |
CN107564073B (zh) * | 2017-09-14 | 2021-03-16 | 广州市百果园信息技术有限公司 | 肤色识别方法及装置、存储介质 |
CN108038889A (zh) * | 2017-11-10 | 2018-05-15 | 维沃移动通信有限公司 | 一种图像偏色的处理方法及移动终端 |
US10477177B2 (en) | 2017-12-15 | 2019-11-12 | Intel Corporation | Color parameter adjustment based on the state of scene content and global illumination changes |
CN111557023A (zh) | 2017-12-29 | 2020-08-18 | Pcms控股公司 | 使用公共对象维持颜色校准的方法和系统 |
US20190230253A1 (en) * | 2018-01-23 | 2019-07-25 | Qualcomm Incorporated | Face tone color enhancement |
CN110392245B (zh) * | 2018-04-20 | 2021-07-16 | 瑞昱半导体股份有限公司 | 基于肤色信息的白平衡校正方法及其图像处理装置 |
US10719729B2 (en) | 2018-06-06 | 2020-07-21 | Perfect Corp. | Systems and methods for generating skin tone profiles |
US10791310B2 (en) | 2018-10-02 | 2020-09-29 | Intel Corporation | Method and system of deep learning-based automatic white balancing |
CN113196288A (zh) | 2018-11-30 | 2021-07-30 | Pcms控股公司 | 基于皮肤反射率数据库估计场景照明体的方法和设备 |
US10885606B2 (en) | 2019-04-08 | 2021-01-05 | Honeywell International Inc. | System and method for anonymizing content to protect privacy |
US11062579B2 (en) | 2019-09-09 | 2021-07-13 | Honeywell International Inc. | Video monitoring system with privacy features |
CN110751607A (zh) * | 2019-10-21 | 2020-02-04 | 浙江大华技术股份有限公司 | 一种肤色的校正方法、装置、存储介质以及电子装置 |
CN111583127B (zh) * | 2020-04-03 | 2023-08-15 | 浙江大华技术股份有限公司 | 人脸肤色校正方法、装置、计算机设备和可读存储介质 |
CN114071107B (zh) * | 2020-08-10 | 2023-10-31 | 合肥君正科技有限公司 | 基于融合聚类分析与色温曲线的自动白平衡方法及装置 |
US11935322B1 (en) | 2020-09-14 | 2024-03-19 | Apple Inc. | Obstruction-sensitive white point determination using face information |
KR102397201B1 (ko) * | 2020-09-16 | 2022-05-12 | 엘지전자 주식회사 | 디스플레이 장치 및 그 방법 |
US20230102663A1 (en) * | 2021-09-21 | 2023-03-30 | Samsung Electronics Co., Ltd. | Skin tone protection using a dual-core geometric skin tone model built in device-independent space |
US20230353885A1 (en) * | 2022-04-27 | 2023-11-02 | Sonic Star Global Limited | Image processing system and method for processing images |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1663287A (zh) * | 2002-06-25 | 2005-08-31 | 皇家飞利浦电子股份有限公司 | 使用脸部颜色作为参考信号来白平衡图像的方法和系统 |
CN1941923A (zh) * | 2005-09-30 | 2007-04-04 | 八方科技股份有限公司 | 应用于彩色数字影像的自动白平衡方法 |
CN1976481A (zh) * | 2005-11-28 | 2007-06-06 | 普诚科技股份有限公司 | 影像补偿装置与方法 |
CN101088297A (zh) * | 2004-12-22 | 2007-12-12 | 皇家飞利浦电子股份有限公司 | 自动白平衡控制 |
CN101179746A (zh) * | 2006-11-06 | 2008-05-14 | 索尼株式会社 | 图像处理装置、图像处理方法及程序 |
CN101272505A (zh) * | 2007-03-19 | 2008-09-24 | 株式会社理光 | 摄像装置以及摄像方法 |
CN102013005A (zh) * | 2009-09-07 | 2011-04-13 | 泉州市铁通电子设备有限公司 | 一种基于局部动态阈值色彩平衡的偏色光的人脸检测的方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6377702B1 (en) | 1999-12-08 | 2002-04-23 | Sony Corporation | Color cast detection and removal in digital images |
EP1231777A1 (en) | 2001-02-09 | 2002-08-14 | GRETAG IMAGING Trading AG | Correction of colors of photographic images |
JP4826028B2 (ja) | 2001-05-24 | 2011-11-30 | 株式会社ニコン | 電子カメラ |
JP4375781B2 (ja) | 2002-11-29 | 2009-12-02 | 株式会社リコー | 画像処理装置および画像処理方法並びにプログラムおよび記録媒体 |
JP4517633B2 (ja) * | 2003-11-25 | 2010-08-04 | ソニー株式会社 | 対象物検出装置及び方法 |
KR100668303B1 (ko) * | 2004-08-04 | 2007-01-12 | 삼성전자주식회사 | 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법 |
US7599093B2 (en) * | 2004-09-30 | 2009-10-06 | Fujifilm Corporation | Image processing apparatus, method and program |
US8045047B2 (en) | 2005-06-23 | 2011-10-25 | Nokia Corporation | Method and apparatus for digital image processing of an image having different scaling rates |
WO2007007788A1 (ja) | 2005-07-13 | 2007-01-18 | Nec Corporation | 色補正方法および色補正装置 |
US8154612B2 (en) | 2005-08-18 | 2012-04-10 | Qualcomm Incorporated | Systems, methods, and apparatus for image processing, for color classification, and for skin color detection |
US20070047803A1 (en) | 2005-08-30 | 2007-03-01 | Nokia Corporation | Image processing device with automatic white balance |
US8103094B2 (en) | 2005-09-22 | 2012-01-24 | Adobe Systems Incorporated | Color correction based on skin color |
TWI279146B (en) | 2005-10-27 | 2007-04-11 | Princeton Technology Corp | Image compensation device and method |
US7728904B2 (en) | 2005-11-08 | 2010-06-01 | Qualcomm Incorporated | Skin color prioritized automatic focus control via sensor-dependent skin color detection |
JP5066398B2 (ja) | 2007-06-29 | 2012-11-07 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
JP2009071494A (ja) | 2007-09-12 | 2009-04-02 | Sony Corp | 撮像装置、画像処理装置およびプログラム |
US8340452B2 (en) | 2008-03-17 | 2012-12-25 | Xerox Corporation | Automatic generation of a photo guide |
KR20100056270A (ko) * | 2008-11-19 | 2010-05-27 | 삼성전자주식회사 | 색 보정 처리를 행하는 디지털 영상 신호 처리 방법 및 상기 방법을 실행하는 디지털 영상 신호 처리 장치 |
KR20120021103A (ko) | 2010-08-31 | 2012-03-08 | 전남대학교산학협력단 | 통신단말기에서 화자의 얼굴영역 검출 방법, 이를 이용한 통신단말기와 화자 간 거리 측정 방법 및 이를 적용한 통신단말기 |
US20130004070A1 (en) * | 2011-06-28 | 2013-01-03 | Huanzhao Zeng | Skin Color Detection And Adjustment In An Image |
JP5820284B2 (ja) | 2012-01-18 | 2015-11-24 | 株式会社東芝 | 画像処理装置、方法、及びプログラム |
-
2013
- 2013-08-26 KR KR1020167002076A patent/KR101762081B1/ko active IP Right Grant
- 2013-08-26 EP EP13892707.4A patent/EP3039864B1/en active Active
- 2013-08-26 WO PCT/US2013/056612 patent/WO2015030705A1/en active Application Filing
- 2013-08-26 CN CN201380078509.1A patent/CN105409211B/zh active Active
- 2013-08-26 US US14/129,417 patent/US9398280B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1663287A (zh) * | 2002-06-25 | 2005-08-31 | 皇家飞利浦电子股份有限公司 | 使用脸部颜色作为参考信号来白平衡图像的方法和系统 |
CN101088297A (zh) * | 2004-12-22 | 2007-12-12 | 皇家飞利浦电子股份有限公司 | 自动白平衡控制 |
CN1941923A (zh) * | 2005-09-30 | 2007-04-04 | 八方科技股份有限公司 | 应用于彩色数字影像的自动白平衡方法 |
CN1976481A (zh) * | 2005-11-28 | 2007-06-06 | 普诚科技股份有限公司 | 影像补偿装置与方法 |
CN101179746A (zh) * | 2006-11-06 | 2008-05-14 | 索尼株式会社 | 图像处理装置、图像处理方法及程序 |
CN101272505A (zh) * | 2007-03-19 | 2008-09-24 | 株式会社理光 | 摄像装置以及摄像方法 |
CN102013005A (zh) * | 2009-09-07 | 2011-04-13 | 泉州市铁通电子设备有限公司 | 一种基于局部动态阈值色彩平衡的偏色光的人脸检测的方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20160027030A (ko) | 2016-03-09 |
US20150054980A1 (en) | 2015-02-26 |
WO2015030705A1 (en) | 2015-03-05 |
EP3039864B1 (en) | 2018-09-19 |
US9398280B2 (en) | 2016-07-19 |
EP3039864A4 (en) | 2017-04-26 |
KR101762081B1 (ko) | 2017-07-26 |
CN105409211A (zh) | 2016-03-16 |
EP3039864A1 (en) | 2016-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105409211B (zh) | 用于图像处理的带皮肤色调校正的自动白平衡 | |
US11882369B2 (en) | Method and system of lens shading color correction using block matching | |
US20220207680A1 (en) | Image Processing Method and Apparatus | |
US10916036B2 (en) | Method and system of generating multi-exposure camera statistics for image processing | |
CN109660782A (zh) | 减少立体深度传感器成像中的纹理化ir图案 | |
CN107431770A (zh) | 自适应线性亮度域视频流水线架构 | |
CN108885785A (zh) | 用于时间噪声减少的运动自适应流处理 | |
CN115242992B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN105991982B (zh) | 用于成像系统的颜色匹配 | |
WO2019164704A1 (en) | Saturation management for luminance gains in image processing | |
CN108230407A (zh) | 一种图像的处理方法和装置 | |
US8994848B2 (en) | Method and system for handling mixed illumination in video and photography | |
CN112489144A (zh) | 图像处理方法、图像处理装置、终端设备及存储介质 | |
WO2023016044A1 (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN115550575B (zh) | 图像处理方法及其相关设备 | |
WO2023016040A1 (zh) | 视频处理方法、装置、电子设备和存储介质 | |
US11941789B2 (en) | Tone mapping and tone control integrations for image processing | |
CN114125319A (zh) | 图像传感器、摄像模组、图像处理方法、装置和电子设备 | |
KR101903428B1 (ko) | 연관 이미지간 컬러 보정 시스템 및 보정방법 | |
CN116668838B (zh) | 图像处理方法与电子设备 | |
CN115706766B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN115706764B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
US20240137650A1 (en) | Video Processing Method and Apparatus, Electronic Device, and Storage Medium | |
WO2023016041A1 (zh) | 视频处理方法、装置、电子设备和存储介质 | |
Cohen | EE368 Digital Image Processing Spring 2010-2011 Project Proposal-A new Color Balancing Method for Cameras, Compared with Existing Fast Color Balancing Algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |