CN103118226A - 光源估计装置、光源估计方法、光源估计程序和成像设备 - Google Patents

光源估计装置、光源估计方法、光源估计程序和成像设备 Download PDF

Info

Publication number
CN103118226A
CN103118226A CN2012104459332A CN201210445933A CN103118226A CN 103118226 A CN103118226 A CN 103118226A CN 2012104459332 A CN2012104459332 A CN 2012104459332A CN 201210445933 A CN201210445933 A CN 201210445933A CN 103118226 A CN103118226 A CN 103118226A
Authority
CN
China
Prior art keywords
light source
source estimation
image
estimation region
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012104459332A
Other languages
English (en)
Other versions
CN103118226B (zh
Inventor
中村健次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103118226A publication Critical patent/CN103118226A/zh
Application granted granted Critical
Publication of CN103118226B publication Critical patent/CN103118226B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了光源估计装置、光源估计方法、光源估计程序和成像设备。所述光源估计装置包括:光源估计区域设置部分,被配置为在图像中检测背景,并基于背景检测的结果来设置光源估计区域;以及光源估计部分,被配置为基于所述光源估计区域,估计所述图像被摄取时的光源的类型。

Description

光源估计装置、光源估计方法、光源估计程序和成像设备
技术领域
本技术涉及光源估计(light source estimation)装置、光源估计方法、光源估计程序和成像设备。
背景技术
目前,分别捕获静止图像和运动图像的数字静止相机和数字视频相机中的多数已经设有自动执行白平衡调节处理的自动白平衡调节功能。
白平衡调节是用于通过执行校正以使得白色被正确地取为真实白色的图片,而在拍摄光源下再现恰当色彩的处理。一般而言,自动白平衡是通过如下方式执行的:针对图像信号中R、G和B信号中的各个信号提供增益以使得R信号、G信号和B信号的输出电平在作为图像中的基准的白色点中变得均等。多数数字静止相机设有自动执行白平衡调节的所谓的自动白平衡功能。
自动白平衡调节处理是用于根据拍摄光源的色温正确地显示白色的处理。因而,拍摄光源被估计作为自动白平衡调节处理的前级(日本未实审专利申请公开No.2007-300253)。对于拍摄光源,例如提供日光、白炽灯、荧光灯等。
发明内容
为了执行自动白平衡调节,首先,例如,分别适应于上述多种光源的白平衡控制值被预先确定为预设值。并且估计拍摄光源,然后选择与所估计的拍摄光源相对应的预设值。因此,如果在拍摄光源的估计结果中发生偏差,则由于估计结果而不能适当地执行自动白平衡处理。
鉴于这些问题而作出了本技术。希望提供一种能够以高精度判别拍摄光源的光源估计装置、光源估计方法、光源估计程序和成像设备。
根据本公开的一个实施例,提供了一种光源估计装置,包括:光源估计区域设置部分,被配置为在图像中检测背景,并基于背景检测的结果来设置光源估计区域;以及光源估计部分,被配置为基于所述光源估计区域,估计所述图像被摄取时的光源的类型。
另外,根据本公开的另一实施例,提供了一种估计光源的方法,该方法包括:在图像中检测背景,并基于检测背景的结果设置光源估计区域;以及基于所述光源估计区域估计所述图像被摄取时的光源的类型。
另外,根据本公开的另一实施例,提供了一种用于使计算机执行估计光源的方法的程序,该方法包括:在图像中检测背景,并基于检测背景的结果设置光源估计区域;以及基于所述光源估计区域估计所述图像被摄取时的光源的类型。
另外,根据本公开的另一实施例,提供了一种成像设备,包括:成像部分,被配置为通过摄取图像将入射光转换为电信号以生成图像信号;光源估计区域设置部分,被配置为在由所述成像部分生成的图像中检测背景,并基于背景检测的结果设置光源估计区域;以及光源估计部分,被配置为基于所述光源估计区域估计所述图像被摄取时的光源的类型。
通过本技术,可以提高拍摄光源的估计精度。
附图说明
图1是图示根据本技术的光源估计装置的结构的框图;
图2是图示根据第一实施例的光源估计处理的流程的流程图;
图3A、3B和3C分别是图示根据第一实施例的光源估计处理的具体示例的示图;
图4是图示根据第二实施例的光源估计处理的流程的流程图;
图5A、5B和5C分别是图示根据第二实施例的光源估计处理的具体示例的示图;
图6是根据第三实施例的光源估计装置的结构的框图;
图7是图示根据第三实施例的光源估计处理的流程的流程图;
图8A、8B、8C和8D分别是图示根据第三实施例的光源估计处理的具体示例的示图;
图9A、9B、9C和9D分别是图示根据第三实施例的光源估计处理的具体示例的示图;
图10是图示包括光源估计装置的白平衡调节装置的结构的框图;以及
图11是图示包括光源估计装置和白平衡调节装置的成像设备的结构的框图。
具体实施方式
下面将参照附图对本技术的实施例进行说明。然而,本技术并不仅限于下面的实施例。就此而言,将按照下面的顺序给出说明。
1.第一实施例
1.1光源估计装置的结构
1.2光源估计处理
2.第二实施例
2.1光源估计处理
3.第三实施例
3.1光源估计装置的结构
3.2光源估计处理
4.包括光源估计装置的白平衡调节装置的结构
5.包括光源估计装置和白平衡调节装置的成像设备的结构
6.变形例
1.第一实施例
1.1光源估计装置的结构
图1是图示根据本技术的第一实施例的光源估计装置10的结构的框图。光源估计装置10包括光源估计区域设置部分11和光源估计部分12。另外,光源估计区域设置部分11包括关注被摄体检测部分13和区域设置处理部分14。
光源估计装置10例如包括CPU(中央处理单元)、RAM(随机存取存储器)、ROM(只读存储器)等,并且通过执行预定程序等来实现。ROM存储由CPU读取并运行的程序等。RAM用作CPU的工作存储器。CPU根据存储在ROM中的程序执行各种处理,以用作光源估计区域设置部分11、关注被摄体检测部分13、区域设置处理部分14和光源估计部分12。
然而,光源估计装置10不仅可以通过软件实现,还可以通过分别具有光源估计区域设置部分11和光源估计部分12的功能的硬件的组合来实现。
光源估计区域设置部分11设置要用于输入图像的光源估计处理的区域(下文中称为光源估计区域)。光源估计区域设置部分11包括关注被摄体检测部分13和区域设置处理部分14。
关注被摄体检测部分13从图像中的被摄体中检测关注被摄体。“关注被摄体”是用户重视的、以获得理想的构图的被摄体,并且例如是人物、动物或建筑物等。就此而言,关注被摄体并不限于一个,而是可以检测多个关注被摄体。至于检测关注被摄体的方法,可以使用利用模板匹配等公知技术的脸部检测技术、人物检测技术、物体检测技术等。
另外,可以采用利用运动向量的、将具有预定量或更大的运动向量的被摄体确定为关注被摄体的方法。考虑到关注被摄体以外的背景部分通常具有很小的运动。另外,能够利用图像的亮度值检测关注被摄体。例如,考虑为具有预定阈值或更大的亮度的区域是关注被摄体,并且具有预定阈值或更小的亮度的区域是关注被摄体以外的背景。考虑到用户重视关注被摄体,并且因而关注被摄体常常摄取为比其它被摄体更明亮的图片。就此而言,除了使用上述各种方法中的某一种以外,还可以组合多种方法来提高关注被摄体的检测的精度。
区域设置处理部分14将通过利用关注被摄体检测部分13的检测结果从图像中排除与关注被摄体相对应的区域而产生的区域确定为图像中的背景。并且区域设置处理部分14将背景设置为图像中的光源估计区域。“背景”是指从图像中排除了与关注被摄体相对应的区域的区域。
就此而言,光源估计区域设置部分11可以直接检测背景,并获得所检测出的背景作为光源估计区域。例如,能够基于聚焦位置、变焦倍率等确定合焦的区域是关注被摄体,并且非聚焦的其它区域是用于检测背景的背景。通过检测关注被摄体的方法和检测背景的方法,要设置的光源估计区域变得相同。
另外,不一定必须检测出背景,因而在关注区域被提取出之后,该区域的位置可以经受反转判别(去除),或者可以计算整个图像的关注度并与关注度成反比例地处理信号值。只要实现目标,用于实现目标的手段并不受任何限制。至于计算关注度的方法,可以应用任何方法,例如,可以使用视觉关注技术的显著图(saliency map),可以使用距被摄体的距离,并且可以使用像素阈值。至于用于利用视觉关注正确地识别图像中的被摄体区域的技术,例如可以使用在日本未实审专利申请公开No.2010-266982,2011-146826,和2010-262506等中说明的技术。至于用于计算距被摄体的距离的技术,可以使用在日本未实审专利申请公开No.2010-169709等中说明的技术。
光源估计部分12基于已由光源估计区域设置部分11设置的、图像中的光源估计区域来估计在摄取输入图像时光源的类型。从图像中排除的、且未包括在光源估计区域中的区域不被用于光源估计。因此,在第一实施例中,关注被摄体不被用于光源估计。
可以使用各种现有的技术作为估计光源的方法。例如,执行信号分量检测,并且基于检测结果估计当前的拍摄光源。另外,可以根据彩色信号的分布来估计光源。另外,指示通过RGB像素信号获得的光源的强度的值被投影到评价空间,附加黑体辐射轨迹、评价空间上给定光源的光强的特征等,并且从而估计出拍摄环境中的光源。所估计的光源例如包括白天的日光、阴凉处的日光、白炽灯、白色荧光灯、LED等。
如上所述地构成根据第一实施例的光源估计装置10。
1.2光源估计处理
接下来,将参照图2中的流程图对由光源估计装置10执行的光源估计处理进行说明。首先,在步骤S11中,光源估计区域设置部分11中的关注被摄体检测部分13检测图像中的关注被摄体。示出所检测的关注被摄体的信息被提供给区域设置处理部分14。接下来,在步骤S12中,光源估计区域设置部分11中的区域设置处理部分14将作为通过从图像中排除与关注被摄体相对应的区域而产生的区域的背景设置为光源估计区域。示出光源估计区域的信息被提供给光源估计部分12。并且,在步骤S13中,光源估计部分12基于所设置的光源估计区域执行光源估计处理。
将参照图3A、3B和3C使用具体图像的示例对第一实施例中的光源估计处理给出说明。如图3A所示,人物被拍摄为图像100中的关注被摄体。并且如图3B所示,光源估计区域设置部分11中的关注被摄体检测部分13将该人物检测为关注被摄体101。然后,如图3C所示,光源估计区域设置部分11的区域设置处理部分14将作为通过从图像100中去除与关注被摄体101相对应的区域而产生的区域的背景设置为光源估计区域102。在图3C中,由斜线示出的区域是被排除区域,并且由粗线包围的剩余区域被设置为光源估计区域102。光源估计处理是基于光源估计区域102执行的。
一般而言,在图像中关注被摄体常常具有各种颜色,并且关注被摄体以外的背景常常具有非彩色或淡色。因此,通过仅使用排除了关注被摄体的区域来进行光源估计能够以高精度获得无彩色(neutralcolor),并且因而提高了光源估计的精度。
2.第二实施例
2.1光源估计处理
接下来,将对根据本技术的第二实施例的光源估计装置进行说明。根据第二实施例的光源估计装置的结构与第一实施例的结构相同,因而将省略其说明。图4是图示根据第二实施例的光源估计处理的流程的流程图。
第二实施例与第一实施例的不同之处在于执行步骤S21、步骤S22和步骤S23。就此而言,步骤S11和步骤S13分别与第一实施例的相同。在第二实施例中,如果关注被摄体大于预定大小,则光源估计不针对排除了关注被摄体的区域执行,而是对整个图像执行。
首先,在步骤S11中,光源估计区域设置部分11的关注被摄体检测部分13从图像中检测关注被摄体。接下来,在步骤S21中,光源估计区域设置部分11的区域设置处理部分14判定关注被摄体是否为预定大小或更大。例如通过将关注被摄体中包括的所有像素的数目与确定为预定阈值的比较用像素数目相比较来进行该判定。如果关注被摄体中包括的像素数目为比较用像素数目或更大,则可以判定关注被摄体为预定大小或更大。另外,可以不通过与具体像素数目的比较来进行该判定。如果关注被摄体的像素数目占据了整个图像的像素数目的预定比率,则关注被摄体可以被判定为预定大小或更大。
如果判定关注被摄体不是预定大小或更大,则处理进行到步骤S22(步骤S21中的“否”)。并且以与第一实施例相同的方式,光源估计区域设置部分11的区域设置处理部分14将作为通过从图像中排除与关注被摄体相对应的区域而产生的区域的背景设置为光源估计区域。并且在步骤S13中,光源估计部分12基于光源估计区域执行光源估计处理。
另一方面,如果在步骤S21中判定关注被摄体为预定大小或更大,则处理进行到步骤S23(步骤S21中的“是”)。并且在步骤S23中,光源估计区域设置部分11的区域设置处理部分14将整个图像设置为光源估计区域。并且在步骤S13中,光源估计部分12基于光源估计区域执行光源估计处理。
接下来,参照图5A、5B和5C,将利用具体图像的示例对第二实施例中的光源估计处理进行说明。如图5A所示,人物在图像200中。并且如图5B所示,光源估计区域设置部分11的关注被摄体检测部分13检测到该人物是关注被摄体201。然而,关注被摄体201大于预定大小,因而如图5C所示,由粗线包围的整个图像被设置为光源估计区域202。另一方面,如果关注被摄体201为预定大小或更小,则以与第一实施例中图3A、3B和3C所示的示例相同的方式,将作为通过排除与关注被摄体相对应的区域而产生的区域的背景设置为光源估计区域。
以这种方式,通过第二实施例,如果在图像中关注被摄体较大,则光源估计不是针对排除了关注被摄体的区域执行,而是基于整个图像执行。这是因为如果关注被摄体较大,则排除了关注被摄体的区域变得很狭小,因而光源估计的精度降低。因此,如果关注被摄体较大,则利用整个图像作为光源估计区域来执行光源估计,从而防止了光源估计的精度的降低。
3.第三实施例
3.1光源估计装置的结构
接下来,将对根据本技术的第三实施例的光源估计装置30进行说明。图6是图示根据第三实施例的光源估计装置30的结构的框图。第三实施例与第一和第二实施例的不同之处在于光源估计区域设置部分11包括饱和度检测部分31。关注被摄体检测部分13和光源估计部分12与第一和第二实施例的相同。
饱和度检测部分31例如根据图像中的色差信号U和V检测饱和度。并且,饱和度检测部分31检测饱和度为预定阈值或更大的范围,也就是说,具有高饱和度的区域(下文中称为高度饱和区域)。要与饱和度相比较的阈值可以由用户设置,或者可以预先默认设置。另外,阈值可以根据图像动态改变。饱和度检测部分31的检测结果被提供给区域设置处理部分14。区域设置处理部分14基于来自关注被摄体检测部分13和饱和度检测部分31的检测结果来设置图像中的光源估计区域。示出所设置的光源估计区域的信息被提供给光源估计部分12。光源估计部分12基于该光源估计区域执行光源估计处理。
3.2光源估计处理
接下来,将对根据第三实施例的光源估计处理进行说明。图7是图示根据第三实施例的光源估计处理的流程的流程图。就此而言,步骤S11和步骤S13与第一实施例中的相同。另外,步骤S21和步骤S23与第二实施例中的相同,因而将省略其说明。
在步骤S11中检测关注被摄体,并且如果在步骤S21中判定关注被摄体不为预定大小或更大,则处理进行到步骤S31(步骤S21中的“否”)。接下来,在步骤S31中,饱和度检测部分31对图像整体检测饱和度,并且确定作为具有预定阈值或更大的饱和度的区域的高度饱和区域。
接下来,在步骤S32中,区域设置处理部分14判定通过从整个图像中排除关注被摄体和高度饱和区域而产生的区域(下文中称为剩余区域)是否为预定大小或更大。例如通过将剩余区域中的像素数目与被确定为预定阈值的比较用像素数目相比较来进行该判定。如果剩余区域中的像素数目为比较用像素数目或更大,则可以判定剩余区域为预定大小或更大。另外,可以不通过与具体像素数目的比较来进行该判定。如果剩余区域中的像素数目占据了整个图像的像素数目的预定比率,则剩余区域可以被判定为预定大小或更大。就此而言,这里提到的“预定大小”不同于步骤S21中的“预定大小”。
要与剩余区域相比较的预定大小例如是整个图像的一半大小等。该预定大小可以由用户以任何方式设置,或者可以预先默认设置。另外,预定大小可以对应于图像而动态改变。
并且在步骤S32中,如果判定为剩余区域为预定大小或更大,则处理进行到步骤S33(步骤S32中的“是”)。在步骤S33中,光源估计区域设置部分11将剩余区域设置为光源估计区域。并且在步骤S13中,光源估计部分12基于光源估计区域执行光源估计处理。
另一方面,在步骤S32中,如果判定剩余区域不为预定大小或更大,则处理进行到步骤S34(步骤S32中的“否”)。在步骤S34中,用于光源估计的区域设置处理部分14将包括剩余区域和关注被摄体的区域设置为光源估计区域。并且在步骤S13中,光源估计部分12基于光源估计区域执行光源估计处理。
将参照图8A、8B、8C和8D以及图9A、9B、9C和9D对第三实施例中的光源估计处理进行说明。如图8A所示,图像300包含人物作为关注被摄体。并且如图8B所示,光源估计区域设置部分11的关注被摄体检测部分13将该人物检测为关注被摄体301。另外,如图8C所示,光源估计区域设置部分11的饱和度检测部分31检测出高度饱和区域302。并且如果通过排除关注被摄体301和高度饱和区域302而产生的剩余区域为预定大小或更大,则如图8D所示,剩余区域被设置为光源估计区域303。图8D中由斜线示出的区域是被排除区域,并且由粗线包围的除了该区域以外的区域是被设置为光源估计区域303的剩余区域。
以相同的方式,在图9A中图像包含人物。并且如图9B所示,光源估计区域设置部分11的关注被摄体检测部分13将该人物检测为关注被摄体311。另外,如图9C所示,光源估计区域设置部分11的饱和度检测部分31检测出高度饱和区域312。并且作为排除了关注被摄体311和高度饱和区域312的区域的剩余区域不为预定大小或更大(如果剩余区域较狭小),则如图9D所示,包括剩余区域和关注被摄体的区域被设置为光源估计区域313。在图9D中,由斜线示出的区域是高度饱和区域,并且因而是被排除区域,并且由粗线包围的除了该区域以外的区域是被设置为光源估计区域313的区域。
以这种方式,通过第三实施例,如果在图像中存在高度饱和区域,则高度饱和区域和关注被摄体被从光源估计区域中排除。从而,以高精度获得了光源的无彩色,因而能够提高光源判定的精度。然而,当作为排除了高度饱和区域和关注被摄体的区域的剩余区域较狭小时,如果剩余区域被确定为光源估计区域,则光源估计的精度劣化。因此,当剩余区域较狭小时,排除了高度饱和区域的区域被确定为光源估计区域,并且执行光源估计以防止光源估计的精度的劣化。
4.包括光源估计装置的白平衡调节装置的结构
如上所述构成的光源估计装置的光源估计的结果例如用于白平衡调节处理。因而,将对包括光源估计装置的白平衡调节装置40进行说明。图10是图示白平衡调节装置40的结构的框图。
白平衡调节装置40包括控制部分41和白平衡放大器42。控制部分41包括CPU、RAM、ROM等,并且通过执行预定程序来用作光源估计区域设置部分11、光源估计部分12和放大器增益设置部分43。光源估计区域设置部分11和光源估计部分12构成光源估计装置,并且与上述第一至第三实施例中的相同,因而将省略其说明。
例如,RGB图像信号被从包括在成像设备中的预处理电路54提供给光源估计区域设置部分11。预处理电路54例如对从图像传感器输出的成像信号执行CDS(相关双采样)处理以执行采样保持从而维持有利的S/N(信噪)比,并且另外通过AGC(自动增益控制)处理来控制增益,并执行A/D(模数)转换以输出数字图像信号。来自预处理电路54的图像信号也被提供给白平衡放大器42。
放大器增益设置部分43基于由光源估计部分12的估计结果,根据估计的光源来设置白平衡增益的控制值。所设置的放大器增益值被提供给白平衡放大器42。
放大器增益设置部分43例如在预先提供的查找表中针对多个光源中的每一个保持一组RGB白平衡增益gr、gg和gb。并且根据光源估计部分12估计的光源类型,与光源相对应的一组白平衡增益被读取,并被提供给白平衡放大器42。
白平衡放大器42根据从放大器增益设置部分43提供来的白平衡增益来控制各个RGB信号分量的增益,并对图像信号执行白平衡调节处理。白平衡放大器42包括分别与R信号、G信号和B信号相对应的三个可变增益放大器42R、42G和42B。三个可变增益放大器42R、42G和42B中的每一个接收RGB信号中相应一个的输入。可变增益放大器42R、42G和42B根据放大器增益设置部分43分别设置的增益执行R信号、G信号和B信号的放大(或衰减),并输出信号。
5.包括光源估计装置和白平衡调节装置的成像设备的结构
上述光源估计装置和白平衡调节装置例如可应用于成像设备。因而,接下来,将对包括光源估计装置和白平衡调节装置的功能的成像设备50的结构进行说明。图11是图示成像设备50的整体结构的框图。
成像设备50包括光学成像系统51、图像传感器52、定时生成器53、预处理电路54、白平衡放大器42、相机处理电路55、编码器/解码器56、控制部分57、光源估计区域设置部分11、光源估计部分12、放大器增益设置部分43、输入部分58、图形I/F(接口)59、显示部分60、R/W(读写器)61和存储介质62。
光学成像系统51包括用于将来自被摄体的光会聚到图像传感器52上的透镜、用于移动透镜以聚焦和变焦的驱动机构、快门机构、光圈机构等。这些机构基于来自控制部分57的控制信号被驱动。通过光学成像系统51获得的被摄体的光学像被形成到作为成像器件的图像传感器52上。
图像传感器52基于从定时生成器53输出的定时信号被驱动,对来自被摄体的入射光执行光电转换以转换为电荷量,并输出电荷量作为模拟成像信号。从图像传感器52输出的模拟成像信号被输出到预处理电路54。CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等被用作图像传感器52。定时生成器53在控制部分57的控制下将定时信号输出到图像传感器52。
预处理电路54对从图像传感器52输出的模拟成像信号执行CDS(相关双采样)处理,以便执行采样保持从而有利地维持S/N(信噪)比。另外,预处理电路54通过AGC(自动增益处理)处理来控制增益,并执行A/D(模数)转换以输出数字图像信号。图像信号被从预处理电路54提供给白平衡放大器42。另外,为了估计光源,图像信号被从预处理电路54提供给用作光源估计装置的控制部分57。
白平衡放大器42构成上述的白平衡调节装置,并且对从预处理电路54提供来的图像信号执行白平衡调节处理。
相机处理电路55对来自预处理电路54的图像信号执行信号处理,例如,色彩校正处理、伽玛校正处理、YC转换处理、AF(自动聚焦)处理、AE(自动曝光)处理等。
编码器/解码器56按照如JPEG(联合图像编码专家组)方式等预定的静止图像数据格式对来自相机处理电路55的图像信号执行压缩编码处理。
控制部分57例如包括CPU、RAM和ROM等。ROM存储供CPU读取并运行的程序等。RAM用作CPU的工作存储器。CPU根据存储在ROM中的程序执行各种处理、发出命令从而控制整个成像设备50。另外,控制部分57执行预定程序以用作构成光源估计装置和白平衡调节装置的光源估计区域设置部分11、光源估计部分12和放大器增益设置部分43。
输入部分58是输入装置,例如,用于接通/关断电源的电源按钮、用于指示开始记录摄取图像的释放按钮、用于变焦调节的操作器、接受其它各种输入的触摸面板等。当输入部分58接收到输入时,输入部分58根据该输入生成控制信号,将控制信号输出到控制部分57。并且控制部分57根据控制信号执行计算处理和控制。
图形I/F 59根据从控制部分57提供来的图像信号生成要显示在显示部分60上的图像信号,并将该信号提供给显示部分60以显示图像。显示部分60是例如包括LCD(液晶显示器)、PDP(等离子体显示面板)、有机EL(电致发光)面板等的显示装置。显示部分60显示正摄取的相机直通图像(camera-through image)、记录在存储介质62上的图像等。
R/W 61是与记录通过拍摄而生成的图像数据等的存储介质62连接的接口。R/W 61将从控制部分57提供来的数据写入到存储介质62上,并且还将从存储介质62读取的数据输出到控制部分57。存储介质62存储通过拍摄而生成的图像数据等。存储介质62是大容量存储介质,例如,硬盘、记忆棒(索尼公司的注册商标)、SD存储卡等。图像以根据例如JPEG等标准被压缩的状态被存储。另外,包括例如关于存储的图像的信息、拍摄日期和时间等的附加信息的EXIF(可交换图像文件格式)数据与图像相关联地被存储。
这里,将对上述成像设备50的基本动作进行说明。在摄取图像之前,由已接收到光的图像传感器52产生并被执行了光电转换的信号被顺次提供给预处理电路54。预处理电路54对输入信号执行CDS处理、AGC处理等,并且进一步执行转换以产生图像信号。并且图像信号被提供给控制部分57,并经受光源估计区域设置、光源估计和放大器增益设置。白平衡放大器42对图像信号执行白平衡调节处理。
相机处理电路55对从白平衡放大器42提供来的图像信号执行图像质量校正处理,并通过控制部分57将图像信号提供给图形I/F 59作为相机直通图像。从而,相机直通图像被显示在显示部分60上。使得用户能够在观看显示在显示部分60上的相机直通图像的同时调节视角。
在这种状态中,如果输入部分58上的释放按钮被按下,则控制部分57将控制信号输出到光学成像系统51和定时生成器53以操作包括在光学成像系统51中的快门。从而,图像传感器52输出一帧的图像信号。
相机处理电路55对通过预处理电路54从图像传感器52提供来的一帧图像信号执行图像质量校正处理,并将经处理的图像信号提供给编码器/解码器56。编码器/解码器56对输入图像信号执行压缩编码,并将所生成的经编码数据通过控制部分57提供给R/W 61。由此,所摄取的静止图像的数据文件被存储到存储介质62上。
另一方面,如果存储在存储介质62中的图像文件被再现,则控制部分57根据来自输入部分58的操作输入,通过R/W 61从存储介质62读取所选择的静止图像文件。所读取的图像文件被提供给编码器/解码器56,并经受扩展解码处理。并且经解码的图像信号通过控制部分57被提供给图形I/F 59。由此,存储在存储介质62中的静止图像被显示到显示部分60上。
就此而言,可以通过计算机实现上述成像设备50中的图像处理功能。在这种情况下,提供记述了成像设备50所拥有的功能的处理内容的程序。并且通过在计算机上执行该程序,而在计算机上实现上述处理功能。记述处理内容的程序可以存储在如光盘、半导体存储器等计算机可读的存储介质62中。
如果程序被分发,则可销售存储了该程序的、如光盘或半导体等便携式存储介质。另外,可以将程序存储在服务器计算机的存储装置中并通过网络传送该程序。
执行程序的计算机例如将存储在便携式存储介质中的程序或者从服务器计算机传送来的程序存储到自身的存储装置中。并且计算机从自身的存储装置读取程序,并根据程序执行处理。就此而言,可以使计算机直接从便携式存储介质读取程序并根据程序执行处理。另外,可以使计算机在每当从服务器计算机传送来程序时,逐次地根据接收的程序执行处理。
6.变形例
在上文中,对本技术的实施例进行了详细的说明。然而,本技术并不限于上述实施例,并且基于本技术的精神和范围可以有各种变形例。除了数字静止相机外,还可以将根据本技术的光源估计装置和白平衡调节装置应用于数字视频相机。另外,还可以将光源估计装置和白平衡调节装置应用于设有相机功能的移动电话、智能电话和平板电脑终端等。另外,除了具有相机功能的电子装置外,还可以将本技术应用于未设有相机功能的个人物计算机、移动电话、智能电话和平板电脑终端等中的图像处理。
另外,可以将本技术应用于双眼成像设备,该双眼成像设备设有用于左眼和右眼的、如成像器和图像引擎等两个光学成像系统,并且具有三维图像(3D图像)的拍摄功能。在这种情况下,光源估计和白平衡调节可以针对左眼图像和右眼图像独立地执行。另外,光源估计和白平衡调节可以针对左眼图像和右眼图像共同执行。
就此而言,可以按如下方式构成本技术。
(1)一种光源估计装置,包括:
光源估计区域设置部分,被配置为在图像中检测背景,并基于背景检测的结果来设置光源估计区域;以及
光源估计部分,被配置为基于所述光源估计区域,估计所述图像被摄取时的光源的类型。
(2)如(1)所述的光源估计装置,
其中所述光源估计区域设置部分被配置为检测所述图像中的关注被摄体,并且将从所述图像中排除了与所述关注被摄体相对应的区域的区域确定为背景。
(3)如(2)所述的光源估计装置,
其中所述光源估计区域设置部分被配置为将所述背景设置为所述光源估计区域。
(4)如(2)所述的光源估计装置,
其中如果所述关注被摄体为预定大小或更小,则所述光源估计区域设置部分被配置为将所述背景设置为所述光源估计区域。
(5)如(1)至(4)中任一项所述的光源估计装置,
其中如果所述关注被摄体为预定大小或更大,则所述光源估计区域设置部分被配置为将所述图像的整个区域设置为所述光源估计区域。
(6)如(1)至(5)中任一项所述的光源估计装置,
其中所述光源估计区域设置部分被配置为检测所述图像中具有高饱和度的高度饱和区域,并将从所述图像中排除了所述高度饱和区域的区域设置为所述光源估计区域。
(7)如(1)至(6)中任一项所述的光源估计装置,
其中所述光源估计区域设置部分被配置为检测所述图像中的关注被摄体,并进一步检测所述图像中具有高饱和度的高度饱和区域,如果排除了与所述关注被摄体相对应的区域和所述高度饱和区域的区域为预定大小或更小,则所述光源估计区域设置部分被配置为将从所述图像中排除了所述高度饱和区域的区域设置为所述光源估计区域。
(8)一种估计光源的方法,该方法包括:
在图像中检测背景,并基于检测背景的结果设置光源估计区域;以及
基于所述光源估计区域估计所述图像被摄取时的光源的类型。
(9)一种用于使得计算机执行估计光源的方法的程序,该方法包括:
在图像中检测背景,并基于检测背景的结果设置光源估计区域;以及
基于所述光源估计区域估计所述图像被摄取时的光源的类型。
(10)一种成像设备,包括:
成像部分,被配置为通过摄取图像将入射光转换为电信号以生成图像信号;
光源估计区域设置部分,被配置为在由所述成像部分生成的图像中检测背景,并基于背景检测的结果设置光源估计区域;以及
光源估计部分,被配置为基于所述光源估计区域估计所述图像被摄取时的光源的类型。
本公开包含与在2011年11月16日向日本专利局递交的日本在先专利申请JP 2011-250269中所公开的内容相关的主题,该申请的全部内容通过引用结合于此。

Claims (10)

1.一种光源估计装置,包括:
光源估计区域设置部分,被配置为在图像中检测背景,并基于背景检测的结果来设置光源估计区域;以及
光源估计部分,被配置为基于所述光源估计区域,估计所述图像被摄取时的光源的类型。
2.如权利要求1所述的光源估计装置,
其中所述光源估计区域设置部分被配置为检测所述图像中的关注被摄体,并且将从所述图像中排除了与所述关注被摄体相对应的区域的区域确定为背景。
3.如权利要求2所述的光源估计装置,
其中所述光源估计区域设置部分被配置为将所述背景设置为所述光源估计区域。
4.如权利要求2所述的光源估计装置,
其中如果所述关注被摄体为预定大小或更小,则所述光源估计区域设置部分被配置为将所述背景设置为所述光源估计区域。
5.如权利要求2所述的光源估计装置,
其中如果所述关注被摄体为预定大小或更大,则所述光源估计区域设置部分被配置为将所述图像的整个区域设置为所述光源估计区域。
6.如权利要求1所述的光源估计装置,
其中所述光源估计区域设置部分被配置为检测所述图像中具有高饱和度的高度饱和区域,并将从所述图像中排除了所述高度饱和区域的区域设置为所述光源估计区域。
7.如权利要求1所述的光源估计装置,
其中所述光源估计区域设置部分被配置为检测所述图像中的关注被摄体,并进一步检测所述图像中具有高饱和度的高度饱和区域,如果排除了与所述关注被摄体相对应的区域和所述高度饱和区域的区域为预定大小或更小,则所述光源估计区域设置部分被配置为将从所述图像中排除了所述高度饱和区域的区域设置为所述光源估计区域。
8.一种估计光源的方法,该方法包括:
在图像中检测背景,并基于检测背景的结果设置光源估计区域;以及
基于所述光源估计区域估计所述图像被摄取时的光源的类型。
9.一种用于使计算机执行估计光源的方法的程序,该方法包括:
在图像中检测背景,并基于检测背景的结果设置光源估计区域;以及
基于所述光源估计区域估计所述图像被摄取时的光源的类型。
10.一种成像设备,包括:
成像部分,被配置为通过摄取图像将入射光转换为电信号以生成图像信号;
光源估计区域设置部分,被配置为在由所述成像部分生成的图像中检测背景,并基于背景检测的结果设置光源估计区域;以及
光源估计部分,被配置为基于所述光源估计区域估计所述图像被摄取时的光源的类型。
CN201210445933.2A 2011-11-16 2012-11-09 光源估计装置、光源估计方法、存储介质和成像设备 Expired - Fee Related CN103118226B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011250269A JP2013106284A (ja) 2011-11-16 2011-11-16 光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置
JP2011-250269 2011-11-16

Publications (2)

Publication Number Publication Date
CN103118226A true CN103118226A (zh) 2013-05-22
CN103118226B CN103118226B (zh) 2018-03-23

Family

ID=48280283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210445933.2A Expired - Fee Related CN103118226B (zh) 2011-11-16 2012-11-09 光源估计装置、光源估计方法、存储介质和成像设备

Country Status (3)

Country Link
US (1) US8860840B2 (zh)
JP (1) JP2013106284A (zh)
CN (1) CN103118226B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639843A (zh) * 2014-12-31 2015-05-20 小米科技有限责任公司 图像处理方法及装置
CN105282530A (zh) * 2014-05-28 2016-01-27 深圳中兴力维技术有限公司 基于背景建模的自动白平衡实现方法及装置
CN106716243A (zh) * 2014-09-19 2017-05-24 高通股份有限公司 用于色温匹配的多led相机闪光

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8693780B2 (en) * 2009-06-22 2014-04-08 Technion Research & Development Foundation Limited Automated collage formation from photographic images
US10607329B2 (en) * 2017-03-13 2020-03-31 Adobe Inc. Illumination estimation from a single image
US10609286B2 (en) 2017-06-13 2020-03-31 Adobe Inc. Extrapolating lighting conditions from a single digital image
CN111095096B (zh) * 2017-09-12 2022-04-15 索尼公司 信息处理设备、信息处理方法、程序和照明系统
WO2019216072A1 (ja) * 2018-05-08 2019-11-14 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
JP7450917B2 (ja) 2020-03-10 2024-03-18 株式会社エヌテック マルチスペクトル画像撮像装置、検査装置及びマルチスペクトル画像撮像方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070120987A1 (en) * 2005-11-15 2007-05-31 Nec Electronics Corporation Image processing method, image processing apparatus, and image pickup apparatus
US20080211925A1 (en) * 2007-03-02 2008-09-04 Fujifilm Corporation White balance correction apparatus and method
CN101577831A (zh) * 2009-03-10 2009-11-11 北京中星微电子有限公司 启动白平衡调节的控制方法和控制装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4967440B2 (ja) 2006-04-03 2012-07-04 ソニー株式会社 撮像装置およびその光源推定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070120987A1 (en) * 2005-11-15 2007-05-31 Nec Electronics Corporation Image processing method, image processing apparatus, and image pickup apparatus
US20080211925A1 (en) * 2007-03-02 2008-09-04 Fujifilm Corporation White balance correction apparatus and method
CN101577831A (zh) * 2009-03-10 2009-11-11 北京中星微电子有限公司 启动白平衡调节的控制方法和控制装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105282530A (zh) * 2014-05-28 2016-01-27 深圳中兴力维技术有限公司 基于背景建模的自动白平衡实现方法及装置
CN105282530B (zh) * 2014-05-28 2019-03-08 深圳力维智联技术有限公司 基于背景建模的自动白平衡实现方法及装置
CN106716243A (zh) * 2014-09-19 2017-05-24 高通股份有限公司 用于色温匹配的多led相机闪光
CN104639843A (zh) * 2014-12-31 2015-05-20 小米科技有限责任公司 图像处理方法及装置

Also Published As

Publication number Publication date
US8860840B2 (en) 2014-10-14
US20130120608A1 (en) 2013-05-16
JP2013106284A (ja) 2013-05-30
CN103118226B (zh) 2018-03-23

Similar Documents

Publication Publication Date Title
CN107948519B (zh) 图像处理方法、装置及设备
CN103118226A (zh) 光源估计装置、光源估计方法、光源估计程序和成像设备
CN102754426B (zh) 通过亮度和运动选择拍摄条件
CN108055452B (zh) 图像处理方法、装置及设备
CN107959778B (zh) 基于双摄像头的成像方法和装置
CN108712608B (zh) 终端设备拍摄方法和装置
CN101753812B (zh) 成像装置和成像方法
CN101330576B (zh) 图像显示装置和方法以及图像拾取装置、图像再现装置
US7706674B2 (en) Device and method for controlling flash
US9774880B2 (en) Depth-based video compression
CN101931752B (zh) 摄像装置、以及对焦方法
CN109672819B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US9961272B2 (en) Image capturing apparatus and method of controlling the same
US20140071318A1 (en) Imaging apparatus
CN103581547A (zh) 焦点调整装置和焦点调整方法
CN107872631B (zh) 基于双摄像头的图像拍摄方法、装置及移动终端
CN105407271A (zh) 图像处理设备和方法、摄像设备以及图像生成设备
EP3891974B1 (en) High dynamic range anti-ghosting and fusion
CN108322650A (zh) 视频拍摄方法和装置、电子设备、计算机可读存储介质
US8896670B2 (en) Image processing device, image processing method, and program
CN105493493A (zh) 摄像装置、摄像方法及图像处理装置
US8295609B2 (en) Image processing apparatus, image processing method and computer readable-medium
KR20150078275A (ko) 움직이는 피사체 촬영 장치 및 방법
KR20190075654A (ko) 복수 개의 카메라를 포함하는 전자 장치 및 그 동작 방법
CN108053438A (zh) 景深获取方法、装置及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180323

Termination date: 20201109

CF01 Termination of patent right due to non-payment of annual fee