CN103250418A - 图像处理设备、成像设备、图像处理方法、及白平衡调整方法 - Google Patents

Abstract

本发明提供了图像处理方法，其中，获得通过连续成像得到的捕获图像，将捕获图像分割为多个分割区域；对每个分割区域检测闪光的闪烁；评价每个已经检测到闪烁的分割区域，以根据发光状态下的亮度与熄灭状态下的亮度之间的亮度差来检测所述区域是否是包括来自发光二极管（LED）的光的LED区域；以及输出LED区域信息。

Description

图像处理设备、成像设备、图像处理方法、及白平衡调整方法

技术领域

本发明涉及图像处理设备、成像设备、图像处理方法以及白平衡调整方法，其均能在对包括来自闪光的LED（发光二极管）的光在内的被摄体进行成像时，以高精度检测包括来自LED的光的LED区域。

背景技术

用于照明的单色发光二极管在光谱特性和闪烁（周期性的闪光）方面不同于用于照明的普通光源，并且可能极大地影响相机的白平衡功能。

专利文献1公开了一种针对被多个光源照亮的被摄体和存在物体颜色的被摄体可以准确地检测出光源的结构。

专利文献2公开了一种考虑了当使用LED照明时由于发光二极管的个体差异和老化导致的色温变化来进行白平衡校正的结构。

引用列表

专利文献

PTL1：日本专利申请公开No.2010-130468

PTL2：日本专利申请公开No.2009-118001

发明内容

技术问题

在直接观看用于照明的单色LED等的场景的情况下，高亮度信息进入人眼从而对人眼大大地施加了图像滞后效果。更具体地说，闪烁没有比被用作环境光时表现得明显。根据所述情况，在很多情况下可以使用由于成本减少和安装方便而没有消除产生闪烁的单色LED设备。

所述产生闪烁的单色LED设备包括LED交通灯、灯饰、电子公告板。

在专利文献1所讨论的结构中，根据被摄体计算出光源颜色估计区域及其距离，并且不能从物体颜色中明显消除单色LED的影响。

在专利文献2所讨论的结构中，假定LED是灯饰，从而当存在不是照明灯的LED时不能进行适当的白平衡校正。

考虑到所述情况做出了本发明，其目的是提供一种图像处理设备、一种成像设备、一种成像方法、一种图像处理方法、以及白平衡调整方法，其均能够在对包括来自闪光的LED的光的被摄体进行成像时，以高精度检测出包括来自LED的光的LED区域。

解决方案

为了实现上述目标，根据本发明的一个方面的图像处理设备包括：图像获取装置，其用于获取通过连续成像得到的捕获图像；闪烁检测装置，其用于将捕获图像分割为多个分割区域，并针对每个分割区域检测闪光的闪烁；以及比较装置，其用于针对每个已经检测到闪烁的分割区域，根据该分割区域的点亮（turn-on）状态下的亮度与其熄灭（turn-off）状态下的亮度之间的亮度差来检测该分割区域是否是包括来自LED的光的LED区域，并且将表示捕获图像内的LED区域的LED区域信息进行输出。更具体地说，当对包括来自闪光的LED的光的被摄体进行成像时，在根据该分割区域的点亮状态的亮度与其熄灭状态的亮度之间的亮度差来检测到捕获图像中的LED区域的同时针对通过分割该捕获图像所得到的每个分割区域来检测闪烁（闪光），使得可以以较高的精度检测出包括来闪光的LED的光的LED区域。

根据本发明的一个方面的图像处理设备还包括：白平衡计算装置，其用于根据所检测到的LED区域信息来计算白平衡调整值；以及白平衡调整装置，其用于根据所计算的白平衡调整值来调整捕获图像的白平衡或在该捕获图像之后捕获的图像的白平衡。在这种情况下，即使当存在LED区域时，也可以进行适当的白平衡调整。

在根据本发明的一个方面的图像处理设备中，白平衡计算装置可以在根据捕获图像中除LED区域外的区域内的信息来确定光源颜色的同时，确定LED区域为严重受物体颜色影响的物体颜色区域，以根据该光源颜色来计算白平衡调整值。在这种情况下，LED区域不是作为光源颜色区域而是作为物体颜色区域而被排除在光源颜色确定目标区域之外，使得可以进行根据环境光的适当的白平衡调整。

在根据本发明的一个方面的图像处理设备中，当LED区域在捕获图像中的比例大于阈值时，白平衡计算装置可以根据LED的光谱特性和LED区域内的信息中的至少一个来确定光源颜色，以根据该光源颜色来计算白平衡调整值。在这种情况下，若LED区域的比例较大，则当仅通过剩余的非LED区域来确定光源颜色时，会出现诸如错误的判定和出现阴影之类的问题，但是根据LED的光谱特性和LED区域内的信息中的至少一个来确定光源颜色则可以进行恰当的白平衡调整。

在根据本发明的一个方面的图像处理设备中，当LED区域的颜色与整个捕获图像中的颜色的平均值或与捕获图像中除LED区域外的非LED区域中的颜色的平均值之差大于阈值时，白平衡计算装置根据非LED区域内的信息来确定与LED区域的颜色不同的光源颜色，以根据该光源颜色来计算白平衡调整值。

在根据本发明的一个方面的图像处理设备中，当熄灭状态下的LED区域的亮度为阈值或更小时，白平衡计算装置可以根据捕获图像的整个区域中除LED区域外的区域内的信息来确定光源颜色，以根据该光源颜色来计算白平衡调整值。

在根据本发明的一个方面的图像处理设备中，当LED区域的亮度与非LED区域的亮度之间的亮度差小于阈值时，白平衡计算装置可以根据LED的光谱特性和LED区域内的信息中的至少一个来确定光源颜色，以根据该光源颜色来计算白平衡调整值。

在根据本发明的一个方面的图像处理设备中，白平衡计算装置可以根据熄灭状态下的LED区域内的信息来确定光源颜色，以根据该光源颜色来计算白平衡调整值。

在根据本发明的一个方面的图像处理设备中，白平衡计算装置可以根据检测到的LED区域内的信息来调整白平衡调整值对物体颜色的追随强度。

在根据本发明的一个方面的图像处理设备中，可以将LED区域信息与捕获图像相关联地记录在记录介质上。

根据本发明的一个方面的成像设备包括上述图像处理设备、以及能够连续对被摄体进行成像的成像装置。

在根据本发明的一个方面的成像设备中，可以根据所检测到的LED区域信息来计算曝光量，并且成像装置可以根据曝光量来进行成像。

发明的有益效果

根据本发明，若对包括来自闪烁的LED的光的被摄体进行成像，则可以以高精度检测出包括来自该LED的光的LED区域。

附图说明

图1是示出了第一实施例中的成像设备的整个结构的框图。

图2是示出了第一实施例中的LED检测处理的一个示例的流程图。

图3是示出了第二实施例中的成像设备的整个结构的框图。

图4是示出了成像处理的一个示例的示意性流程图。

图5是示出了第二实施例中的白平衡计算处理的一个示例的流程图。

图6是示出了第三实施例中的成像设备的整个结构的框图。

图7是示出了第三实施例中的白平衡计算处理的一个示例的流程图。

图8是用于描述所捕获的图像的整个区域α、LED区域β、以及非LED区域γ的示图。

图9是示出了第四实施例中的白平衡计算处理的一个示例的流程图。

具体实施方式

下面将参照附图详细地描述本发明的实施例。

<第一实施例>

图1是示出了根据第一实施例的成像设备10的整个结构的框图。

成像设备10包括：成像单元11，其对被摄体进行成像的成像单元11；显示单元35，其执行显示；以及计算/处理单元50，其进行诸如闪烁检测处理和LED检测处理之类的各种类型的计算和处理。

成像单元11包括：成像光学单元12，其在下述图像传感器14上进行被摄体成像；图像传感器14，其对被摄体进行成像；模拟信号处理单元16，其对从图像传感器14输出的模拟图像捕获信号进行诸如放大之类的信号处理；AD转换器18，其将模拟图像捕获信号（捕获图像）转换为数字图像捕获信号；以及数字信号处理单元20，其对数字图像捕获信号进行各种类型的数字信号处理。从成像单元11输出的数字图像捕获信号作为数字数据的捕获图像暂时地存储在RAM（随机存储存储器）内。成像光学单元12包括诸如聚焦透镜、变焦透镜、可变光阑（光圈）之类的光学器件。图像传感器14由CMOS（互补金属氧化物半导体）图像传感器、CCD（电荷耦合器件）图像传感器等配置而成。模拟信号处理单元16、AD转换器18、和数字信号处理单元20均由已知电路构成。

显示单元35包括：图像再现处理单元36，其执行用于再现捕获图像的图像处理；编码器38，其执行用于将捕获图像的数据显示在显示装置40上的编码；以及显示装置40，其显示捕获图像等。图像再现处理单元36和编码器38分别由已知的微处理器和电路构成。例如，显示装置40由LCD（液晶显示器）配置而成。

VRAM（视频随机存取存储器）24是临时存储图像的存储器。存储器接口（存储器I/F）30是与RAM26和ROM（只读存储器）28连接的电路。外部存储器接口（外部存储器I/F）34是与存储卡32连接的电路。

计算/处理单元50包括：成像条件设置单元51，其设置成像单元11内的诸如快门速度（曝光时间）之类的各种类型的成像条件；图像获取单元52，其获取捕获图像；闪烁检测单元53，其将捕获图像分割为多个分割区域，并且针对每个分割区域检测周期性闪光的闪烁；比较和计算单元54，其针对每个已经检测到闪烁的分割区域来比较该分割区域在点亮状态下的亮度和该分割区域在熄灭状态下的亮度，并且根据点亮状态和熄灭状态之间的亮度差来判定各分割区域是否是包括来自LED的光的LED区域；以及CPU（中央处理单元）55，其结合并控制成像设备10内的各个单元。计算/处理单元50由微处理器和电路配置而成。成像条件设置单元51包括接受用户输入的指令的操作装置。成像条件设置单元51可以读出先前存储在非易失性存储器（未示出）中的成像条件并且可以设置成像条件。

下面将描述产生闪烁的单色LED中的亮度差。

由于在白炽灯泡和荧光灯中对AC（交流）电压周期的亮度响应缓慢，因此亮度的变化并不对应于电压的最大/最小的周期性变化，并且最高亮度和最小亮度之间的差异很小。另一方面，在LED中，由于其器件特性，对电压的上升和下降的亮度响应速度远高于其他光源的亮度响应速度。例如，白炽灯泡的亮度响应速度为几百毫秒，荧光灯的亮度响应速度接近1秒，而LED的亮度响应速度为10纳秒。例如，在汽车的制动灯中，利用LED的快速响应可以快速地对后面的汽车做出危险通知。

用于LED的AC电源的频率最低为50Hz，并且使用AC电源的LED中的一个闪烁周期为20ms或更小。

更具体地说，由于LED的亮度响应相对于AC电源的周期来说足够低，因此亮度的最大值/最小值的变化跟随电压的最大值/最小值的变化。换而言之，捕获图像的LED区域中的最大亮度和最小亮度之差对应于LED的最小亮度（即，0）和最大亮度之差。

因此，按以下步骤检测捕获图像中的LED区域，从而以高精度检测LED区域。

（步骤1）以AC电源（例如，50Hz或60Hz）频率的两倍或更高的频率（对于快门速度，其为1/100s或更小或者1/120s或更小）连续地对被摄体进行成像。小于AC电源的一个周期的一半的快门速度（曝光时间）是理想的。成像条件设置单元51在成像单元11中设置这样的快门速度。

（步骤2）若要判定的区域内的亮度变化周期与AC电源的变化周期基本相同，则判定存在闪烁。闪烁检测单元53进行这样的闪烁检测。然而，两个周期之间一致的程度可能不高。在针对视觉效果的正常闪光（照明）中，由于由图像滞后效应造成了人眼不能判定是否出现了闪光，因此不存在和AC电源的变化周期内同样的快速闪光。

（步骤3）在闪光的亮度差（处于点亮状态下的LED的亮度与处于熄灭状态下的LED的亮度之间的差）较大的情况下，判定为LED区域。可以通过检测熄灭状态下的亮度值基本为零来判定该区域为LED区域。比较和计算单元54进行这样的LED区域的检测。

根据检测目标区域的大小，检测目标区域（图像的分割区域）内对应于LED的区域可能很小。因此，对用于判定该区域为LED区域的亮度或亮度差的阈值给予一定程度的容许范围，以进行LED检测。

图2是示出了LED检测处理的流程图。在CPU55的控制下来根据程序进行该处理。下面将参照图2来描述从捕获图像中检测出周期性闪光的LED区域的LED检测处理。在本示例中，从成像单元11输出的捕获图像存储在RAM26中。

图像获取单元52首先从RAM26（图像缓冲器）获取已被连续捕获的捕获图像（步骤S2）。

闪烁检测单元53然后将捕获图像分割为二维阵列形式的多个（n个）分割区域（步骤S4）。

以分割区域的数量n开始循环处理（步骤S6至S18）。首先，确定要关注的分割区域（以下称为“目标区域”）（步骤S8），然后判定在该目标区域中是否存在周期性闪光（闪烁）（步骤S10）。例如，从通过以AC电源频率（本示例中为50Hz或60Hz）的整数倍（2倍或更多倍）的频率连续地对被摄体进行成像所得到的多个捕获图像中，针对每个分割区域，根据分割区域的时间序列的亮度来判定该分割区域是否以AC电源的频率闪光。更具体地说，以AC电源的一个周期的一半或更小的曝光时间（快门时间）连续地对被摄体进行成像，以检测周期性闪光。闪光周期具有什么样的检测精度并不重要。可以检测到闪光基本上是周期性的。

若检测到了周期性闪光（在步骤S10中为是），则比较和计算单元54则判定闪光的亮度差是否较大（步骤S12）。例如，由于LED熄灭状态下的亮度值基本上为零，因此当判定了点亮状态下的亮度为阈值或更大，并且熄灭状态下的亮度值基本上为零时，可以判定闪光的亮度差较大。可以通过对已经检测到闪光的目标区域中点亮状态（当亮度较高时）下的亮度与目标区域中熄灭状态（当亮度较低时）下的亮度之差进行计算，并且将点亮状态下的亮度与熄灭状态下的亮度之间的亮度差与阈值进行比较，来判定闪光的亮度差是否较大。可以将点亮状态下的亮度与熄灭状态下的亮度之比和阈值进行比较来判定闪光的亮度差是否较大。

当判定了闪光的亮度差较大时，CPU55判定该目标区域为LED区域，并且将LED区域标识存储在RAM26中，以作为与对应的分割区域相关联的LED区域信息的一部分（步骤S14）。另一方面，当亮度差为阈值或更小时，CPU55判定该目标区域为除LED区域外的区域（非LED区域），并且将非LED区域标识存储在RAM26中，以作为与对应的分割区域相关联的LED区域信息的一部分（步骤S16）。

当循环处理结束时（步骤S18），CPU55使用外部存储器接口34来将临时存储在RAM26中的LED区域信息（包括LED区域标识和非LED区域标识）与捕获图像相关联地存储在存储卡32中（步骤S19）。LED区域信息表示捕获图像中的LED区域。LED区域标识和非LED区域标识的阵列表示捕获图像中的LED区域的位置。LED区域信息更加优选地包括关于每个LED区域的颜色信息和亮度信息。

尽管已经通过示例的方式描述了将LED检测结果输出至用作存储介质的存储卡32的情况，但本发明没有特别地限定于该情况。用于输出LED检测结果的装置并不特别地限定于存储介质。例如，其可以通过网络接口（未示出）与已经连续捕获的捕获图像的每帧相关联地被发送并输出至外部设备。或者，其可以与捕获图像相关联地显示并输出至显示装置40。

CPU55可以根据所检测到的LED区域信息来计算曝光量，并使成像单元11根据该曝光量来进行成像。根据图像传感器14中的电子快门的快门速度（曝光时间）和成像光学单元12的可变光阑（光圈）的光圈量（开口量），在CPU55的控制下调节曝光量。

<第二实施例>

图3是示出了第二实施例中的成像设备10的整个结构的框图。相同的附图标记指代与图1所示的第一实施例相同的构成元件，因此不再重复地对其进行描述。

在图3中，白平衡计算单元56根据比较和计算单元54的比较结果来确定捕获图像的光源颜色，并且根据光源颜色来计算白平衡调整值。白平衡计算单元56在根据捕获图像中的除LED区域外的区域内的信息来确定光源颜色的同时，特别地确定一个LED区域为严重受物体颜色影响的物体颜色区域。

CPU55根据白平衡计算单元56计算出的白平衡调整值来调节捕获图像的白平衡。

图4是示出了成像处理的一个示例的示意性流程图。

首先，成像单元11对被摄体进行成像（步骤S101）。然后，计算/处理单元50中的闪烁检测单元53以及比较和计算单元54从捕获图像中检测周期性闪光的LED区域（步骤S102）。计算/处理单元50中的白平衡计算单元56然后根据LED区域的检测结果（LED区域信息）来计算白平衡调整值（步骤S103）。计算/处理单元中的CPU55然后根据白平衡调整值来调整捕获图像的白平衡（步骤S104）。然后外部存储器接口34将已经调整了白平衡的捕获图像记录在存储卡32中（步骤S105）。

图5是示出了第二实施例中的白平衡计算处理（图4所示的步骤S103）的细节的流程图。白平衡计算单元56根据程序进行该处理。

首先，在白平衡计算单元中将捕获图像的有效区域（被摄体的区域）分割为多个分割区域（步骤S22）。

然后，以区域分割数开始循环处理（步骤S24），并且根据比较和计算单元54的比较结果来确定受关注的分割区域（以下称为“目标区域”）是否为LED区域（步骤S26）。

若目标区域是非LED区域，则计算出目标区域中的光源颜色评价值和物体颜色评价值（步骤S28），根据所计算出的两个评价值来判定该目标区域是否受物体颜色的影响较弱（步骤S30）。若判定物体颜色的影响较弱，则在假定光源的影响较强的情况下进行光源颜色估计处理（步骤S32）。若判定物体颜色的影响较强，则在假定光源的影响较弱的情况下进行光源颜色估计处理（步骤S34）。

若在步骤S26中判定目标区域为LED区域，则判定该目标区域（即，LED区域）为物体颜色的影响较强的物体颜色区域，并且将该目标区域（LED区域）排除在光源估计处理之外（步骤S36）。

当在步骤S38中结束分割区域数量的循环时，根据步骤S32和S34中的光源颜色估计结果来计算白平衡校正值（步骤S40）。更具体地说，根据关于捕获图像中除LED区域外的非LED区域的颜色信息来判定光源颜色，并且根据光源颜色来计算白平衡校正值。

在很多情况下，单色LED（光谱特性的最大值对应于一个波长的LED）并不是根据其特性而用于照明目的，而是用于直接观看。示例包括交通灯、灯饰、电子公告板。这样的单色LED是发光的光源，与用于照明目的的光源不同，单色LED本身可以直接作为被摄体而被拍摄，并且像通常的被摄体一样具有颜色信息。从白平衡调整的角度看，期望将单色LED的颜色不是作为光源颜色（例如，白色）而是作为物体颜色从而被排除在光源确定之外。更具体地说，提高了白平衡的精度。

<第三实施例>

图6是示出了第三实施例中的成像设备10的整个结构的框图。相同的附图标记指代与图3所示的第二实施例相同的构成元件，因此省略了对其的描述。

图7是示出了第三实施例中的白平衡计算处理（图4所示的步骤S103）的细节的流程图。白平衡计算单元56根据程序进行该处理。

步骤S52至S64与第二实施例中的图5所示的步骤S22至S34类似。

若在步骤S56中判定目标区域为LED区域，白平衡计算单元56则根据LED区域的条件来进行光源颜色估计处理（步骤S66）。

光源颜色估计处理的方式包括多种。

在第一方面，若LED区域在捕获图像的整个区域中的比例大于阈值，则根据LED的光谱特性和熄灭状态下的LED区域内的颜色信息中的至少一个来确定光源颜色，并且根据光源颜色来计算白平衡调整值。更具体地说，若LED区域在整个被摄体中的比例为预定值或更大，则当仅在剩下的非LED区域中确定光源颜色时会出现错误判定和阴影，因此使用LED的光谱特性或者处于熄灭状态的LED内的颜色信息来判定光源颜色。此外，若该比例较大，则使用设备的基准白平衡。

在第二方面，若LED区域的颜色与整个捕获图像的颜色的平均值（或者捕获图像的整个区域中除LED区域外的非LED区域中的颜色的平均值）之差大于阈值，则根据非LED区域内的颜色信息确定与LED区域的颜色不同的光源颜色，并且根据该光源颜色来计算白平衡调整值。更具体地说，在假定存在除LED外的光源的情况下确定光源颜色。

在第三方面，若处于熄灭状态的LED的亮度为阈值或更小，则根据捕获图像的整个区域内除LED区域外的区域（非LED区域）内的颜色信息来确定光源颜色，并且根据该光源颜色来计算白平衡调整值。更具体地说，若LED区域的亮度较低，则环境光可能强于来自LED的光，因此确定了光源颜色。

在第四方面，若LED区域的亮度与非LED区域的亮度的亮度差小于阈值，则根据LED的光谱特性和LED区域内的颜色信息中的至少一个来确定光源颜色，并且根据该光源颜色来计算白平衡调整值。更具体地说，在假定反射光接近LED的发光量的情况下确定光源颜色。另一方面，若与非LED区域的亮度差大于阈值，则环境光相当微弱，因此判定不需要白平衡，使用设备的基准白平衡。

在第五方面，根据处于熄灭状态的LED区域内的颜色信息来确定光源颜色，并且根据该光源颜色来计算白平衡调整值。

在第六方面，根据在LED区域内所检测到的颜色信息来调整白平衡调整值对物体颜色的追随强度。例如，计算出使得在白平衡调整后的颜色比没有检测到LED区域时的颜色更接近LED的颜色的白平衡调整值。

步骤S68至S70与第二实施例中的步骤S38至S40相似。但是，在步骤S70中，若进行了步骤S66，则根据光源估计处理的结果的评价值来计算白平衡调整值。

<第四实施例>

下面将描述根据第四实施例的成像设备。根据本实施例的成像设备的整体结构与图6所示的第三实施例中的结构相似。下面将仅描述与第三实施例不同的点。

图8示出了捕获图像的整个区域α、LED区域β、和非LED区域γ。

图9是示出了本实施例中的白平衡调整处理的流程图。将参照图8来描述自动白平衡处理。

首先，将LED区域β的点亮状态时的平均亮度p和非LED区域的平均亮度r之间的亮度差（p-r）与亮度差阈值x进行比较（步骤S81）。

如亮度差（p-r）为亮度差阈值x或者更小，则环境光会影响除LED区域外的区域（非LED区域），因此该处理分支到使用非LED区域的信息来估计光源的处理（步骤S82至S94）。

若亮度差（p-r）为亮度差阈值x或者更小，则将LED区域β的面积t与捕获图像的整个区域α和LED区域β的面积比的阈值z进行比较（步骤S82）。即使非LED区域γ的平均亮度r很高，若非LED区域γ的面积t在捕获图像的整个区域α中的比例（s-t）很小（即，若LED区域β在整个区域α中的比例t很大），则很难进行准确的光源估计。因此，若LED区域β的比例t大于区域比例阈值z，则该处理分支到使用处于熄灭状态的LED区域内的颜色信息进行光源估计的处理（步骤S83至S87）。

在该处理中，按区域分割的数量n开始循环处理（步骤S83），并且判定受关注的分割区域是否为LED区域β（步骤S84）。若LED区域处于熄灭状态，LED本身的发光量基本为零，使得可以排除物体颜色。因此，若目标区域是LED区域，则根据熄灭状态（当闪烁为暗时）下的LED区域内的颜色信息来进行光源颜色估计（步骤S85）。另一方面，若目标区域是非LED区域，则进行正常光源颜色估计（步骤S86）。当该处理被重复了分割区域数量时，结束循环处理（步骤S87）。

若在步骤S82中LED区域β的比例t为面积比例阈值z或更小，处理则分支到步骤S88至S94。在这种情况下，LED区域β的面积t不可能占据整个区域α，并且非LED区域的亮度r可以为预定的水平或更高。因此，会存在环境光的影响。即使仅使用非LED区域内的颜色信息来计算白平衡调整值，也可以得到一定程度的精度，但是同时使用LED区域内的颜色信息，可以进一步提高光源颜色估计的精度。

因此，按区域分割数量n开始循环处理（步骤S88），并且判定受关注的分割区域是否为LED区域β（步骤S89）。此外，若为LED区域，则将处于LED区域β的熄灭状态下的平均亮度q与亮度阈值y进行比较（步骤S90），若平均亮度q大于亮度阈值y，则使用熄灭状态下的LED区域内的颜色信息来进行光源颜色估计（步骤S91），以及若平均亮度q为亮度阈值y或更小，则排除LED区域来进行光源颜色估计（步骤S92）。若受关注的分割区域是非LED区域，则进行正常光源颜色估计（步骤S93）。若该处理被重复了分割区域数量，则结束循环处理（步骤S94）。

若在步骤S81中亮度差（p-r）大于x，很有可能出现其中作为物体颜色的LED的影响占主导的拍摄场景（例如，夜景）。将LED区域β的熄灭状态时的平均亮度q与非LED区域γ的平均亮度r进行比较（步骤S95），若q<r，则很有可能LED的影响（但被看作物体颜色）占主导，并且没有环境光的影响，并且为ROM28等准备的基准增益被用作白平衡调整值（白平衡增益）。若q≥r，则处理分支到使用LED区域的熄灭状态下的颜色信息来进行光源颜色估计的处理（步骤S83至S87）。

尽管已经通过实例的方式描述了将本发明应用于诸如相机之类的成像设备的情况，但本发明并不特别局限于该情况。不言而喻，可以将本发明应用于用于从捕获图像中检测出包括来自周期性闪光的LED的光的LED区域的另一图像处理中。例如，本发明适用于诸如移动电话之类的各种类型的便携式电子设备以及诸如个人计算机和服务器设备之类的各种类型的计算机设备。

尽管将对已经检测到闪烁和LED区域的捕获图像进行了白平衡调整作为根据LED区域的检测结果的图像处理的示例，但可以针对已经在对捕获图像进行检测的时间之后捕获的一个捕获图像进行白平衡调整。例如，可以就在按下快门开关之前连续地捕获的实时取景图像中进行闪烁检测和LED检测，并且可以针对在按下快门开关之后捕获的图像进行白平衡调整。

尽管已经通过示例的方式描述了根据LED区域信息来进行白平衡调整的情况，但本发明并不局特别限于该情况。本发明可以应用于以下情况：例如进行除白平衡调节外的图像处理，以及成像条件设置单元51可以根据LED区域信息来切换成像条件（例如，曝光量、视角等）。本发明可以应用于仅输出LED检测结果而不进行除LED检测处理外的图像处理的LED检测设备（即，另一设备在LED检测处理后进行处理的情况）。

本发明不局限于本说明书所描述的示例以及附图所示出的示例，并且很明显，在不脱离本发明的范围的情况下可以做出各种设计变更和修改。

附图标记列表

10…成像设备（图像处理设备），11…成像单元，26…RAM，28…ROM,32…存储卡，35…显示单元，51…成像条件设置单元，52…图像获取单元，53…闪烁检测单元，54…比较和计算单元，55…CPU，56…白平衡计算单元

Claims (21)

1.一种图像处理设备，包括：

图像获取装置，其被构造为获取通过连续成像得到的捕获图像；

闪烁检测装置，其被构造为将所述捕获图像分割为多个分割区域并针对每个所述分割区域检测闪光的闪烁；以及

比较装置，其被构造为针对已检测到闪烁的每个所述分割区域，来根据分割区域的点亮状态下的亮度与其熄灭状态下的亮度之间的亮度差来检测所述分割区域是否是包括来自发光二极管（LED）的光的LED区域，并且输出表示所述捕获图像内的所述LED区域的LED区域信息。

2.如权利要求1所述的图像处理设备，还包括：

白平衡计算装置，其被构造为根据所检测到的LED区域信息来计算白平衡调整值；以及

白平衡调整装置，其被构造为根据所计算出的白平衡调整值来调整所述捕获图像或者已经在所述捕获图像之后捕获的图像的白平衡。

3.如权利要求2所述的图像处理设备，

其中，所述白平衡计算装置在根据所述捕获图像中的除所述LED区域外的区域内的信息确定光源颜色的同时，来判定所述LED区域为严重受物体颜色影响的物体颜色区域，以根据所述光源颜色来计算所述白平衡调整值。

4.如权利要求2所述的图像处理设备，

其中，当所述LED区域在所述捕获图像中的比例大于阈值时，所述白平衡计算装置根据LED的光谱特性和所述LED区域内的信息中的至少一个来确定光源颜色，以根据所述光源颜色计算所述白平衡调整值。

5.如权利要求2所述的图像处理设备，

其中，当所述LED区域的颜色与整个所述捕获图像中的颜色的平均值或与所述捕获图像中除所述LED区域外的非LED区域内的颜色的平均值之差大于阈值时，所述白平衡计算装置根据所述非LED区域内的信息来确定与所述LED区域的颜色不同的光源颜色，以根据所述光源颜色来计算所述白平衡调整值。

6.如权利要求2所述的图像处理设备，

其中，当熄灭状态下的所述LED区域的亮度为阈值或更小时，所述白平衡计算装置根据所述捕获图像的整个区域中除所述LED区域外的区域内的信息来确定光源颜色，以根据所述光源颜色来计算所述白平衡调整值。

7.如权利要求2所述的图像处理设备，

其中，当所述LED区域的亮度和非LED区域的亮度之间的亮度差小于阈值时，所述白平衡计算装置根据LED的光谱特性和所述LED区域内的信息中的至少一个来确定光源颜色，以根据所述光源颜色来计算所述白平衡调整值。

8.如权利要求2、4、和7中任一项所述的图像处理设备，

其中，所述白平衡计算装置根据熄灭状态下的所述LED区域内的信息来确定光源颜色，以根据所述光源颜色来计算所述白平衡调整值。

9.如权利要求1至8中任一项所述的图像处理设备，

其中，白平衡计算装置根据所检测到的所述LED区域内的信息来调整白平衡调整值对物体颜色的追随强度。

10.如权利要求1至9中任一项所述的图像处理设备，

其中，所述LED区域信息与所述捕获图像相关联地记录在记录介质上。

11.一种成像设备，包括：

如权利要求1至10中任一项所述的图像处理设备；以及

能够连续地对被摄体进行成像的成像装置。

12.如权利要求11所述的成像设备，

其中，根据所检测到的所述LED区域信息来计算曝光量，并且所述成像装置根据所述曝光量进行成像。

13.一种图像处理方法，包括：

获取通过连续成像获得的捕获图像的步骤；

将所述捕获图像分割为多个分割区域的步骤；

针对每个所述分割区域检测闪光的闪烁的步骤；

针对已经检测到闪烁的每个分割区域，根据分割区域的点亮状态下的亮度与其熄灭状态下的亮度之间的亮度差，来检测所述分割区域是否是包括来自LED的光的LED区域的步骤；以及

输出表示所述捕获图像内的所述LED区域的LED区域信息的步骤。

14.一种白平衡调整方法，包括

获取通过连续成像获得的捕获图像的步骤；

将所述捕获图像分割为多个分割区域的步骤；

针对每个所述分割区域检测闪光的闪烁的步骤；

针对已经检测到闪烁的每个分割区域，根据分割区域的点亮状态下的亮度与其熄灭状态下的亮度之间的亮度差，来检测所述分割区域是否是包括来LED的光的LED区域，并且产生表示所述捕获图像内的所述LED区域的LED区域信息的步骤；

根据检测到的所述LED区域信息来计算白平衡调整值的白平衡计算步骤；以及

根据所计算出的白平衡调整值来调整所述捕获图像或者已经在所述捕获图像之后捕获的图像的白平衡的步骤。

15.如权利要求14所述的白平衡调整方法，

其中，在所述白平衡计算步骤中，在根据所述捕获图像中除所述LED区域外的区域内的信息确定光源颜色的同时，确定所述LED区域为严重受物体颜色影响的物体颜色区域，以根据所述光源颜色来计算所述白平衡调整值。

16.如权利要求14所述的白平衡调整方法，

其中，在所述白平衡计算步骤中，当所述LED区域在所述捕获图像中的比例大于阈值时，根据LED的光谱特性和所述LED区域内的信息中的至少一个来确定光源颜色，以根据所述光源颜色来计算所述白平衡调整值。

17.如权利要求14所述的白平衡调整方法，

其中，在所述白平衡计算步骤中，当所述LED区域的颜色与整个所述捕获图像中的颜色的平均值或与整个所述捕获图像中除所述LED区域外的非LED区域中的颜色的平均值之差大于阈值时，根据所述非LED区域内的信息，来确定与所述LED区域的颜色不同的光源颜色，以根据所述光源颜色来计算所述白平衡调整值。

18.如权利要求14所述的白平衡调整方法，

其中，在所述白平衡计算步骤中，当熄灭状态下的所述LED区域的亮度为阈值或更小时，根据所述捕获图像的整个区域中除所述LED区域外的区域内的信息来确定光源颜色，以根据所述光源颜色来计算所述白平衡调整值。

19.如权利要求14所述的白平衡调整方法，

其中，在所述白平衡计算步骤中，当所述LED区域的亮度与非LED区域的亮度之间的亮度差小于阈值时，根据LED的光谱特性和所述LED区域内的信息中的至少一个来确定光源颜色，以根据所述光源颜色来计算所述白平衡调整值。

20.如权利要求14、16和19中任一项所述的白平衡调整方法，

其中，在所述白平衡计算步骤中，根据熄灭状态下的所述LED区域内的亮度来确定光源颜色，以根据所述光源颜色来计算所述白平衡调整值。

21.如权利要求14所述的白平衡调整方法，

其中，在所述白平衡计算步骤中，根据所检测到的LED区域内的信息来调整白平衡调整值对物体颜色的追随强度。

Images