CN101815221A

CN101815221A - 图像处理设备和图像处理方法

Info

Publication number: CN101815221A
Application number: CN201010116672A
Authority: CN
Inventors: 新仓谦太郎
Original assignee: NEC Corp
Current assignee: NEC Electronics Corp; NEC Corp
Priority date: 2009-02-25
Filing date: 2010-02-09
Publication date: 2010-08-25
Also published as: EP2224726A2; US8682068B2; KR20100097016A; US20100215260A1; KR101098169B1; EP2224726A3; JP2010199985A; JP5399739B2

Abstract

本发明涉及图像处理设备和图像处理方法。代表像素值计算单元(120)将由原始数据(D0)表示的图像划分为多个块并且为每个块计算代表像素值(S)。检测单元(130)从多个块当中检测是包括高光溢出或者区块阴影的块的对象块。检测单元(130)的B检测单元(134)执行第一检测处理，用于获得由代表像素值表示的颜色与灰色之间的差和能够近似地表示差的值中的一个作为特征值，和用于检测其中特征值等于或者小于第一阈值的块作为对象块。因此，能够高速地检测被包括在图像中的高光溢出或者区块阴影，并且能够防止检测的遗漏。

Description

图像处理设备和图像处理方法

交叉引用

本申请基于并且要求2009年2月25日提交的日本专利申请No.2009-042536的优选权，其内容在此通过引用全部并入。

技术领域

本发明涉及一种用于检测图像中的高光溢出或者区块阴影的技术。

背景技术

在诸如数码照相机的图像拾取设备中，执行白平衡控制和曝光控制。为了精确地执行此种控制，必需移除高光溢出部分或者区块阴影部分。为此，检测高光溢出部分或者区块阴影部分。

近年来，越来越多的诸如数码单反相机的高性能照相机具有原样地存储原始图像的功能。在用于处理原始图像的图像处理设备中，执行白平衡校正和曝光校正。为了高精确度地执行此校正，必需移除高光溢出部分或者区块阴影部分。为此，还在图像处理设备中检测高光溢出部分和区块阴影部分。

通常基于像素的亮度执行高光溢出部分和区块阴影部分的检测。然而，每个像素中的高光溢出和区块阴影的检测是耗时的，这是不希望的。当使用硬件检测高光溢出和区块阴影时，出现电路尺寸增加的问题。尤其在图像拾取设备的领域中，很难满足小型化的市场需要。

日本未经审查的专利申请公开No.2005-109705公布了一种用于解决上述问题的技术。根据该技术，图像被划分为多个块，并且基于为每个块获得的平均像素值检测包括高光溢出或者区块阴影的块。在获得用于白平衡校正的校正值的情况下，对除了包括高光溢出或者区块阴影的已检测的块之外的块执行操作。

具体地，根据该技术，执行检测从而其中R值、G值以及B值的平均像素值等于或者大于预定的阈值(在下文中被称为“高光溢出阈值”)的块被检测为高光溢出区域，并且其中R值、G值以及B值的平均像素值等于或者小于预定的阈值(在下文中被称为“区块阴影阈值”)的块被检测为区块阴影区域。

发明内容

本发明人已经发现下述问题。即使当被包括在块中的一部分像素是高光溢出像素时，块的平均像素值不总是等于或者大于高光溢出阈值。同样地，即使当被包括在块中的一部分像素是区块阴影像素时，块的平均像素值不总是等于或者小于区块阴影阈值。为此，在日本未审的专利申请公开No.2005-109705中公布的技术存在下述问题，即可能出现包括高光溢出或者区块阴影的块的检测的遗漏。此种检测遗漏对白平衡/曝光控制和校正具有反作用。因此，存在对于防止检测遗漏的需要。

本发明的第一示例性方面是图像处理设备。该图像处理设备包括代表像素值计算单元，该代表像素值计算单元将图像划分为多个块并且为多个块中的每一个计算代表像素值；和检测单元，该检测单元从多个块当中检测对象块，对象块是包括高光溢出和区块阴影之一的块。

检测单元执行第一检测处理，用于获得由代表像素值表示的颜色与灰色之间的差和能够近似地表示差的值中的一个作为特征值，并且用于检测具有等于或者小于第一阈值的特征值的块作为对象块。

作为本发明的实施例的替代，根据本发明的第一示例性方面的设备的用于使计算机执行设备的功能或者设备的功能的一部分的程序、方法以及系统也是有效的。

根据本发明的技术，能够高速地检测被包括在图像中的高光溢出或者区块阴影，并且能够防止检测的遗漏。

附图说明

结合附图，根据某些示例性实施例的以下描述，以上和其它示例性方面、优点和特征将更加明显，其中：

图1是根据本发明的示例性实施例的数码照相机的图；和

图2是示出通过图1中所示的数码照相机执行的处理的流程的流程图。

具体实施方式

下面将会参考附图描述本发明的示例性实施例。为了阐明解释，根据需要删节并且简化下面的描述和附图。可以通过CPU、存储器以及其它电路在硬件上实施作为用于执行各种处理的功能块的附图中所示的元件，并且可以通过存储器加载的程序等等在软件上实施上述元件。因此，对本领域的技术人员来说显然的是，这样的功能块可以以各种形式来实施：仅通过硬件、仅通过软件、或者两者的组合并且不限于此。

现在参考示出根据本发明的示例性实施例的数码照相机100的图1。数码照相机100包括图像拾取单元110、代表像素值计算单元120、检测单元130以及校正单元140。检测单元130包括A检测单元132和B检测单元134。

例如，图像拾取单元110包括图像传感器。图像拾取单元110拾取对象的图像以获得原始数据D0，并且然后将获得的数据输出至代表像素值计算单元120和校正单元140中的每一个。在本示例性实施例中，原始数据D0的像素值是RGB值。

代表像素值计算单元120将由原始数据D0表示的图像划分为多个块，并且计算每个块的代表像素值S。在本示例性实施例中，代表像素值计算单元120为每个块计算平均RGB值(R0、G0以及B0)作为代表像素值S。

检测单元130基于通过代表像素值计算单元120计算的平均RGB值检测包括高光溢出像素的块和包括区块阴影像素的块。包括高光溢出像素或者区块阴影像素的块在下文中被称为“对象块”。

在检测单元130中，A检测单元132执行第二检测处理，并且B检测单元134执行第一检测处理。稍后将会详细地描述第二检测处理和第一检测处理。

A检测单元132执行第二检测处理，用于基于由每个块的代表像素值S表示的亮度检测对象块。具体地，A检测单元132检测其中所有的平均RGB值R0、G0以及B0等于或者大于预定的阈值T2(例如，在8位数据的情况下为250)的块和其中平均RGB值R0、G0以及B0等于或者小于预定的阈值T3(例如，在8位数据的情况下为10)的块作为对象块。

在此，其中所有的平均RGB值R0、G0以及B0等于或者大于阈值T2的块是包括高光溢出像素的块。其中所有的平均RGB值R0、G0以及B0等于或者小于阈值T3的块是包括区块阴影像素的块。

B检测单元134执行第一检测处理，用于获得能够表示由代表像素值S表示的颜色与灰色之间的差的特征值，并且用于基于特征值检测对象块。在此描述第一检测处理的原理。

作为对通过数字图像拾取设备捕获的图像的特性的深入研究和调查的结果，本发明人已经发现以下事实。

通过数字图像拾取设备拾取对象获得的原始数据是通过数字化从诸如CCD的光电转换传感器接收到的信号获得的数据。通常，由于传感器灵敏性特性和透镜特性(滤光片的影响等等)，导致与对象的灰色部分相对应的原始数据的像素值(R，G，B)不等于表示最终显示在诸如显示器的输出装置上的灰色的值(R＝G＝B)。同时，在高光溢出像素或者区块阴影像素中，不管上述的物理特性，像素值(所有的R、G以及B值)收敛于能够以数字形式表达的动态范围的上限或者下限(零)。因此，R、G以及B值变得相互接近。为此，由像素的像素值表示的颜色接近于灰色。

第一检测处理以这些发现为基础。具体地，获得能够表示由块的代表像素值表示的颜色与灰色之间的差的特征值，并且当特征值等于或者小于预定的阈值时，块被检测为对象块。

在本示例性实施例中，B检测单元134计算|R0/G0-1|和|B0/G0-1|作为能够表示由代表像素值(在这样的情况下，平均RGB值R0、G0以及B0)表示的颜色与灰色之间的差的特征值。然后B检测单元134检测其中|R0/G0-1|等于或者小于与预定的阈值相对应的阈值(阈值A)的块和其中|B0/G0-1|等于或者小于与预定的阈值相对应的阈值(阈值B)的块作为对象块。在这样的情况下，一组|R0/G0-1|和|B0/G0-1|用作“特征值”。确定阈值A和阈值B使得当|R0/G0-1|等于或者小于阈值A并且当|B0/G0-1|等于或者小于阈值B时由“RO、G0、B0”表示的颜色与灰色之间的差等于或者小于预定的阈值。因此，为了便于计算，阈值A和B优选相同，但是阈值不是必需相同。在本示例性实施例中，阈值T1(例如，0.2)应用于阈值A和阈值B。

检测单元130将通过A检测单元132和B检测单元134检测到的表示对象块的信息输出至校正单元140。校正单元140基于来自于检测单元130的信息执行校正处理。在本示例性实施例中，校正单元140执行白平衡校正和曝光校正。

具体地，校正单元140通过使用除了由检测单元130检测到的对象块的数据之外的原始数据D0的数据计算校正值。然后，使用计算的校正值对原始数据D0执行校正处理，从而获得校正的数据D1。

图2是示出对通过数码照相机100中的图像拾取单元110获得的原始数据D0执行的处理的流程的流程图。

首先，代表像素值计算单元120将由原始数据D0表示的图像划分为多个块，并且为每个块计算代表像素值S(在这样的情况下，平均RGB值R0、G0以及B0)(S102)。

然后，A检测单元132对每个块执行第二检测处理。具体地，当所有的平均RGB值R0、G0以及B0等于或者大于阈值T2，或者等于或者小于阈值T3时，A检测单元132检测满足条件的块，作为对象块(S110：是，S114)。

B检测单元134对除了由A检测单元132检测为对象块的块之外的块执行第一检测处理。具体地，B检测单元134为这些块计算|R0/G0-1|和|B0/G0-1|，并且检测其中|R0/G0-1|和|B0/G0-1|等于或者小于阈值T1的块，作为对象块(S110：否，S120，S122：是，S114)。

校正单元140通过使用原始数据D0的除了由检测单元130的A检测单元132和B检测单元134检测到的对象块的数据之外的数据计算用于白平衡校正和曝光校正的校正值，并且通过使用计算的校正值校正原始数据D0(S140，S142)。

在通过使用每个块的代表像素值S将图像划分为多个块以检测对象块的情况下，除了基于由代表像素值S表示的亮度的第二检测处理之外，本示例性实施例的数码照相机100基于能够表示由代表像素值S表示的颜色与灰色之间的差的特征值执行第一检测处理。对于每个块的检测使得能够提高处理速度并且减少电路尺寸，并且防止检测的遗漏。

在本示例性实施例中，|R0/G0-1|和|B0/G0-1|用作能够近似表示由代表像素值S表示的颜色与灰色之间的差的特征值。当由代表像素值S表示的颜色是黑色或者洋红色，例如，G0是“0”时。在这样的情况下，如果B检测单元134还对此块执行处理，那么|R0/G0-1|和|B0/G0-1|的运算崩溃(collapse)。同时，在本示例性实施例中，B检测单元134对除了通过A检测单元132检测为对象块的块之外的块执行第二检测处理，并且因此从这些块中排除其中G0＝“0”的块。这使得能够防止运算的崩溃。

在数码照相机100中平均RGB值被用作代表像素值S。或者，当原始数据D0的像素值是YCC值时，平均YCC值Y0、Cb0以及Cr0可以用作代表像素值S。在这样的情况下，B检测单元134可以使用Cb0和Cr0作为特征值以检测其中Cb0和Cr0等于或者小于预定的阈值的块，作为对象块。

在除了RGB和YCC颜色坐标系之外的颜色坐标系(XYZ，La^*b^*等等)的情况下，可以根据颜色坐标系确定代表像素值和特征值以检测对象块。

A检测单元132可以检测其中Y0等于或者大于预定的阈值(高光溢出阈值)的块和其中Y0等于或者小于另一预定的阈值(区块阴影阈值)的块作为对象块。

本示例性实施例的数码照相机100被构造为B检测单元134检测在由A检测单元132执行的第二重新检测处理中没有被检测为对象块的块。例如，B检测单元134可以首先执行第一检测处理并且然后A检测单元132可以检测没有被B检测单元134检测为对象块的块。在这样的情况下，为了防止运算的崩溃，除了|R0/G0-1|和|B0/G0-1|之外的值可以用作特征值。

B检测单元134和A检测单元132可以同时执行检测并且可以将它们自己的检测结果输出至它们自己的校正单元140。在这样的情况下，校正单元140可以计算用于除了被B检测单元134和A检测单元132检测为对象块的块和被B检测单元134和A检测单元132中的任何一个检测为对象块的块之外的块的校正值。

在本示例性实施例的数码照相机100中，B检测单元134使用|R0/G0-1|和|B0/G0-1|作为表示由代表像素值S表示的颜色与灰色之间的差的特征值。或者，例如，平均RGB值R0、G0以及B0当中的最大值与最小值之间的差，可以用作特征值。

此外，本示例性实施例的数码照相机100通过由A检测单元132执行的第二检测处理和由B检测单元134执行的第一检测处理检测对象块。或者，可以通过使用在第一检测处理期间没有引起使运算崩溃的任何问题的任何特征值，诸如平均RGB值R0、G0以及B0当中的最大值与最小值之间的差，以及通过仅执行第一检测处理，实现对象块的检测。

根据本发明的技术不限于诸如数码照相机的图像拾取设备，并且还可应用于用于处理通过诸如包括打印机和图像显示装置的图像再现设备的数字图像拾取设备获得的原始数据的任何图像处理设备。

此外，在本示例性实施例中，检测图像的高光溢出部分和区块阴影部分以在获得用于白平衡校正等等的校正值的情况下移除高光溢出部分或者区块阴影部分。或者，在数字图像拾取设备中，例如，根据本发明的技术能够应用于在执行曝光控制等等中检测高光溢出部分和区块阴影部分。在检查超过动态范围的高光溢出和区块阴影的量的同时执行检测，以防止出现高光溢出和区块阴影。

虽然已经按照若干示例性实施例描述了本发明，但是本领域的技术人员将理解本发明可以在权利要求的精神和范围内进行各种修改的实践，并且本发明并不限于上述的示例。

此外，权利要求的范围不受到上述的示例性实施例的限制。

此外，应当注意的是，申请人意在涵盖所有权利要求要素的等同形式，即使在后期的审查过程中对权利要求进行过修改亦是如此。

Claims

1.一种图像处理设备，包括：

代表像素值计算单元，所述代表像素值计算单元将图像划分为多个块并且为所述多个块中的每一个计算代表像素值；和

检测单元，所述检测单元从所述多个块当中检测对象块，所述对象块是包括高光溢出和区块阴影之一的块，

其中所述检测单元执行第一检测处理，所述第一检测处理用于获得由所述代表像素值表示的颜色与灰色之间的差和能够近似地表示所述差的值中的一个作为特征值，以及用于检测具有等于或者小于第一阈值的特征值的块作为对象块。

2.根据权利要求1所述的图像处理设备，其中所述代表像素值是所述块中的像素的像素值的平均值。

3.根据权利要求1所述的图像处理设备，其中

所述代表像素值是RGB值R0、G0以及B0，并且

所述检测单元在所述第一检测处理中计算|R0/G0-1|和|B0/G0-1|作为所述特征值，并且检测其中|R0/G0-1|等于或者小于与所述第一阈值相对应的值和其中|B0/G0-1|等于或者小于与所述第一阈值相对应的值的块作为所述对象块。

4.根据权利要求1所述的图像处理设备，其中

所述代表像素值是RGB值R0、G0以及B0，并且

所述检测单元在所述第一检测处理中计算RGB值当中的最大值与最小值之间的差作为所述特征值，并且检测其中所述差等于或者小于所述第一阈值的块作为所述对象块。

5.根据权利要求1所述的图像处理设备，其中

所述代表像素值是YCC值Y0、Cb0以及Cr0，并且

所述检测单元在所述第一检测处理中获得Cb0和Cr0作为所述特征值，并且检测其中Cb0等于或者小于与所述第一阈值相对应的值和其中Cr0等于或者小于与所述第一阈值相对应的值的块作为所述对象块。

6.根据权利要求1所述的图像处理设备，其中所述检测单元执行第二检测处理，所述第二检测处理用于检测其中由所述代表像素值表示的亮度等于或者大于第二阈值的块和其中所述亮度等于或者小于第三阈值的块作为所述对象块，其中所述第三阈值小于所述第二阈值。

7.根据权利要求6所述的图像处理设备，其中所述检测单元首先对所述多个块执行所述第二检测处理，然后对除了由所述第二检测处理检测到的所述对象块之外的块执行所述第一检测处理。

8.根据权利要求6所述的图像处理设备，其中

在所述代表像素值是RGB值R0、G0以及B0的情况下，所述检测单元在所述第二检测处理中检测其中所有的值R0、G0以及B0等于或者大于与所述第二阈值相对应的阈值的块和其中所有的值R0、G0以及B0等于或者小于与所述第三阈值相对应的阈值的块作为所述对象块，并且

在所述代表像素值是YCC值Y0、Cb0以及Cr0的情况下，所述检测单元在所述第二检测处理中检测其中Y0等于或者大于所述第二阈值的块和其中Y0等于或者小于所述第三阈值的块作为所述对象块。

9.根据权利要求1所述的图像处理设备，进一步包括校正单元，所述校正单元对所述图像执行白平衡校正和曝光校正中的至少一个，

其中所述校正单元获得用于除了通过所述检测单元检测到的所述对象块之外的块的校正值。

10.根据权利要求1所述的图像处理设备，是数字图像拾取设备。

11.根据权利要求1所述的图像处理设备，是图像再现设备。

12.一种图像处理方法，包括：

将图像划分为多个块；

为所述多个块中的每一个计算代表像素值；以及

在从所述多个块当中检测包括高光溢出和区块阴影之一的对象块的情况下，执行第一检测处理，所述第一检测处理用于获得由所述代表像素值表示的颜色与灰色之间的差和能够近似地表示所述差的值中的一个作为特征值，并且用于检测其中所述特征值等于或者小于第一阈值的块作为所述对象块。

13.根据权利要求12所述的图像处理方法，其中所述代表像素值是所述块中的像素的像素值的平均值。

14.根据权利要求12所述的图像处理方法，其中

所述代表像素值是RGB值R0、G0以及B0，并且

所述第一检测处理包括计算|R0/G0-1|和|B0/G0-1|作为所述特征值，并且检测其中|R0/G0-1|等于或者小于与所述第一阈值相对应的值和其中|B0/G0-1|等于或者小于与所述第一阈值相对应的值的块作为所述对象块。

15.根据权利要求12所述的图像处理方法，其中

所述代表像素值是RGB值R0、G0以及B0，并且

所述第一检测处理包括计算RGB值当中的最大值与最小值之间的差作为所述特征值，并且检测其中所述差等于或者小于与所述第一阈值的块作为所述对象块。

16.根据权利要求12所述的图像处理方法，其中

所述代表像素值是YCC值Y0、Cb0以及Cr0，并且

所述第一检测处理包括获得Cb0和Cr0作为所述特征值，并且检测其中Cb0等于或者小于与所述第一阈值相对应的值和其中Cr0等于或者小于与所述第一阈值相对应的值的块作为所述对象块。

17.根据权利要求12所述的图像处理方法，进一步包括执行第二第二检测处理，所述第二检测处理用于检测其中由所述代表像素值表示的亮度等于或者大于第二阈值的块和其中所述亮度等于或者小于第三阈值的块作为所述对象块，其中所述第三阈值小于所述第二阈值。

18.根据权利要求17所述的图像处理方法，其中

首先对所述多个块执行所述第二检测处理，并且

对除了通过所述第二检测处理检测到的所述对象块之外的块执行所述第一检测处理。

19.根据权利要求17所述的图像处理方法，其中

在所述代表像素值是RGB值R0、G0以及B0的情况下，所述第二检测处理包括检测其中所有的值R0、G0以及B0等于或者大于与所述第二阈值相对应的阈值的块和其中所有的值R0、G0以及B0等于或者小于与所述第三阈值相对应的阈值的块作为所述对象块，并且

在所述代表像素值是YCC值Y0、Cb0以及Cr0的情况下，

所述第二检测处理包括检测其中Y0等于或者大于所述第二阈值的块和其中Y0等于或者小于所述第三阈值的块作为所述对象块。