CN102436581A

CN102436581A - 图像处理装置以及图像处理方法

Info

Publication number: CN102436581A
Application number: CN2011103056556A
Authority: CN
Inventors: 中岛伸一; 斋藤郁哉
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-09-29
Filing date: 2011-09-29
Publication date: 2012-05-02
Also published as: US20120087578A1; JP5772446B2; US8792716B2; JP2012094126A

Abstract

本发明提供一种图像处理装置以及图像处理方法。本发明的图像处理装置的特征在于，具备：检测单元，检测相对于图像设定的多个基准区域中满足预定条件的基准区域，作为适当区域；确定单元，确定所述多个基准区域中除所述适当区域以外的基准区域的相邻状态；以及区域分割单元，基于由所述确定单元确定的除去所述适当区域以外的基准区域的相邻状态，对所述图像包含的每个构成要素进行区域分割。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及处理数字图像的图像处理装置以及图像处理方法。

背景技术

最近，提出有如下技术：将利用数码相机等摄像装置取得的图像区域分割为主要被摄体等作为前景的区域(以下称为前景区域)和背景的区域(以下称为背景区域)。该区域分割如下执行：例如将作为对象的图像作为由多个区域构成的图像，并生成表示多个区域之间的关系的相邻图表后，通过评价相邻图表中的各边缘，重复进行对相邻的基准区域是否合并的判断(参考特开2008-059081号公报)。

在使用上述摄像装置在逆光条件下或较暗环境下进行摄影时，存在得到被摄体的面部的部分产生有阴影的图像的情况。对于这样的图像，如果采用上述区域分割的方法的话，例如即使相邻的区域双方均是皮肤的区域，但是只要其中的某个区域是作为阴影的区域，则这些区域不会被合并，而是被分割。即，在对被摄体的面部的部分产生有阴影的图像进行区域分割时，与阴影相当的区域成为背景区域，而其他区域作为前景区域被分割开。

发明内容

本发明的目的在于提供一种图像处理装置以及图像处理方法，即使是在前景区域内产生阴影等暗部区域的情况下，也能够恰当地将得到的图像区域分割成前景区域和背景区域。

为了解决上述课题，本发明的图像处理装置的特征在于，具备：检测单元，检测相对于图像设定的多个基准区域中满足预定条件的基准区域，作为适当区域；确定单元，确定所述多个基准区域中除所述适当区域以外的基准区域的相邻状态；以及区域分割单元，基于由所述确定单元确定的除去所述适当区域以外的基准区域的相邻状态对所述图像包含的每个构成要素进行区域分割。

此外，优选的是，所述确定单元基于将所述基准区域设定为节点的各节点之间的边缘连接以及将所述恰当区域作为边缘的一部分的各节点之间的边缘连接生成第一相邻图表。

此外，优选的是，所述检测单元使用所述图像整体或者作为对象的基准区域附近的颜色信息，使所述作为对象的基准区域的颜色信息标准化，并在该标准化后的基准区域的亮度值在预先设定的阈值以下的情况下，将该基准区域作为所述恰当区域检测出来。

此外，优选的是，所述确定单元在利用所述检测单元检测所述恰当区域之前生成由将所述基准区域设定为节点的各节点之间的边缘连接得到的第二相邻图表，并且基于生成的所述第二相邻图表和由所述检测单元得到的所述恰当区域的检测结果来生成所述第一相邻图表。

此外，优选的是，还具备通过分割所述图像来设定所述多个基准区域的区域设定单元。

在该情况下，优选的是，所述区域设定单元以构成所述图像的像素单位设定所述多个基准区域。

此外，本发明的图像处理方法包括以下工序：检测工序，检测相对于图像设定的多个基准区域中满足所述预定条件的基准区域，作为适当区域；确定工序，确定所述多个基准区域中除所述适当区域以外的基准区域的相邻状态；以及区域分割工序，基于由所述确定单元确定的除去所述适当区域以外的基准区域的相邻状态对所述图像包含的每个构成要素进行区域分割。

根据本发明，即使是在前景区域内产生阴影等暗部区域的情况下，也能够将得到的图像恰当地区域分割为前景区域和背景区域。

附图说明

图1是示出本发明的图像处理装置的结构的功能框图。

图2A是示出设定有10个基准区域的图像的图。

图2B是示出基于图2A的各基准区域生成的相邻图表的图。

图2C是示出图2A的基准区域中的基准区域T4为暗部区域的情况下的相邻图表的图。

图3是示出对图像数据实施的区域分割的处理的流程的流程图。

图4是示出对图像数据实施的区域分割的处理的流程的说明图。

图5是示出数码相机的电气结构的功能框图。

具体实施方式

图1示出了本发明的图像处理装置的结构。该图像处理装置10具备区域设定部15、参数设定部16、区域检测部17、状态确定部18、区域分割部19以及图像处理部20。下面，作为输入到图像处理装置10的图像数据，列举以RGB颜色空间表示的图像数据进行说明。

区域设定部15通过基于输入的图像数据将图像分割为多个区域，从而将该图像设定为由多个区域构成的图像。另外，后述的状态确定部18和区域分割部19的处理是以通过区域设定部15设定的各区域分别作为基本单位来执行的，因此在下面将由区域设定部15设定的多个区域分别称作基准区域并进行说明。

作为将图像分割为多个基准区域的方法，可以列举出下述方法：例如将作为对象的像素和与该像素相邻的像素中与作为对象的像素具有相同颜色信息或者相似的颜色信息的像素按照预先设定的各像素数汇总得到的像素组作为各基准区域设定，除了此方法之外，还可以列举出通过“Efficient Graph Based Image Segmentation”P.Felzenszwalb，D.Huttenlocher(2004)，International Journal of ComputerVision.59，167-181的方式设定基准区域的方法等。除此之外，也可以将构成图像的各像素分别作为基准区域设定。

由该区域设定部15设定的基准区域的大小基于由参数设定部16输出的参数设定。此外，作为基准区域的形状，可以采用三角形、矩形等多边形。设定好的各基准区域的数据(详细来说，是包含在各基准区域中的像素的地址数据)与图像数据一起输出到区域检测部17和状态确定部18。另外，各基准区域的数据可以是独立于图像数据的数据，也可以是图像数据附带的数据。

参数设定部16设定由区域设定部15使用的参数。该参数例如可以列举出构成基准区域的像素数、或者像素的上限数等。另外，该参数是预先设定的参数、基于输入的图像数据设定的参数、或者用户操作省略了图示的操作部而设定的参数。另外，在基于输入的图像数据设定参数的情况下，例如可以基于由图像数据取得的图像信息，换言之，图像数据的各像素的像素值、取得图像数据时的摄像条件、图像中的结构(被摄体的大小、被摄体的数量、被摄体和背景的布局等)设定参数。

区域检测部17从设定好的多个基准区域中检测出作为暗部的基准区域。在此，作为暗部的基准区域，可以列举出作为阴影的基准区域、被摄体的颜色为黑色的基准区域等亮度值低的基准区域。下面，将作为暗部的基准区域称作暗部区域进行说明。例如输入到图像处理装置10的图像数据为以RGB颜色空间表示的图像数据的情况下，将以RGB颜色空间表示的图像数据转换为以YCrCb颜色空间表示的图像数据。在该转换后，区域检测部17使用各基准区域的数据计算与作为对象的基准区域接近的多个基准区域的平均亮度值。另外，输入的图像数据如果是以YCrCb颜色空间表示的图像数据等以亮度和色差表示的图像数据的话，省略转换颜色空间的处理。

区域检测部17采用算出的平均亮度值对作为对象的基准区域进行标准化(normalize)处理。在该标准化处理后，区域检测部17比较作为对象的基准区域的亮度值的总和和预先设定的阈值。在该比较中，在作为对象的基准区域的亮度值的总和比预先设定的阈值低的情况下，将该基准区域作为暗部区域检测。另外，在标准化处理中，也可以不采用与作为对象的基准区域接近的基准区域的平均亮度值而采用图像整体的平均亮度值。表示该区域检测部17中的检测结果的数据被输出到状态确定部18。

状态确定部18通过生成基于被设定了基准区域的图像的相邻图表，确定各基准区域中的相邻状态。如上所述，向状态确定部18输入图像数据和各基准区域的数据。状态确定部18采用这些数据生成相邻图表。公知相邻图表由多个节点和将节点之间连结起来的边缘构成。在本实施方式中，生成以由区域设定部15设定的各基准区域为节点并以各基准区域的边作为边缘的相邻图表。下面，对设定有十个由三角形构成的基准区域的图像P的情况进行说明。

如图2A所示，基准区域T1分别与基准区域T2和基准区域T4相接触。此外，基准区域T2除了基准区域T1之外，还与基准区域T3相接触。此外，基准区域T3除了基准区域T2之外，还与基准区域T4和基准区域T5相接触。此外，基准区域T4除了基准区域T1、基准区域T3之外，还与基准区域T6和基准区域T7相接触。此外，基准区域T5除了基准区域T3之外，还与基准区域T7相接触。基准区域T6除了基准区域T4之外，还与基准区域T8和基准区域T9相接触。基准区域T7除了基准区域T4、基准区域T5之外，还与基准区域T9和基准区域T10相接触。此外，基准区域T8与基准区域T6相接触，基准区域T9与基准区域T6和基准区域T7相接触，基准区域T10与基准区域T7相接触。在此，相邻图表通过以属于相邻的两方的基准区域的边，换言之通过以边缘来将与各个基准区域相当的节点之间连结而生成。另外，图2B是基于图2A所示的图像P生成的相邻图表。这样，通过生成基于在图像中设定的各基准区域的相邻图表，能够确定各基准区域的相邻状态。

如上所述，该状态确定部18从区域检测部17输入暗部区域的检测结果。状态确定部18参考基于设定好的基准区域生成的相邻图表，生成基于暗部区域的检测结果的相邻图表。如图2A所示，在图像P中设定的基准区域T1～T10中，基准区域T4为暗部区域的情况下，状态确定部18将基准区域T4作为与该基准区域T4相接触的基准区域(在此情况下，为基准区域T1、基准区域T3、基准区域T6和基准区域T7)相当的节点的边缘的一部分，生成相邻图表。基准区域T4为暗部区域的情况下的相邻图表为图2C。表示该考虑暗部区域而生成的相邻图表的数据与图像数据和表示基准区域的数据一起输出到区域分割部19。

区域分割部19对表示由状态确定部18输出的相邻图表的数据，进行采用例如图表分割法等方法的区域分割。另外，该图表分割法为如下方法：在采用上述的边缘连接的节点之间的亮度差、节点之间的颜色空间上的距离等进行对各边缘的加权后，通过进行预先定义的能量函数的最小化来求得全局最小化(global minimization)，从而将多个基准区域区域分割为前景区域和背景区域。通过采用该图表分割法，将在图像中设定的多个基准区域区域分割为前景区域和背景区域。

图像处理部20对将多个基准区域区域分割为前景区域和背景区域的图像数据实施白平衡处理、颜色插补处理、轮廓补偿处理、伽马处理、亮度修正处理、色度强调处理等图像处理。另外，图像处理部20的图像处理针对图像数据的前景区域和背景区域分别单独执行。另外，由该图像处理部20进行的图像处理结束后的处理完毕的图像数据由图像处理装置10输出。另外，由图像处理装置10输出例如是，在图像处理装置10具备图示省略了的显示部的情况下，将基于上述各部的处理结束后的图像数据的图像显示在显示部，如果是可装卸存储介质的图像处理装置的话，将上述图像数据存储于装配在图像处理装置中的存储介质，或者该图像处理装置与其他装置连接的话，将上述图像数据输出到所连接的其他装置。

接着，对于对输入的图像数据实施的区域分割的处理的流程，采用图3所示的流程图进行说明。另外，该流程图例如以图像数据输入到图像处理装置10中为契机执行。

步骤S101是设定参数的处理。在执行该步骤S101的处理时，参数设定部16设定上述基准区域的设定时使用的参数。另外，该参数可以是基于用户的输入操作执行设定，也可以是自动地执行设定。

步骤S102是对输入的图像数据设定基准区域的处理。区域设定部15采用输入的图像数据和由步骤S101设定的参数将基于输入的图像数据的图像分割为多个区域。接着，区域设定部15将分割好的多个区域分别设定为基准区域。

步骤S103是生成相邻图表的处理。通过进行步骤S102的处理，基于图像数据设定多个基准区域。状态确定部18生成以这些多个基准区域为节点并以各基准区域的边为边缘的相邻图表。

步骤S104是检测暗部区域的处理。区域检测部17从设定好的多个基准区域中检测暗部区域。在输入的图像数据为以RGB颜色空间表示的图像数据的情况下，区域检测部17将该图像数据转换为以YCrCb颜色空间表示的图像数据。在该转换后，区域检测部17采用各基准区域的数据计算与作为对象的基准区域接近的多个基准区域的平均亮度值。另外，如果输入的图像数据为以YCrCb颜色空间表示的图像数据等图像数据以亮度和色差表示的图像数据的话，则省略此处理。

区域检测部17采用算出的平均亮度值对作为对象的基准区域进行标准化(normalize)处理。在该标准化处理后，区域检测部17比较作为对象的基准区域的亮度值的总和与预先设定的阈值。在该比较中，在作为对象的基准区域的亮度值的总和比预先设定的阈值低的情况下，将该基准区域检测为暗部区域。

步骤S105是进行采用除暗部区域以外的基准区域生成相邻图表的处理。状态确定部18在将由步骤S104检测出的暗部区域作为相邻的基准区域的边缘设定后，参考由步骤S103生成的相邻图表，生成新的相邻图表。

步骤S106是将多个基准区域区域分割为前景区域和背景区域的处理。区域分割部19对由步骤S105生成的相邻图表采用公知的图表切割法等对图像数据进行区域分割。通过执行该步骤S106的处理，形成将多个基准区域区域分割为前景区域和背景区域的图像数据。

步骤S107是对将多个基准区域区域分割为前景区域和背景区域后的图像数据进行的图像处理。图像处理部20对实施过步骤S106的处理的图像数据实施白平衡处理、颜色插补处理、轮廓补偿处理、伽马处理、亮度修正处理、色度强调处理等图像处理。另外，该图像处理部20的图像处理是对前景区域和背景区域的各个区域单独执行的。在该步骤S107的处理结束后，将图像处理后的图像数据由图像处理装置10输出。

下面，对通过进行了以山等景色为背景的人物摄影而得到的图像P1进行区域分割的情况进行说明。如图4所示，通过进行上述的步骤S102的处理，图像P1被分割为空白区域A1、地面区域A2、A3、山的区域A4、树叶区域A5、树干区域A6、被摄体的头发区域A7、面部区域A8、A9、A10、服装区域A11共计11个区域，并且分别作为基准区域设定。通过对这样的图像P1执行步骤S103的处理，生成相邻图表NG1。由此，确定各基准区域A1～A11各自的区域的相邻状态。

在该相邻图表NG1生成后，通过进行步骤S104的处理，从对图像P1设定的基准区域A1～A11检测出暗部区域。如上所述，基准区域A7为头发区域。此外，基准区域A9为阴影区域。即，所述基准区域A7和基准区域A9是亮度降低的区域，因此将所述基准区域A7和基准区域A9检测为暗部区域。另外，在图4中，为了方便，对所述基准区域A7和基准区域A9标以阴影线并进行说明。

在检测出暗部区域后，通过进行步骤S105的处理，再次生成相邻图表NG2。另外，该相邻图表NG2是基于生成的相邻图表NG1和检测出的暗部区域生成的。在该情况下，作为暗部区域的基准区域A7和基准区域A9分别被看作是边缘，因此在相邻图表NG2中，省略了所述基准区域。

在该相邻图表NG2生成后，通过进行步骤S106的处理，将在图像中设定的多个基准区域区域分割为前景区域和背景区域。例如，在采用图表分割法的情况下，求得由步骤S105的处理生成的相邻图表NG2的最小分割。此时，在相邻图表NG2中，判断基准区域A8与基准区域A10由边缘接触。此外，由于该基准区域A8和基准区域A10分别为皮肤的区域，因此在采用上述的图表分割法的情况下，所述基准区域A8和基准区域A10为相同区域(前景区域)。即，以基准区域A1～A6为背景区域，基准区域A7～A11为前景区域的方式进行分割。由此，即使是在前景区域中存在作为暗部的区域的情况下，也能够防止将该暗部区域被分类为背景区域，结果是能够恰当地将预先设定的多个基准区域区域分割为前景区域和背景区域。

另外，在图4中，对作为被摄体的人物是一个人的情况进行了说明，然而并不限定于此，例如在以多个人物作为被摄体的情况下，也能够应用本发明。即，在包含多个主要被摄体的情况下，能够针对多个主要被摄体各自的区域与作为背景的区域，换言之，针对图像中包含的每个构成要素对基准区域进行图像分割。在该情况下，要分割为前景区域和背景区域的两个区域的话，也可以预先求得每个被摄体的距离，并基于该被摄体的距离对各个区域进行区域分割。

在本实施方式中，对于输入到图像处理装置10的图像数据，列举了以RGB颜色空间表示的彩色图像数据，然而并不限定于此，也可以是以YCrCb颜色空间或其他颜色空间表示的彩色图像数据。此外，作为图像数据，除了彩色图像数据之外，对于RAW数据也可以应用本发明。

在本实施方式中，将在图像中设定的所有的基准区域均设定为节点后生成相邻图表，然而并不限定于此，也可以执行将图像划分为多个区域并由所述划分好的各区域分别生成相邻图表的处理，以及进行区域分割的处理。

在本实施方式中，暗部区域为满足预定的条件的基准区域。然而，满足预定的条件的基准区域并不限定为暗部区域。例如，在存在相对于其他基准区域来说极亮的基准区域的情况下，也可以将该基准区域作为满足预定的条件的基准区域。此外，也可以将像进入空白领域的电线那样相对于周围的区域来说比较暗且细长的基准区域作为满足预定的条件的基准区域。此外，也可以将像窗框或百叶窗那样形成为直线且细长的、相对于周围比较暗的区域且夹着该区域的两端部的区域具有类似的特征的基准区域、或者明显地被识别为运动体的基准区域作为满足预定的条件的基准区域。

在本实施方式中，对将多个基准区域区域分割为前景区域和背景区域的图像数据进行图像处理的图像处理装置进行了说明，然而并不限定于此，也可以适当设定对将多个基准区域区域分割为前景区域和背景区域的图像数据是否进行图像处理。例如，在仅需要进行了区域分割的结果的情况下，也可以不进行图像处理部的图像处理而输出。此外，也可以是具备修整区域分割后的前景区域的功能、将修整后的前景区域与其他图像合成的功能的图像处理装置。

在本实施方式中，在基于针对输入的图像数据设定的基准区域生成相邻图表后，进行暗部区域的检测处理，并按照生成的相邻图表生成将检测出的暗部区域作为边缘的相邻图表，然而并不限定于此，也可以不进行生成基于针对输入的图像数据设定的基准区域的相邻图表的处理，而从针对图像数据设定的基准区域检测出暗部区域，并生成以检测出的暗部区域作为边缘的相邻图表。

在本实施方式中，例如以图像处理装置为例进行示例，然而也可以将本实施方式的图像处理装置组装于数码相机等摄像装置中。另外，图5是示出数码相机的电气结构的功能框图。该数码相机30具备摄像光学系统31、摄像元件32、A/D转换部33、缓冲存储器34、图像处理电路35、记录用I/F36、显示控制电路37、LCD38、CPU39、内置存储器40、总线41、释放按钮42以及设定操作部43。另外，该图像处理电路35具有本实施方式中说明的图像处理装置10中的区域设定部15、参数设定部16、区域检测部17、状态确定部18、区域分割部19以及图像处理部20的功能。另外，在该情况下，实施了区域分割的图像数据可以是由摄像元件32输出的图像数据，也可以是与记录用I/F36连接的存储介质44中存储的图像数据。

在该情况下，也与本实施方式同样地，在对将多个基准区域区域分割为前景区域和背景区域后的图像数据实施图像处理后进行记录。在该情况下，可以是仅能够进行将多个基准区域区域分割为前景区域和背景区域的处理，也可以是实施仅对将多个基准区域区域分割为前景区域和背景区域后的图像数据中基于前景区域的数据进行切取的处理，或者将基于切取的前景区域的数据与其他图像数据合成等处理。

在本实施方式中，例如将图像处理装置10为例进行了说明，然而也可以是能够以计算机执行图1所示的图像处理装置10的区域设定部15、参数设定部16、区域检测部17、状态确定部18、区域分割部19以及图像处理部20的功能、图3所示的流程图的处理的图像处理程序。另外，优选的是，该图像处理程序存储在例如存储卡、光盘、磁盘等可由计算机读取的存储介质中。

Claims

1.一种图像处理装置，其特征在于，具备：

检测单元，检测相对于图像设定的多个基准区域中满足预定条件的基准区域，作为适当区域；

确定单元，确定所述多个基准区域中除所述适当区域以外的基准区域的相邻状态；以及

区域分割单元，基于由所述确定单元确定的除去所述适当区域以外的基准区域的相邻状态，对所述图像包含的每个构成要素进行区域分割。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述确定单元基于将所述基准区域设定为节点的各节点之间的边缘连接以及将所述恰当区域作为边缘的一部分的各节点之间的边缘连接，生成第一相邻图表。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述检测单元使用所述图像整体或者作为对象的基准区域附近的颜色信息，使所述作为对象的基准区域的颜色信息标准化，并在该标准化后的基准区域的亮度值在预先设定的阈值以下的情况下，将该基准区域作为恰当区域检测出来。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述确定单元在利用所述检测单元检测所述恰当区域之前生成由将所述基准区域设定为节点的各节点之间的边缘连接得到的第二相邻图表，并且基于生成的所述第二相邻图表和由所述检测单元得到的所述恰当区域的检测结果，生成所述第一相邻图表。

5.根据权利要求1所述的图像处理装置，其特征在于，

该图像处理装置还具备通过分割所述图像来设定所述多个基准区域的区域设定单元。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述区域设定单元以构成所述图像的像素单位设定所述多个基准区域。

7.一种图像处理方法，其特征在于，包括以下工序：

检测工序，将相对于图像设定的多个基准区域中满足预定条件的基准区域作为适当区域；

确定工序，确定所述多个基准区域中除所述适当区域以外的基准区域的相邻状态；以及

区域分割工序，基于由所述确定单元确定的除去所述适当区域以外的基准区域的相邻状态，对所述图像包含的每个构成要素进行区域分割。