CN101276409A - 图像处理装置 - Google Patents

Abstract

本发明提供一种图像处理装置，表示由摄像装置(14)捕捉到的视场像的图像数据被确保在SDRAM(24)中，CPU(34)根据所确保的图像数据来识别人物的面部图像。CPU(34)还根据面部图像的识别结果，由相同的图像数据来确定人物的背景图像中成为人物的头部背景的部分背景图像。对所确定的部分背景图像执行模糊处理。由此，可简便地生成将背景模糊的图像。

Description

图像处理装置

技术领域

本发明涉及图像处理装置，尤其涉及一种例如适用于电子照相机、对背景图像实施模糊处理的图像处理装置。

背景技术

专利文献1中公开了这种装置的一个例子。根据该背景技术，对由摄像装置捕捉到的视场进行表示的图像数据中除了人物以外的背景区域的图像数据，被实施抑制高频带的空间频率成分的处理。这种被实施了抑制处理的背景区域的图像数据可与人物的图像数据合成，由此，可得到肖像(portrait)图像。另外，这种装置在专利文献2中也被公开。

【专利文献1】特开平11-41512号公报[H04N 5/232，G06T 1/00，H04N5/272，5/91]

【专利文献2】特开平5-95541号公报[H04N 7/137，7/14]

但是，一般而言，人物躯体图像的检测精度具有比人物头部图像的检测精度低的倾向。换言之，为了检测人物的躯体图像，要求比检测人物的头部图像的能力高的能力。因此，在专利文献1所公开的背景技术下，肖像图像的制作有可能耗费时间。

发明内容

鉴于此，本发明的主要目的在于，提供一种能够简便地制作使背景模糊的图像的图像处理装置。

技术方案1的发明提供一种图像处理装置(10：相当于实施例中的参照符号，以下相同)，具备：识别单元(S3)，从视场像中识别人物的面部图像；和确定单元(S17、S19)，基于识别单元的识别结果，从视场像中确定人物背景图像中成为人物头部的背景的部分背景图像；和模糊处理单元(S25、S27)，对由确定单元确定的部分背景图像实施模糊处理。

由识别单元从视场像中识别人物的面部图像。确定单元根据识别单元的识别结果，从视场像中确定人物的背景图像中成为人物头部的背景的部分背景图像。模糊处理单元对由确定单元确定的部分背景图像实施模糊处理。

人物头部轮廓的检测精度一般具有比人物躯体轮廓的检测精度高的倾向。而且，人物的头部周边的背景一般具有比人物的躯体周边的背景远的倾向。因此，在本发明中，从视场像中确定成为人物头部的背景的部分背景图像，对所确定的部分背景图像实施模糊处理。由此，可简便地制作将背景模糊的图像。

技术方案2的图像处理装置从属于技术方案1，其特征在于，还具备检测单元(S11、S13、S15)，从由识别单元识别出的面部图像的周边的部分图像检测人物的头部轮廓，确定单元参照由检测单元检测到的轮廓来确定部分背景图像。

技术方案3的图像处理装置从属于技术方案2，其特征在于，确定单元包括定义单元(S19)，其由沿水平方向延伸的直线来定义部分背景图像的下端。

技术方案4的图像处理装置从属于技术方案2，其特征在于，确定单元包括定义单元(S19)，其由朝向外方沿斜下方延伸的线来定义部分背景图像的下端。

技术方案5的图像处理装置从属于技术方案1～4中任一项，其特征在于，模糊处理单元使部分背景图像的模糊度越到上方越大。

技术方案6的图像处理装置从属于技术方案1～5中任一项，其特征在于，还具备：生成视场像的摄像单元(14)、和将由摄像单元生成的视场像写入到存储器(24)的写入单元(18、22)，识别单元针对由写入单元存储到存储器中的视场像执行识别处理。

技术方案7的图像处理装置从属于技术方案6，其特征在于，还具备读出单元(22、26)，其读出由写入单元存储到存储器的视场像，用于监控器(28)的显示处理，摄像单元反复生成视场像。

技术方案8的图像处理装置从属于技术方案7，其特征在于，还具备：响应于条件调整操作来调整摄像条件的调整单元(S37)、和与调整单元的调整处理相关联地起动模糊处理单元的起动单元(S39)。

技术方案9的图像处理装置从属于技术方案6～8中任一项，其特征在于，还具备：第一记录单元(S47)，其响应于记录操作将由写入单元存储到存储器的视场像记录到记录介质；和第二记录单元(S49)，其与第一记录单元的记录处理相关联地将具有被模糊处理单元实施了模糊处理后的部分背景图像的视场像记录到记录介质中。

技术方案10的发明提供一种图像处理程序，用于使图像处理装置(10)的处理器(34)执行下述步骤：从视场像中识别人物的面部图像的识别步骤(S3)；根据识别步骤的识别结果，从视场像中确定人物的背景图像中成为人物的头部背景的部分背景图像的确定步骤(S17、S19)；和对由确定步骤确定的部分背景图像实施模糊处理的模糊处理步骤(S23、S25)。

技术方案11的发明提供一种图像处理方法，由图像处理装置执行，该图像处理方法包括：从视场像中识别人物的面部图像的识别步骤(S3)；根据识别步骤的识别结果，从视场像中确定人物的背景图像中成为人物的头部背景的部分背景图像的确定步骤(S17、S19)；和对由确定步骤确定的部分背景图像实施模糊处理的模糊处理步骤(S23、S25)。

(发明效果)

根据本发明，从视场像中确定成为人物的头部背景的部分背景图像，对所确定的部分背景图像实施模糊处理。由此，能够简便地生成将背景模糊的图像。

本发明的上述目的、其他目的、特征以及优点，通过参照附图而进行的以下实施例的详细说明可更加明了。

附图说明

图1是表示本发明的一个实施例的构成的框图。

图2是表示由图1实施例捕捉的视场像的一个例子的图解图。

图3是表示面部图像框与头部周边图像框的关系的图解图。

图4(A)是表示从图2所示的视场像提取出的头部周边图像的一个例子的图解图，(B)是表示针对(A)所示的头部周边图像的处理的一个例子的图解图。

图5是表示对图2所示的视场像分配的模糊区域及非模糊区域的一个例子的图解图。

图6是表示模糊度相对视场像的垂直位置的变化的一个例子的曲线。

图7是表示图1实施例中所采用的CPU的动作的一部分的流程图。

图8是表示图1实施例中所采用的CPU的动作的另一部分的流程图。

图9是表示对图2所示的视场像分配的模糊区域及非模糊区域的另一个例子的图解图。

图10是表示对图4(A)所示的头部周边图像的处理的另一个例子的图解图。

图11是表示表示图1实施例中所采用的CPU的动作的又一部分的流程图。

图中：10-数码相机，14-摄像装置，18-相机处理电路，24-SDRAM，28-LCD监控器，34-CPU。

具体实施方式

参照图1，该实施例的数码相机10包括光学透镜12。表示视场的光学像经由该光学透镜12被照射在摄像装置14的摄像面上。摄像面被以马赛克状排列有R(Red)、G(Green)及B(Blue)颜色要素的滤色器(未图示)覆盖。形成于摄像面的由多个受光元件的每一个生成的电荷的量，反映了经过这样的滤色器之后的光的量。即，由各个受光元件生成的电荷具有R、G或B的色信息。

当通过键输入装置36选择了照相机模式时，CPU34为了执行直通图像处理，对TG16命令预曝光及间隔读取的反复执行，对LCD驱动器28命令显示处理的执行。TG16每1/30秒向摄像面实施一次预曝光，以光栅扫描方式从摄像面读出由此生成的电荷的一部分。结果，表示视场的低分辨率的初始图像信号以30fps的帧速率从摄像装置14输出。

照相机处理电路18对从摄像装置14输出的各帧的初始图像信号实施CDS、AGC、A/D变换、色分离、白平衡调整、YUV变换等一系列的处理，来生成YUV形式的图像数据。生成的图像数据通过存储器控制电路22被写入到SDRAM24中。LCD驱动器26通过存储器控制电路24，每1/30秒读出SDRAM24中存储的图像数据，根据读出的图像数据来驱动LCD监控器28。结果，可将视场的直通图像显示于监控画面。

CPU34取入由照相机处理电路18生成的图像数据的Y分量，根据所取入的Y分量执行直通图像用AE处理。由此，可执行适当时间的预曝光，能够将显示于LCD监控器28的直通图像的明亮度调整为适度。

当键输入装置36上的快门按钮36s被半按下时，为了严格调整预曝光时间，由CPU24执行记录图像用AE处理。预曝光时间被设定为最佳时间。

当键输入装置36上的快门按钮36s被全按下时，CPU34向TG16命令用于逐次执行正式曝光及全像素读出的内容，向I/F电路30命令用于执行记录处理的内容。TG16对摄像面实施最佳时间的正式曝光，以光栅扫描方式从摄像面读出由此生成的所有电荷。结果，表示进行了记录操作时的视场的高分辨率的初始图像信号从摄像装置14被输出。通过照相机处理电路18对所输出的初始图像信号实施与上述同样的处理，由此生成的YUV形式的图像数据通过存储器控制电路22被写入到SDRAM24中。I/F电路30通过存储器控制电路22读出如此确保于SDRAM24的高分辨率的图像数据，以文件形式将所读出的图像数据记录到记录介质32中。

如果由键输入装置36选择了再生模式，则CPU34向I/F电路30命令所希望文件的再生，向LCD驱动器26命令显示处理的执行。I/F电路30访问记录介质32，对所希望的文件中存储的图像数据进行再生。再生后的图像数据通过存储器控制电路22写入到SDRAM24中。LCD驱动器26通过存储器控制电路24读出SDRAM24中存储的图像数据，根据读出的图像数据来驱动LCD监控器28。结果，可将再生图像显示于监控器画面。

在照相机模式或再生模式中，如果通过键输入装置36选择了背景模糊模式，则将SDRAM24中确保的高分辨率的图像数据作为处理对象图像，按照以下的要领执行模糊处理。

在处理对象图像是图2所示的视场像时，首先通过面部识别处理来识别人物H1的面部图像。将正方形的面部图像框Fface分配给被识别的面部图像。定义正方形的平行的两条边沿水平方向延伸，另两条边沿垂直方向延伸。将满足图3所示的位置/尺寸关系的长方形的头部周边图像框Fhead分配到面部图像框Fface的周边。

参照图3，在将定义面部图像框Fface的一条边的长度设为“L”时，定义头部周边图像框Fhead的长边的长度被设为“3.4L”，定义头部周边图像框Fhead的短边的长度被设为“2.6L”。这里，沿垂直方向延伸的边相当于长边，沿水平方向延伸的边相当于短边。面部图像框Fface的水平方向中央与头部周边图像框Fhead的水平方向中央一致。而且，在定义面部图像框Fface的平行的两条边中，从上方的一条边到定义头部周边图像框Fhead的两条短边各自的距离相当于“1.7L”。

属于头部周边图像框Fhead的部分图像、即头部周边图像以图4(A)所示的要领被复制在SDRAM24上的工作区域24w。然后，通过边缘检测处理以图4(B)所示的要领检测出头部轮廓。进而，将两个基准点P1及P2分配到检测出的头部轮廓上。基准点P1及P2的分配位置是从定义面部图像框Fface的下侧的一条边向下方远离“0.1L”的位置。

当基准点P1及P2的分配结束时，在处理对象图像上描绘从基准点P1及P2各自向外方水平延伸的直线L1及L2和头部轮廓线E1。模糊区域被设为比所描绘的直线L1、L2及头部轮廓线E1靠向上方的图像区域。换言之，比直线L1、L2及头部轮廓线E1靠向下方的图像区域成为非模糊区域。

然后，参照头部轮廓的顶点T1，将模糊区域划分成上部区域Rupr及下部区域Rlwr，针对上部区域Rupr及下部区域Rlwr执行相互不同状态的模糊处理。即，参照图6，上部区域Rupr被实施与模糊度“1”对应的模糊处理，而下部区域Rlwr被实施与模糊度“0”～“1”对应的模糊处理。随着从下向上，下部区域Rlwr的模糊度从“0”到“1”线性增大。

在选择了背景模糊模式时，CPU34执行图7～图8所示的背景模糊任务。与该任务对应的控制程序被存储在闪存存储器38中。

首先，在步骤S1中判别是否确定了处理对象图像。在照相机模式下，响应于快门按钮36s的全按下，在SDRAM24中确保的高分辨率的图像数据相当于处理对象图像。另外，在再生模式下，由所希望的文件再生的高分辨率的图像数据相当于处理对象图像。若在步骤S1中为是，则在步骤S3中执行面部识别处理。具体而言，将与人物的眼、鼻、口相当的词典数据和处理对象图像进行对照，来识别人物的面部图像。当面部图像的识别失败时，直接进入到步骤S9；而在面部图像的识别成功时，在步骤S7中执行背景模糊处理之后进入到步骤S9。在步骤S9中判别处理对象图像是否被更新，在判别结果从否更新为是时返回到步骤S3。

步骤S7的背景模糊处理根据图8所示的子程序来执行。首先，在步骤S11中，参照由面部识别处理确定的面部图像框Fface，来确定头部周边图像框Fhead。在步骤S13中，将属于头部周边图像框Fhead的部分图像、即头部周边区域图像复制到SDRAM24上的工作区域24w。在步骤S15中，根据复制后的头部周边图像检测头部轮廓。在步骤S17中，参照面部图像框Fface来确定头部轮廓上的基准点P1及P2，在步骤S19中，参照所确定的基准点P1及P2来确定模糊区域。

在步骤S21中，参照头部轮廓上的顶点T1，将模糊区域分割成上部区域Rupr及下部区域Rlwr。在步骤S23中，对下部区域Rlwr执行阶段性模糊处理(模糊度：0～1)，在步骤S25中对上部区域Rupr执行均匀模糊处理(模糊度：1)。当步骤S25的处理结束时，返回到上层的程序。

综上所述可知：人物的面部图像可由CPU34根据视场像来识别(S3)。CPU34根据面部图像的识别结果，从视场像确定人物的背景图像中成为人物的头部的背景的部分背景图像(S17、S19)。模糊处理针对所确定的部分背景图像实施(S23、S25)。

人物头部轮廓的检测精度一般具有比人物躯体轮廓的检测精度高的倾向。而且，人物的头部周边的背景一般具有比人物的躯体周边的背景远的倾向。因此，在本发明中，根据视场像来确定成为人物头部的背景的部分背景图像，对所确定的部分背景图像实施模糊处理。由此，可简便地制作将背景模糊后的图像。

另外，在该实施例中，由从基准点P1及P2向外方水平延伸的直线L1及L2来定义模糊区域的下端，但也可以取而代之，由从基准点P1及P2向外方斜下延伸的直线L1’及L2’来定义模糊区域的下端(参照图9)。该情况下，优选将比直线L1及L2靠上的区域设为上部区域Rupr，而将被直线L1及L1’夹持的区域和由直线L2及L2’夹持的区域设为下部区域Rlwr，来进行背景模糊处理。

而且，该实施例中，在从定义面部图像框Fface的下侧的一条边向下方偏离“0.1L”的位置，分配基准点P1及P2。但也可以定义与头部轮廓线E1外接的椭圆C1(长轴：X)，在从椭圆C1的下端向上方偏离0.1X的位置分配基准点P1及P2。

并且，在该实施例中，对记录介质32中记录的图像数据或从记录介质32再生的图像数据实施了背景模糊处理，但也可以对形成直通图像的低分辨率的图像数据实施背景模糊处理。尤其是若对应于快门按钮36s的半按下来执行背景模糊处理，则可容易地判断针对当前正在捕捉的视场能够得到怎样的记录图像，从而提高操作性。另外，在该实施例中，只将实施了背景模糊处理的图像数据记录到记录介质32中，但也可以取而代之，将未被实施背景模糊处理的通常的图像数据记录到记录介质32中。

对应于快门按钮36s的半按下来实施背景模糊处理，进而对应快门按钮36s的全按下对通常的图像数据及实施了背景模糊处理后的图像数据进行记录的处理，按照图11所示的流程图来执行。

参照图11，在步骤S31中执行直通图像处理。结果，在LCD监控器28上显示直通图像。在步骤S3中，判别快门按钮36s是否被半按下，如果为否，则反复执行步骤S35的直通图像用AE处理。当快门按钮36s被全按下时，在步骤S33中判断为是，在步骤S37中执行记录图像用AE处理，并在步骤S39中起动模糊模式任务。起动了模糊模式任务的结果是，被实施了背景模糊处理的直通图像从LCD监控器28输出。

在步骤S41中判别快门按钮36s是否被全按下，在步骤S43中判别是否解除了快门按钮36s的操作。如果在步骤S41中为是，则在步骤S45中向TG16命令用于逐次执行正式曝光及全像素读出的内容。在步骤S47中向I/F电路30命令通常图像数据的记录处理，在步骤S49中向I/F电路30命令实施了背景模糊处理的图像数据的记录处理。当步骤S49的处理结束时，在步骤S51中结束了模糊模式任务之后返回到步骤S33。如果步骤S43中为是，则经由步骤S51的处理返回到步骤S33。

Claims (11)

1、一种图像处理装置，具备：

识别单元，其从视场像中识别人物的面部图像；

确定单元，其基于所述识别单元的识别结果，从所述视场像中确定所述人物的背景图像中成为所述人物头部的背景的部分背景图像；和

模糊处理单元，其对由所述确定单元确定的部分背景图像实施模糊处理。

2、根据权利要求1所述的图像处理装置，其特征在于，

还具备检测单元，其从所述识别单元所识别出的面部图像的周边的部分图像中，检测所述人物的头部轮廓，

所述确定单元参照由所述检测单元检测到的轮廓来确定所述部分背景图像。

3、根据权利要求2所述的图像处理装置，其特征在于，

所述确定单元包括定义单元，其由沿水平方向延伸的直线来定义所述部分背景图像的下端。

4、根据权利要求2所述的图像处理装置，其特征在于，

所述确定单元包括定义单元，其由朝向外方沿斜下方延伸的线来定义所述部分背景图像的下端。

5、根据权利要求1～4中任一项所述的图像处理装置，其特征在于，

所述模糊处理单元使所述部分背景图像的模糊度越到上方越大。

6、根据权利要求1～5中任一项所述的图像处理装置，其特征在于，

还具备：生成视场像的摄像单元、和将由所述摄像单元生成的视场像写入到存储器的写入单元，

所述识别单元针对由所述写入单元存储到所述存储器中的视场像执行识别处理。

7、根据权利要求6所述的图像处理装置，其特征在于，

还具备读出单元，其读出由所述写入单元存储到所述存储器中的视场像，用于监控器的显示处理，

所述摄像单元反复生成所述视场像。

8、根据权利要求7所述的图像处理装置，其特征在于，

还具备：

调整单元，其响应于条件调整操作来调整摄像条件；和

起动单元，其与所述调整单元的调整处理相关联地起动所述模糊处理单元。

9、根据权利要求6～8中任一项所述的图像处理装置，其特征在于，

还具备：

第一记录单元，其响应于记录操作，将由所述写入单元存储到所述存储器的视场像记录到记录介质中；和

第二记录单元，其与所述第一记录单元的记录处理相关联地将具有由所述模糊处理单元实施了模糊处理后的部分背景图像的视场像记录到所述记录介质中。

10、一种图像处理程序，用于使图像处理装置的处理器执行下述步骤：

识别步骤，从视场像中识别人物的面部图像；

确定步骤，基于所述识别步骤的识别结果，从所述视场像中确定所述人物的背景图像中成为所述人物头部的背景的部分背景图像；和

模糊处理步骤，对由所述确定步骤确定的部分背景图像实施模糊处理。

11、一种图像处理方法，由图像处理装置执行，

该图像处理方法包括：

识别步骤，从视场像中识别人物的面部图像；

确定步骤，基于所述识别步骤的识别结果，从所述视场像中确定所述人物的背景图像中成为所述人物头部的背景的部分背景图像；和

模糊处理步骤，对由所述确定步骤确定的部分背景图像实施模糊处理。

Images