CN102316270A - 具有合成图像的功能的图像处理装置及方法 - Google Patents

Abstract

本发明提供一种具有合成图像的功能的图像处理装置及方法。滤波器系数运算部(81)将包含初始α图内的关注坐标(p)在内的多个坐标的范围设为滤波器窗口，使用与滤波器窗口内的关注坐标(p)对应的原图像的坐标的像素值(Ip)、和与滤波器窗口内的坐标(q)对应的原图像的坐标的像素值(Iq)，按滤波器窗口内的每一个坐标来计算坐标(q)中的滤波器系数(Kq)。即，生成由滤波器窗口内的每一个坐标的滤波器系数构成的滤波器系数组。加权平均滤波化部(83)使用滤波器系数组，对滤波器窗口内的各像素值实施加权平均滤波。

Description

具有合成图像的功能的图像处理装置及方法

关于本申请，主张以2010年7月5日提出的日本专利申请特愿2010-153485号为基础的优先权，并将该基础申请的内容全部引用于此。

技术领域

本发明涉及利用原图像及其二值化图像的各数据从原图像中切取被摄体将其并合成在其他图像上的技术。

背景技术

在现有技术中，例如根据日本特开平11-331693号公报、日本特开2005-6191号公报可知将含有规定被摄体的图像的数据作为原图像的数据进行使用，从原图像中切取被摄体并将该被摄体合成在其他图像上的技术。该技术也被称为“动态成像(Dynamic Photo)(注册商标)”。

在动态成像中，当从原图像中检测出包括被摄体的区域作为关注区域时，生成按照以该关注区域作为白色、除此之外的区域作为黑色的方式被二值标签化的图像的数据。

以下，将这样的数据，即由白色的像素值“0”或黑色的像素值“1”构成的数据称为“α图的数据”。另外，以下，将构成α图的各像素值适当地称为“α值”。

在动态成像中，基于该α图的数据从原图像中切取被判断为是被摄体的区域(以下，将这样的区域称为“切取区域”)，并将该切取区域合成在其他图像上。

可是，如果原样使用该α图的数据，则有时会在切取区域的边缘混入原图像的背景，相反地有时会缺少被摄体的一部分。如果这样的切取区域被合成在其他图像上，则被摄体实际上会成为粘贴的不自然且没有真实感的合成图像。

因此，作为以缓和这样的不自然度为目的的现有方法，存在对α图的数据施加平均化滤波器的方法。这里，所谓平均化滤波器是指高斯滤波器(Gaussian Filter：ガウシアンフイルタ)及与其近似的单纯的低通滤波器。

可是，如果仅仅单独地应用这样的现有方法，则会成为被摄体边缘模糊的合成图像。结果，这样的合成图像也是不自然且没有真实感的图像。

另外，作为以缓和在原样使用α图的数据的情况下所得到的合成图像的不自然度为目的的现有的其他方法，存在被称为“抠图”(抠图：matting)的方法。

即，作为在原样使用α图的数据的情况下所得到的合成图像变得不自然且没有真实感的理由，除了存在因检测关注区域时的检测误差而导致边界及被摄体(物体)的判定错误的像素这一理由之外，也存在着在边缘中包含混合像素的理由。这里，所谓混合像素是指背景和被摄体(物体)双方的颜色混合在一起的像素。

所谓抠图是指，用于将这样的边缘中的混合像素的区域及其像素值分离成背景分量和物体分量(被摄体分量)的边缘精细化的方法。

可是，在应用抠图的情况下，却存在着如下的第1问题点和第2问题点。

第1问题点是：由于抠图伴随着复杂的处理，因此计算量、作业存储器量及电路规模变大。

第2问题点是：如果没有给出正确的三分图(trimap)，则不能得到美丽的图像。所谓三分图是指辅助性的三值数据，即通过对每个像素位置(像素的坐标)分配物体(被摄体)、背景、未定的中间区域这三值标签而得到的数据。这样的三值标签化一般由人工作业进行。虽然三值标签化的自动处理也不是不可能，但此时给出正确的三分图是非常困难的。

因此，期望以简单的处理来实现使用原图像和α图的各数据从原图像中切取被摄体并合成在其他图像上的合成处理，作为该合成处理的结果，提供更自然且具有真实感的合成图像。

可是，可充分实现这样的期望的方法处于一种不常见的状况。

发明内容

基于本发明的一方式，提供一种如下的图像处理装置，该图像处理装置具备：

加工单元，其对由原图像的各坐标的像素值构成的数据进行加工，并将由该结果得到的各坐标的像素值构成的数据作为加工图像的数据来生成；和

滤波单元，其将由所述加工单元作为数据来生成的所述加工图像的各坐标的每一个坐标设为作为处理对象应关注的关注坐标，将包括所述关注坐标在内的多个坐标的范围设为滤波器窗口，通过对所述滤波器窗口的数据实施加权平均滤波，来变换所述关注坐标的像素值，

所述滤波单元具备：

滤波器系数运算单元，其使用与所述滤波器窗口内的所述关注坐标对应的所述原图像的坐标的第1像素值、和与所述滤波器窗口内的规定坐标对应的所述原图像的坐标的第2像素值，并按所述滤波器窗口内的每一个坐标，来执行计算所述规定坐标中的滤波器系数的处理；和

加权平均滤波单元，其使用由所述滤波器系数运算单元计算出的所述滤波器窗口内的每一个坐标的所述滤波器系数，对所述滤波器窗口的数据实施加权平均滤波。

基于本发明的另一方式，提供一种如下的图像处理方法，该图像处理方法是对原图像的数据实施图像处理的图像处理装置的图像处理方法，具备：

加工步骤，对由原图像的各坐标的像素值构成的数据进行加工，并将由该结果得到的各坐标的像素值构成的数据作为加工图像的数据来生成；和

滤波步骤，将通过所述加工步骤的处理作为数据来生成的所述加工图像的各坐标的每一个坐标设为作为处理对象应关注的关注坐标，将包括所述关注坐标在内的多个坐标的范围设为滤波器窗口，通过对所述滤波器窗口的数据实施加权平均滤波，来变换所述关注坐标的像素值，

所述滤波步骤具备：

滤波器系数运算步骤，使用与所述滤波器窗口内的所述关注坐标对应的所述原图像的坐标的像素值、和与所述滤波器窗口内的规定坐标对应的所述原图像的坐标的像素值，按所述滤波器窗口内的每一个坐标，来执行计算所述规定坐标中的滤波器系数的处理；和

加权平均滤波步骤，使用通过所述滤波器系数运算步骤的处理计算出的所述滤波器窗口内的每一个坐标的所述滤波器系数，对所述滤波器窗口的数据实施加权平均滤波。

附图说明

结合以下附图考虑下面的详细叙述，可得到对本申请的更深一层的理解。

图1是表示本发明的图像处理装置的一实施方式所涉及的数码相机的硬件结构的框图。

图2是表示图1的数码相机的数据处理部的功能性结构的框图。

图3是表示图2的数据处理部执行的合成处理流程的一例的流程图。

图4A～图4D示出在执行图3的合成处理时用到的图像的数据的一例。图4A示出原图像的数据的一例。图4B示出相对于原图像除去成为合成图像的前景物体的被摄体之后的图像，即原图像的背景图像的数据的一例。图4C示出合成用背景图像的数据的一例。图4D示出初始α图的数据的一例。

图5是说明在图2的数据处理部的自适应滤波部中采用的加权平均滤波器的概略的图。

图6是说明在图2的数据处理部的自适应滤波部中采用的加权平均滤波器的运算方法的图。

图7是具体说明图2的数据处理部的自适应滤波部进行的自适应滤波处理，即图3的步骤S4的处理的图。

图8A～图8C示出在原样使用初始α图的数据的情况下的、合成处理的执行结果的一例。图8A示出由原图像的数据生成的初始α图的数据的一例。图8B示出使用初始α图的数据生成的合成用前景图像的数据的一例。图8C示出将图8B的合成用前景图像的数据和图4C的合成用背景图像的数据合成之后的结果所得到的合成图像的数据的一例。

图9A～图9C示出在使用对初始α图的数据施加现有的平均化滤波器之后的结果所得到的α图的数据的情况下的、合成处理的执行结果的一例。图9A示出对图8A的初始α图的数据施加现有的平均化滤波器之后的结果所得到的α图的一例。图9B示出使用图9A的α图的数据生成的合成用前景图像的数据的一例。图9C示出将图9B的合成用前景图像的数据和图4C的合成用背景图像的数据合成之后的结果所得到的合成图像的数据的一例。

图10A～图10C示出在使用了执行自适应滤波处理之后的结果所得到的滤波后α图的情况下的、合成处理的执行结果的一例。图10A示出对图8A的初始α图的数据实施了自适应滤波处理之后的结果所得到的滤波后α图的一例。图10B示出利用图10A的滤波后α图的数据生成的合成用前景图像的数据的一例。图10C示出将图10B的合成用前景图像的数据和图4C的合成用背景图像的数据合成之后的结果所得到的合成图像的数据的一例。

图11A～图11C是表示在使用了执行自适应滤波处理之后的结果所得到的滤波后α图的情况下的、合成处理的执行结果的一例，即与图10A～图10C的例子不同的例子的图。图11A示出对图8A的初始α图的数据实施了自适应滤波处理之后的结果所得到的滤波后α图的一例。图11B示出使用图11A的滤波后α图的数据生成的合成用前景图像的数据的一例。图11C示出将图11B的合成用前景图像的数据和图4C的合成用背景图像的数据合成之后的结果所得到的合成图像的数据的一例。

图12A～图12C示出在使用了对缩小尺寸的初始α图的数据施加了现有的平均化滤波器之后的结果所得到的α图的数据的情况下的、合成处理的执行结果的一例。图12A示出对从缩小了与图8A～图8C例子相同的原图像后的图像中得到的缩小尺寸的初始α图的数据进行上采样(upsample)后的原尺寸的α图，施加了现有的平均化滤波器之后的结果所得到的α图的一例。图12B示出使用图12A的α图的数据生成的合成用前景图像的数据的一例。图12C示出将图12B的合成用前景图像的数据和图4C的合成用背景图像的数据合成之后的结果所得到的合成图像的数据的一例。

图13A～图13C是表示在使用了对缩小尺寸的初始α图的数据执行自适应滤波处理之后的结果所得到的滤波后α图的情况下的、合成处理的执行结果的一例，即与图10A～图10C、图11A～图11C例子不同的例子的图。图13A示出对从缩小了与图8A～图8C例子相同的原图像后的图像中得到的缩小尺寸的初始α图的数据进行上采样后的原尺寸的α图，实施了符合上述式(10)的自适应滤波处理之后的结果所得到的滤波后α图的一例。图13B示出使用图13A的滤波后α图的数据生成的合成用前景图像的数据的一例。图13C示出将图13B的合成用前景图像的数据和图4C的合成用背景图像102的数据合成之后的结果所得到的合成图像的数据的一例。

具体实施方式

以下，基于附图，对本发明的一实施方式进行说明。

图1是表示本发明的图像处理装置的一实施方式所涉及的数码相机1的硬件结构的图。

数码相机1具备：摄像部11、数据处理部12、用户接口部13。

摄像部11具备：光学透镜部21和图像传感器22。

光学透镜部21是为了拍摄在规定的视角(以下，称为“正规视角”)内包含的被摄体而聚焦光的透镜，例如由聚焦透镜、变焦透镜等构成。

聚焦透镜是使被摄体像成像于图像传感器22的受光面的透镜。变焦透镜是使焦点距离在一定范围内自由变化的透镜。

光学透镜部21另外还根据需要设置对焦点、曝光、白平衡等设定参数进行调整的外围电路。

图像传感器22由光电变换元件、AFE(Analog Front End)等构成。

光电变换元件例如由CMOS(Complementary Metal OxideSemiconductor)型的光电变换元件等构成。

在光电变换元件中，从光学透镜部21经由快门部(未图示)入射被摄体像。因此，光电变换元件按每固定时间对被摄体像进行光电变换(拍摄)来蓄积图像信号，并将所蓄积的图像信号作为模拟信号依次提供给AFE。

AFE对该模拟的图像信号执行A/D(Analog/Digital)变换处理等的各种信号处理。根据各种信号处理生成数字信号，并作为图像传感器22的输出信号输出。

此外，下面将图像信号的数字信号称为“图像的数据”。

数据处理部12具备：CPU(Central Processing Unit)31、ROM(ReadOnly Memory)32、RAM(Random Access Memory)33、存储器34、输出控制部35、图像处理部36。

CPU31根据在ROM32中存储的程序执行各种处理。在RAM33中适当地存储了CPU31执行各种处理所需的数据等。

在本实施方式中，实现后述的图2的图像获取部61及合成处理部63的各功能的程序被存储在ROM32中。因此，CPU31根据该程序执行处理，由此能够实现图像获取部61及合成处理部63的各功能。

存储器34由DRAM(Dynamic Random Access Memory)等构成，暂时存储从图像传感器22输出的图像的数据。在本实施方式中，作为存储器34的一个区域而构成后述的图2的图像存储部62，后述的各种图像的数据被存储到图像存储部62中。

另外，存储器34也存储各种图像处理所需的各种数据，例如图像的数据、各种标记(flag)的值、阈值等数据。

另外，存储器34中也包括用于保存和读出图像显示用的数据(以下，称为“显示图像数据”)的显示存储器区域。

输出控制部35读出在存储器34的显示存储器区域中所保存的显示图像数据，并使用户接口部13的显示部41显示由该显示图像数据所表现的图像(以下，称为“显示图像”)。

图像处理部36由DSP(Digital Signal Processor)等构成，对在存储器34中存储的图像数据执行白平衡修正处理、γ修正处理等各种图像处理。

在本实施方式中，后述的图2的图像获取部61及合成处理部63执行的各种图像处理之中的至少一部分在图像处理部36中执行，剩余的一部分在CPU31中执行。即，在本实施方式中，后述的图2的图像获取部61及合成处理部63作为CPU31及图像处理部36这样的硬件、和在ROM32中存储的程序(软件)的组合而构成。

用户接口部13具备：由液晶显示器等构成的显示部41、受理用户的指示操作的操作部42、控制与外部设备之间的通信的通信部43、对可移动记录介质51进行数据读写的驱动器44。

具有这样结构的数码相机1具备上述动态成像的功能。

因此，数码相机1通过对包含从原图像切取出的被摄体作为前景物体的图像(以下，称为“合成用前景图像”)的数据、和成为粘贴有该前景物体的背景的图像(以下，称为“合成用背景图像”)的数据进行合成，从而能够生成合成图像的数据。

此外，将这样的数码相机1的一连串的处理称为“合成处理”。

图2是表示用于执行这种合成处理的数据处理部12的功能性结构的框图。

数据处理部12具备：图像获取部61、图像存储部62、合成处理部63。

图像获取部61获取成为合成用前景图像的基础的原图像的数据、或者合成用背景图像的数据，并存储到图像存储部62中。

图像存储部62具备：原图像存储部91、α图存储部92、合成用前景图像存储部93、合成用背景图像存储部94、合成图像存储部95。

此外，针对图像存储部62的各构成要素的存储内容的具体例，在参照后述的图3的流程图的合成处理流程的说明时适当地进行说明。

合成处理部63执行合成处理的主要处理，即，从原图像的数据中生成合成用前景图像的数据，并通过对合成用前景图像和合成用背景图像的两数据进行合成来生成合成图像的数据的一连串的处理。

合成处理部63为了执行这样的一连串的处理，而具备：初始α图生成部71、自适应滤波部72、合成用前景图像生成部73、合成图像生成部74。

自适应滤波部72具备：滤波器系数运算部81、滤波器系数存储部82、加权平均滤波化部83。

此外，针对合成处理部63的各要素的功能等，在参照后述的图3的流程图的合成处理流程的说明时适当地进行说明。

下面，参照图3的流程图，说明具有这样功能性结构的图2的数据处理部12执行的合成处理。

图3是表示合成处理流程的一例的流程图。

在步骤S1中，图像获取部61获取合成用背景图像的数据，并存储到合成用背景图像存储部94中。

例如，获取后述的图4C的合成用背景图像102等数据，并存储到合成用背景图像存储部94中。

在步骤S2中，图像获取部61获取成为合成用前景图像的基础的原图像的数据，并存储到原图像存储部91中。

例如，获取后述的图4A的原图像100等数据，并存储到原图像存储部91中。

此外，在该步骤S2的处理中所获取的原图像的数据、及在上述的步骤S1的处理中所获取的合成用背景图像的数据的种类，并不特别限定。

例如，在图1中，来自摄像部11的摄像图像的数据、从未图示的外部装置发送并被通信部43接收到的图像的数据、以及由驱动器44从可移动记录介质51读出的图像的数据，都可由图像获取部61获取来作为原图像的数据或者合成用背景图像的数据。

在步骤S3中，初始α图生成部71基于原图像的数据生成α图的数据，存储到α图存储部92中。

这里，为了与由后述的自适应滤波部72实施了自适应滤波处理之后的α图的数据相区别，将实施自适应滤波处理之前的α图的数据合并到图3的记载中，称为“初始α图的数据”。

例如，生成后述的图4D的初始α图103等的数据，并存储到α图存储部92中。

具体地说，例如作为用于生成初始α图的数据的二值化的最简单的方法，存在使用背景图像的数据的方法。

所谓背景图像是指，原图像(后述的图4A的原图像101等)之中的、除去成为合成图像的前景物体的被摄体(在后述的图4A的例子中为甲虫)之后的图像，例如后述的图4B的图像101等。

这里，需要注意：背景图像和合成图像用背景图像不同。另外，如后述，需要注意：背景图像的数据对于合成处理而言不是必需的数据。

这种情况下，初始α图生成部71通过对在原图像存储部91中存储的原图像的数据、和背景图像的数据的差分进行二值化，从而能够生成初始α图。

此外，用于生成初始α图的二值化的方法并不特别限定，只要是可二值化原图像的各坐标的像素值的方法即可，作为其他的方法例如可以采用如下的方法。

即，初始α图生成部71从原图像存储部91中读出原图像的数据，并从该原图像中检测包含被摄体在内的区域作为关注区域。这里，原图像中包含的被摄体，例如在后述的图4D的初始α图103中为甲虫，成为后述的合成图像的前景物体。

并且，初始α图生成部71将以该关注区域作为白色、除此之外的区域作为黑色的二值化图像的数据，即由白色的像素值“0”或黑色的像素值“1”构成的数据，作为初始α图的数据而生成，并存储到α图存储部92中。

此外，关注区域的检测方法并不特别限定，能够采用公知或今后开发的任意方法。

在步骤S4中，自适应滤波部72从α图存储部92中读出初始α图的数据，并对该初始α图的数据实施自适应滤波处理。

所谓自适应滤波处理是指，施加加权平均滤波器的处理，根据原图像的特性自适应地改变该加权平均滤波器中用到的系数(以下，称为“滤波器系数”)的处理。

另外，下面将对初始α图的数据实施了自适应滤波处理之后的数据称为“滤波后α图的数据”。

此外，滤波后α图的数据不仅具有“0”和“1”的像素值(α值)，还具有0至1之间的中间值的像素值(α值)。即，在滤波后α图中，意味着像素值(α值)为“1”的像素完全包含在成为被摄体(合成图像的前景物体)的区域中。另外，意味着像素值(α值)为“0”的像素完全包含在背景区域中。另一方面，边缘区域中包含的各像素的像素值(α值)为：被摄体(合成图像的前景物体)的分量占有的量越多就越接近“1”这样的0至1之间的多值。

这里，自适应滤波部72将构成初始α图的各像素的每一个像素依次设定成作为处理对象应关注的像素(以下，称为“关注像素”)，并按每一个关注像素依次执行自适应滤波处理。

具体而言，滤波器系数运算部81计算对初始α图的关注像素适用的滤波器系数(以下，称为“关注像素用滤波器系数”)。

这种情况下，滤波器系数运算部81使用在原图像存储部91中存储的原图像的数据(各像素值)之中的、与关注像素同一坐标的像素(以下，称为“对应像素”)的数据(对应像素的像素值)，来计算滤波器系数。

这里，这样计算出的关注像素用滤波器系数是仅对作为关注像素被设定的像素适用的滤波器系数。换言之，由于关注像素被依次变更，所以按构成初始α图的每一个像素，依次计算基于原图像的对应像素的特性而自适应地变化的滤波器系数。

滤波器系数存储部82存储由滤波器系数运算部81计算出的关注像素用滤波器系数。换言之，因为关注像素被依次变更，所以构成初始α图的每一个像素的滤波器系数的每一个被存储到滤波器系数存储部82中。

加权平均滤波化部83使用在滤波器系数存储部82中存储的关注像素用滤波器系数，对由包含初始α图的关注像素在内的多个像素构成的块(以下，称为“滤波器窗口”)的数据施加加权平均滤波器。由此，关注像素的像素值(α值)被更新。

即，构成初始α图的各像素的每一个被依次设定成关注像素，反复进行加权平均滤波化部83的处理，由此初始α图的各像素值(α值)的每一个被更新。其结果，更新后的各像素值(α值)的集合体作为滤波后α图的数据而获得。

换言之，因为关注像素被依次变更，所以按构成初始α图的每一个像素，使用基于原图像的对应像素的特性自适应地变化的滤波器系数，施加加权平均滤波器。

这样，由步骤S4的处理生成的滤波后α图的数据被存储到α图存储部92中。于是，合成用前景图像生成部73从α图存储部92中读出该滤波后α图的数据，并且从原图像存储部91中读出原图像的数据。由此，处理进入步骤S5。

在步骤S5中，合成用前景图像生成部73使用原图像、滤波后α图等各数据生成合成用前景图像的数据，并存储到合成用前景图像存储部93中。

这样，由步骤S5的处理生成合成用前景图像的数据并存储到合成用前景图像存储部93中之后，合成图像生成部74从合成用前景图像存储部93中读出该合成用前景图像的数据，并且从合成用背景图像存储部94中读出合成用背景图像的数据。由此，处理进入步骤S6。

在步骤S6中，合成图像生成部74根据滤波后α图对合成用背景图像的数据和合成用前景图像的数据进行合成，来生成合成图像的数据并存储到合成图像存储部95中。

由此，合成处理结束。

在之后的合成图像再生时，在合成图像存储部95中存储的合成图像的数据被作为显示图像数据而存储在图1的存储器34的显示存储器区域中。于是，输出控制部35读出该显示图像数据，并使显示部41显示由该显示图像数据所表现的图像，即合成图像。

下面，说明自适应滤波部72进行的自适应滤波处理(图3的步骤S4的处理)的详细。

图4A～图4D示出执行合成处理时用到的图像的数据的一例。

图4A示出原图像100的数据的一例。

图4B示出对原图像100除去成为合成图像的前景物体的被摄体(甲虫)之后的图像101，即原图像100的背景图像101的数据的一例。

图4C示出合成用背景图像102的数据的一例。

图4D示出初始α图103的数据的一例。

如图4D所示，包含成为合成图像的前景物体的被摄体(甲虫)在内的区域(关注区域)被作为白色、除此之外的区域被作为黑色的二值化图像的数据是初始α图103的数据。

图5是说明在自适应滤波部72中采用的加权平均滤波器的概略的图。

图5左方所示的图像104的数据是施加加权平均滤波器之前的数据，图5右方所示的图像105的数据是施加加权平均滤波器之后的数据。

因此，下面将施加加权平均滤波器之前的图像104称为“滤波前图像104”。对于图2的自适应滤波部72而言，图4D的初始α图103等为滤波前图像104。

另一方面，下面将施加加权平均滤波器之后的图像105称为“滤波后图像105”。对于图2的自适应滤波部72而言，滤波后α图为滤波后图像105。

这里，下面，将在水平方向配置N像素(N为任意的整数值)、在垂直方向配置M像素(M为与N独立的任意的整数值)而构成的图像表现为“N×M图像”。另外，在图5的例子中，一个正方形表示一个像素，该正方形内的值表示像素值(如果为初始α图，则为α值)。

这种情况下，在图5的例子中，滤波前图像104及滤波后图像105采用同一分辨率的6×6图像。此外，当然施加加权平均滤波器的对象图像的总像素数也并不限定于图5的例子，也可是任意数。

在图5的例子中，使用3×3的加权平均滤波器，具有像素值P5的像素111被设定为关注像素。

这种情况下，如图5所示，包含关注像素111在内的3×3的块112作为滤波器窗口被设定。

通过对这样的滤波器窗口112的数据实施加权平均滤波，由此在关注像素111中，像素值P5被变换成像素值PN。

图6是说明在自适应滤波部72中采用的加权平均滤波器的运算方法的图。

在图6中，记载有像素值(如果为初始α图，则为α值)的一个正方形表示一个像素。作为这样的像素的集合体，仅仅图示出图5的滤波前图像104之中的包含关注像素111的滤波器窗口112。

另外，三角表示对输入值乘上规定权重值的加权部，三角内示出的权重值是滤波器系数。

这样，在加权平均滤波器中，对滤波器窗口112的像素值P1至P9各个像素值，设定作为权重值的滤波器系数K1至K9各个系数。

另外，记载有∑的块表示总加法部。

在图6的例子中，对滤波器窗口112的像素值P1至P9各个像素值乘上滤波器系数K1至K9各个系数，对这些乘法值进行总相加运算后的值为关注像素111更新后的像素值PN。

即，在图5的例子中，下式(1)的运算等效于：对包含关注像素111在内的滤波器窗口112施加加权平均滤波器。

PN＝K1×P1+K2×P2+…+K5×P5+…K8×P8+K9×P9

…(1)

                                                          

更一般地表现，下式(2)的运算等效于：对包含关注像素在内的滤波器窗口施加加权平均滤波器。

A′_p＝∑_q∈ΩK_q×A_q    …(2)

                                                           

在式(2)中，关注像素的坐标，即滤波器窗口的中央的坐标为p，p的附近区域Ω(Ω在这里为滤波器窗口内的区域)的坐标为q。具体而言，坐标q也包括关注像素的坐标p，为滤波器窗口内的各像素之中的任一坐标。Aq表示滤波器窗口之中的坐标q中的像素值(如果为初始α图，则为α值)。例如，Ap表示施加加权平均滤波器之前的关注像素的像素值。另一方面，右边的Ap’表示施加加权平均滤波器之后的关注像素的像素值(如果为滤波后α图，则为α值)。另外，Kq表示对于坐标q的像素的滤波器系数。

在现有技术中，作为滤波器系数Kq采用固定值。

与此相对，本实施方式的图2所示的自适应滤波部72的加权平均滤波化部83用到的滤波器系数Kq是按初始α图的每一个像素基于原图像内的对应像素的特性而自适应变化的。换言之，自适应滤波部72的滤波器系数运算部81如这样自适应地变化那样，按初始α图的每一个像素计算滤波器系数Kq。

图7是具体说明该自适应滤波部72进行的自适应滤波处理(图3的步骤S4的处理)的图。

在图7中，记载有像素值的一个正方形表示一个像素。作为这样的像素的集合体，在滤波器系数运算部81内，示出原图像内的块122。该块122是在中心包含与初始α图的关注像素111同一坐标的原图像内的像素121即对应像素121在内的3×3块。即，块122存在于与滤波器窗口112的配置位置对应的原图像内的位置。因此，下面将该块122称为“原图像对应块122”。

另外，记载有f的块是使用规定函数f进行运算的运算部，在滤波器系数运算部81内示出。

滤波器系数运算部81将原图像对应块122的各像素值I1至I9的各个像素值作为输入值使用，分别利用函数f进行规定运算，由此计算滤波器系数K1至K9各个系数。

这样，在本实施方式中，使用在中心包含与初始α图的关注像素111同一坐标的原图像内的像素121即对应像素121在内的原图像对应块122，来计算滤波器系数K1至K9各个系数。

这里，由于构成图5的滤波前图像104即图4D的初始α图103等的各像素的每一个被依次设定成关注像素111，故在中心包含该对应像素121在内的原图像对应块122也依次被变更。即，用于求取滤波器系数K1至K9各个系数的原图像的像素值I1至I9各个像素值，也按构成图5的初始α图103等的每一个像素不同。

因此，滤波器系数K1至K9各个系数也按构成图5的初始α图103等的每一个像素而自适应地变化。

这里，以下，如滤波器系数K1至K9那样，将加权平均滤波器中用到的滤波器系数的集合体称为“滤波器系数组”。即，在图7的例子中，由滤波器系数K1至K9构成的滤波器系数组131，按构成初始α图103等的每一个像素分别由滤波器系数运算部81生成，并分别存储到滤波器系数存储部82中。

即，在滤波器系数存储部82中存储有一个滤波器系数组131，如图7所示，但实际上是按构成图4D的初始α图103等的每一个像素分别存储各个滤波器系数组131。

在加权平均滤波化部83内，示出与图6同样的图。即，加权平均滤波化部83通过执行与利用图5说明过的处理相同的处理，对包含关注像素111在内的滤波器窗口112实施加权平均滤波。由此，关注像素111的像素值(α值)(在全部像素位置的滤波处理结束之后)从值P5变更成值PN。

其中，滤波器系数K1至K9并不是如以往那样利用固定的值，而利用按构成图4D的初始α图103等的每一个像素而自适应地变化的滤波器系数组131。由此，关注像素111变更后的像素值(α值)即值PN，与如以往那样利用了固定的滤波器系数K1至K9的情况相比，为更适当的值。

此外，图7仅仅是为了容易理解本实施方式，并不限定于符合图5、图6的例子的例示，滤波器窗口的尺寸(像素的总数)等也不特别限定于图7的例子，也可以是任意的。

这种情况下，加权平均滤波化部83按照上式(2)，作为坐标p中的关注像素变更后的像素值(α值)来计算值Ap’。

其中，滤波器系数Kq并不如以往那样固定，而按构成图4D的初始α图103等的每一个像素而自适应地变化。由此，作为坐标p中的关注像素变更后的像素值(α值)被计算出的值Ap’，与如以往那样使用固定的滤波器系数Kq的情况相比，为更适当的值。

这里，坐标q中的滤波器系数Kq的运算方法为使用原图像的坐标p(与初始α图的关注像素的坐标p同一坐标)的像素值Ip、和原图像的坐标p(与初始α图的关注像素的坐标p同一坐标)的像素值Iq的方法即可，并不特别限定。

其中，考虑原图像的边缘，优选采用可进行考虑跨越边缘的像素彼此不太均匀的运算的运算方法。

这里，所谓跨越边缘的像素彼此，在原图像内的第1区域(例如，可成为前景物体的物体的区域)和第2区域(例如与背景图像对应的区域)之间的边缘存在的情况下，是指位于第1区域内的坐标p的像素(初始α图的关注像素的对应像素)和位于第2区域内的坐标q的像素。

因此，考虑跨越边缘的像素彼此不太均匀的运算是指，按照削弱原图像的第2区域内的坐标q的像素值Iq的影响、减小该坐标q中的滤波器系数Kq的值的方式进行运算。

这是由于，通过应用这样的方法，能够考虑原图像的边缘，以跨越边缘的像素彼此不太均匀的方式，对初始α图的数据实施加权平均滤波。即，这是由于，由此，既能确保清晰的边缘，又能得到抗混叠(anti-alias)效果，与初始α图相比能够得到对原图像的边缘调整性地订正了的滤波后α图。并且，这是由于，使用该滤波后α图的结果，在原图像的背景的混入不显著的基础上，可得到清晰的合成图像的数据。

在本实施方式中，作为考虑原图像的边缘而进行考虑跨越边缘的像素彼此不太均匀的运算的滤波器系数Kq的运算方法，采用如下的运算方法。

即，采用求取原图像中的坐标p的像素值Ip和坐标q的像素值Iq之间的差分，该差分越小就使坐标q中的滤波器系数Kq成为越大的值这样的运算方法。

此外，原图像中的坐标p意味着与滤波器窗口的中央的坐标p即图4D的初始α图103等中的关注像素的坐标p同一坐标。

利用上述例子，对该运算方法进行具体说明。即，使用如下情况的例子说明该运算方法：原图像内的第1区域(例如，可成为前景物体的物体的区域)和第2区域(例如，与背景图像对应的区域)之间的边缘存在，初始α图的关注像素的原图像内的对应像素的坐标p存在于第1区域内的情况。

这种情况下，在成为滤波器系数Kq的运算对象的像素的坐标q存在于第1区域内时，原图像中的坐标p的像素值Ip和坐标q的像素值Iq都是第1区域内的像素值，所以大多为相近的值。因此，此时，原图像中的坐标p的像素值Ip和坐标q的像素值Iq之间的差分变小。并且，此时，为了提高原图像中的坐标p的像素值Ip的影响，坐标q中的滤波器系数Kq以变为较大值的方式进行运算。

与此相对，在成为滤波器系数Kq的运算对象的像素的坐标q存在于第2区域内时，原图像中的坐标p的像素值Ip为第1区域的像素值，而原图像中的坐标q的像素值Iq为第2区域内的像素值，所以大多为远离的值。因此，此时，原图像中的坐标p的像素值Ip和坐标q的像素值Iq之间的差分变大。并且，此时，为了降低原图像中的坐标p的像素值Ip的影响，坐标q中的滤波器系数Kq以变为较小值的方式进行运算。

此外，即便在成为滤波器系数Kq的运算对象的像素的坐标q存在于第2区域内时，有时原图像中的坐标p的像素值Ip和坐标q的像素值Iq之间的差分也变小。此时，虽然确实为跨越边缘的像素彼此，但却意味着具有相同亮度值、颜色风格的像素彼此。因此，此时，即便坐标q中的滤波器系数Kq为较大值，也不会有任何问题。

具体而言，例如如下的滤波器系数Kq的第1运算方法或第2运算方法适用于图2的滤波器系数运算部81。

所谓滤波器系数Kq的第1运算方法是指，可执行如下的一连串处理的方法。

即，滤波器系数运算部81，作为原图像中的坐标p的像素值Ip和坐标q的像素值Iq之间的差分，计算Y、Cb、Cr分量的向量差。

滤波器系数运算部81执行求取这些向量差的范数(norm)、范数平方的运算(以下，称为“范数运算”)。这种情况下，滤波器系数运算部81也可对向量分量加权之后执行范数运算。

其次，滤波器系数运算部81对范数运算的执行结果和规定阈值进行比较，如果大则将为“0”的临时权重值作为滤波器系数Kq给出，如果小则将为“1”的临时权重值作为滤波器系数Kq给出。

滤波器系数运算部81按与滤波器窗口对应的原图像对应块内的每一个像素，执行该一连串的处理。

滤波器系数运算部81在原图像对应块整体的处理结束的阶段，以权重值的总和为1的方式，对临时权重值给出用原图像对应块内的临时权重值的总和进行除法运算后的值，作为坐标q中的滤波器系数Kq。

或者，在这里，滤波器系数运算部81针对为“0”的临时权重值，将该部分相加到坐标p的中央像素(关注像素的对应像素)的临时权重值上，由此使得权重值的总和为一定，也可省略最后的自适应除法运算。

此外，这种运算是与ε-滤波器相同的考虑方法。ε-滤波器是公知技术，所以这里省略其说明。

相对于这样的滤波器系数Kq的第1运算方法，所谓滤波器系数Kq的第2运算方法是指，可执行如下的一连串处理的方法。

即，如果使用联合(交叉：cross)双边滤波器(joint bilateral filter)的基本构成，则上述(2)能够如下式(3)进行变更。

A′_p＝(1/k_p)∑_q∈Ωg_d(p-q)g_r(|I_p-I_q |)×A_q    …(3)

                                                             

在式(3)中，gd表示与空间坐标相关的高斯函数，gr表示与颜色分量相关的高斯函数，各个高斯函数具有高斯函数参数(正态分布的方差)，且被设定成规定值。

这里，所谓高斯分布是指如式(4)所示那样忽视标量倍常数的形式，将σ设为方差参数。

$g\left(d\right)=\exp \left(\frac{-d^2}{2{\mathrm{\σ}}^2}\right)...\left(4\right)$

                                                              

另外，kp如下式(5)所示。

k_p＝∑_q∈Ωg_d(p-q)g_r(|I_p-I_q|)    …(5)

                                                              

因此，坐标q中的滤波器系数Kq如下式(6)所示。即，滤波器系数运算部81根据式(6)，计算坐标q中的滤波器系数Kq。

$K_q=\frac{g_d(p-q)g_r\left(\right|I_p-I_q\left|\right)}{k_p}...\left(6\right)$

                                                              

这种情况下，坐标q中的滤波器系数Kq随着坐标q和中心像素(关注像素的对应像素)的坐标p之间的空间距离而变化，该空间距离越近则该系数越大，但这也与通常的高斯滤波器(Gaussian filter)一样。

这种情况下，加权平均滤波化部83代替上式(2)而根据式(3)，能够计算值Ap’，作为坐标p中的关注像素变更后的像素值(α值)。

以上，说明了自适应滤波部72进行的自适应滤波处理的详细。

该自适应滤波部72进行的自适应滤波处理如上述，作为图3的步骤S4的处理被执行。当步骤S4的处理被执行时，生成滤波后α图的数据，并存储到α图存储部92中。

这种情况下，合成用前景图像生成部73作为步骤S5的处理，例如通过执行如下的处理，能够生成合成用前景图像的数据。

即，设滤波后α图的数据标记为“A”，原图像(在图4A的例子中，为原图像100)的数据标记为“I”，背景图像(在图4B的例子中，为背景图像101)的数据标记为“B”，合成用前景图像的数据标记为“F”，则下式(7)成立。

I＝F×A+B×(1-A)    …(7)

                                                              

如图4B的背景图像101等所示，如果背景图像的数据B是另行拍摄而为已知的或者被推定的，则合成用前景图像的数据F在滤波后α图的数据A比0大的区域中，可如下式(8)那样推定。

$F=\frac{I-B\×(1-A)}{A}...\left(8\right)$

                                                            

即，合成用前景图像生成部73根据式(8)，能够生成合成用前景图像的数据F。

此外，在式(7)及式(8)中，乘法运算×、加法运算+、减法运算-、除法运算/是指每一个像素的运算，1意味着全部像素的像素值为1。另外，在未得到背景图像的数据B或者不存在适当的推定方法时，即便将式(8)中的B项简单地置换成I，也可得到某种程度的效果。

这种情况下，合成图像生成部74作为图3的步骤S6的处理，例如通过执行如下式(9)的运算处理，从而能够生成合成图像的数据。

Z＝F×A+N×(1-A)    …(9)

                                                        

在式(9)中，N表示合成用背景图像(在图4C的例子中，为合成用背景图像102)的数据，Z表示合成图像的数据。此外，在式(9)中，乘法运算×、加法运算+、减法运算-、除法运算/是指每一个像素的运算，1意味着全部像素的像素值为1。

如上说明，本实施方式所涉及的数码相机1具备自适应滤波部72。

自适应滤波部72将构成初始α图的各像素的每一个像素设定成关注像素。这里，下面将关注像素的坐标p称为“关注坐标p”。这种情况下，自适应滤波部72将包括关注坐标p在内的多个坐标的范围设为滤波器窗口，通过对滤波器窗口的数据实施加权平均滤波，由此变换关注坐标p的像素值。

具体而言，自适应滤波部72具备：滤波器系数运算部81、加权平均滤波化部83。

滤波器系数运算部81使用与滤波器窗口内的关注坐标p对应的原图像的坐标的像素值Ip(对应像素的像素值Ip)、和与滤波器窗口内的坐标q对应的原图像的坐标的像素值Iq，按滤波器窗口内的每一个坐标计算坐标q中的滤波器系数Kq。即，生成由滤波器窗口内的每一个坐标的滤波器系数构成的滤波器系数组。

加权平均滤波化部83使用滤波器系数组，对滤波器窗口内的各像素值实施加权平均滤波。

这样，自适应滤波部72能够考虑原图像的边缘，以平滑化效果不太跨越边缘的方式，对初始α图的数据实施加权平均滤波。

由此，既能确保清晰的边缘，又能得到抗混叠效果，与初始α图相比能够得到对原图像的边缘调整性地订正了的滤波后α图。并且，使用该滤波后α图的结果，能够提供边缘不模糊、缓和了毛刺及混合像素的影响、原图像的背景的混入少的美丽的合成图像。

此外，这样的自适应滤波部72进行的自适应滤波处理，与抠图的处理相比，是简单的处理，也不需要三分图的处理。

即，使用原图像和α图的各数据，利用简单的处理能够实现从原图像中切取被摄体并合成在其他图像上的合成处理，作为该合成处理的结果能够生成更自然且具有真实感的合成图像。

这样的效果通过比较图8A～图8C、图9A～图9C、图10A～图10C可明确。

图8A～图8C示出原样使用初始α图的数据情况下的、合成处理的执行结果的一例。

图8A示出由图4A的原图像100的数据生成的初始α图(与图4D的初始α图103相同)的数据的一例。

图8B示出使用图8A的初始α图的数据生成的合成用前景图像的数据的一例。

图8C示出将图8B的合成用前景图像的数据和图4C的合成用背景图像102的数据合成之后的结果所得到的合成图像的数据的一例。

图9A～图9C示出在使用对初始α图的数据施加现有的平均化滤波器之后的结果所得到的α图的数据的情况下的、合成处理的执行结果的一例。

图9A示出对图8A的初始α图的数据施加现有的平均化滤波器之后的结果所得到的α图的一例。

图9B示出使用图9A的α图的数据生成的合成用前景图像的数据的一例。

图9C示出将图9B的合成用前景图像的数据和图4C的合成用背景图像102的数据合成之后的结果所得到的合成图像的数据的一例。

图10A～图10C示出在使用了自适应滤波部72执行符合上式(3)的自适应滤波处理之后的结果所得到的滤波后α图的情况下的、合成处理的执行结果的一例。

图10A示出对图8A的初始α图的数据实施了符合上式(3)的自适应滤波处理之后的结果所得到的滤波后α图的一例。

图10B示出利用图10A的滤波后α图的数据生成的合成用前景图像的数据的一例。

图10C示出将图10B的合成用前景图像的数据和图4C的合成用背景图像102的数据合成之后的结果所得到的合成图像的数据的一例。

此外，本发明并不限定于上述实施方式，能达成本发明目的的范围内的变形及改良等都包括在本发明中。

例如，在上述的实施方式中，自适应滤波部72根据上式(3)执行了自适应滤波处理。但是，只要可利用原图像的坐标p(初始α图的关注像素的坐标p)的像素值Ip和原图像的坐标q的像素值Iq，使坐标q中的滤波器系数Kq自适应地变化即可，并不特别限定于式(3)。

下面，说明使用了式(3)以外的自适应滤波处理的具体例。

例如，在前景物体的区域的分量过量地残留在边缘内的情况下，原图像的背景的分量(式(7)至式(9)的背景图像的数据B的分量)有时会残留在作为前景物体的切取结果的合成用前景图像的数据F、作为前景物体的粘贴结果的合成图像的数据Z中。这种情况下，会得到前景物体被加边这样的不自然的合成图像的数据Z，即便由于与合成用背景图像N之间的差异使得前景物体的区域的分量过量地残留在边缘内的部分很少，但该部分对于用户的眼睛来说却显著地映出。

相反地，在前景物体的区域的分量从边缘内被过量地去除的情况下，如果被去除的部分很少，大多数情况下该部分对于用户的眼睛来说是不显著的。

通过利用该特性，自适应滤波部72能够执行符合下式(10)的自适应滤波处理。

A′_p＝(1/k_p){∑_q∈Ω+g_d(p-q)g_r+(|I_p-I_q|)A_q

+∑_q∈Ω-g_d(p-q)g_r-(|I_p-I_q|)A_q}    …(10)

                                                              

其中，kp如下式(11)所示。

k_p＝∑_q∈Ω+g_d(p-q)g_r+(|I_p-I_q|)

+∑_q∈Ω-g_d(p-q)g_r-(|I_p-I_q|)    …(11)

                                                                

即，在式(10)及式(11)中，在上式(3)中用到的附近区域Ω被分割成：输入α图的像素值(α值)不足0.5(在0，1的二值情况下等于0)的像素的集合Ω-、和输入α图的像素值(α值)为0.5以上(在0，1的二值情况下等于1)的像素的集合Ω+。

这种情况下，作为与颜色分量有关的高斯函数gr，分别准备适用于集合Ω-的高斯函数gr-、和适用于集合Ω+的高斯函数gr+。

例如，作为高斯函数gr-，优选准备与高斯函数gr+相同的高斯函数的形状且相对于高斯函数gr+为Q倍(Q为大于1的常数)。这是由于，初始α图的像素值(α值)小的背景侧的分量被加强反映，边缘变小。

或者，自适应滤波部72能够执行符合式(12)的自适应滤波处理。

A′_p＝C_p

if A_p≥0.5 C_p＝(1/k_p)∑_q∈Ωg_d(p-q)g_r+(|I_p-I_q|)A_q

if A_p＜0.5 C_p＝(1/k_p)∑_q∈Ωg_d(p-q)g_r-(|I_p-I_q|)A_q

…(12)

                                                              

式(12)表示：在初始α图的关注像素(滤波器窗口的中央像素)的像素值(α值)Ap为0.5以上时，被称为第2行函数Cp，在像素值(α值)Ap不足0.5时，被称为第3行函数Cp。

这种情况下，优选将属于背景侧时的高斯gr-的方差参数设定得比属于前景物体侧时的高斯gr+的方差参数小。由于在前景物体侧稍微跨越边缘进行平滑化，因此前景物体区域减少。另外，由于在背景侧相对地不跨越边缘，因此背景侧几乎不增加。

这样，自适应滤波部72执行符合上式(10)或上式(12)的自适应滤波处理，意味着加权平均滤波器的权重(滤波器系数)在背景侧和前景物体(原图像的被摄体)侧呈不对称地进行扩张。

由此，既能强有力地从切取区域中减少背景分量，又能相对地抑制切取区域增加背景分量，还能得到原背景混入不显著的合成图像。这里，所谓切取区域，如上述是指，从背景图像中切取出的被摄景(合成图像的前景物体)的区域。另外，所谓原背景混入，如上述是指，在切取区域中混入了原图像的背景。

这样的效果，通过比较图11A～图11C可明确。

图11A～图11C表示在使用了自适应滤波部72执行符合上式(10)的自适应滤波处理之后的结果所得到的滤波后α图的情况下的、合成处理的执行结果的一例。

图11A示出对图8A的初始α图的数据实施了符合上式(10)的自适应滤波处理之后的结果所得到的滤波后α图的一例。

图11B示出使用图11A的滤波后α图的数据生成的合成用前景图像的数据的一例。

图11C示出将图11B的合成用前景图像的数据和图4C的合成用背景图像102的数据合成之后的结果所得到的合成图像的数据的一例。

另外，例如在上述的实施方式中，初始α图生成部71生成了与原图像同一尺寸(为同一分辨率，以下称为“原尺寸”)的初始α图的数据。其中，初始α图的数据的尺寸并不特别限定于原尺寸，为了削减计算量或作业存储器量也可采用缩小尺寸(例如，纵横1/2尺寸)。

这种情况下，也可以是，自适应滤波部72例如对缩小尺寸的初始α图的数据实施自适应滤波处理，然后将其结果所得到的缩小尺寸的滤波后α图的数据向上缩放至原尺寸(例如，进行纵横2倍的线性插补)。

或者，也可以是，自适应滤波部72例如对缩小尺寸的初始α图的数据向上缩放至原尺寸的数据(例如，进行纵横2倍的线性插补)之后，实施自适应滤波处理。

此外，这种情况下，缩小尺寸的初始α图的数据不仅具有“0”和“1”的像素值(α值)，根据向上缩放的方法还具有0至1之间的中间值的像素值(α值)，但在执行上述处理时并未特别受到影响。

这样，通过对缩小尺寸的初始α图的数据实施自适应滤波部72进行的自适应滤波处理，从而利用图8A～图8C、图9A～图9C、图10A～图10C、图11A～图11C说明的上述效果更显著。

上述效果更显著这一点，通过比较图12A～图12C和图13A～图13C可明确。

图12A～图12C示出在使用了对缩小尺寸的初始α图的数据施加了现有的平均化滤波器之后的结果所得到的α图的数据的情况下的、合成处理的执行结果的一例。

图12A示出对从缩小了与图8A～图8C例子相同的原图像后的图像中得到的缩小尺寸的初始α图的数据进行上采样后的原尺寸的α图，施加了现有的平均化滤波器之后的结果所得到的α图的一例。

图12B示出使用图12A的α图的数据生成的合成用前景图像的数据的一例。

图12C示出将图12B的合成用前景图像的数据和图4C的合成用背景图像102的数据合成之后的结果所得到的合成图像的数据的一例。

图13A～图13C表示在使用了对缩小尺寸的初始α图的数据由自适应滤波部72执行符合上式(10)的自适应滤波处理之后的结果所得到的滤波后α图的情况下的、合成处理的执行结果的一例。

图13A示出对从缩小了与图8A～图8C例子相同的原图像后的图像中得到的缩小尺寸的初始α图的数据进行上采样后的原尺寸的α图，实施了符合上述式(10)的自适应滤波处理之后的结果所得到的滤波后α图的一例。

图13B示出使用图13A的滤波后α图的数据生成的合成用前景图像的数据的一例。

图13C示出将图13B的合成用前景图像的数据和图4C的合成用背景图像102的数据合成之后的结果所得到的合成图像的数据的一例。

另外，例如在上述的实施方式中，自适应滤波部72对初始α图的数据实施了自适应滤波处理。

但是，自适应滤波处理的对象并不特别限定于此。即，如果为对原图像的数据施加了规定加工之后的加工图像的数据，则可实施自适应滤波处理。

另外，例如在上述的实施方式中，适用本发明的图像处理装置说明了作为数码相机构成的例子。

可是，本发明并不特别限定于此，能够适用于具有图像处理功能的普通电子设备，例如本发明可广泛地适用于数字相框(digital photo frame)、个人计算机、便携式导航装置、便携式游戏机等。

上述的一连串处理，既能通过硬件来执行，又能通过软件来执行。

在通过软件来执行一连串处理的情况下，构成该软件的程序，由网络或记录介质被安装于计算机等。计算机也可是被组装于专用硬件的计算机。另外，计算机也可以是通过安装各种程序可执行各种功能的计算机，例如通用的个人计算机。

包括这种程序的记录介质虽然未图示，但是不仅由为了向用户提供程序而与装置主体另行配置的可移动介质构成，也可由在预先组装于装置主体的状态下提供给用户的记录介质等构成。可移动介质例如由磁盘(包括软盘)、光盘或光磁盘等构成。光盘例如由CD-ROM(Compact Disk-ReadOnly Memory)、DVD(Digital Versatile Disk)等构成。光磁盘由MD(Mini-Disk)等构成。另外，在预先组装于装置主体的状态下提供给用户的记录介质，例如由记录有程序的图1的ROM32、未图示的硬盘等构成。

此外，在本说明书中，描述记录于介质记录的程序的步骤，不仅包括沿着该顺序在时间序列上进行的处理，当然也包括即便不一定进行时间序列上的处理也并行地或单独地执行的处理。

以上虽然对本发明的优选实施例进行了说明，但本发明并不限定于该特定的实施例，在权利要求书记载的本发明的要旨范围内可进行各种变形、变更。

Claims (8)

1.一种图像处理装置，具备：

加工单元，其对由原图像的各坐标的像素值构成的数据进行加工，并将由该结果得到的各坐标的像素值构成的数据作为加工图像的数据来生成；和

滤波单元，其将由所述加工单元作为数据来生成的所述加工图像的各坐标的每一个坐标设为作为处理对象应关注的关注坐标，将包括所述关注坐标在内的多个坐标的范围设为滤波器窗口，通过对所述滤波器窗口的数据实施加权平均滤波，来变换所述关注坐标的像素值，

其中，

所述滤波单元具备：

滤波器系数运算单元，其使用与所述滤波器窗口内的所述关注坐标对应的所述原图像的第1坐标的第1像素值、和与所述滤波器窗口内的规定坐标对应的所述原图像的第2坐标的第2像素值，并按所述滤波器窗口内的每一个坐标，来执行计算所述规定坐标中的滤波器系数的处理；和

加权平均滤波单元，其使用由所述滤波器系数运算单元计算出的所述滤波器窗口内的每一个坐标的所述滤波器系数，对所述滤波器窗口的数据实施加权平均滤波。

2.根据权利要求1所述的图像处理装置，其中，

所述滤波器系数运算单元求取所述原图像的所述第1像素值和所述第2像素值之间的差分，按照该差分越小则使所述规定坐标中的所述滤波器系数成为越大的值的方式，来计算所述滤波器系数。

3.根据权利要求2所述的图像处理装置，其中，

所述滤波器系数运算单元，

计算Y、Cb、Cr分量的向量差，以作为所述原图像的所述第1像素值和所述第2像素值之间的所述差分，

执行求取所述向量差的范数或范数平方的范数运算，

对所述范数运算的执行结果和规定的阈值进行比较，在比较结果大的情况下给出为“0”的临时权重值，在比较结果小的情况下给出为“1”的临时权重值，以作为所述规定坐标中的所述滤波器系数，

基于所述临时权重值来计算所述规定坐标中的所述滤波器系数。

4.根据权利要求2所述的图像处理装置，其中，

所述滤波器系数运算单元，

对与空间坐标相关的高斯函数的输出值、和与颜色分量相关的高斯函数的输出值进行乘法运算，其中，所述与空间坐标相关的高斯函数的输出值以所述原图像的所述第1坐标和所述第2坐标之间的差分作为输入参数，所述与颜色分量相关的高斯函数的输出值以所述原图像的所述第1像素值和所述第2像素值之间的所述差分作为输入参数，

基于该乘法运算的结果来计算所述规定坐标中的所述滤波器系数。

5.根据权利要求2所述的图像处理装置，其中，

所述滤波器系数运算单元，按照所述滤波器窗口内的数据中、在所述原图像内的被摄体的区域和所述原图像内的背景的区域中为非对称的方式，来计算所述滤波器系数。

6.根据权利要求1所述的图像处理装置，其中，

所述加工单元通过进行将所述原图像的各坐标的像素值二值化的加工，来生成初始α图，以作为所述加工图像的数据，

所述加权平均滤波单元对所述初始α图的数据实施所述加权平均滤波，将该结果所得到的数据作为滤波后α图的数据来生成。

7.根据权利要求6所述的图像处理装置，其中，

该图像处理装置具备：

图像获取单元，其将包含被摄体在内的图像的数据作为所述原图像的数据来获取，将所述被摄体作为前景物体被粘贴的对象的图像的数据作为合成用背景图像的数据来获取；

合成用前景图像生成单元，其使用由所述图像获取单元获取到的所述原图像的数据、和由所述加权平均滤波单元生成的所述滤波后α图的数据，来生成包含所述被摄体在内的合成用前景图像的数据；和

合成单元，其对由所述合成用前景图像生成单元生成的所述合成用前景图像的数据、和由所述图像获取单元获取到的所述合成用背景图像的数据进行合成。

8.一种图像处理方法，是对原图像的数据实施图像处理的图像处理装置的图像处理方法，该图像处理方法具备：

加工步骤，对由原图像的各坐标的像素值构成的数据进行加工，并将由该结果得到的各坐标的像素值构成的数据作为加工图像的数据来生成；和

滤波步骤，将通过所述加工步骤的处理作为数据来生成的所述加工图像的各坐标的每一个坐标设为作为处理对象应关注的关注坐标，将包括所述关注坐标在内的多个坐标的范围设为滤波器窗口，通过对所述滤波器窗口的数据实施加权平均滤波，来变换所述关注坐标的像素值，

其中，

所述滤波步骤具备：

滤波器系数运算步骤，使用与所述滤波器窗口内的所述关注坐标对应的所述原图像的坐标的像素值、和与所述滤波器窗口内的规定坐标对应的所述原图像的坐标的像素值，按所述滤波器窗口内的每一个坐标，来执行计算所述规定坐标中的滤波器系数的处理；和

加权平均滤波步骤，使用通过所述滤波器系数运算步骤的处理计算出的所述滤波器窗口内的每一个坐标的所述滤波器系数，对所述滤波器窗口的数据实施加权平均滤波。

Images