CN1465196A - 图像处理设备和方法、以及图像拍摄设备 - Google Patents

Abstract

依据图像的混合状态从二维图像中生成三维图像。前景/背景成分图像生成单元(91)从包括仅由前景对象成分构成的前景区域、仅由背景对象成分构成的背景区域、以及前景对象成分和背景对象成分混合在一起的混合区域在内的图像数据中生成仅由前景对象成分构成的前景成分图像和仅由背景对象成分构成的背景成分图像。前景视差图像生成单元(93)将视差加入前景成分图像生成右眼前景视差图像，以及将视差加入前景成分图像生成左眼前景视差图像。合成单元(94－1，94－2)将右眼前景视差图像与背景图像组合生成右眼视差图像，以及将左眼前景视差图像与背景图像组合生成左眼视差图像。本发明可以应用到图像处理设备中。

Description

图像处理设备和方法、以及图像拍摄设备

技术领域

本发明涉及图像处理设备和方法以及图像拍摄(pickup)设备，尤其涉及考虑到传感器检测的信号与现实世界(real world)之间的差异的图像处理设备和方法以及图像拍摄设备。

背景技术

通常情况下，通过传感器检测在现实世界中发生的现象，和处理从图像传感器输出的取样数据的技术得到广泛应用。

例如，对于视频摄像机拍摄在预定静止背景前移动的对象获得的图像，在对象的运动速率相对高的情况下，会出现运动模糊(motion blur)。

将二维图像转换为三维图像的技术也是公知的。例如，日本待审专利申请公开第10-51812号公开了一种通过将二维图像的一场(field)屏幕划分为多个区域、根据从每一个区域中提取的特征信息即深度信息计算水平视差量、以及显示从水平视差量产生的第一图像和第二图像，来显示三维图像的技术。

但是，在对象在静止背景的前面移动的情况下，不仅运动对象图像本身的混合会引起运动模糊，而且运动对象图像与背景图像的混合也会引起运动模糊。到目前为止，对背景图像和运动对象图像的混合状态的检测还没有加以考虑。

发明内容

本发明就是在考虑了上述情况之后作出的。因此，本发明的目的是根据图像的混合状态使得从二维图像中生成三维图像成为可能。

根据本发明的图像处理设备包括：前景/背景成分图像生成装置，用于从包括前景区域、背景区域、以及由前景对象成分和背景对象成分混合在一起的混合区域在内的图像数据中生成只由前景对象成分构成的前景成分图像和只由背景对象成分构成的背景成分图像，其中前景区域只由组成前景对象的前景对象成分构成，背景区域只由组成背景对象的背景对象成分构成；前景视差图像生成装置，用于通过将右眼视差加到前景成分图像上生成右眼前景视差图像、以及通过将左眼视差加到前景成分图像上生成左眼前景视差图像；以及视差图像生成装置，用于通过将右眼前景视差图像与特定背景图像合成来生成右眼视差图像、以及通过将左眼前景视差图像与特定背景图像合成来生成左眼视差图像。

该图像处理设备还可以包括运动模糊调整装置，用于调整前景/背景成分图像生成装置所生成的前景成分图像的运动模糊量。

前景/背景成分图像生成装置还可以包括：区域指定装置，用于指定图像数据的前景区域、背景区域和混合区域；以及混合比检测装置，用于根据指定前景区域、背景区域和混合区域所获得的结果，检测指示混合区域中前景对象成分和背景对象成分的混合比例的混合比。

前景/背景成分图像生成装置还可以包括前景/背景分离装置，用于根据混合比将属于混合区域的像素分离到前景对象成分和背景对象成分中，从而根据分离的前景对象成分和分离的背景对象成分生成前景成分图像和背景成分图像。

根据本发明的图像处理方法包括：前景/背景成分图像生成步骤，用于从包括前景区域、背景区域、以及由前景对象成分和背景对象成分混合在一起的混合区域在内的图像数据中生成只由前景对象成分构成的前景成分图像和只由背景对象成分构成的背景成分图像，其中前景区域只由组成前景对象的前景对象成分构成，背景区域只由组成背景对象的背景对象成分构成；前景视差图像生成步骤，用于通过将右眼视差加到前景成分图像上生成右眼前景视差图像、以及通过将左眼视差加到前景成分图像上生成左眼前景视差图像；以及视差图像生成步骤，用于通过将右眼前景视差图像与特定背景图像合成来生成右眼视差图像、以及通过将左眼前景视差图像与特定背景图像合成来生成左眼视差图像。

该图像处理方法还可以包括运动模糊调整步骤，用于调整前景/背景成分图像生成步骤所生成的前景成分图像的运动模糊量。

前景/背景成分图像生成步骤还可以包括：区域指定步骤，用于指定图像数据的前景区域、背景区域和混合区域；以及混合比检测步骤，用于根据指定前景区域、背景区域和混合区域所获得的结果，检测指示混合区域中前景对象成分和背景对象成分的混合比例的混合比。

前景/背景成分图像生成步骤还可以包括前景/背景分离步骤，用于根据混合比将属于混合区域的像素分离到前景对象成分和背景对象成分中，从而根据分离的前景对象成分和分离的背景对象成分生成前景成分图像和背景成分图像。

本发明的记录媒体上的程序包括：前景/背景成分图像生成步骤，用于从包括前景区域、背景区域、以及由前景对象成分和背景对象成分混合在一起的混合区域在内的图像数据中生成只由前景对象成分构成的前景成分图像和只由背景对象成分构成的背景成分图像，其中前景区域只由组成前景对象的前景对象成分构成，背景区域只由组成背景对象的背景对象成分构成；前景视差图像生成步骤，用于通过将右眼视差加到前景成分图像上生成右眼前景视差图像、以及通过将左眼视差加到前景成分图像上生成左眼前景视差图像；以及视差图像生成步骤，用于通过将右眼前景视差图像与特定背景图像合成来生成右眼视差图像、以及通过将左眼前景视差图像与特定背景图像合成来生成左眼视差图像。

该记录媒体上的程序还可以包括运动模糊调整步骤，用于调整前景/背景成分图像生成步骤所生成的前景成分图像的运动模糊量。

前景/背景成分图像生成步骤还可以包括：区域指定步骤，用于指定图像数据的前景区域、背景区域和混合区域；以及混合比检测步骤，用于根据指定前景区域、背景区域和混合区域所获得的结果，检测指示混合区域中前景对象成分和背景对象成分的混合比例的混合比。

前景/背景成分图像生成步骤还可以包括前景/背景分离步骤，用于根据混合比将属于混合区域的像素分离到前景对象成分和背景对象成分中，从而根据分离的前景对象成分和分离的背景对象成分生成前景成分图像和背景成分图像。

根据本发明的程序使计算机执行：前景/背景成分图像生成步骤，用于从包括前景区域、背景区域、以及由前景对象成分和背景对象成分混合在一起的混合区域在内的图像数据中生成只由前景对象成分构成的前景成分图像和只由背景对象成分构成的背景成分图像，其中前景区域只由组成前景对象的前景对象成分构成，背景区域只由组成背景对象的背景对象成分构成；前景视差图像生成步骤，用于通过将右眼视差加到前景成分图像上生成右眼前景视差图像、以及通过将左眼视差加到前景成分图像上生成左眼前景视差图像；以及视差图像生成步骤，用于通过将右眼前景视差图像与特定背景图像合成来生成右眼视差图像、以及通过将左眼前景视差图像与特定背景图像合成来生成左眼视差图像。

该程序还可以包括运动模糊调整步骤，用于调整前景/背景成分图像生成步骤所生成的前景成分图像的运动模糊量。

前景/背景成分图像生成步骤还可以包括：区域指定步骤，用于指定图像数据的前景区域、背景区域和混合区域；以及混合比检测步骤，用于根据指定前景区域、背景区域和混合区域所获得的结果，检测指示混合区域中前景对象成分和背景对象成分的混合比例的混合比。

前景/背景成分图像生成步骤还可以包括前景/背景分离步骤，用于根据混合比将属于混合区域的像素分离到前景对象成分和背景对象成分中，从而根据分离的前景对象成分和分离的背景对象成分生成前景成分图像和背景成分图像。

根据本发明的图像拍摄设备包括：图像拍摄装置，用于输出由具有时间积分效应的、具有预定个像素的图像拍摄器件拍摄的主体(subject)图像，作为由预定个数像素数据组成的图像数据；前景/背景成分图像生成装置，用于从包括前景区域、背景区域、以及由前景对象成分和背景对象成分混合在一起的混合区域在内的图像数据中生成只由前景对象成分构成的前景成分图像和只由背景对象成分构成的背景成分图像，其中前景区域只由组成前景对象的前景对象成分构成，背景区域只由组成背景对象的背景对象成分构成；前景视差图像生成装置，用于通过将右眼视差加到前景成分图像上生成右眼前景视差图像、以及通过将左眼视差加到前景成分图像上生成左眼前景视差图像；以及视差图像生成装置，用于通过将右眼前景视差图像与特定背景图像合成来生成右眼视差图像、以及通过将左眼前景视差图像与特定背景图像合成来生成左眼视差图像。

该图像拍摄设备还可以包括运动模糊调整装置，用于调整前景/背景成分图像生成装置所生成的前景成分图像的运动模糊量。

前景/背景成分图像生成装置还可以包括：区域指定装置，用于指定图像数据的前景区域、背景区域和混合区域；以及混合比检测装置，用于根据指定前景区域、背景区域和混合区域所获得的结果，检测指示混合区域中前景对象成分和背景对象成分的混合比例的混合比。

前景/背景成分图像生成装置还可以包括前景/背景分离装置，用于根据混合比将属于混合区域的像素分离到前景对象成分和背景对象成分中，从而根据分离的前景对象成分和分离的背景对象成分生成前景成分图像和背景成分图像。

从包括前景区域、背景区域、以及由前景对象成分和背景对象成分混合在一起的混合区域在内的图像数据中生成只由前景对象成分构成的前景成分图像和只由背景对象成分构成的背景成分图像，其中前景区域只由组成前景对象的前景对象成分构成，背景区域只由组成背景对象的背景对象成分构成。通过将右眼视差加到前景成分图像上生成右眼前景视差图像、以及通过将左眼视差加到前景成分图像上生成左眼前景视差图像。通过将右眼前景视差图像与特定背景图像合成来生成右眼视差图像、以及通过将左眼前景视差图像与特定背景图像合成来生成左眼视差图像。

通过该构思，可以根据图像的混合状态从二维图像中生成三维图像。

附图说明

图1显示根据本发明的图像处理设备的实施例；

图2是显示图像处理设备的结构的方块图；

图3显示视差；

图4显示视差；

图5显示图像的运动；

图6是显示三维图像合成处理器73的结构的方框图；

图7是显示前景/背景成分图像生成器91的方框图；

图8显示传感器进行的图像拍摄(capture)；

图9显示像素的排列；

图10显示检测器件的操作；

图11A显示拍摄与运动前景相对应的对象、和与静止背景相对应的对象的图像获得的图像；

图11B显示拍摄与运动前景相对应的对象、和与静止背景相对应的对象的图像获得的图像的模型(model)；

图12显示背景区域、前景区域、混合区域、覆盖背景区域、和未覆盖背景区域；

图13显示沿着时间方向展开在对与静止前景相对应的对象和与静止背景相对应的对象进行图像拍摄所获得的图像中、一个接一个排列成一行的像素的像素值而获得的模型；

图14显示沿着时间方向展开像素值和分割与快门时间相对应的间隔(period)的模型；

图15显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图16显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图17显示从前景区域、背景区域和混合区域中提取像素的例子；

图18显示像素与沿着时间方向展开像素值获得的模型之间的关系；

图19显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图20显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图21显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图22显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图23显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图24是描述三维图像合成处理的流程图；

图25是描述对象分离处理的流程图；

图26是显示区域指定单元103的配置例子的方块图；

图27显示与前景相对应的对象正在移动的图像；

图28显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图29显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图30显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图31显示区域确定的条件；

图32A显示区域指定单元103指定区域所获得的结果的例子；

图32B显示区域指定单元103指定区域所获得的结果的例子；

图32C显示区域指定单元103指定区域所获得的结果的例子；

图32D显示区域指定单元103指定区域所获得的结果的例子；

图33是显示区域指定单元103指定区域所获得的结果的例子；

图34是描述区域指定处理的流程图；

图35是显示区域指定单元103的另一个配置例子的方块图；

图36显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图37显示背景图像的例子；

图38是显示二值(binary)对象图像提取部分302的配置的方块图；

图39A显示相关值的计算；

图39B显示相关值的计算；

图40A显示相关值的计算；

图40B显示相关值的计算；

图41显示二值对象图像的例子；

图42是显示时间变化检测器303的配置的方块图；

图43显示区域确定部分342进行的确定；

图44显示时间变化检测器303所进行的确定的例子；

图45是描述区域指定单元103进行区域指定的处理的流程图；

图46是详细描述区域指定的处理的流程图；

图47是显示区域指定单元103的又一种配置的方块图；

图48是描述鲁棒化处理(robust-processing)部分361的配置的方块图；

图49显示运动补偿器381进行的运动补偿；

图50显示运动补偿器381进行的运动补偿；

图51是描述区域指定处理的流程图；

图52是描述鲁棒化处理的细节的流程图；

图53是显示混合比计算器104的配置的方块图；

图54显示理想混合比α；

图55显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图56显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图57显示使用前景成分的相关的近似；

图58显示C、N和P的关系；

图59是显示估计混合比处理器401的配置的方块图；

图60显示估计混合比的例子；

图61是显示混合比计算器104的另一配置的方块图；

图62是描述计算混合比的处理的流程图；

图63是描述计算估计混合比的处理的流程图；

图64显示用于近似混合比α的直线；

图65显示用于近似混合比α的平面；

图66显示计算混合比α时多个帧中的像素之间的关系；

图67是显示估计混合比处理器401的另一配置的方块图；

图68显示估计混合比的例子；

图69是描述使用与覆盖背景区域相对应的模型用于估计混合比的处理的流程图；

图70是显示前景/背景分离器105的配置例子的方块图；

图71A显示输入图像、前景成分图像、和背景成分图像；

图71B显示输入图像、前景成分图像、和背景成分图像的模型；

图72显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图73显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图74显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图75显示分离部分601的配置例子的方块图；

图76A是显示分离前景成分图像的例子；

图76B是显示分离背景成分图像的例子；

图77是描述分离前景和背景的处理的流程图；

图78是显示运动模糊调整单元106的配置例子的方块图；

图79显示处理单元；

图80显示沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的间隔的模型；

图81显示沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的间隔的模型；

图82显示沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的间隔的模型；

图83显示沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的间隔的模型；

图84显示运动模糊调整单元106的另一个配置；

图85是描述由运动模糊调整单元106执行的调整包含在前景成分图像中的运动模糊量的处理的流程图；

图86是显示运动模糊调整单元106的另一个配置例子的图；

图87显示其中指定了像素值和前景成分之间的关系的模型示例；

图88显示前景成分的计算；

图89显示前景成分的计算；

图90是描述消除包含在前景中的运动模糊的处理的流程图；

图91显示对象的一个例子；

图92显示对象的一个例子；

图93显示混合区域的例子；

图94A显示背景成分图像的校正；

图94B显示背景成分图像的校正；

图95是显示前景视差图像生成器93的配置的方框图；和

图96显示合成器94的配置。

具体实施方式

图1显示根据本发明的图像处理设备的实施例。CPU(中央处理单元)21遵照存储在ROM(只读存储器)22或存储单元28中的程序，执行各种类型的处理。RAM(随机存取存储器)23存储CPU21执行的程序、和数据等。CPU21、ROM22、和RAM23通过总线24相互连接。

通过总线24，输入/输出接口25也相连接到CPU21。诸如键盘、鼠标、麦克风等的输入单元26，和与诸如显示器、扬声器等的输出单元27连接到输入/输出接口25。CPU21响应从输入单元26输入的命令执行各种类型的处理。然后，CPU21把作为处理结果获得的图像、声音等输出到输出单元27。

与输入/输出接口25相连接的存储单元28包括例如硬盘，并存储CPU21执行的程序和各种类型的数据。通信单元29通过因特网或其它网络与外部设备通信。在本例中，通信单元29还用作获取来自传感器的输出的获取单元。

此外，可以通过通信单元29获取程序，并将其存储在存储单元28中。

驱动器30与输入/输出接口25相连接，当把磁盘51、光盘52、磁光盘53、半导体存储器54等记录媒体安装在驱动器30上时，驱动器30驱动它们，获取存储在相应媒体中的程序或数据。如有必要，把获取的程序或数据发送到存储单元28，存储在其中。

图2是显示图像处理设备的配置的方块图。

图像处理设备的每种功能由硬件来实现还是由软件来实现是无关紧要的。也就是说，本说明书中的每个方块图不仅可以被当作硬件方块图，而且可以被当作软件功能方块图。

在本说明书中，与现实世界中的对象相对应而被拍摄的图像称为图像对象。

将输入到图像处理设备的输入图像提供到距离信息获取单元71和三维图像合成处理器73。

距离信息获取单元71根据输入图像获取传感器到前景对象的距离。

通常在一幅图像中，对应于前景的对象位于背景对象的前面，并且传感器聚焦到前景对象上。因此，前景对象图像比背景对象图像包含更多的高频成分。类似地，前景对象图像的亮度和饱和度比背景对象图像高。

通过将包含在对象图像中的高频成分量、或者对象图像的亮度或饱和度乘以预定系数，可以确定传感器到对象的距离。

距离信息获取单元71根据例如包含在对象图像中的高频成分量、以及对象图像的亮度和饱和度，生成表明到对象的距离的距离信息。

距离信息获取单元71生成表明传感器到前景对象的距离的距离信息，并将所生成的距离信息提供给视差计算器72。

视差计算器72根据从距离信息获取单元71提供的距离信息计算对应于前景对象的视差，并将所计算的视差提供给三维图像合成处理器73。

三维图像合成处理器73将输入图像分离成仅由相应于前景对象的图像成分构成的前景成分图像(下文中也称作“前景成分”)和仅由相应于背景对象的图像成分构成的背景成分图像(下文中也称作“背景成分”)。三维图像合成处理器73根据前景成分图像、背景成分图像、以及视差计算器72提供的视差，生成右眼图像(也称作“右眼视差图像”)和左眼图像(也称作“左眼视差图像”)，并输出所生成的右眼图像和左眼图像。

下面讨论三维图像和视差。

当观察现实世界中的对象时，如图3所示，用右眼观察到的对象的位置与用左眼观察到的对象的位置根据到对象的距离不同而不相同。用右眼观察到的对象的位置与用左眼观察到的对象的位置之间的差异称作“视差”。在图3中，A表示对象，B表示右眼，C表示左眼。并且在图3中，D表示视差。

在三维图像中，右眼可以观察到显示在相应视差位置处的右眼对象图像，左眼可以观察到显示在相应视差位置处的左眼对象图像，从而使观察者能够识别到对象的距离。

下面参照图4更详细地描述视差。

在图4中，x表示显示表面的水平坐标，y表示垂直于显示表面的深度坐标，z表示显示表面的垂直坐标。

P0表示观察者(用户)的两眼之间的中心位置。

E表示双眼之间的距离。PER指定右眼的位置，而PEL指定左眼的位置。PER的坐标用(X0，Y0，Z0)表示，而PEL的坐标用(X1，Y1，Z1)表示。

PD表示显示表面和视觉轴线之间的交叉点。PD的坐标用(Xd，Yd，Zd)表示。

PDR表示左眼图像显示位置，而PDL表示右眼图像显示位置。PDR的坐标用(X2，Y2，Z2)表示，而PDL的坐标用(X3，Y3，Z3)表示。

P指示将被显示的对象的位置。P的坐标用(Xp，Yp，Zp)表示。

W指示在显示表面上对象的视差。

观测者所看到的P的坐标(Xp，Yp，Zp)线Lr和线Ll之间的交点确定，线Lr为右眼坐标PER和示于显示表面上的右眼图像显示位置PDL之间的连线，而线Ll为左眼坐标PEL和示于显示表面上的左眼图像显示位置PDR之间的连线。

线Lr用方程式(1)表示，线Ll用方程式(2)表示。

(x-X0)/(X2-X0)＝(y-Y0)/(Y2-Y0)＝(z-Z0)/(Z2-Z0)           (1)

(x-X1)/(X3-X1)＝(y-Y1)/(Y3-Y1)＝(z-Z1)/(Z3-Z1)           (2)

由此，线Lr和线Ll的交点P的坐标用下面的方程式(3)至(5)表示。

Xp＝Tfix-(X2-X0)+X0                                      (3)

Yp＝Tfix-(Y2-Y0)+Y0                                      (4)

Zp＝Tfix-(Z2-Z0)+Z0                                      (5)

方程式(3)至(5)中的Tfix用方程式(6)表示。

Tfix＝{(X3-Y1)(Y0-Y1)-(X0-X1)(Y3-Y1)}/(X2-X0)(Y3-Y1)-(X3-X1)(Y2-Y0)}                                                     (6)

现在考虑在y方向上从离开显示表面的中心位置的距离为K的位置所看到的图像。当显示表面和视觉轴线之间的交点处的坐标设为X、Y和Z坐标轴的原点时，P0的坐标、PD的坐标、PER的坐标、PEL的坐标、PDR的坐标以及PDL的坐标可以表示如下。

也就是说，P0的坐标可以表示为(0，K，0)。PD PD的坐标(Xd，Yd，Zd)可以表示为(0，0，0)。PER的坐标(X0，Y0，Z0)可以表示为(E，K，0)。PEL的坐标(X1，Y1，Z1)可以表示为(-E，K，0)。

类似地，PDR的坐标(X2，Y2，Z2)可以表示为(W/2，0，0)。PDL的坐标(X3，Y3，Z3)可以表示为(-W/2，0，0)。

将上述关系带入方程式(3)至(5)，则可以确定方程式(7)至(9)。

Xp＝0                                                     (7)

Yp＝KW/(W-2E)                                             (8)

Zp＝0                                                     (9)

如图5所示，视差根据到对象的距离来计算，相应于视差移动的右眼对象图像由观测者的右眼观察，而相应于视差移动的左眼对象图像由观测者的左眼观察，从而使用者得以识别到对象的距离。在图5中，用E表示的箭头为相应于视差的移动，用F表示的箭头也为相应于视差的移动。

再参照图2，距离信息获取单元获取到对象的距离，并将表示到对象的距离的距离信息提供给视差计算器72。

视差计算器72根据方程式(7)至(9)表示的算法从到对象的距离中计算视差，并将计算的视差提供给三维图像合成处理器73。

三维图像合成处理器73根据从视差计算器72提供的视差生成右眼图像和左眼图像。

图6是表示三维图像合成处理器73的结构的方框图。

前景/背景成分图像生成器91根据输入图像计算有关包含在混合区域中的像素的混合比(下文中称作“混合比α”)。前景/背景成分图像生成器91将计算的混合比α提供给遮蔽(occlusion)校正部分92。

混合比α是表示在像素值中相应于背景对象的背景成分所占比例的值，用下面将示出的方程式(12)表示。

前景/背景成分图像生成器91将输入图像分离成仅由相应于前景对象的前景成分构成的前景成分图像和仅由相应于背景对象的背景成分构成的背景成分图像，并将背景成分图像提供给遮蔽校正部分92。

前景/背景成分图像生成器91调整包含在所分离的前景成分图像中的运动模糊量，并将调整了运动模糊量的前景成分图像提供给前景视差图像生成器93。

前景/背景成分图像生成器91将指示调整了运动模糊量的前景成分图像的每一个像素属于前景区域、背景区域或混合区域中的哪一个的信息(该信息在下文中称作“区域信息”)提供给前景视差图像生成器93。前景区域、背景区域和混合区域将在下文中详细讨论。

前景/背景成分图像生成器91计算有关调整了运动模糊量的前景成分图像的混合比α，并将所计算的混合比α提供给前景视差图像生成器93。

遮蔽校正部分92根据从前景/背景成分图像生成器91提供的混合比α校正位于前景对象之后的背景图像部分以及与前景对象混合在一起的背景图像部分，并将校正的背景成分图像提供给合成器94-1和94-2。

前景视差图像生成器93根据从视差计算器72提供的视差以及从前景/背景成分图像生成器91提供的区域信息和混合比α，生成右眼前景成分图像(也称作“右眼前景视差图像”)，还生成相应于右眼前景成分图像的区域信息和混合比α。前景视差图像生成器93将右眼前景成分图像和相应于右眼前景成分图像的区域信息和混合比α提供给合成器94-1。

前景视差图像生成器93根据从视差计算器72提供的视差以及从前景/背景成分图像生成器91提供的区域信息和混合比α，生成左眼前景成分图像(也称作“左眼前景视差图像”)，还生成相应于左眼前景成分图像的区域信息和混合比α。前景视差图像生成器93将左眼前景成分图像和相应于左眼前景成分图像的区域信息和混合比α提供给合成器94-2。

合成器94-1根据从前景视差图像生成器93提供的相应于右眼前景成分图像的区域信息和混合比α，通过将遮蔽校正部分92提供的背景成分图像与前景视差图像生成器93提供的右眼前景成分图像合成，生成右眼图像并将生成的右眼图像输出。

合成器94-2根据从前景视差图像生成器93提供的相应于左眼前景成分图像的区域信息和混合比α，通过将遮蔽校正部分92提供的背景成分图像与前景视差图像生成器93提供的左眼前景成分图像合成，生成左眼图像并将生成的左眼图像输出。

将合成器94-1和合成器94-2简称为“合成器94”，除非另有必要单独地区分这两个部件。

图7是显示前景/背景成分图像生成器91的配置的方块图。

把提供给前景/背景成分图像生成器91的输入图像提供给对象提取单元101、区域指定单元103、混合比计算器104、和前景/背景分离器105。

对象提取单元101粗略提取包含在输入图像中与前景对象相对应的图像对象，并且把提取的图像对象供应给运动检测器102。例如，对象提取单元101通过检测包含在输入图像中与前景对象相对应的图像对象的轮廓，粗略提取与前景对象相对应的图像对象。

对象提取单元101粗略提取与包含在输入图像中的背景对象相对应的图像对象，并且把提取的图像对象供应给运动检测器102。例如，对象提取单元101通过输入图像和与提取前景对象相对应的图像对象之间的差异，粗略提取与背景对象相对应的图像对象。

此外，例如，对象提取单元101可以根据存储在内置背景存储器中的背景图像与输入图像之间的差异，粗略提取与前景对象相对应的图像对象和与背景对象相对应的图像对象。

运动检测器102通过诸如块匹配、分级(gradation)、相位关联、和像素递归等的技术，计算与大致提取的前景对象相对应的运动向量，把计算的运动向量和运动向量位置信息(指定与运动向量相对应的像素位置的信息)提供给区域指定单元103、混合比计算器104、和运动模糊调整单元106。

从运动检测器102输出的运动向量包括与运动量v相对应的信息。

运动检测器102可以把每个图像对象的运动向量，以及指定与图像对象有关的像素的像素位置信息输出到运动模糊调整单元106。

运动量v是代表以像素间距(pitch)为单位与运动对象相对应的图像的位置改变的值。例如，如果与前景相对应的对象图像发生移动，致使被显示在相对于基准帧偏离4个像素的位置上，那么，与前景相对应的对象的图像的运动量v是4，其中，基准帧为其在下一个帧中的位置。

如果调整与运动对象相对应的运动模糊量，那么，需要对象提取单元101和运动检测器102。

区域指定单元103确定输入图像的每一个像素属于前景区域、背景区域、或混合区域中的哪一个区域，并且把指示每个像素所属区域的区域信息提供给混合比计算器104、前景/背景分离器105、和运动模糊调整单元106。

混合比计算器104根据输入图像和区域指定单元103供应的区域信息，计算与包含在混合区域中的像素相对应的混合比α并输出所计算的混合比α，以及将混合比α供应给前景/背景分离器105。从混合比计算器104输出的混合比α与前景/背景成分图像生成器91输出的背景成分图像相应。

根据区域指定单元103供应的区域信息、和混合比计算器104供应的混合比α，前景/背景分离器105把输入图像分离成只由与前景对象相对应的图像成分组成的前景成分图像、和只由背景成分组成的背景成分图像，并且把前景成分图像供应给运动模糊调整单元106。

运动模糊调整单元106根据从运动向量导出的运动量v、和区域信息，确定指示包含在前景成分图像中的至少一个像素的处理单元。处理单元(unit)是指示将被进行运动模糊调整的一组像素的数据。

根据输入到前景/背景成分图像生成器91的运动模糊调整量、前景/背景分离器105提供的前景成分图像、和运动检测单元10提供的运动向量和其位置信息、以及处理单元，运动模糊调整单元106通过消除、减少或增加包含在前景成分图像中的运动模糊，调整包含在前景成分图像中的运动模糊量。然后运动模糊调整单元106输出已经经过运动模糊量调整的前景成分图像。不一定必须使用运动向量和其位置信息。

运动模糊是包含在与运动对象相对应的图像中的失真，它是由被拍摄对象在现实世界中的运动与传感器的图像拍摄特性造成的。

运动模糊调整单元106生成相应于已经经过运动模糊量调整的前景成分图像的区域信息和混合比α，并输出所生成的区域信息和混合比α。

现在参照图8到图23描述供应给前景/背景成分图像生成器91的输入图像。

图8显示传感器进行的图像拍摄。传感器由例如CCD(电荷耦合器件)视频摄像机构成，CCD视频摄像机等包括作为固态图像拍摄器件的CCD面传感器。例如，在该图中，现实世界中与前景相对应的对象111在与背景相对应的对象112与传感器之间、沿着水平方向从左边移动到右边。

传感器拍摄与前景相对应的对象111、以及与背景相对应的对象112的图像。传感器以帧为单位输出拍摄的图像。例如，传感器每秒输出30个帧的图像。传感器的曝光时间是1/30秒。曝光时间代表传感器开始把输入光转换成电荷直到把输入光转换成电荷结束之间的间隔。曝光时间在下文也被称为“快门时间(shutter time)”。

图9显示像素的排列。在图9中，A到I表示各个像素。这些像素排列在与图像相对应的平面上。在传感器上布置着与像素一一对应的检测元件。当传感器执行图像拍摄时，每一个检测元件输出与组成图像的一个像素相对应的像素值。例如，检测元件的X方向的位置对应于图像上水平方向的位置，和检测元件的Y方向的位置对应于图像上垂直方向的位置。

如图10所示，检测元件例如CCD在与快门时间相对应的间隔内把输入光转换成电荷，并且累积转换电荷。电荷量基本上与输入光的强度和输入光的间隔成正比。检测元件在与快门时间相对应的间隔中，把从输入光转换而来的电荷加入顺序存储的电荷中。也就是说，检测元件在与快门时间相对应的间隔中，积分输入光，并且存储与积分光相对应的的电荷量。也可以认为，检测元件具有对时间的积分效应。

在检测元件中存储的电荷由图中未示出的电路转换成电压值，再把电压值转换成诸如数字数据等的像素值，然后输出它。因此，从传感器输出的各个像素值具有投影在线性空间中的值，为在快门时间内积分与前景或背景相对应的对象的给定三维部分所得的结果。

前景/背景成分图像生成器91提取由于传感器这样的累积操作而隐埋在输出信号中的有效信息，譬如，混合比α。前景/背景成分图像生成器91调整由于前景图像对象本身的混合造成的失真量，譬如，运动模糊量。此外，前景/背景成分图像生成器91调整由于前景图像对象与背景图像对象的混合造成的失真量。

图11A显示了拍摄与前景相对应的运动对象、和与背景相对应的静止对象的图像获得的图像。图11B显示了拍摄与前景相对应的运动对象、和与背景相对应的静止对象的图像获得的图像。

图11A显示了拍摄与前景相对应的运动对象、和与背景相对应的静止对象的图像获得的图像。对于图11A所示的例子，与前景相对应的对象在屏幕上沿着水平方向从左边移动到右边。

图11B显示沿着时间方向展开与图11A所示的图像的一行相对应的像素值所获得的模型图。图11B中的水平方向对应于图11A中的空间X方向。

背景区域中的像素值只由背景成分，即，与背景对象相对应的图像成分组成。前景区域中的像素值只由前景成分，即，与前景对象相对应的图像成分组成。

混合区域内的像素值由背景成分和前景成分组成。由于混合区域内的像素值由背景成分和前景成分组成，因此，也可以认为混合区域是失真区域。混合区域进一步分为覆盖背景区域和未覆盖背景区域。

覆盖背景区域是与前景区域有关，沿着前景对象的前进方向，与领先部分相对应的位置上的混合区域，其中，随着时间的流逝背景成分逐渐被前景覆盖。

与此相反，未覆盖背景区域是与前景区域有关，沿着前景对象的前进方向，与尾随部分相对应的位置上的混合区域，其中，背景成分随着时间的流逝而逐渐出现。

如上所述，包括前景区域、背景区域、或覆盖背景区域、或未覆盖背景区域的图像被当作输入图像输入到区域指定单元103、混合比计算器104、和前景/背景分离器105。

图12显示如上所述的背景区域、前景区域、混合区域、覆盖背景区域、和未覆盖背景区域。在与图11A所示的图像相对应的区域中，背景区域是静止部分，前景区域是运动部分，混合区域的覆盖背景区域是从背景变成前景的部分，和混合区域的未覆盖背景区域是从前景变成背景的部分。

图13显示沿着时间方向展开对与静止前景相对应的对象和与静止背景相对应的对象进行拍摄所得的图像中、一个接一个排列成一行的像素的像素值所获得的模型图。例如，可以选择屏幕中排列在一行上的像素，作为一个接一个排列成一行的像素。

图13所示F01到F04表示的像素值是与静止前景对象相对应的像素的像素值。图13所示B01到B04表示的像素值是与静止背景对象相对应的像素的像素值。

图13中的垂直方向对应于时间，并且图13中时间自上而下的流逝。图13中长方形的上侧位置对应于传感器开始把输入光转换成电荷的时间，和图13中长方形的下侧位置对应于传感器结束把输入光转换成电荷的时间。也就是说，图13中从长方形的上侧到下侧的距离对应于快门时间。

下面假定例如快门时间等于帧大小(size)来描述图13中所示的像素。

图13中的水平方向对应于在图11A中所述的空间方向X。更明确地说，如图13中的例子所示，从图13中用“F01”表示的长方形的左侧到用“B04”表示的长方形的右侧的距离是像素间距的8倍长，也就是说，对应于8个连续的像素。

在前景对象和背景对象保持静止的情况下，输入到传感器的光在与快门时间相对应的间隔内不会发生改变。

将与快门时间相对应的间隔分割成长度相等的两个或更多个间隔。例如，在虚拟分割数是4的情况下，图13所示的模型图可以用图14所示的模型图来表示。虚拟分割数可以根据快门时间内与前景相对应的对象的运动量v相对应地设置。例如，当运动量v是4时，虚拟分割数设置为4，并且把与快门时间相对应的间隔分割成4个部分。

图中的最上行对应于从打开快门开始的第1个分(divided)间隔。图中第2行对应于从打开快门开始的第2个分间隔。图中第3行对应于从打开快门开始的第3个分间隔。图中第4行对应于从打开快门开始的第4个分间隔。

根据运动量v分割的快门时间在下文中也被称为“快门时间/v”。

当与前景相对应的对象静止时，由于输入传感器的光不发生改变，因此前景成分F01/v等于像素值F01除以虚拟分割数所得的值。类似地，当与前景相对应的对象静止时，前景成分F02/v等于像素值F02除以虚拟分割数所得的值，前景成分F03/v等于像素值F03除以虚拟分割数所得的值，和前景成分F04/v等于像素值F04除以虚拟分割数所得的值。

当与背景相对应的对象静止时，由于输入传感器的光不发生改变，因此背景成分B01/v等于像素值B01除以虚拟分割数所得的值。类似地，当与背景相对应的对象静止时，背景成分B02/v等于像素值B02除以虚拟分割数所得的值，背景成分B03/v等于像素值B03除以虚拟分割数所得的值，和背景成分B04/v等于像素值B04除以虚拟分割数所得的值。

更具体地说，当与前景相对应的对象静止时，在与快门时间相对应的间隔内，输入传感器的、与前景对象相对应的光不发生改变。因此，与从快门打开算起的快门时间/v的第1部分相对应的前景成分F01/v、与从快门打开算起的快门时间/v的第2部分相对应的前景成分F01/v、与从快门打开算起的快门时间/v的第3部分相对应的前景成分F01/v、和与从快门打开算起的快门时间/v的第4部分相对应的前景成分F01/v是相同的。F02/v到F04/v具有与F01/v相同的关系。

当与背景相对应的对象静止时，在与快门时间相对应的间隔内，输入传感器的、与背景对象相对应的光不发生改变。因此，与从快门打开算起的快门时间/v的第1部分相对应的背景成分B01/v、与从快门打开算起的快门时间/v的第2部分相对应的背景成分B01/v、与从快门打开算起的快门时间/v的第3部分相对应的背景成分B01/v、和与从快门打开算起的快门时间/v的第4部分相对应的背景成分B01/v是相同的。B02/v到B04/v具有与B01/v相同的关系。

现在描述在与对背景相对应的对象保持静止的同时，与前景相对应的对象发生移动的情况。

图15显示当与前景相对应的对象在图15中朝着右侧移动时，沿着时间方向展开包括覆盖背景区域的一行上的像素的像素值所获得的模型图。在图15中，运动量v是4。由于一个帧是一个短间隔，因此，可以假设与前景相对应的对象是作恒速运动的刚体。在图15中，与前景相对应的对象图像发生移动，致使在下一个帧被显示时位于相对于基准帧向右4个像素的位置上。

在图15中，最左边像素到第4个像素属于前景区域。在图15中，从最左算起第5个像素到第7个像素属于混合区域的覆盖背景区域。在图15中，最右边像素属于背景区域。

由于与前景相对应的对象发生移动，致使随着时间的流逝逐渐覆盖了与背景相对应的对象。因此，在与快门时间相对应的间隔的某个时间点上，包含在属于覆盖背景区域的像素的像素值中的成分从背景成分变成前景成分。

例如，图15中用粗线框(frame)围绕的像素值M由方程式(10)表示：

M＝B02/v+B02/v+F07/v+F06/v                          (10)

例如，由于从左边算起第5个像素包括与快门时间/v的一个部分相对应的背景成分和与快门时间/v的三个部分相对应的前景成分，因此，从左边算起第5个像素的混合比α是1/4。由于从左边算起第6个像素包括与快门时间/v的两个部分相对应的背景成分和与快门时间/v的两个部分相对应的前景成分，因此，从左边算起第6个像素的混合比α是1/2。由于从左边算起第7个像素包括与快门时间/v的三个部分相对应的背景成分和与快门时间/v的一个部分相对应的前景成分，因此，从左边算起第7个像素的混合比α是3/4。

可以假设与前景相对应的对象是刚体和前景图像作恒速运动，致使被显示在下一个帧中向右4个像素的位置上。因此，例如，图15中从左边算起第4个像素的相应于快门打开算起的快门时间/v的第1部分的前景成分F07/v等于图15中从左边算起第5个像素的与从快门打开算起的快门时间/v的第2部分相对应的前景成分。类似地，前景成分F07/v分别等于图15中从左边算起第6个像素的与从快门打开算起的快门时间/v的第3部分相对应的前景成分、和图15中从左边算起第7个像素的与从快门打开算起的快门时间/v的第4部分相对应的前景成分。

可以假设与前景相对应的对象是刚体和前景图像作恒速运动，致使被显示在下一个帧中向右4个像素的位置上。因此，例如，图15中从左边算起第3个像素的相应于从快门打开算起的快门时间/v的第1部分的前景成分F06/v等于图15中从左边算起第4个像素的与从快门打开算起的快门时间/v的第2部分相对应的前景成分。类似地，前景成分F06/v分别等于图15中从左边算起第5个像素的与从快门打开算起的快门时间/v的第3部分相对应的前景成分、和图15中从左边算起第6个像素的与从快门打开算起的快门时间/v的第4部分相对应的前景成分。

可以假设与前景相对应的对象是刚体和前景图像作恒速运动，致使被显示在下一个帧中向右4个像素的位置上。因此，例如，图15中从左边算起第2个像素的相应于从快门打开算起的快门时间/v的第1部分的前景成分F05/v等于图15中从左边算起第3个像素的与从快门打开算起的快门时间/v的第2部分相对应的前景成分。类似地，前景成分F05/v分别等于图15中从左边算起第4个像素的与从快门打开算起的快门时间/v的第3部分相对应的前景成分、和图15中从左边算起第5个像素的与从快门打开算起的快门时间/v的第4部分相对应的前景成分。

可以假设与前景相对应的对象是刚体和前景图像作恒速运动，致使被显示在下一个帧中向右4个像素的位置上。因此，例如，图15中最左边像素的与从快门打开算起的快门时间/v的第1部分相对应的前景成分F05/v等于图15中从左边算起第2个像素的与从快门打开算起的快门时间/v的第2部分相对应的前景成分。类似地，前景成分F04/v分别等于图15中从左边算起第3个像素的与从快门打开算起的快门时间/v的第3部分相对应的前景成分、和图15中从左边算起第4个像素的与从快门打开算起的快门时间/v的第4部分相对应的前景成分。

如上所述，由于与运动对象相对应的前景区域包括运动模糊，因此，可以认为这是“失真区域”。

图16显示当与前景相对应的对象在图16中朝着右侧移动时，沿着时间方向展开包括未覆盖背景区域的一行上的像素的像素值所获得的模型图。在图16中，运动量v是4。由于一个帧是一个短间隔，因此，可以假设与前景相对应的对象是一个刚体并作恒速运动。在图16中，与前景相对应的对象图像向右移动，因此，当在下一个帧中被显示时位于相对于基准帧向右4个像素的位置上。

在图16中，最左边像素到第4个像素属于背景区域。在图16中，从最左算起第5个像素到第7个像素属于作为未覆盖背景区域的混合区域。在图16中，最右边像素属于前景区域。

由于与已经掩藏了与背景相对应的对象的前景而相对应的对象发生移动，致使随着时间的流逝逐渐从与背景相对应的对象的前面移走。因此，在与快门时间相对应的间隔的某个时间点上，包含在属于未覆盖背景区域的像素的像素值中的成分从前景成分变成背景成分。

例如，图16中用粗线框围绕的像素值M′由方程式(11)表示：

M′＝F02/v+F01/v+B26/v+B26/v                  (11)

例如，从左边算起第5个像素包括与快门时间/v的三个部分相对应的背景成分和与快门时间/v的一个部分相对应的前景成分，因此，从左边算起第5个像素的混合比α是3/4。从左边算起第6个像素包括与快门时间/v的两个部分相对应的背景成分和与快门时间/v的两个部分相对应的前景成分，因此，从左边算起第6个像素的混合比α是1/2。从左边算起第7个像素包括与快门时间/v的一个部分相对应的背景成分和与快门时间/v的三个部分相对应的前景成分，因此，从左边算起第7个像素的混合比α是1/4。

当推广方程式(10)和方程式(11)时，像素值M可以由方程式(12)表示： $M=\mathrm{\α}\·B+\underset{i}{\mathrm{\Σ}}\mathrm{Fi}/v---\left(12\right)$

这里，α表示混合比。B表示背景的像素值，和Fi/v表示前景成分。

可以假设与前景相对应的对象是作恒速运动的刚体，并且运动量v是4。因此，例如，图16中从左边算起第5个像素的与从快门打开算起的快门时间/v的第1部分相对应的前景成分F01/v等于图16中从左边算起第6个像素的与从快门打开算起的快门时间/v的第2部分相对应的前景成分。类似地，前景成分F01/v分别等于图16中从左边算起第7个像素的与从快门打开算起的快门时间/v的第3部分相对应的前景成分、和图16中从左边算起第8个像素的与从快门打开算起的快门时间/v的第4部分相对应的前景成分。

可以假设与前景相对应的对象是作恒速运动的刚体，并且运动量v是4。因此，例如，图16中从左边算起第6个像素的与从快门打开算起的快门时间/v的第1部分的前景成分F02/v等于图16中从左边算起第7个像素的与从快门打开算起的快门时间/v的第2部分相对应的前景成分。类似地，前景成分F07/v等于图16中从左边算起第8个像素的与从快门打开算起的快门时间/v的第3部分相对应的前景成分。

可以假设与前景相对应的对象是作恒速运动的刚体，并且运动量v是4。因此，例如，图16中从左边算起第7个像素的与从快门打开算起的快门时间/v的第1部分相对应的前景成分F03/v等于图16中从左边算起第8个像素的与从快门打开算起的快门时间/v的第2部分相对应的前景成分。

已经参照图14到图16描述了虚拟分割数是4的情况。虚拟分割数对应于运动量v。运动量v一般对应于与前景相对应的对象的运动速度。例如，如果与前景相对应的对象发生移动，致使当在下一帧中被显示时显示在相对于给定帧向右4个像素的位置上，则运动量v设定为4。根据运动量v，虚拟分割数也设定为4。类似地，当与前景相对应的对象发生移动，致使当在下一帧中被显示时显示在相对于给定帧向右6个像素的位置上，则运动量v设定为6，并且虚拟分割数也设定为6。

图17和图18显示了如上所述的前景区域、背景区域以及由覆盖背景区域和未覆盖背景区域组成的混合区域与相应于快门时间的分间隔的前景成分和背景成分之间的关系。

图17显示了从包括与在静止背景的前面移动的对象相对应的前景的图像中提取前景区域、背景区域、和混合区域的像素的例子。在图17所示的例子中，与前景相对应的对象在屏幕上沿着水平方向移动。

帧#n+1是接在帧#n之后的帧，和帧#n+2是接在帧#n+1之后的帧。

从帧#n到帧#n+2之一中提取前景区域、背景区域、和混合区域的像素，运动量v设置为4。图18显示了沿着时间方向展开的提取像素的像素值所获得的模型。

由于与前景相对应的对象发生移动，因此，前景区域的像素值由与快门时间/v的间隔相对应的4个不同前景成分组成。例如，图18所示的前景区域的像素的最左边像素由F01/v、F02/v、F03/v、和F04/v组成。也就是说，前景区域的像素包含了运动模糊。

由于与背景相对应的对象保持静止，因此，输入传感器的、与背景相对应的光在快门时间内不发生改变。在这种情况下，背景区域的像素值不包含运动模糊。

属于由覆盖背景区域或未覆盖背景区域组成的混合区域的像素的像素值由前景成分和背景成分组成。

下面描述当与对象相对应的图像发生移动时，沿着时间方向展开在多个帧的单行上一个接一个排列并位于相应帧中同一位置上的像素的像素值所获得的模型。例如，当与对象相对应的图像在屏幕上沿着水平方向移动时，可以选择在屏幕上排列的像素，作为一个接一个排列的像素。

图19显示沿着时间方向展开在拍摄与静止背景相对应的对象所得的图像的三个帧中一个接一个排列并位于相应帧中同一位置上的像素所获得的模型图。帧#n是接在#n-1之后的帧，和帧#n+1是接在#n之后的帧。其它帧用相同的方式表示。

图19所示的像素值B01到B12是与静止背景的对象相对应的像素的像素值。由于与背景相对应的对象保持静止，因此，在帧#n-1到帧#n+1中，相应像素的像素值不发生改变。例如，在与帧#n-1中具有像素值B05相对应的位置上帧#n中的像素和帧#n+1中的像素分别具有像素值B05。

图20显示沿着时间方向展开在拍摄与图20中向右移动的前景相对应的对象、以及与静止背景相对应的对象所得图像的三个帧中一个接一个排列并位于相应帧中同一位置上的像素的像素值所获得的模型图。图20所示的模型包括覆盖背景区域。

在图20中可以假设与前景相对应的对象是作恒速运动的刚体，并且该对象发生移动，致使被显示在下一个帧中向右4个像素的位置上。因此，运动量v是4，虚拟分割数也是4。

例如，与从快门打开算起的快门时间/v的第1部分相对应的图20中帧#n-1的最左边像素的前景成分是F12/v，与从快门打开算起的快门时间/v的第2部分相对应的图20中从左边算起第2个像素的前景成分也是F12/v。与从快门打开算起的快门时间/v的第3部分相对应的图20中从左边算起第3个像素的前景成分，和与从快门打开算起的快门时间/v的第4部分相对应的图20中从左边算起第4个像素的前景成分都是F12/v。

与从快门打开算起的快门时间/v的第2部分相对应的图20中的帧#n-1中的最左边像素的前景成分是F11/v，和与从快门打开算起的快门时间/v的第3部分相对应的图20中从左边算起第2个像素的前景成分也是F11/v。与从快门打开算起的快门时间/v的第4部分相对应的图20中从左边算起第3个像素的前景成分是F11/v。

与从快门打开算起的快门时间/v的第3部分相对应的图20中的帧#n-1中的最左边像素的前景成分是F10/v，和与从快门打开算起的快门时间/v的第4部分相对应的图20中从左边算起第2个像素的前景成分也是F10/v。与从快门打开算起的快门时间/v的第4部分相对应的图20中的帧#n-1中的最左边像素的前景成分是F09/v。

由于与背景相对应的对象保持静止，因此，与从快门打开算起的快门时间/v的第1部分相对应的图20中的帧#n-1中从左边算起第2个像素的背景成分是B01/v。与从快门打开算起的快门时间/v的第1和第2部分相对应的图20中的帧#n-1中从左边算起第3个像素的背景成分都是B02/v。与从快门打开算起的快门时间/v的第1到第3部分相对应的图20中的帧#n-1中从左边算起第4个像素的背景成分B03/v。

在图20中的帧#n-1中，最左边的像素属于前景区域，和从左边算起第2个到第4个像素属于作为覆盖背景区域的混合区域。

在图20中的帧#n-1中从左边算起的第5个像素到第12个像素属于背景区域，和其像素值分别是B04到B11。

在图20中的帧#n中从左边算起的第1个像素到第5个像素属于前景区域。在帧#n中的前景区域中快门时间/v的前景成分是F05/v到F12/v之一。

可以假设与前景相对应的对象是作恒速运动的刚体并发生移动，致使被显示在下一个帧中向右4个像素的位置上。因此，与从快门打开算起的快门时间/v的第1部分相对应的图20中的帧#n中从左边算起第5个像素的前景成分是F12/v。与从快门打开算起的快门时间/v的第2部分相对应的图20中从左边算起第6个像素的前景成分也是F12/v。与从快门打开算起的快门时间/v的第3部分相对应的图20中从左边算起第7个像素的前景成分、和与从快门打开算起的快门时间/v的第4部分相对应的图20中从左边算起第8个像素的前景成分都是F12/v。

与从快门打开算起的快门时间/v的第2部分相对应的图20中的帧#n中从左边算起第5个像素的前景成分是F11/v，和与从快门打开算起的快门时间/v的第3部分相对应的图20中从左边算起第6个像素的前景成分也是F11/v。与从快门打开算起的快门时间/v的第4部分相对应的图20中从左边算起第7个像素的前景成分是F11/v。

与从快门打开算起的快门时间/v的第3部分相对应的图20中的帧#n中从左边算起第5个像素的前景成分是F10/v，和与从快门打开算起的快门时间/v的第4部分相对应的图20中从左边算起第6个像素的前景成分也是F10/v。与从快门打开算起的快门时间/v的第4部分相对应的图20中从左边算起第5个像素的前景成分是F09/v。

由于与背景相对应的对象保持静止，因此，与从快门打开算起的快门时间/v的第1部分相对应的图20中的帧#n中从左边算起第6个像素的背景成分是B05/v。与从快门打开算起的快门时间/v的第1和第2部分相对应的图20中的帧#n中从左边算起第7个像素的背景成分都是B06/v。与从快门打开算起的快门时间/v的第1到第3部分相对应的图20中的帧#n中从左边算起第8个像素的背景成分B07/v。

在图20中的帧#n中，从左边算起第6个到第8个像素属于作为覆盖背景区域的混合区域。

在图20中的帧#n中从左边算起的第9个像素到第12个像素属于背景区域，和像素值分别是B08到B11。

在图20中的帧#n+1中从左边算起的第1个到第9个像素属于前景区域。在帧#n+1中的前景区域中快门时间/v的前景成分是F01/v到F12/v之一。

可以假设与前景相对应的对象是作恒速运动的刚体并发生移动，致使被显示在下一个帧中向右边4个像素的位置上。因此，与从快门打开算起的快门时间/v的第1部分相对应的图20中的帧#n+1中从左边算起第9个像素的前景成分是F12/v，和与从快门打开算起的快门时间/v的第2部分相对应的图20中从左边算起第10个像素的前景成分也是F12/v。与从快门打开算起的快门时间/v的第3部分相对应的图20中从左边算起第11个像素的前景成分、和与从快门打开算起的快门时间/v的第4部分相对应的图20中从左边算起第12个像素的前景成分都是F12/v。

与从快门打开算起的快门时间/v的第2部分相对应的图20中的帧#n+1中从左边算起第9个像素的前景成分是F11/v，和与从快门打开算起的快门时间/v的第3部分相对应的图20中从左边算起第10个像素的前景成分也是F11/v。与从快门打开算起的快门时间/v的第4部分相对应的图20中从左边算起第11个像素的前景成分是F11/v。

与从快门打开算起的快门时间/v的第3部分相对应的图20中的帧#n+1中从左边算起第9个像素的前景成分是F10/v，和与从快门打开算起的快门时间/v的第4部分相对应的图20中从左边算起第10个像素的前景成分也是F10/v。与从快门打开算起的快门时间/v的第4部分相对应的图20中从左边算起第9个像素的前景成分是F09/v。

由于与背景相对应的对象保持静止，因此，与从快门打开算起的快门时间/v的第1部分相对应的图20中的帧#n+1中从左边算起第10个像素的背景成分是B09/v。与从快门打开算起的快门时间/v的第1和第2部分相对应的图20中的帧#n+1中从左边算起第11个像素的背景成分都是B10/v。与从快门打开算起的快门时间/v的第1到第3部分相对应的图20中的帧#n+1中从左边算起第12个像素的背景成分B11/v。

在图20中的帧#n+1中，从左边算起第10个到第12个像素属于作为覆盖背景区域的混合区域。

图21是从图20所示的像素值中提取前景成分所获得的图像模型图。

图22显示沿着时间方向展开在拍摄图22中与前景相对应的向右移动的对象、以及与静止背景相对应的对象所得图像的三个帧中一个接一个排列并位于相应帧的同一位置上的像素的像素值所获得的模型图。图22所示的模型图包括未覆盖背景区域。

在图22中，可以假设与前景相对应的对象是作恒速运动的刚体并发生移动，致使被显示在下一个帧中向右边4个像素的位置上。因此，运动量v是4。

例如，与从快门打开算起的快门时间/v的第1部分相对应的图22中的帧#n-1的最左边像素的前景成分是F13/v，与从快门打开算起的快门时间/v的第2部分相对应的图22中从左边算起第2个像素的前景成分也是F13/v。与从快门打开算起的快门时间/v的第3部分相对应的图22中从左边算起第3个像素的前景成分，和与从快门打开算起的快门时间/v的第4部分相对应的图22中从左边算起第4个像素的前景成分都是F13/v。

与从快门打开算起的快门时间/v的第1部分相对应的图22中的帧#n-1中从左边算起第2个像素的前景成分是F14/v，和与从快门打开算起的快门时间/v的第2部分相对应的图22中从左边算起第3个像素的前景成分也是F14/v。与从快门打开算起的快门时间/v的第1部分相对应的图22中从左边算起第3个像素的前景成分是F15/v。

由于与背景相对应的对象保持静止，因此，与从快门打开算起的快门时间/v的第2到4部分相对应的图22中的帧#n-1中的最左边像素的背景成分是B25/v。与从快门打开算起的快门时间/v的第3和第4部分相对应的图22中的帧#n-1中从左边算起第2个像素的背景成分都是B26/v。与从快门打开算起的快门时间/v的第4部分相对应的图22中的帧#n-1中从左边算起第3个像素的背景成分B27/v。

在图22中的帧#n-1中，最左边像素到第3个像素属于作为未覆盖背景区域的混合区域。

在图22中的帧#n-1中从左边算起的第4个像素到第12个像素属于前景区域。帧中的前景成分是F13/v到F24/v之一。

在图22中的帧#n中最左边像素到从左边算起的第4个像素属于背景区域，和像素值分别是B25到B28。

可以假设与前景相对应的对象是作恒速运动的刚体并发生移动，致使被显示在下一个帧中向右4个像素的位置上。因此，与从快门打开算起的快门时间/v的第1部分相对应的图22中的帧#n中从左边算起第5个像素的前景成分是F13/v，和与从快门打开算起的快门时间/v的第2部分相对应的图22中从左边算起第6个像素的前景成分也是F13/v。与从快门打开算起的快门时间/v的第3部分相对应的图22中从左边算起第7个像素的前景成分、和与从快门打开算起的快门时间/v的第4部分相对应的图22中从左边算起第8个像素的前景成分都是F13/v。

与从快门打开算起的快门时间/v的第1部分相对应的图22中的帧#n中从左边算起第6个像素的前景成分是F14/v，和与从快门打开算起的快门时间/v的第2部分相对应的图22中从左边算起第7个像素的前景成分也是F14/v。与从快门打开算起的快门时间/v的第1部分相对应的图22中从左边算起第8个像素的前景成分是F15/v。

由于与背景相对应的对象保持静止，因此，与从快门打开算起的快门时间/v的第2到第4部分相对应的图22中的帧#n中从左边算起第5个像素的背景成分是B29/v。与从快门打开算起的快门时间/v的第3和第4部分相对应的图22中的帧#n中从左边算起第6个像素的背景成分都是B30/v。与从快门打开算起的快门时间/v的第4部分相对应的图22中的帧#n中从左边算起第7个像素的背景成分B31/v。

在图22中的帧#n中，从左边算起第5个到第7个像素属于作为未覆盖背景区域的混合区域。

在图22中的帧#n中从左边算起的第8个像素到第12个像素属于前景区域。与帧#n中的前景区域中快门时间/v的间隔相对应的值是F13/v到F20/v之一。

在图22中的帧#n+1中的最左边像素到从左边算起的第8个像素属于背景区域，和其像素值分别是B25到B32。

可以假设与前景相对应的对象是作恒速运动的刚体并发生移动，致使被显示在下一个帧中向右边4个像素的位置上。因此，与从快门打开算起的快门时间/v的第1部分相对应的图22中的帧#n+1中从左边算起第9个像素的前景成分是F13/v，和与从快门打开算起的快门时间/v的第2部分相对应的图22中从左边算起第10个像素的前景成分也是F13/v。与从快门打开算起的快门时间/v的第3部分相对应的图22中从左边算起第11个像素的前景成分、和与从快门打开算起的快门时间/v的第4部分相对应的图22中从左边算起第12个像素的前景成分都是F13/v。

与从快门打开算起的快门时间/v的第1部分相对应的图22中的帧#n+1中从左边算起第10个像素的前景成分是F14/v，和与从快门打开算起的快门时间/v的第2部分相对应的图22中从左边算起第11个像素的前景成分也是F14/v。与从快门打开算起的快门时间/v的第1部分相对应的图22中从左边算起第12个像素的前景成分是F15/v。

由于与背景相对应的对象保持静止，因此，与从快门打开算起的快门时间/v的第2到第4部分相对应的图22中的帧#n+1中从左边算起第9个像素的背景成分都是B33/v。与从快门打开算起的快门时间/v的第3和第4部分相对应的图22中的帧#n+1中从左边算起第10个像素的背景成分都是B34/v。与从快门打开算起的快门时间/v的第4部分相对应的图22中的帧#n+1中从左边算起第11个像素的背景成分B35/v。

在图22中的帧#n+1中，从左边算起第9个到第11个像素属于作为未覆盖背景区域的混合区域。

图22中的帧#n+1中从左边算起的第12个像素属于前景区域。在帧#n+1中的前景区域中快门时间/v的前景成分是F13/v到F16/v之一。

图23显示从图22所示的像素值中提取前景成分所获得的图像模型图。

返回到图7，区域指定单元103利用多个帧中的像素值，指定指示输入图像的各个像素属于前景区域、背景区域、覆盖背景区域或未覆盖背景区域中哪一个的标志，并且把标志供应给混合比计算器104和运动模糊调整单元106，作为区域信息。

混合比计算器104根据多个帧中的像素值和区域信息，为包含在混合区域内的每一个像素计算混合比α，并且把计算的混合比α供应给前景/背景分离器105。

前景/背景分离器105根据多个帧中的像素值、区域信息、和混合比α，提取只由前景成分组成的前景成分图像，并且供应给运动模糊调整单元106。

运动模糊调整单元106根据前景/背景分离器105供应的前景成分图像、运动检测器102供应的运动向量、和区域指定单元103供应的区域信息，调整包含在前景图像中的运动模糊量，并且输出已经经过运动模糊调整的前景成分图像。

下面参照图24的流程图描述图像处理设备所执行的三维图像合成处理。

在步骤S11中，距离信息获取单元71根据作为二维图像输入的输入图像获取指示到包含在输入图像中的前景对象的距离的距离信息。距离信息获取单元71将该距离信息供应给视差计算器72。

在步骤S12中，视差计算器72根据上述距离信息计算视差，并将所计算的视差供应给三维图像合成处理器73。

在步骤S13中，三维图像合成处理器73从输入图像中提取构成前景对象的前景成分，并提取构成背景对象的背景成分，从而将输入图像分离成前景成分图像和背景成分图像。

在步骤S14中，遮蔽校正部分92校正在前景对象后面的背景成分图像的像素、以及与混合区域相对应的背景成分图像的像素的像素值。

在步骤S15中，前景视差图像生成器93根据视差移动前景成分图像，并生成右眼前景成分图像和左眼前景成分图像。

在步骤S16中，合成器94-1通过将右眼前景成分图像和背景成分图像合成生成右眼图像，并且合成器94-2通过将左眼前景成分图像和背景成分图像合成生成左眼图像。然后结束处理。

下面参照图25的流程图描述在步骤S13中前景/背景成分图像生成器91所执行的对象分离处理。在步骤S21中，根据输入图像，区域指定单元103进行区域指定处理，生成指示输入图像的每个像素属于前景区域、背景区域、覆盖背景区域、或未覆盖背景区域的哪一个的区域信息。区域指定处理以后再加以描述。区域指定单元103把生成的区域信息供应给混合比计算器104、前景/背景分离器105和运动模糊调整单元106。

在步骤S21中，区域指定单元103可以根据输入图像，生成指示输入图像的每个像素属于前景区域、背景区域、或混合区域(对覆盖背景区域和未覆盖背景区域不加以区分)的哪一个的区域信息。在这种情况下，前景/背景分离器105和运动模糊调整单元106根据运动向量的方向，确定混合区域是覆盖背景区域还是未覆盖背景区域。例如，如果输入图像在运动向量的方向上按照前景区域、混合区域、和背景区域的顺序排列，则确定混合区域是覆盖背景区域。如果输入图像在运动向量的方向上按照背景区域、混合区域、和前景区域的顺序排列，则确定混合区域是未覆盖背景区域。

在步骤S22中，混合比计算器104根据输入图像和区域信息，为包含在混合区域内的每个像素计算混合比α。混合比计算的处理以后再作详细描述。混合比计算器104把计算的混合比α供应给遮蔽校正部分92，并把混合比α供应给前景/背景分离器105。

在步骤S23中，前景/背景分离器105根据区域信息和混合比α，从输入图像中提取前景成分，并且将其作为前景成分图像供应给运动模糊调整单元106。前景/背景分离器105将分离的背景成分图像供应给遮蔽校正部分92。

在步骤S24中，运动模糊调整单元106根据运动向量和区域信息，生成指示沿着运动方向排列并属于未覆盖背景区域、前景区域、或覆盖背景区域之一的连续像素的位置的处理单元，并且调整与处理单元相对应的包含在前景成分中的运动模糊量。调整运动模糊量的处理以后再加以描述。

运动模糊调整单元106生成与调整过运动模糊的前景成分图像相对应的区域信息和混合比α。

在步骤S25中，前景/背景成分图像生成器91确定整个屏幕的处理是否已经结束。如果确定对整个屏幕的处理还没有结束，流程转到步骤S24，重复调整与处理单元相对应的前景成分的运动模糊量的处理。

如果在步骤S25中确定对整个屏幕的处理已经结束，将已经经过运动模糊调整的前景成分图像供应给前景视差图像生成器93，并将生成的区域信息和混合比α供应给前景视差图像生成器93。然后处理结束。

通过这种方式，前景/背景成分图像生成器91可以通过分离前景和背景，调整包含在前景中的运动模糊量。也就是说，前景/背景成分图像生成器91可以调整包含在表示前景像素的像素值的取样数据中的运动模糊的数量。

下面描述区域指定单元103、混合比计算器104、前景/背景分离器105、运动模糊调整单元106的配置。

图26是显示区域指定单元103的配置例子的方块图。图26所示的区域指定单元103不使用运动向量。帧存储器201以帧为单位存储输入图像。当处理的对象是帧#n时，帧存储器201存储比帧#n早2个帧的帧#n-2、比帧#n早1个帧的帧#n-1、帧#n、比帧#n晚1个帧的帧#n+1、和比帧#n晚2个帧的帧#n+2。

静止/运动确定部分202-1从帧存储器201中读出帧#n+2中、处在与帧#n中像素所属区域已经确定的指定像素相同位置上的像素的像素值，以及读出帧#n+1中、处在与帧#n中所述指定像素相同位置上的像素的像素值，并且计算读出像素值之差的绝对值。静止/运动确定部分202-1确定帧#n+2中的像素值与帧#n+1中的像素值之差的绝对值是否大于预定阈值Th。如果确定差值的绝对值大于阈值Th，则静止/运动确定部分202-1把指示运动的静止/运动判断结果供应给区域确定部分203-1。如果确定帧#n+2中的像素值与帧#n+1中的像素值之差的绝对值小于等于阈值Th，则静止/运动确定部分202-1把指示“静止”的静止/运动判断结果供应给区域确定部分203-1。

静止/运动确定部分202-2从帧存储器201中读出帧#n中像素所属区域已经确定的指定像素的像素值，以及读出帧#n+1中、处在与帧#n中所述指定像素相同位置上的像素的像素值，并且计算像素值之差的绝对值。静止/运动确定部分202-2确定帧#n+1中的像素值与帧#n中的像素值之差的绝对值是否大于预定阈值Th。如果确定像素值之差的绝对值大于阈值Th，则把指示“运动”的静止/运动判断结果供应给区域确定部分203-1和区域确定部分203-2。如果确定帧#n+1中的像素的像素值与帧#n中的像素的像素值之差的绝对值小于等于阈值Th，则静止/运动确定部分202-2把指示“静止”的静止/运动判断结果供应给区域确定部分203-1和区域确定部分203-2。

静止/运动确定部分202-3从帧存储器201中读出帧#n中像素所属区域已经确定的指定像素的像素值，以及读出帧#n-1中、处在与帧#n中所述指定像素相同位置上的像素的像素值，并且计算像素值之差的绝对值。静止/运动确定部分202-3确定帧#n中的像素值与帧#n-1中的像素值之差的绝对值是否大于预定阈值Th。如果确定像素值之差的绝对值大于阈值Th，则把指示“运动”的静止/运动判断结果供应给区域确定部分203-2和区域确定部分203-3。如果确定帧#n中的像素的像素值与帧#n-1中的像素的像素值之差的绝对值小于等于阈值Th，则静止/运动确定部分202-3把指示“静止”的静止/运动判断结果供应给区域确定部分203-2和区域确定部分203-3。

静止/运动确定部分202-4从帧存储器201中读出帧#n-1中、处在与帧#n中像素所属区域已经确定的指定像素相同位置上的像素的像素值，以及读出帧#n-2中、处在与帧#n中所述指定像素相同位置上的像素的像素值，并且计算像素值之差的绝对值。静止/运动确定部分202-4确定帧#n-1中的像素值与帧#n-2中的像素值之差的绝对值是否大于预定阈值Th。如果确定像素值之差的绝对值大于阈值Th，则把指示“运动”的静止/运动判断结果供应给区域确定部分203-3。如果确定帧#n-1中的像素的像素值与帧#n-2中的像素的像素值之差的绝对值小于等于阈值Th，则静止/运动确定部分202-4把指示“静止”的静止/运动判断结果供应给区域确定部分203-3。

当静止/运动确定部分202-1供应的静止/运动判断结果指示“静止”，和静止/运动确定部分202-2供应的静止/运动判断结果指示“运动”时，区域确定部分203-1确定帧#n中所述指定像素属于未覆盖背景区域，并且把与所述指定像素相对应的未覆盖背景区域确定标志设置成指示像素属于未覆盖背景区域的“1”。

当静止/运动确定部分202-1供应的静止/运动判断结果指示“运动”，或静止/运动确定部分202-2供应的静止/运动判断结果指示“静止”时，区域确定部分203-1判断帧#n中所述指定像素不属于未覆盖背景区域，并且把所述指定像素相对应的未覆盖背景区域确定标志设置成指示像素不属于未覆盖背景区域的“0”。

区域确定部分203-1把如上所述，已经设置成“1”或“0”的未覆盖背景区域确定标志供应给确定标志存储帧存储器204。

当静止/运动确定部分202-2供应的静止/运动判断结果指示“静止”，和静止/运动确定部分202-3供应的静止/运动判断结果指示“静止”时，区域确定部分203-2确定帧#n中所述指定像素属于静止区域，并且把与所述指定像素相对应的静止区域确定标志设置成指示像素属于静止区域的“1”。

当静止/运动确定部分202-2供应的静止/运动判断结果指示“运动”，或静止/运动确定部分202-3供应的静止/运动判断结果指示“运动”时，区域确定部分203-2确定帧#n中所述指定像素不属于静止区域，并且把与所述指定像素相对应的静止区域确定标志设置成指示像素不属于静止区域的“0”。

区域确定部分203-2把如上所述，已经设置成“1”或“0”的静止区域确定标志供应给确定标志存储帧存储器204。

当静止/运动确定部分202-2供应的静止/运动判断结果指示“运动”，和静止/运动确定部分202-3供应的静止/运动判断结果指示“运动”时，区域确定部分203-2确定帧#n中所述指定像素属于运动区域，并且把与所述指定像素相对应的运动区域确定标志设置成指示所述指定像素属于运动区域的“1”。

当静止/运动确定部分202-2供应的静止/运动判断结果指示“静止”，或静止/运动确定部分202-3供应的静止/运动判断结果指示“静止”时，区域确定部分203-2判断帧#n中所述指定像素不属于运动区域，并且把与所述指定像素相对应的运动区域确定标志设置成指示像素不属于运动区域的“0”。

区域确定部分203-2把如上所述，已经设置成“1”或“0”的运动区域确定标志供应给确定标志存储帧存储器204。

当静止/运动确定部分202-3供应的静止/运动判断结果指示“运动”，和静止/运动确定部分202-4供应的静止/运动判断结果指示“静止”时，区域确定部分203-3确定帧#n中所述指定像素属于覆盖背景区域，并且把与所述指定像素相对应的覆盖背景区域确定标志设置成指示所述指定像素属于覆盖背景区域的“1”。

当静止/运动确定部分202-3供应的静止/运动判断结果指示“静止”，或静止/运动确定部分202-4供应的静止/运动判断结果指示“运动”时，区域确定部分203-3确定帧#n中所述指定像素不属于覆盖背景区域，并且把与所述指定像素相对应的覆盖背景区域确定标志设置成指示所述指定像素不属于覆盖背景区域的“0”。

区域确定部分203-3把如上所述，已经设置成“1”或“0”的覆盖背景区域确定标志供应给确定标志存储帧存储器204。

确定标志存储帧存储器204存储区域确定部分203-1供应的未覆盖背景区域确定标志、区域确定部分203-2供应的静止区域确定标志、区域确定部分203-2供应的运动区域确定标志、和区域确定部分203-3供应的覆盖背景区域确定标志。

确定标志存储帧存储器204把存储在其中的未覆盖背景区域确定标志、静止区域确定标志、运动区域确定标志、和覆盖背景区域确定标志供应给合成单元205。根据确定标志存储帧存储器204供应的未覆盖背景区域确定标志、静止区域确定标志、运动区域确定标志、和覆盖背景区域确定标志，合成单元205生成指示每个像素属于未覆盖背景区域、静止区域、运动区域、或覆盖背景区域的哪一个的区域信息，并且把区域信息供应给确定标志存储帧存储器206。

确定标志存储帧存储器206存储合成单元205供应的区域信息，并且输出存储的区域信息。

现在参照图27到图31描述区域指定单元103进行处理的例子。

当与前景相对应的对象发生移动时，屏幕上与对象相对应的图像的位置随着每个帧而改变。如图27所示，在帧#n中，处在Y_n(x，y)所指示的位置上与对象相对应的图像在帧#n的下一帧#n+1中处在位置Y_n+1(x，y)上。

图28示出沿着时间方向展开在与前景对象相对应的图像的运动方向上一个接一个排列的像素的像素值所获得的模型图。例如，如果与前景对象相对应的图像的运动方向相对于屏幕是水平的情况下，图28所示的模型是通过沿着时间方向展开一个接一个排列成一行的像素的像素值所获得的模型。

在图28中，帧#n中的行与帧#n+1中的行相同。

包含在帧#n中从左边算起第2个像素到第13个像素中的、与对象相对应的前景成分包含在帧#n+1中从左边算起第6个到第17个像素中。

在帧#n中，属于覆盖背景区域的像素是从左边算起的第11个到第13个像素，和属于未覆盖背景区域的像素是从左边算起的第2个到第4个像素。在帧#n+1中，属于覆盖背景区域的像素是从左边算起的第15个到第17个像素，和属于未覆盖背景区域的像素是从左边算起的第6个到第8个像素。

在图28所示的例子中，由于包含在帧#n中的前景成分在帧#n+1中移动了4个像素，因此，运动量v是4。与运动量v相对应，虚拟分割数也是4。

接着，对属于指定帧之前和之后的帧中的混合区域的像素的像素值的变化加以描述。

在图29中，在背景保持静止和前景的运动量v是4的帧#n中，属于覆盖背景区域的像素是从左边算起的第15个到第17个像素。由于运动量v是4，因此，在前一帧#n-1中，从左边算起的第15个到第17个像素只包括背景成分，并且属于背景区域。此外，在帧#n-1一帧之前的帧#n-2中，从左边算起的第15个到第17个像素只包括背景成分，并且属于背景区域。

由于与背景相对应的对象保持静止，因此，帧#n-1中从左边算起的第15个像素的像素值与帧#n-2中从左边算起的第15个像素的像素值没有发生变化。同样，帧#n-1中从左边算起的第16个像素的像素值与帧#n-2中从左边算起的第16个像素的像素值没有发生变化，和帧#n-1中从左边算起的第17个像素的像素值与帧#n-2中从左边算起的第17个像素的像素值没有发生变化。

也就是说，与帧#n中属于覆盖背景区域的像素相对应的帧#n-1和帧#n-2的像素只由背景成分组成，因此，像素值不会改变。这样，它们之间的差值的绝对值接近零。于是，静止/运动确定部分202-4作出与帧#n中属于混合区域的像素相对应的帧#n-1和帧#n-2的像素的静止/运动判断结果是“静止”的判断。

由于帧#n中属于覆盖背景区域的像素包括前景成分，因此，像素值与帧#n-1中的像素值只由背景成分组成的情况不同。于是，静止/运动确定部分202-3作出帧#n中属于混合区域的像素和与之相对应的帧#n-1中的像素的静止/运动判断结果是“运动”的判断。

如上所述，当静止/运动确定部分202-3供应指示“运动”的静止/运动判断结果，和静止/运动确定部分202-4供应指示“静止”的静止/运动判断结果时，区域确定部分203-3确定相应的像素属于覆盖背景区域。

在图30中，在背景保持静止和前景的运动量v是4的帧#n中，包含在未覆盖背景区域中的像素是从左边算起的第2个到第4个。由于运动量v是4，因此，在接在帧#n之后的帧#n+1中，从左边算起的第2个到第4个像素只包括背景成分，并且属于背景区域。此外，在接在帧#n+1之后的帧#n+2中，从左边算起的第2个到第4个像素只包含背景成分，并且属于背景区域。

由于与背景相对应的对象保持静止，因此，帧#n+2中从左边算起的第2个像素的像素值与帧#n+1中从左边算起的第2个像素的像素值没有发生变化。同样，帧#n+2中从左边算起的第3个像素的像素值与帧#n+1中从左边算起的第3个像素的像素值没有发生变化，和帧#n+2中从左边算起的第4个像素的像素值与帧#n+1中从左边算起的第4个像素的像素值没有发生变化。

也就是说，与帧#n中的未覆盖背景区域相对应的帧#n+1和帧#n+2的像素只由背景成分组成，因此，它们的像素值不会改变，这样，它们之间的差值的绝对值接近零。于是，静止/运动确定部分202-1作出与帧#n中属于混合区域的像素相对应的帧#n+1和帧#n+2的像素的静止/运动判断结果是“静止”的判断。

由于帧#n中属于未覆盖背景区域的像素包括前景成分，因此，像素值与帧#n+1中像素值只由背景成分组成的情况不同。于是，静止/运动确定部分202-2作出帧#n中属于混合区域的像素和帧#n+1中与之相对应的像素的静止/运动判断结果是“运动”的判断。

如上所述，当静止/运动确定部分202-2供应指示“运动”的静止/运动判断结果，和静止/运动确定部分202-1供应指示“静止”的静止/运动判断结果时，区域确定部分203-1确定相应的像素属于未覆盖背景区域。

图31显示区域指定单元103对帧#n的判断条件。当对帧#n-2中、处在与帧#n中将被处理的像素相同图像位置上的像素，和对帧#n-1中、处在与所述像素相同位置上的像素的判断结果为“静止”时，以及当对帧#n中的像素，和对帧#n-1中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“运动”时，区域指定单元103确定帧#n中的所述像素属于覆盖背景区域。

当对帧#n中的像素以及对帧#n-1中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“静止”时，以及当对帧#n中的像素和对帧#n+1中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“静止”时，区域指定单元103确定帧#n中的所述像素属于静止区域。

当对帧#n中的像素以及对帧#n-1中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“运动”时，以及当对帧#n中的像素和对帧#n+1中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“运动”时，区域指定单元103确定帧#n中的所述像素属于运动区域。

当对帧#n中的像素以及对帧#n+1中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“运动”时，以及当对帧#n+1中、处在与帧#n中的所述像素相同图像位置上的像素，和对帧#n+2中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“静止”时，区域指定单元103确定帧#n中的所述像素属于未覆盖背景区域。

图32A到32D显示由区域指定单元103所获得的区域确定结果的例子。在图32A中，用白色显示被确定为属于覆盖背景区域的像素。在图32B中，用白色显示被确定为属于未覆盖背景区域的像素。

在图32C中，用白色显示被确定为属于运动区域的像素。在图32D中，用白色显示被确定为属于静止区域的像素。

图33显示从确定标志存储帧存储器206输出的区域信息中所选择的、指示图像形式的混合区域的区域信息。在图33中，用白色显示被确定为属于覆盖背景区域或未覆盖背景区域的像素，即被确定为属于混合区域的像素。确定标志存储帧存储器206输出的、指示混合区域的区域信息指定混合区域和在前景区域内具有被没有纹理(texture)的部分包围着的纹理的部分。

下面参照图34的流程图描述区域指定单元103进行的区域指定处理。在步骤S201中，帧存储器201获取包括帧#n在内的帧#n-2到帧#n+2的图像。

在步骤S202中，静止/运动确定部分202-3确定对帧#n-1中的像素和对处在相同位置上的帧#n中的像素的判断结果是否为静止。如果确定判断结果为静止，则流程转到步骤S203，在步骤S203中，静止/运动确定部分202-2确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果是否为静止。

在步骤S203中，如果确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果为静止，流程转到步骤S204。在步骤S204中，区域确定部分203-2把与被处理的像素相对应的静止区域确定标志设置成指示被处理的像素属于静止区域的“1”。区域确定部分203-2把静止区域确定标志供应给确定标志存储帧存储器204，然后，过程转到步骤S205。

在步骤S202中，如果确定对帧#n-1的像素和对处在相同位置上的帧#n的像素的判断结果为运动，或者，在步骤S203中，如果确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果为运动，则被处理的像素不属于静止区域。于是，跳过步骤S204中的处理，过程转到步骤S205。

在步骤S205中，静止/运动确定部分202-3确定对帧#n-1的像素和处在相同位置上的帧#n的像素的判断结果是否为运动。如果确定判断结果为运动，则流程转到步骤S206，在步骤S206中，静止/运动确定部分202-2确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果是否为运动。

在步骤S206中，如果确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果为运动，那么，过程转到步骤S207。在步骤S207中，区域确定部分203-2把与被处理的像素相对应的运动区域确定标志设置成指示被处理的像素属于运动区域的“1”。区域确定部分203-2把运动区域确定标志供应给确定标志存储帧存储器204，然后，过程转到步骤S208。

在步骤S205中，如果对帧#n-1的像素和对处在相同位置上的帧#n的像素的判断结果为静止，或者，在步骤S206中，如果对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果为静止，那么，帧#n的像素不属于运动区域。因此，跳过步骤S207中的处理，过程转到步骤S208。

在步骤S208中，静止/运动确定部分202-4确定对帧#n-2的像素和对处在相同位置上的帧#n-1的像素的判断结果是否为静止。如果确定判断结果为静止，则流程转到步骤S209，在步骤S209中，静止/运动确定部分202-3确定对帧#n-1的像素和对处在相同位置上的帧#n的像素的判断结果是否为运动。

在步骤S209中，如果确定对帧#n-1的像素和对处在相同位置上的帧#n的像素的判断结果为运动，那么，过程转到步骤S210。在步骤S210中，区域确定部分203-3把与被处理的像素相对应的覆盖背景区域确定标志设置成指示被处理的像素属于覆盖背景区域的“1”。区域确定部分203-3把覆盖背景区域确定标志供应给确定标志存储帧存储器204，然后，过程转到步骤S211。

在步骤S208中，如果确定对帧#n-2的像素和对处在相同位置上的帧#n-1的像素的判断结果为运动，或者，在步骤S209中，如果确定对帧#n-1的像素和对处在相同位置上的帧#n的像素的判断结果为静止，那么，帧#n的像素不属于覆盖背景区域。因此，跳过步骤S210中的处理，过程转到步骤S211。

在步骤S211中，静止/运动确定部分202-2确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果是否为运动。如果在步骤S211中确定判断结果为运动，流程转到步骤S212，在步骤S212中，静止/运动确定部分202-1确定对帧#n+1的像素和对处在相同位置上的帧#n+2的像素的判断结果是否为静止。

在步骤S212中，如果确定对帧#n+1的像素和对处在相同位置上的帧#n+2的像素的判断结果为静止，那么，流程转到步骤S213。在步骤S213中，区域确定部分203-1把与被处理的像素相对应的未覆盖背景区域确定标志设置成指示被处理的像素属于未覆盖背景区域的“1”。区域确定部分203-1把未覆盖背景区域确定标志供应给确定标志存储帧存储器204，然后，过程转到步骤S214。

在步骤S211中，如果确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果为静止，或者，在步骤S212中，如果确定对帧#n+1的像素和对处在相同位置上的帧#n+2的像素的判断结果为运动，那么，帧#n的像素不属于未覆盖背景区域。因此，跳过步骤S213中的处理，过程转到步骤S214。

在步骤S214中，区域指定单元103确定帧#n中的所有像素是否都得到区域指定。如果确定并非帧#n中的所有像素都得到区域指定，过程返回到步骤S202，为其它像素重复执行区域指定处理。

在步骤S214中，如果确定帧#n中的所有像素都得到区域指定，那么，流程转到步骤S215。在步骤S215中，合成单元205根据存储在确定标志存储帧存储器204中的未覆盖背景区域确定标志和覆盖背景区域确定标志，生成指示混合区域的区域信息，并且还生成指示每个像素属于未覆盖背景区域、静止区域、运动区域、或覆盖背景区域的哪一个的区域信息，把生成的区域信息设置到确定标志存储帧存储器206中，然后，结束处理。

如上所述，区域指定单元103可以生成指示包含在帧中的每个像素属于运动区域、静止区域、未覆盖背景区域、或覆盖背景区域的哪一个的区域信息。

区域指定单元103可以求出与未覆盖背景区域相对应的区域信息和与覆盖背景区域相对应的区域信息的逻辑“或”，从而生成与混合区域相对应的区域信息，并进而生成由指示包含在帧中的每个像素属于运动区域、静止区域、或混合区域的哪一个的标志组成的区域信息。

当与前景相对应的对象具有纹理时，区域指定单元103可以更精确地指定运动区域。

区域指定单元103可以输出指示运动区域的区域信息，作为指示前景区域的区域信息，或输出指示静止区域的区域信息，作为指示背景区域的区域信息。

已经对与背景相对应的对象保持静止的情况作了描述。但是，即使与背景区域相对应的图像涉及到运动，也可以应用上述指定区域的处理。例如，如果与背景区域相对应的图像匀速运动，那么，区域指定单元103平移与运动相对应的整个图像，并且以与背景相对应的对象保持静止的情况相同的方式进行处理。如果与背景区域相对应的图像涉及到在局部不同的运动，那么，区域指定单元103选择与运动相对应的像素，进行上述处理。

图35是显示区域指定单元103的另一个配置例子的方块图。图35所示的区域指定单元103不使用运动向量。背景图像生成器301生成与输入图像相对应的背景图像，并且把生成的背景图像供应给二值对象图像提取部分302。背景图像生成器301提取，例如，包含在输入图像中与对象相对应的图像对象，并生成背景图像。

通过将与前景对象相对应、沿着图像的运动方向一个接一个排列的像素的像素值沿着时间方向展开所获得的模型图的例子显示在图36中。例如，如果与前景对象相对应的图像的运动方向相对于屏幕是水平的，则图36所示的模型图是通过在时域中展开一行中一个接一个排列的像素的像素值所获得的模型。

在图36中，帧#n中的行与帧#n-1中的行和帧#n+1中的行相同。

在帧#n中，包含在从左边算起第6个像素到第17个像素中的、与对象相对应的前景成分包含在帧#n-1中从左边算起第2个到第13个像素中，也包含在帧#n+1中从左边算起第10个到第21个像素中。

在帧#n-1中，属于覆盖背景区域的像素是从左边算起的第11个到第13个像素，和属于未覆盖背景区域的像素是从左边算起的第2个到第4个像素。在帧#n中，属于覆盖背景区域的像素是从左边算起的第15个到第17个像素，和属于未覆盖背景区域的像素是从左边算起的第6个到第8个像素。在帧#n+1中，属于覆盖背景区域的像素是从左边算起的第19个到第21个像素，和属于未覆盖背景区域的像素是从左边算起的第10个到第12个像素。

在帧#n-1中，属于背景区域的像素是从左边算起的第1个、和从左边算起的第14个到第21个像素。在帧#n中，属于背景区域的像素是从左边算起的第1个到第5个像素、和从左边算起的第18个到第21个像素。在帧#n+1中，属于背景区域的像素是从左边算起的第1个到第9个像素。

由背景图像生成器301生成的、与图36所示的例子相对应的背景图像的例子显示在图37中。背景图像由与背景对象相对应的像素组成，不包括与前景对象相对应的图像成分。

二值对象图像提取部分302根据背景图像和输入图像之间的相关性，生成二值对象数据，并且把生成的二值对象图像供应给时间变化检测器303。

图38是显示二值对象图像提取部分302的结构的方块图。相关值计算器321计算背景图像生成器301供应的背景图像与输入图像之间的相关性，生成相关值，并且把生成的相关值供应给阈值处理器322。

相关值计算器321把方程式(13)作用于如图39A所示，以X₄为中心的3×3背景图像块、和如图39B所示，与上述背景图像块相对应的以Y₄为中心的3×3背景图像块，从而计算与Y₄相对应的相关值。 $\stackrel{\‾}{X}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Xi}}{9}---\left(14\right)$ $\stackrel{\‾}{Y}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Yi}}{9}---\left(15\right)$

相关值计算器321把如上所述为每个像素计算的相关值供应给阈值处理器322。

此外，相关值计算器可以321把方程式(16)作用于如图40A所示，以X₄为中心的3×3背景图像块、和如图40B所示，与上述背景图像块相对应的以Y₄为中心的3×3背景图像块，从而计算与Y₄相对应的差值的绝对值之和。

相关值计算器321把如上所述计算的差值的绝对值之和作为相关值供应给阈值处理器322。

阈值处理器322将相关图像的像素值与阈值th0相比较。如果相关值小于等于阈值th0，则把二值对象图像的像素值设置成1。如果相关值大于阈值th0，则把二值对象图像的像素值设置成0。阈值处理器322然后输出其每个像素值被设置成0或1的二值对象图像。阈值处理器322可以事先存储阈值th0，也可以使用从外部输入的阈值th0。

图41显示与图36所示的输入图像的模型相对应的二值对象图像。在二值对象图像中，与背景图像相关性高的像素的像素值被设置成0。

图42是显示时间变化检测器303的结构的方块图。当确定帧#n中的像素的区域时，帧存储器341存储二值对象图像提取部分302供应的帧#n-1、帧#n、和帧#n+1的二值对象图像。

区域确定部分342根据帧#n-1、帧#n、和帧#n+1的二值对象图像，确定帧#n的每个像素的区域，从而生成区域信息，并且输出生成的区域信息。

图43是描述区域确定部分342进行判断的图。当帧#n中二值对象图像的指定像素是0时，区域确定部分342确定帧#n中的指定像素属于背景区域。

当帧#n中二值对象图像的指定像素是1，帧#n-1中二值对象图像的相对应的像素的像素值是1，和帧#n+1的二值对象图像的相对应的像素是1时，区域确定部分342确定帧#n中的指定像素属于前景区域。

当帧#n中的二值对象图像的指定像素是1，和帧#n-1的二值对象图像的相对应的像素是0时，区域确定部分342确定帧#n中的指定像素属于覆盖前景区域。

当帧#n中的二值对象图像的指定像素是1，和帧#n+1中的二值对象图像的相对应的像素是0时，区域确定部分342确定帧#n的指定像素属于未覆盖前景区域。

图44显示时间变化检测器303对与图36所示的输入图像的模型相对应的二值对象图像进行判断的例子。由于帧#n中二值对象图像的相应像素是0，因此，时间变化检测器303确定帧#n中从左边算起的第1个到第5个像素属于背景区域。

由于帧#n的二值对象图像的像素是1，和帧#n+1的相应像素是0，因此，时间变化检测器303确定从左边算起的第6个到第9个像素属于未覆盖背景区域。

由于帧#n的二值对象图像的像素是1，帧#n-1的相应像素是1，和帧#n+1的相应像素是1，因此，时间变化检测器303确定从左边算起的第10个到第13个像素属于前景区域。

由于帧#n的二值对象图像的像素是1，和帧#n-1的相应像素是0，因此，时间变化检测器303确定从左边算起的第14个到第17个像素属于覆盖背景区域。

由于帧#n的二值对象图像的相应像素是0，因此，时间变化检测器303判断从左边算起的第18个到第21个像素属于背景区域。

现在参照图45所示的流程图，描述区域指定单元103执行的区域指定处理。在步骤S301中，例如，区域指定单元103的背景图像生成器301根据输入图像，提取与包含在输入图像中的背景对象相对应的图像对象，从而生成背景图像，并且把生成的背景图像供应给二值对象图像提取部分302。

在步骤S302中，二值对象图像提取部分302根据，例如，参照图39A和39B所述的计算，计算输入图像和背景图像生成器301供应的背景图像之间的相关值。在步骤S303中，二值对象图像提取部分302通过，例如，将相关值与阈值th0相比较，从相关值和阈值th0中计算二值对象图像。

在步骤S304中，时间变化检测器303进行区域确定处理，然后，结束处理。

下面参照图46所示的流程图，详细描述步骤S304中的区域确定处理。在步骤S321中，时间变化检测器303的区域确定部分342确定存储在帧存储器341中的帧#n中的指定像素是否是0。如果确定帧#n中的指定像素是0的判断的情况下，流程转到步骤S322。在步骤S322中，确定帧#n中的指定像素属于背景区域，然后，结束处理。

如果在步骤S321中确定帧#n中的指定像素是1，则流程转到步骤S323。在步骤S323中，时间变化检测器303的区域确定部分342确定存储在帧存储器341中的帧#n中的指定像素是否是1，和帧#n-1中的相应像素是否是0。如果确定帧#n中的指定像素是1，和帧#n-1中相应像素是0，则流程转到步骤S324。在步骤S324中，确定帧#n中的指定像素属于覆盖背景区域，然后，结束处理。

如果在步骤S323中确定帧#n中的指定像素是0，或帧#n-1中的相应像素是1，则流程转到步骤S325。在步骤S325中，时间变化检测器303的区域确定部分342确定存储在帧存储器341中的帧#n中的指定像素是否是1，和帧#n+1中的相应像素是否是0。如果确定帧#n中的指定像素是1，和帧#n+1中的相应像素是0，则流程转到步骤S326。在步骤S326中，确定帧#n中的指定像素属于未覆盖背景区域的设置，然后，结束处理。

如果在步骤S325中确定帧#n中的指定像素是0，或帧#n+1中的相应像素是1，则流程转到步骤S327。在步骤S327中，时间变化检测器303的区域确定部分342确定帧#n中的指定像素属于前景区域，然后，结束处理。

如上所述，区域指定单元103可以根据输入图像和相应的背景图像之间的相关值，为输入图像的每一个像素指定属于前景区域、背景区域、覆盖背景区域、或未覆盖背景区域中的哪一个，并且生成与指定结果相对应的区域信息。

图47是显示区域指定单元103的又一种结构的方块图。图47所示的区域指定单元103使用了运动检测器102供应的运动向量和其位置信息。与图35所示的那些相同的部分用相同的标号表示，并且略去不述。

鲁棒化处理部分361根据二值对象图像提取部分302供应的N帧二值对象图像，生成鲁棒化二值对象图像，并且将鲁棒化二值对象图像输出到时间变化检测器303。

图48是描述鲁棒化处理部分361的结构的方块图。运动补偿器381根据运动检测器102供应的运动向量和其位置信息，补偿N帧的二值对象图像的运动，并且把已经经过运动补偿的二值对象图像输出到切换器382。

运动补偿器381执行的运动补偿将参照图49和图50所示的例子加以描述。现在假定例如将处理帧#n中的区域。当输入如图49所示的帧#n-1、帧#n、和帧#n+1的二值对象图像时，如图50所示的例子所指示的那样，运动补偿器381根据运动检测器102供应的运动向量，补偿帧#n-1的二值对象图像和帧#n+1的二值对象图像的运动，并把已经经过运动补偿的二值对象图像供应给切换器382。

切换器382把第1帧已经经过运动补偿的二值对象图像输出到帧存储器383-1，和把第2帧已经经过运动补偿的二值对象图像输出到帧存储器383-2。类似地，切换器382把第3到第N-1帧已经经过运动补偿的二值对象图像的每一个分别输出到帧存储器383-3到帧存储器383-(N-1)的每一个，并且，把第N帧已经经过运动补偿的二值对象图像输出到帧存储器383-N。

帧存储器381-1存储第1帧已经经过运动补偿的二值对象图像，并且把存储的二值对象图像输出到加权部分384-1。帧存储器381-2存储第2帧已经经过运动补偿的二值对象图像，并且把存储的二值对象图像输出到加权部分384-2。

类似地，帧存储器383-3到帧存储器383-(N-1)的每一个分别存储第3到第N-1帧之一已经经过运动补偿的二值对象图像的每一个，并且把存储的二值对象图像输出到加权部分384-3到加权部分384-(N-1)的每一个。帧存储器381-N存储第N帧已经经过运动补偿的二值对象图像，并且把存储的二值对象图像输出到加权部分384-N。

加权部分384-1将帧存储器383-1供应的、第1帧已经经过运动补偿的二值对象图像的像素值与预定权重w1相乘，并且将加权的二值对象图像供应给累加器385。加权部分384-2将帧存储器383-2供应的、第2帧已经经过运动补偿的二值对象图像的像素值与预定权重w2相乘，并且将加权的二值对象图像供应给累加器385。

类似地，加权部分384-3到加权部分384-(N-1)的每一个将帧存储器383-3到帧存储器383-(N-1)之一供应的、第3帧到第N-1帧之一已经经过运动补偿的二值对象图像的像素值与预定权重w3到w(N-1)之一相乘，并且将加权的二值对象图像供应给累加器385。加权部分384-N将帧存储器383-N供应的、第N帧已经经过运动补偿的二值对象图像的像素值与预定权重wN相乘，并且将加权的二值对象图像供应给累加器385。

累加器385累加乘以第1到第N帧的权重w1到wN的经过运动补偿的二值对象图像的像素值，并且，将累加的像素值与预定阈值th0相比较，从而生成二值对象图像。

如上所述，鲁棒化处理部分361从N帧二值对象图像中生成鲁棒化二值对象图像，并将其供应给时间变化检测器303。因此，即使输入图像含有噪声，与图35所示的情况相比，如图47所示配置的区域指定单元103也可以更精确地指定区域。

现在参照图51所示的流程图，描述如图47所示配置的的区域指定单元103执行的区域指定处理。步骤S341到步骤S343中的处理分别与图45所示的流程图中所述的步骤S301到S303中的处理相同，因此，略去不述。

在步骤S344中，鲁棒化处理部分361进行鲁棒化处理。

在步骤S345中，时间变化检测器303进行区域确定处理，然后，结束处理。步骤S345中的处理细节与参照图46所示的流程图描述的处理细节相同，因此，略去不述。

现在参照图52所示的流程图，详细描述与图51所示的步骤S344中的处理相对应的鲁棒化处理。在步骤S361中，运动补偿器381根据运动检测器102供应的运动向量和其位置信息，对输入的二值对象图像进行运动补偿处理。在步骤S362中，帧存储器383-1到帧存储器383-N之一存储通过切换器382供应的、已经经过运动补偿的二值对象图像。

在步骤S363中，鲁棒化处理部分361确定是否已经存储了N个二值对象图像。如果确定还没有存储N个二值对象图像，则流程返回到步骤S361，重复对二值对象图像进行运动补偿的处理，和存储二值对象图像的处理。

如果在步骤S363中确定已经存储了N个二值对象图像，则流程转到执行加权的步骤S364。在步骤S364中，加权部分384-1到384-N将相应的N个二值对象图像的乘以权重w1到wN。

在步骤S365中，累加器385累加N个加权二值对象图像。

在步骤S366中，累加器385通过，例如，将累加值与预定阈值th1相比较，从累加图像中生成二值对象图像，然后，结束处理。

如上所述，如图47所示配置的区域指定单元103根据鲁棒化二值对象图像，可以生成区域信息。

从上面的描述中可以看出，区域指定单元103可以生成指示包含在帧中的每一个像素属于运动区域、静止区域、未覆盖背景区域、或覆盖背景区域的哪一个的区域信息。

图53是显示混合比计算器104的结构的方块图。根据输入图像通过计算覆盖背景区域的模型，估计混合比处理器401为每个像素计算估计混合比，并且把计算的估计混合比供应给混合比确定部分403。

根据输入图像通过计算未覆盖背景区域的模型，估计混合比处理器402为每个像素计算估计混合比，并且把计算的估计混合比供应给混合比确定部分403。

由于可以假设与前景相对应的对象在快门时间内作恒速运动，因此，属于混合区域的像素的混合比α具有如下所述的性质。也就是说，根据像素的位置改变，混合比α线性地改变。如果在像素中位置改变为一维，则混合比α的改变可以用线性地表示。如果在像素中位置改变为二维，则混合比α的改变可以以平面的方式来表示。

由于一个帧的间隔很短，因此，可以假设与前景相对应的对象是作恒速运动的刚体。

在前景的快门时间内混合比α的斜率与运动量v成反比。

图54示出理想混合比α的例子。在混合区域中理想混合比α的斜率1可以用运动量v的倒数表示。

如图54所示，理想混合比α在背景区域中值为1，在前景区域中值为0，在混合区域中的值大于0小于1。

在图55所示的例子中，可以利用帧#n-1中从左边算起第7个像素的像素值P06把帧#n中从左边算起第7个像素的像素值C06表达成方程式(17)。 $C06=B06/v+B06/v+F01/v+F02/v$ $=P06/v+P06/v+F01/v+F02/v---\left(17\right)$ $=2/v\·P06+\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}/v$

在方程式(17)中，像素值C06被表示成混合区域中像素的像素值M，而像素值P06被表示成背景区域中像素的像素值B。也就是说，混合区域中像素的像素值M和背景区域中像素的像素值B可以被分别表示成方程式(18)和方程式(19)。

M＝C06                                              (18)

B＝P06                                              (19)

方程式(17)中的2/v对应于混合比α。由于运动量v是4，因此，帧#n中从左边算起第7个帧的混合比α是0.5。

如上所述，把指定帧#n中的像素值C当作混合区域的像素值，而把帧#n之前的帧#n-1的像素值P当作背景区域的像素值。因此，表示混合比α的方程式(12)可以被重写成方程式(20)。

C＝α·P+f                                            (20)

方程式(20)中的f表示包含在指定像素中的前景成分之和∑_i Fi/v。包含在方程式(20)中的变量为两个，即混合比α和前景成分f之和。

类似地，图56示出通过沿着时间方向扩展未覆盖背景区域中运动量是4、虚拟分割数也是4的像素值所获得的模型。

与在覆盖背景区域中表示的相同，在未覆盖背景区域中，把指定帧#n中的像素值C当作混合区域的像素值，而把帧#n之后的帧#n+1的像素值N当作背景区域的像素值。因此，表示混合比α的方程式(12)可以重写成方程式(21)。

C＝α·N+f                                            (21)

已经对假定背景对象是静止的实施例作了描述。但是，通过使用与背景运动量v相对应的位置的像素值，方程式(17)到方程式(21)也可以应用到在背景对象是在运动的情况中。例如，在图55中，假定在与背景相对应的对象的运动量v是2，并且虚拟分割数也是2。在这种情况下，当与背景相对应的对象在图55中向右边移动时，在方程式(19)中，背景区域中的像素的像素值B用像素值P04表示。

由于方程式(20)和方程式(21)每一个都包含2个变量，因此，不经过修正就无法确定混合比α。通常，图像具有很强的空间相关性，因此，位于彼此邻近位置上的像素具有几乎相同的像素值。

由于前景成分具有很强的空间相关性，因此对方程式进行修正，以便前景成分的和f可以从前一或后一帧中导出，从而确定混合比α。

图57中帧#n中从左边算起第7个像素的像素值Mc可以用方程式(22)表示。 $\mathrm{Mc}=\frac{2}{v}\·B06+\underset{i=11}{\overset{12}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(22\right)$

方程式(22)中右侧的第一项2/v相当于混合比α。方程式(22)中右侧的第二项可以通过使用后一帧#n+1中的像素值而表示为方程式(23)。 $\underset{i=11}{\overset{12}{\mathrm{\Σ}}}\mathrm{Fi}/v=\mathrm{\β}\·\underset{i=7}{\overset{10}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(23\right)$

现在假定利用前景成分的空间相关性而使方程式(24)成立。

F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12                 (24)

利用方程式(24)可以将方程式(23)修正为方程式(25)。 $\underset{i=11}{\overset{12}{\mathrm{\Σ}}}\mathrm{Fi}/v=\frac{2}{v}\·F$ $=\mathrm{\β}\·\frac{4}{v}\·F---\left(25\right)$

结果β可以用方程式(26)表示。

β＝2/4                                                  (26)

如果假定混合区域中的前景成分相等，如方程式(24)所表示的，则由于内部(internal)比例，方程式(27)对于混合区域中的所有像素成立。

β＝1-α                                                 (27)

如果方程式(27)成立，则方程式(20)可以演变为方程式(28)。 $C=\mathrm{\α}\·p+f$ $=\mathrm{\α}\·p+(1-\mathrm{\α})\·\underset{i=y}{\overset{y+v-1}{\mathrm{\Σ}}}\mathrm{Fi}/v$ $=\mathrm{\α}\·p+(1-\mathrm{\α})\·N---\left(28\right)$

类似地，如果方程式(27)成立，则方程式(21)可以演变为方程式(29)。 $C=\mathrm{\α}\·N+f$ $=\mathrm{\α}\·N+(1-\mathrm{\α})\·\underset{i=y}{\overset{y+v-1}{\mathrm{\Σ}}}\mathrm{Fi}/v$ $=\mathrm{\α}\·N+(1-\mathrm{\α})\·p---\left(29\right)$

在方程式(28)和(29)中，由于C、N和P是已知的像素值，则包含在方程式(28)和(29)中的变量仅为混合比α。方程式(28)和(29)中C、N和P之间的关系示于图58中。C是为其计算混合比α的帧#n中的指定像素的像素值。N是帧#n+1中空间上位于与所述指定像素相应的位置上的像素的像素值。P是帧#n-1中空间上位于与所述指定像素相应的位置上的像素的像素值。

因此，由于在方程式(28)和(29)中各包含一个变量，所以可以利用三帧中的像素计算混合比α。通过求解方程式(28)和(29)而得到正确的混合比α的条件如下所述。在混合区域中具有相同前景成分的图像对象中，即，在前景对象静止时拍摄的前景的图像对象中，与前景对象的运动方向相对应位于图像对象的边界位置上的连续像素的像素值必须一致，像素的数量为运动量v的两倍。

如上所述，属于覆盖背景区域的像素的混合比α由方程式(30)计算，而属于未覆盖背景区域的像素的混合比α由方程式(31)计算。

α＝(C-N)/(P-N)                                       (30)

α＝(C-P)/(N-P)                                       (31)

图59是说明估计混合比处理器401的配置的方框图。帧存储器421以帧为单位存储输入图像，并将作为输入图像而输入的帧随后的一帧供应给帧存储器422和混合比计算器423。

帧存储器422以帧为单位存储输入图像，并将帧存储器421供应的帧随后的一帧供应给混合比计算器423。

因此，当帧#n+1作为输入图像输入到混合比计算器423时，帧存储器421将帧#n供应给混合比计算器423，而帧存储器422将帧#n-1供应给混合比计算器423。

混合比计算器423根据帧#n中指定像素的像素值C、帧#n+1中位于与所述指定像素的位置相对应的位置上的像素的像素值N、以及帧#n-1中位于与所述指定像素的位置相对应的位置上的像素的像素值P，通过求解方程式(30)计算所述指定像素的估计混合比，并将所计算的估计混合比输出。例如，当背景静止时，混合比计算器423根据帧#n中指定像素的像素值C、帧#n+1中位于与所述指定像素相同位置上的像素的像素值N、以及帧#n-1中位于与所述指定像素相同位置上的像素的像素值P，计算所述指定像素的估计混合比，并将所计算的估计混合比输出。

以这种方式，估计混合比处理器401根据输入图像计算估计混合比，并将其供应给混合比确定部分403。

估计混合比处理器401通过求解方程式(30)计算所述指定像素的估计混合比。估计混合比处理器402除了通过求解方程式(31)计算所述指定像素的估计混合比之外，估计混合比处理器402的操作与估计混合比处理器401的类似。因此，略去对估计混合比处理器402的详细说明。

图60显示估计混合比处理器401计算所述估计混合比的例子。图60所示的估计混合比是用一条线表示的当恒速运动的前景对象的运动量v为11时所得的结果。

可以看出，与图54所示的一样，估计混合比在混合区域中几乎线性地变化。

再返回图53，混合比确定部分403根据从区域指定单元103供应的、表明为其计算混合比α的像素属于前景区域、背景区域、覆盖背景区域、未覆盖背景区域中的哪一个的区域信息设置混合比α。当相应像素属于前景区域时，混合比确定部分403设置混合比α为0，而当相应像素属于背景区域时，混合比确定部分403设置混合比α为1。当相应像素属于覆盖背景区域时，混合比确定部分403设置混合比α为从估计混合比处理器401供应的估计混合比。当相应像素属于未覆盖背景区域时，混合比确定部分403设置混合比α为从估计混合比处理器402供应的估计混合比。混合比确定部分403输出已经根据所述区域信息设定的混合比α。

图61是显示混合比计算器104的另一种配置的方框图。选择器441根据从区域指定单元103供应的区域信息，将属于覆盖背景区域的像素以及在前一和后一帧中的相应像素供应给估计混合比处理器442。选择器441根据从区域指定单元103供应的区域信息，将属于未覆盖背景区域的像素以及在前一和后一帧中的相应像素供应给估计混合比处理器443。

估计混合比处理器442根据从选择器441输入的像素值，通过计算方程式(30)，计算属于覆盖背景区域的指定像素的估计混合比，并将所计算的估计混合比供应给选择器444。

估计混合比处理器443根据从选择器441输入的像素值，通过计算方程式(31)，计算属于未覆盖背景区域的指定像素的估计混合比，并将所计算的估计混合比供应给选择器444。

根据从区域指定单元103供应的区域信息，当指定像素属于前景区域时，选择器444选择估计混合比0并将其设置为混合比α，而当指定像素属于背景区域时，选择器444选择估计混合比1并将其设置为混合比α。当指定像素属于覆盖背景区域时，选择器444选择从估计混合比处理器442供应的估计混合比并将其设置为混合比α。当指定像素属于未覆盖背景区域时，选择器444选择从估计混合比处理器443供应的估计混合比并将其设置为混合比α。选择器444然后输出已经根据所述区域信息选择和设定的混合比α。

如上所述，如图61配置的混合比计算器104能够为包含在图像中的每个像素计算混合比α，并且输出计算的混合比α。

下面参照图62的流程图描述如图53所示配置的混合比计算器104执行的计算混合比α的处理。在步骤S401中，混合比计算器104获取区域指定单元103供应的区域信息。在步骤S402中，估计混合比处理器401使用与覆盖背景区域相对应的模型执行估计混合比的处理，并且把估计混合比供应给混合比确定部分403。估计混合比的处理细节以后将参照图63所示的流程图加以描述。

在步骤S403中，估计混合比处理器402使用与未覆盖背景区域相对应的模型执行估计混合比的处理，并且把估计混合比供应给混合比确定部分403。

在步骤S404中，混合比计算器104判断是否对整个帧都估计了混合比α。如果确定还没有对整个帧估计混合比α，则流程返回到步骤S402，执行为下一个像素估计混合比α的处理。

如果在步骤S404中确定已经对整个帧都估计了混合比，则流程转到步骤S405。在步骤S405中，混合比确定部分403根据从区域指定单元103供应的、表明为其计算混合比α的像素属于前景区域、背景区域、覆盖背景区域、未覆盖背景区域中的哪一个的区域信息设置混合比α。当相应像素属于前景区域时，混合比确定部分403设置混合比α为0，而当相应像素属于背景区域时，混合比确定部分403设置混合比α为1。当相应像素属于覆盖背景区域时，混合比确定部分403设置混合比α为从估计混合比处理器401供应的估计混合比。当相应像素属于未覆盖背景区域时，混合比确定部分403设置混合比α为从估计混合比处理器402供应的估计混合比。然后，结束处理。

如上所述，混合比计算器104能够根据区域指定单元103供应的区域信息和输入图像，计算与每一个像素相对应的指示其特征量的混合比α。

如图61所示配置的混合比计算器104所执行的计算混合比α的处理与参照图62的流程图所描述的类似，由此略去其详细描述。

下面参照图63所示的流程图，描述图62的步骤S402中使用与覆盖背景区域相对应的模型的混合比估计处理。

在步骤S421中，混合比计算器423从帧存储器421获取帧#n中指定像素的像素值C。

在步骤S422中，混合比计算器423从帧存储器422获取帧#n-1中包含在输入图像中与所述指定像素相对应的像素的像素值P。

在步骤S423中，混合比计算器423获取帧#n+1中包含在输入图像中与所述指定像素相对应的像素的像素值N。

在步骤S424中，混合比计算器423根据帧#n中指定像素的像素值C、帧#n-1中的像素的像素值P、以及帧#n+1中的像素的像素值N，计算估计混合比。

在步骤S425中，混合比计算器423确定是否已经完成对整个帧的计算估计混合比的处理。如果确定还没有完成对整个帧的计算估计混合比的处理，则处理返回到步骤S421，重复执行对下一个像素的计算估计混合比的处理。

如果在步骤S425中确定已经完成对整个帧的计算估计混合比的处理，则处理结束。

如上所述，估计混合比处理器401能够根据输入图像计算估计混合比。

在图62的步骤S403中通过使用与未覆盖背景区域相对应的模型所执行的混合比估计处理与图63中的流程图所示的、通过使用与未覆盖背景区域相对应的模型所执行的处理类似，因此，略去不述。

如图61所示的估计混合比处理器442和估计混合比处理器443通过执行类似于图63所示流程图的处理计算估计混合比，因此，略去不述。

已经对假定与背景相对应的对象是静止的实施例进行了描述。但是，即使与背景区域相对应的图像包含运动，上述用于确定混合比α的处理也能够应用。例如，如果与背景区域相对应的图像统一运动，则估计混合比处理器401根据背景的运动平移整个图像，并与相应于背景的对象是静止的情况相类似地方式执行处理。如果与背景区域相对应的图像包含局部不同的运动，则估计混合比处理器401选择与所述运动相对应的像素作为属于混合区域的相应像素，并执行上述处理。

估计混合比处理器104可以仅通过使用与覆盖背景区域相对应的模型为所有的像素执行混合比估计处理，以便输出所计算的估计混合比作为混合比α。在这种情况下，混合比α为属于覆盖背景区域的像素的背景成分指示背景成分的比例，而为属于未覆盖背景区域的像素指示前景成分的比例。对于属于未覆盖背景区域的像素，计算混合比α与l的差值的绝对值，并将所计算的绝对值设置为混合比α。这样，前景/背景成分图像生成器91能够为属于未覆盖背景区域的像素确定指示背景成分的比例的混合比α。

类似地，混合比计算器104可以仅通过使用与未覆盖背景区域相对应的模型为所有的像素执行混合比估计处理，以便输出所计算的估计混合比作为混合比α。

下面描述混合比计算器104通过利用混合比α线性变化的这一特性所进行的混合比α计算。

如上所述，由于方程式(20)和(21)各含两个变量，所以方程式(20)和(21)不经过修改则无法确定混合比α。

由于在快门时间内与前景相对应的对象恒速运动，所以混合比α根据像素位置的变化而线性地变化。利用该特性，可以得到其中在空间上将混合比α和前景成分之和近似了的方程式。使用多组属于混合区域的像素的像素值以及属于背景区域的像素的像素值，可以求解其中将混合比α和前景成分之和近似了的方程式。

当将混合比α的变化近似为直线时，混合比α可以用方程式(32)表示。

α＝il+p                                                  (32)

在方程式(32)中，当指定像素的位置设置为0时i表示空间索引，l表示混合比α的直线斜率，p表示混合比α的直线的截距，也表示指定像素的混合比α。在方程式(32)中，索引i是已知的，斜率l和截距p是未知数。

索引i、斜率l和截距p的关系示于图64。在图64中，白点表示指定像素，黑点表示接近的像素。

通过将混合比α近似为方程式(32)，用于多个像素的多个不同的混合比α可以用两个变量表示。在图64所示的例子中，用两个变量，也就是斜率l和截距p表示了5个像素的5个混合比。

当将混合比α近似为图65所示的平面时，通过考虑与两个方向，即图像的水平方向和垂直方向相对应的运动量v，可以将方程式(32)扩展到平面，并且混合比α可以表示为方程式(33)。在图65中，白点表示指定像素。

α＝jm+kq+p                                             (33)

在方程式(33)中，当指定像素的位置是0时，j是水平方向上的索引，k是垂直方向上的索引。在方程式(33)中，m表示在平面上混合比α的水平斜率，q表示在平面上混合比α的垂直斜率。在方程式(33)中，p表示在平面上混合比α的截距。

例如，在图55所示的帧#n中，方程式(34)至(36)对于C05至C07分别成立。

C05＝α05·B05/v+f05                                   (34)

C06＝α06·B06/v+f06                                   (35)

C07＝α07·B07/v+f07                                   (36)

假定位于彼此接近位置上的前景成分彼此相等，也就是说，F01至F03相等，则将F01至F03用fc代替，方程式(37)成立。

f(x)＝(l-α(x))·Fc                                            (37)

在方程式(37)中，x表示在空间方向上的位置。

当α(x)用方程式(33)替换时，方程式(37)可以表示为(38)。

f(x)＝(l-(jm+kq+p))·Fc

    ＝j·(-m·Fc)+k·(-q·Fc)+((l-p)·Fc)

    ＝js+kt+u                                                  (38)

在方程式(38)中，(-m·Fc)，(-q·Fc)和(l-p)·Fc分别用方程式(39)至(41)替代。

s＝-m·Fc                                                      (39)

t＝-q·Fc                                                      (40)

u＝(l-p)·Fc                                                   (41)

在方程式(38)中，当指定像素的位置是0时，j是水平方向上的索引，k是垂直方向上的索引。

如上所述，由于可以假设在快门时间内与前景相对应的对象恒速运动，并且位于邻近位置上的前景成分是均匀的，因此，可以用方程式(38)近似前景成分之和。

当将混合比α近似为直线时，前景成分之和可以用方程式(42)表示。

f(x)＝is+u                                                     (42)

使用方程式(33)和(38)，替换方程式(22)中的混合比α以及前景成分之和，可以用方程式(43)表示像素值M。

M＝(jm+kq+p)·B+js+kt+u

 ＝jB·m+kB·q+B·p+j·s+k·t+u                                (43)

在方程式(43)中，未知变量为6个，比如在平面上混合比α的水平斜率m，在平面上混合比α的垂直斜率q，以及在平面上混合比α的截距p、s、t和u。

根据邻近指定像素的像素设置方程式(43)所表示的正规方程中的像素值M或像素值B，然后通过最小二乘法求解多个其中设置了像素值M或像素值B的正规方程，并由此计算混合比α。

例如，假定将指定像素的水平索引j设为0，并且将指定像素的垂直索引k设为0。在这种情况下，当使用邻近指定像素的3×3像素设置方程式(43)所表示的正规方程中的像素值M或像素值B时，可以得到方程式(44)至(52)。

M_-1，-1＝(-1)·B_-1，-1·m+(-1)·B_-1，-1·q+B_-1，-1·p+(-1)·s+(-1)·t+u    (44)

M_0，-1＝(0)·B_0，-1·m+(-1)·B_0，-1·q+B_0，-1·p+(0)·s+(-1)·t+u          (45)

M_+1，-1＝(+1)·B_+1，-1·m+(-1)·B_+1，-1·q+B_+1，-1·p+(+1)·s+(-1)·t+u     (46)

M_-1，0＝(-1)·B_-1，0·m+(0)·B_-1，0·q+B_-1，0·p+(-1)·s+(0)·t+u          (47)

M_0，0＝(0)·B_0，0·m+(0)·B_0，0·q+B_0，0·p+(0)·s+(0)·t+u               (48)

M_+1，0＝(+1)·B_+1，0·m+(0)·B_+1，0·q+B_+1，0·p+(+1)·s+(0)·t+u          (49)

M_-1，+1＝(-1)·B_-1，+1·m+(+1)·B_-1，+1·q+B_-1，+1·p+(-1)·s+(+1)·t+u     (50)

M_0，+1＝(0)·B_0，+1·m+(+1)·B_0，+1·q+B_0，+1·p+(0)·s+(+1)·t+u          (51)

M_+1，+1＝(+1)·B_+1，+1·m+(+1)·B_+1，+1·q+B_+1，+1·p+(+1)·s+(+1)·t+u     (52)

由于指定像素的水平索引j是0，以及指定像素的垂直索引k也是0，所以指定像素的混合比α等于方程式(33)中j等于0和k等于0时的值，也就是说，混合比α等于方程式(33)中的截距p。

因此，根据上述9个方程式，也就是方程式(44)至(52)，利用最小二乘法可以计算出水平斜率m、垂直斜率q、以及截距p、s、t和u，并将截距p作为混合比α输出。

通过应用最小二乘法计算混合比α的具体过程如下所述。

当索引i和索引k用单个索引x表示时，索引i、索引k和索引x之间的关系可以用方程式(53)表示。

x＝(j+1)·3+(k+l)                                    (53)

现在假定水平斜率m、垂直斜率q、以及截距p、s、t和u分别用变量w0、w1、w2、w3、w4和w5表示，并且jB、kB、B、j、k和l分别用a0、a1、a2、a3、a4和a5表示。考虑到误差ex，则方程式(44)至(52)可以修正为方程式(54)。 $\mathrm{Mx}=\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy}+\mathrm{ex}---\left(54\right)$

在方程式(54)中，x是从0到8的整数之一。

从方程式(54)可以得出方程式(55)。 $\mathrm{ex}=\mathrm{Mx}-\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy}---\left(55\right)$

由于应用最小二乘法，所以将误差平方和E定义为下式(56)。 $E=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}{\mathrm{ex}}^2---\left(56\right)$

为了使误差最小，变量Wv相对于误差平方和E的偏微分值应该为0。V是0到5的整数之一。由此，可以确定wy，并且满足方程式(57)。 $\frac{\∂E}{\∂\mathrm{wv}}=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ex}\·\frac{\∂\mathrm{ex}}{\∂\mathrm{wv}}$ $=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ex}\·\mathrm{av}=0---\left(57\right)$

将方程式(55)代入方程式(57)中，可以得到方程式(58)。 $\underset{x=0}{\overset{8}{\mathrm{\Σ}}}(\mathrm{av}\·\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy})=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{av}\·\mathrm{Mx}---\left(58\right)$

例如，将消元法(sweep-out method)(高斯-约旦消元法，Gauss-Jordanelimination)应用到通过将0到5的整数之一代入方程式(58)中的v而得到的6个方程式，从而获得wy。如上所述，w0是水平斜率，w1是垂直斜率，w2是截距p，w3是s，w4是t，以及w5是u。

如上所述，通过将最小二乘法应用到其中设置了像素值M和像素值B的方程式中，可以确定水平斜率m、垂直斜率q、以及截距p、s、t和u。

参照方程式(44)至(52)描述了假定包含在混合区域中的像素的像素值是M、以及包含在背景区域中的像素的像素值是B的情况。在这种情况下，需要为指定像素包含在覆盖背景区域中或指定像素包含在未覆盖背景区域中的每一种情况设置正规方程。

例如，如果确定图55所示的帧#n中的覆盖背景区域所包含的像素的混合比α，将帧#n中的像素的像素值C04至C08和帧#n-1中的像素的像素值P04至P08设置到正规方程中。

如果确定图56所示的帧#n中的未覆盖背景区域所包含的像素的混合比α，将帧#n中的像素的像素值C28至C32和帧#n+1中的像素的像素值N28至N32设置到正规方程中。

而且，例如，如果计算包含在图66所示的覆盖背景区域中的像素的混合比α，则设置下述的方程式(59)至(67)。在图66中，白点表示被考虑为属于背景的像素，黑点表示被考虑为属于混合区域的像素。为其计算混合比α的像素的像素值为Mc5。

Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u    (59)

Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u      (60)

Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u    (61)

Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u      (62)

Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u        (63)

Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u      (64)

Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u    (65)

Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u      (66)

Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u    (67)

当计算包含帧#n中的在覆盖背景区域中的像素的混合比α时，在方程式(59)至(67)中分别使用与#n中的像素相对应的帧#n-1中的背景区域中的像素的像素值Bc1至Bc9。

如果，例如计算包含在图66所示的未覆盖背景区域中的像素的混合比α，则设置下述的方程式(68)至(76)。为其计算混合比α的像素的像素值为Mu5。

Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u    (68)

Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u      (69)

Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u    (70)

Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u      (71)

Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u        (72)

Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u      (73)

Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u    (74)

Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u      (75)

Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u    (76)

当计算包含帧#n中的在未覆盖背景区域中的像素的混合比α时，在方程式(68)至(76)中分别使用与#n中的像素相对应的帧#n+1中的背景区域中的像素的像素值Bu1至Bu9。

图67是显示估计混合比处理器401的配置的方框图。输入到估计混合比处理器401的图像提供给延迟电路501和加法器(adder)502。

延迟电路501将输入图像延迟一帧，并将图像供应给加法器502。当帧#n作为输入图像供应给加法器502时，延迟电路501将帧#n-1供应给加法器502。

加法器502设置与为其计算混合比α的像素邻近的像素的像素值、以及正规方程中帧#n-1的像素值。例如，根据方程式(59)至(67)，加法器分别设置正规方程中的像素值Mc1至Mc9和像素值Bc1至Bc9。加法器502将设置了像素值的正规方程供应给计算器503。

计算器503例如采用消元法，通过求解从加法器502供应的正规方程来确定估计混合比，并输出所确定的估计混合比。

通过这种方式，估计混合比处理器401能够根据输入图像计算估计混合比，并将其供应给混合比确定部分403。

估计混合比处理器402的配置类似于估计混合比处理器401，因此省去其详细描述。

图68显示估计混合比处理器401计算估计混合比的例子。图68所示的估计混合比是当与恒速运动的对象相对应的前景的运动量v是11时、以7×7像素块为单位生成方程通过计算所获得的结果，并用一条直线表示。

在混合区域估计混合比几乎线性地变化，如图67所示。

下面参照图69的流程图描述如图67所示配置的估计混合比处理器401通过使用与覆盖背景区域相对应的模型所执行的混合比估计处理。

在步骤S521中，加法器502在与覆盖背景区域的模型相对应的正规方程中设置包含在输入图像中的像素值以及包含在从延迟电路501供应的图像中的像素值。

在步骤S522中，估计混合比处理器401确定目标像素的设定是否完成。如果确定还没有完成目标像素的设定，则处理返回到步骤S521，继续设置正规方程中的像素值的处理。

如果在步骤S522中确定已经完成目标像素的设定，则处理前进到步骤S523。在步骤S523中，计算器503根据其中已经设定了像素值的正规方程计算估计混合比，并输出所计算估计混合比。

如上所述，如图67所示配置的估计混合比处理器401能够根据输入图像计算估计混合比。

通过使用与未覆盖背景区域的模型相对应的正规方程，采用与未覆盖背景区域相对应的模型所进行的混合比估计处理与图69的流程图所示的处理类似，由此省去其详细描述。

已经描述了假定与背景相对应的对象是静止的实施例。但是，即使与背景区域相对应的图像包含运动，也可以应用上述混合比计算处理。例如，如果与背景区域相对应的图像相一致地运动，则估计混合比处理器401根据该运动整体上移动图像，并与相应于背景区域的对象是静止的情况相类似地方式进行处理。如果与背景区域相对应的图像包含局部不同的运动，则估计混合比处理器401选择与运动相对应的像素作为属于混合区域的像素，并执行上述处理。

如上所述，混合比计算器102根据输入图像和从区域指定单元101供应的区域信息能够计算作为与每一个像素相对应的特征量的混合比α。

通过利用混合比α，能够分离包含在像素值中的前景成分和背景成分，而保持在与运动对象相对应的图像中所包含的运动模糊信息。

通过组合基于混合比α的图像，可以创建包含已经校正了与运动对象的速度相一致并且不真实地反映现实世界的运动模糊的图像。

现在描述前景/背景分离器105。图70是显示前景/背景分离器105的结构的一个例子的方块图。把供应给前景/背景分离器105的输入图像供应给分离部分601、切换器602、和切换器604。把区域指定单元103供应的、指示覆盖背景区域的信息和指示未覆盖背景区域的信息供应给分离部分601。把指示前景区域的区域信息供应给切换器602。把指示背景区域的区域信息供应给切换器604。

把混合比计算器104供应的混合比α供应给分离部分601。

根据指示覆盖背景区域的区域信息、指示未覆盖背景区域的区域信息、和混合比α，分离部分601从输入图像中分离前景成分，并且把分离的前景成分供应给合成器603。分离部分601还从输入图像中分离出背景成分，并且把分离的背景成分供应给合成器605。

在输入与前景相对应的像素的情况下，根据指示前景区域的区域信息，闭合切换器602，并且只把包含在输入图像中与前景相对应的像素供应给合成器603。

在输入与背景相对应的像素的情况下，根据指示背景区域的区域信息，闭合切换器604，并且只把包含在输入图像中与背景相对应的像素供应给合成器605。

合成器603根据分离部分601供应的前景成分、切换器602供应的与前景相对应的像素，合成前景成分图像，并且输出合成的前景成分图像。由于前景区域和混合区域不重叠，因此，合成器603通过，例如，把逻辑“或”运算作用于前景成分和前景像素，合成前景成分图像。

在前景成分图像合成处理的开始阶段中进行的初始化处理中，合成器603把其中所有像素值都是0的图像存储在内置帧存储器中。然后，在前景成分图像合成处理中，合成器603存储前景成分图像(用前景成分图像覆写先前的图像)。因此，在从合成器603输出的前景成分图像中、与背景区域相对应的像素存储0。

合成器605根据从分离部分601供应的背景成分、和切换器604供应的与背景相对应的像素，合成背景成分图像，并且输出合成的背景成分图像。由于背景区域和混合区域不重叠，因此，合成器605通过，例如，把逻辑“或”运算作用于背景成分和背景像素，合成背景成分图像。

在背景成分图像合成处理的开始阶段中进行的初始化处理中，合成器605把其中所有像素值都是0的图像存储在内置帧存储器中。然后，在背景成分图像合成处理中，合成器605存储背景成分图像(用背景成分图像覆写先前的图像)。因此，在从合成器605输出的背景成分图像中与前景区域相对应的像素存储0。

图71A显示输入到前景/背景分离器105的输入图像、和从前景/背景分离器105输出的前景成分图像和背景成分图像。图71B显示与输入到前景/背景分离器105的输入图像、和从前景/背景分离器105输出的前景成分图像和背景成分图像相对应的模型。

图71A是所显示图像的示意图，和图71B是与图71A相对应，在一行上包括的属于前景区域的像素、属于背景区域的像素、和属于混合区域的像素的像素沿着时间方向展开的模型图。

如图71A和71B所示，从前景/背景分离器105输出的背景成分图像由属于背景区域的像素、和包含在混合区域的像素内的背景成分组成。

如图71A和71B所示，从前景/背景分离器105输出的前景成分图像由属于前景区域的像素、和包含在混合区域的像素内的前景成分组成。

混合区域内的像素的像素值被前景/背景分离器105分离成背景成分和前景成分。分离的背景成分与属于背景区域的像素一起组成背景成分图像。分离的前景成分与属于前景区域的像素一起组成前景成分图像。

如上所述，在前景成分图像中，与背景区域相对应的像素的像素值被设置成0，与前景区域相对应的像素和与混合区域相对应的像素的像素值被设置成有效像素值。类似地，在背景成分图像中，与前景区域相对应的像素的像素值被设置成0，与背景区域相对应的像素和与混合区域相对应的像素的像素值被设置成有效像素值。

现在对分离部分601从属于混合区域的像素中分离出前景成分和背景成分的处理加以描述。

图72显示在包括与图72中从左边移动到右边的对象相对应的前景的两个帧中、指示前景成分和背景成分的图像的模型。在图72所示的图像的模型中，运动量v是4，和虚拟分割数也是4。

在帧#n中，最左边像素和从左边算起第14个到18个像素只由背景成分组成，并且属于背景区域。在帧#n中，从左边算起第2个到4个像素包含背景成分和前景成分，并且属于未覆盖背景区域。在帧#n中，从左边算起第11个到13个像素包含背景成分和前景成分，并且属于覆盖背景区域。在帧#n中，从左边算起第5个到10个像素只由前景成分组成，并且属于前景区域。

在帧#n+1中，从左边算起第1个到第5个和第18个像素只由背景成分组成，并且属于背景区域。在帧#n+1中，从左边算起第6个到8个像素包含背景成分和前景成分，并且属于未覆盖背景区域。在帧#n+1中，从左边算起第15个到17个像素包含背景成分和前景成分，并且属于覆盖背景区域。在帧#n+1中，从左边算起第9个到14个像素只由前景成分组成，并属于前景区域。

图73显示从属于覆盖背景区域的像素中分离前景成分的处理。在图73中，α1到α18分别代表帧#n中各个像素的混合比。在图73中，从左边算起第15个到第17个像素属于覆盖背景区域。

帧#n中从左边算起第15个像素的像素值C15被表示成方程式(77)：

C15＝B15/v+F09/v+F08/v+F07/v

   ＝α15·B15+F09/v+F08/v+F07/v

   ＝α15·P15+F09/v+F08/v+F07/v                   (77)

这里，α15表示帧#n中从左边算起第15个像素的混合比。P15表示帧#n-1中从左边算起第15个像素的像素值。

根据方程式(77)，帧#n中从左边算起第15个像素的前景成分之和f15被表示成方程式(78)：

f15＝F09/v+F08/v+F07/v

   ＝C15-α15·P15                                 (78)

类似地，帧#n中从左边算起第16个像素的前景成分之和f16被表示成方程式(79)，和帧#n中从左边算起第17个像素的前景成分之和f17被表示成方程式(80)：

f16＝C16-α16·P16                                   (79)

f17＝C17-α17·P17                                   (80)

以这种方式，包含在属于覆盖背景区域的像素的像素值C中的前景成分fc通过方程式(81)来计算：

fc＝C-α·P                                          (81)其中，P表示前一帧中的相对应的像素的像素值。

图74显示从属于未覆盖背景区域的像素中分离前景成分的处理。在图74中，α1到α18分别表示帧#n中各个像素的混合比。在图74中，从左边算起第2个到第4个像素属于未覆盖背景区域。

帧#n中从左边算起第2个像素的像素值C02被表示成方程式(82)：

C02＝B02/v+B02/v+B02/v+F01/v

   ＝α2·B02+F01/v

   ＝α2·N02+F01/v                                  (82)

这里，α2表示帧#n中从左边算起第2个像素的混合比。N02表示帧#n+1中从左边算起第2个像素的像素值。

根据方程式(82)，帧#n中从左边算起第2个像素的前景成分和f02被表示成方程式(83)：

f02＝F01/v

   ＝C02-α2·N02                                    (83)

类似地，帧#n中从左边算起第3个像素的前景成分和f03被表示成方程式(84)，和帧#n中从左边算起第4个像素的前景成分和f04被表示成方程式(85)：

f03＝C03-α3·N03                                    (84)

f04＝C04-α4·N04                                    (85)

以这种方式，包含在属于未覆盖背景区域的像素的像素值C中的前景成分fu通过方程式(86)来计算：

fu＝C-α·N                                          (86)其中，N表示后一帧中的相对应的像素的像素值。

如上所述，根据包含在区域信息中的指示覆盖背景区域的信息、指示未覆盖背景区域的信息、以及每个像素的混合比α，分离部分601可以从属于混合区域的像素中分离出前景成分和从属于混合区域的像素中分离出背景成分。

图75是显示进行上述处理的分离部分601的结构例子的方块图。把输入分离部分601的图像供应给帧存储器621，和把混合比计算器104供应的指示覆盖背景区域和未覆盖背景区域的区域信息、和混合比α输入分离处理模块622中。

帧存储器621以帧为单元存储输入图像。当被处理的帧是帧#n时，帧存储器621存储比帧#n早一个帧的帧#n-1、帧#n、和比帧#n晚一个帧的帧#n+1。

帧存储器621把帧#n-1、帧#n、和#n+1中的相应像素供应给分离处理模块622。

分离处理模块622根据指示覆盖背景区域和未覆盖背景区域的区域信息、和混合比α，把参照图73和图74所述的计算应用于从帧存储器621供应的帧#n-1、帧#n、和#n+1中相应像素的像素值，以便从帧#n中属于混合区域的像素中分离出前景成分和背景成分，并且把它们供应给帧存储器623。

分离处理模块622包括未覆盖区域处理器631、覆盖区域处理器632、合成器633、和合成器634。

未覆盖区域处理器631的乘法器641将帧存储器621供应的帧#n+1的像素的像素值乘以混合比α，并且将得到的结果像素值输出到切换器642。在帧存储器621供应的帧#n中的像素(与帧#n+1的像素相对应)属于未覆盖背景区域时，闭合切换器642，将乘法器641供应的被乘以混合比α的像素值供应给计算器643和合成器634。从切换器642输出的帧#n+1的像素的像素值被乘以混合比α所得的值与帧#n中相应像素的像素值的背景成分相同。

计算器643从帧存储器621供应的帧#n的像素的像素值中减去切换器642供应的背景成分，从而获得前景成分。计算器643把属于未覆盖背景区域的帧#n中的像素的前景成分供应给合成器633。

覆盖区域处理器632的乘法器651将帧存储器621供应的帧#n-1的像素的像素值乘以混合比α，并且将得到的结果像素值输出到切换器652。在帧存储器621供应的帧#n中的像素(与帧#n-1的像素相对应)属于覆盖背景区域时，闭合切换器652，将乘法器651供应的被乘以混合比α的像素值供应给计算器653和合成器634。从切换器652输出的帧#n-1的像素的像素值被乘以混合比α所得的值与帧#n中相应像素的像素值的背景成分相同。

计算器653从帧存储器621供应的帧#n的像素的像素值中减去切换器652供应的背景成分，从而获得前景成分。计算器653把属于覆盖背景区域的帧#n中的像素的前景成分供应给合成器633。

合成器633合成计算器643供应的帧#n中属于未覆盖背景区域的像素的前景成分、和计算器653供应的属于覆盖背景区域的像素的前景成分，并且把合成的前景成分供应给帧存储器623。

合成器634合成切换器642供应的帧#n中属于未覆盖背景区域的像素的背景成分、和切换器652供应的属于覆盖背景区域的像素的背景成分，并且把合成的背景成分供应给帧存储器623。

帧存储器623分别存储分离处理模块622供应的、帧#n中混合区域内的像素的前景成分和背景成分。

帧存储器623输出所存储的帧#n中混合区域内的像素的前景成分、和存储的帧#n中混合区域内的像素的背景成分。

利用作为特征量的混合比α能够把包含在像素值中的前景成分和背景成分完全分离开。

合成器603合成从分离部分601输出的、帧#n中混合区域内的像素的前景成分、和属于前景区域的像素，从而生成前景成分图像。合成器605合成从分离部分601输出的、帧#n中混合区域内的像素的背景成分、和属于背景区域的像素，从而生成背景成分图像。

图76A显示与图72中的帧#n相对应的前景成分图像的例子。在把前景和背景分开之前，最左边像素和从左边算起第14个像素只由背景成分组成，因此，像素值设置为0。

在前景和背景被分开之前，从左边算起第2个到第4个像素属于未覆盖背景区域。因此，背景成分设置为0，前景成分保持原来值。在把前景和背景分开之前，从左边算起第11个到第13个像素属于覆盖背景区域。因此，背景成分设置为0，前景成分保持原来值。由于从左边算起第5个到第10个像素只由前景成分组成，因此，那些前景成分保持原来值。

图76B显示了与图72所示中的帧#n相对应的背景成分图像的例子。在前景和背景被分开之前，最左边像素和从左边算起第14个像素由背景成分组成，因此，那些背景成分保持原来值。

在前景和背景被分开之前，从左边算起第2个到第4个像素属于未覆盖背景区域。因此，前景成分设置为0，背景成分保持原来值。在前景和背景被分开之前，从左边算起第11个到第13个像素属于覆盖背景区域，因此，前景成分设置为0，背景成分保持原来值。在前景和背景被分开之前，从左边算起第5个到第10个像素只由前景成分组成，因此，像素值设置为0。

现在参照图77所示的流程图，描述前景/背景分离器105对前景和背景的分离处理。在步骤S601中，分离部分601的帧存储器621获取输入图像，并且存储为其分离前景和背景的帧#n、以及前一帧#n-1和后一帧#n+1。

在步骤S602中，分离部分601的分离处理模块622获取混合比计算器104供应的区域信息。在步骤S603中，分离部分601的分离处理模块622获取混合比计算器104供应的混合比α。

在步骤S604中，未覆盖区域处理器631根据区域信息和混合比α，从帧存储器621供应的属于未覆盖背景区域的像素的像素值中提取背景成分。

在步骤S605中，未覆盖区域处理器631根据区域信息和混合比α，从帧存储器621供应的属于未覆盖背景区域的像素的像素值中提取前景成分。

在步骤S606中，覆盖区域处理器632根据区域信息和混合比α，从帧存储器621供应的属于覆盖背景区域的像素的像素值中提取背景成分。

在步骤S607中，覆盖区域处理器632根据区域信息和混合比α，从帧存储器621供应的属于覆盖背景区域的像素的像素值中提取前景成分。

在步骤S608中，合成器633合成在步骤S605的处理中提取的、属于未覆盖背景区域的像素的前景成分、和在步骤S607的处理中提取的、属于覆盖背景区域的像素的前景成分。把合成的前景成分供应给合成器603。此外，合成器603合成通过切换器602供应的、属于前景区域的像素、和分离部分601供应的前景成分，生成前景成分图像。

在步骤609中，合成器634合成在步骤S604的处理中提取的、属于未覆盖背景区域的像素的背景成分、和在步骤S606的处理中提取的、属于覆盖背景区域的像素的背景成分。把合成的背景成分供应给合成器605。此外，合成器605合成通过切换器604供应的、属于背景区域的像素、和分离部分601供应的背景成分，生成背景成分图像。

在步骤S610中，合成器603输出前景成分图像。在步骤S611中，合成器605输出背景成分图像，然后，结束处理。

如上所述，根据区域信息和混合比α，前景/背景分离器105可以从输入图像中分离出前景成分和背景成分，并且输出只由前景成分组成的前景成分图像、和只由背景成分组成的背景成分图像。

现在描述对前景成分图像调整运动模糊量的处理。

图78是显示运动模糊调整单元106的结构例子的方块图。把运动检测器102供应的运动向量和其位置信息供应给处理单元确定部分801、建模部分802和计算器805。把区域指定单元103供应的区域信息供应给处理单元确定部分801。把前景/背景分离器105供应的前景成分图像供应给加法器804。

处理单元确定部分801根据运动向量和其位置信息生成处理单元，并把生成的处理单元供应给建模部分802和加法器804。

例如，在图79中用A表示的、处理单元确定部分801生成的处理单元表示从与前景成分图像的覆盖背景区域相对应的像素开始、直到与未覆盖背景区域相对应的像素沿着运动方向依次排列的像素，或者从与未覆盖背景区域相对应的像素开始、直到与覆盖背景区域相对应的像素沿着运动方向依次排列的像素。处理单元由指示，例如，左上点(作为通过处理单元指定的像素的最左或最高位置像素)和右下点两段数据组成。

建模部分802根据运动向量和输入的处理单元，进行建模。更明确地说，例如，建模部分802可以根据包含在处理单元中的像素个数、像素值沿着时间方向的虚拟分割数、和前景成分的个数，为每个像素事先存储多个模型。然后建模部分802可以根据处理单元和像素值沿着时间方向的虚拟分割数，选择如图80所示的指定像素值与前景成分之间的相关关系的模型。

例如，假定与处理单元相对应的像素个数是12，快门时间内的运动量v是5。那么，建模部分802把虚拟分割数设置成5，并且选择总共由8种前景成分组成的模型，以便使得最左边位置的像素包括1个前景成分，从左边算起第2个像素包括2个前景成分，从左边算起第3像素包括3个前景成分，从左边算起第4个像素包括4个前景成分，从左边算起第5个像素包括5个前景成分，从左边算起第6个像素包括5个前景成分，从左边算起第7个像素包括5个前景成分，从左边算起第8个像素包括5个前景成分，从左边算起第9个像素包括4个前景成分，从左边算起第10个像素包括3个前景成分，从左边算起第11个像素包括2个前景成分，和从左边算起第12个像素包括1个前景成分。

建模部分802也可以不是从事先存储的模型中选择模型，而是在供应运动向量和处理单元的情况下，根据运动向量和处理单元生成模型。

建模部分802把所选的模型供应给方程式生成器803。

方程式生成器803根据建模部分802供应的模型，生成方程式。下面参照图80所示的前景成分图像的模型，在前景成分的个数是8，与处理单元相对应的像素个数是12，运动量v是5的情况下，描述方程式生成器803生成的方程式。

当包含在前景成分图像中与快门时间/v相对应的前景成分是F01/v到F08/v时，F01/v到F08/v与像素C01到C12之间的关系被表示成方程式(87)到方程式(98)：

C01＝F01/v                                         (87)

C02＝F02/v+F01/v                                   (88)

C03＝F03/v+F02/v+F01/v                             (89)

C04＝F04/v+F03/v+F02/v+F01/v                       (90)

C05＝F05/v+F04/v+F03/v+F02/v+F01/v                 (91)

C06＝F06/v+F05/v+F04/v+F03/v+F02/v                 (92)

C07＝F07/v+F06/v+F05/v+F04/v+F03/v                 (93)

C08＝F08/v+F07/v+F06/v+F05/v+F04/v                 (94)

C09＝F08/v+F07/v+F06/v+F05/v                       (95)

C10＝F08/v+F07/v+F06/v                             (96)

C11＝F08/v+F07/v                                   (97)

C12＝F08/v                                         (98)

通过变换生成的方程式，方程式生成器803生成另一组方程式。由方程式生成器803生成的另一组方程式被表示成方程式(99)到方程式(110)：

C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v                                     (99)

C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v                                     (100)

C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v                                     (101)

C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v                                     (102)

C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v                                  (103)

C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v                                  (104)

C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v                                  (105)

C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v                                  (106)

C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v                                  (107)

C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v                                  (108)

C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v                                  (109)

C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v                                  (110)

方程式(99)到方程式(110)可以用方程式(111)来表示： $\mathrm{Cj}=\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v---\left(111\right)$

在方程式(111)中，j表示像素位置。在本例中，j具有1到12之间的值之一。此外，i表示前景值的位置。在本例中，i具有1到8之间的一个值。在方程式(111)中，根据i和j的值，aij具有0或1的值之一。

考虑到误差，方程式(111)可以用方程式(112)来表示： $\mathrm{Cj}=\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v+\mathrm{ej}---\left(112\right)$

在方程式(112)中，ej表示包含在指定像素Cj中的误差。

可以把方程式(112)重写成方程式(113)： $\mathrm{ej}=\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v---\left(113\right)$

注意，为了使用最小二乘法，把误差的平方和E定义成方程式(114)： $E=\underset{j=01}{\overset{12}{\mathrm{\Σ}}}{\mathrm{ej}}^2---\left(114\right)$

为了使误差达到最小，应该使变量Fk关于误差的平方和的偏导数的值为0。求出满足方程式(115)的Fk： $\frac{\∂E}{\∂\mathrm{Fk}}=2\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{ej}\·\frac{\∂\mathrm{ej}}{\∂\mathrm{Fk}}$ $=2\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\{(\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aji}\·\mathrm{Fi}/v)\·(-\mathrm{akj}/v)\}=0---\left(115\right)$

在方程式(115)中，运动量v是固定值，因此，可以导出方程式(116)： $\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{akj}\·(\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v)=0---\left(116\right)$

展开方程式(116)和移动变元，得到方程式(117)： $\underset{j=01}{\overset{12}{\mathrm{\Σ}}}(\mathrm{akj}\·\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi})=v\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{akj}\·\mathrm{Cj}---\left(117\right)$

通过把1到8之间的整数之一代入方程式(117)中的k，将方程式(117)展开成8个方程式。获得的8个方程式可以用一个矩阵方程式表示。这个方程式被称为“正规方程”。

方程式生成器803根据最小二乘法生成的正规方程的例子被表示成方程式(118)：

当把方程式(118)表示成A·F＝v·C时，C、A和v是已知的，F是未知的。此外，虽然A和v在建模时就是已知的，但是，通过在相加处理中输入像素值，C才成为已知的。

按照最小二乘法，根据正规方程计算前景成分，处理包含在像素C中的误差。

方程式生成器803把如上所述生成的正规方程供应给加法器804。

加法器804根据处理单元确定部分801供应的处理单元，为方程式生成器803供应的矩阵方程式设置包含在前景成分图像中的像素值C。加法器804把设置了像素值C的矩阵供应给计算器805。

计算器805通过基于诸如消元法(Gauss-Jordan消元法)之类的方法的处理，计算已经经过运动模糊消除的前景成分Fi/v，从而获得作为已经经过运动模糊消除的像素值的、与1到8之间的整数i之一相对应的Fi。然后计算器805把由，例如，如图81所示的、由不含运动模糊的像素值的Fi组成的前景成分图像输出到运动模糊加法器806和选择器807。

计算器805生成与其中已经消除了运动模糊的前景成分图像相对应的区域信息和混合比α，并将所生成的区域信息和混合比α供应给选择器807。由于已经消除了运动模糊，所以计算器805所生成的混合比α是0或1。由于计算器805所生成的混合比α不包含运动模糊，所以其仅表示前景区域。

在如图81所示不含运动模糊的前景成分图像中，C03到C10的每一个分别被设置成F01到F08的每一个是为了不改变前景成分图像相对于屏幕的位置。但是，F01到F08可以被设置到任何期望的位置。

运动模糊加法器806通过加入用于调整运动模糊的与运动模糊量v不同的量v′，例如，通过其调整运动模糊的量v′是运动量v的一半、或通过其调整运动模糊的量v′与运动量v没有任何关系，可以调整运动模糊量。例如，如图82所示，运动模糊加法器806将不含运动模糊的前景像素值Fi除以通过其调整运动模糊的量v′，从而获得前景成分Fi/v′。然后运动模糊加法器806计算前景成分Fi/v′之和，生成已经调整过运动模糊量的像素值。例如，当通过其调整运动模糊的量v′是3时，像素值C02设为F01/v′，像素值C03设为(F01+F02)/v′，像素值C04设为(F01+F02+F03)/v′，和像素值C05设为(F02+F03+F04)/v′。

运动模糊加法器806把已经经过运动模糊量调整的前景成分图像供应给选择器807。运动模糊加法器806生成与其中运动模糊量已经调整了的前景成分图像相对应的区域信息和混合比α，并将所生成的区域信息和混合比α供应给选择器807。

由于将运动模糊加入前景成分图像中，所以运动模糊加法器806所生成的混合比α具有从0到1的值。例如，图82所示的像素值为C02的像素的混合比α为2/3，像素值为C03的像素的混合比α为1/3。

由于将运动模糊加入前景成分图像中，所以运动模糊加法器806所生成的区域信息指示前景区域和混合区域。图82所示的像素值为C02的像素的区域信息为混合区域，图82所示的像素值为C03的像素的区域信息为混合区域。

选择器807根据反映用户选择的选择信号，选择计算器805供应的、没有运动模糊的前景成分图像、区域信息和混合比α，或者，运动模糊加法器806供应的、已经调整了运动模糊量的前景成分图像、区域信息和混合比α，并且输出所选的前景成分图像、区域信息和混合比α。

如上所述，运动模糊调整单元106可以根据选择信号和通过其调整运动模糊的量v′来调整运动模糊量。

此外，例如，如图83所示，当与处理单元相对应的像素个数是8，运动量v是4时，运动模糊调整单元106生成用方程式(119)表示的矩阵方程式：

以这种方式，运动模糊调整单元106根据处理单元的长度通过建立方程计算运动模糊量已经经过调整的像素值Fi。类似地，例如，在包含在处理单元中的像素个数是100时，生成与100个像素相对应的方程式，从而计算Fi。

图84显示运动模糊调整单元106的另一配置例子。与图78所示的情况相同的部分用相同的标号表示，并且，略去不述。

根据选择信号，选择器821直接把输入的运动向量和其位置信息供应给处理单元确定部分801和建模部分802。或者，选择器821用通过其调整运动模糊的量v′替代运动向量的大小，然后将该运动向量和其位置信息供应给处理单元确定部分801和建模部分802。

利用该配置，图84所示的运动模糊调整单元106的处理单元确定部分801到计算器805可以根据运动量v和通过其调整运动模糊的量v′调整运动模糊量。例如，当运动量v是5和通过其调整运动模糊的量v′是3时，图84所示的运动模糊调整单元106的处理单元确定部分801到计算器805根据图82所示的其中通过其调整运动模糊的量v′是3的模型，对如图80所示的运动量v是5的前景成分图像进行计算。结果，获得包括与(运动量v)/(运动模糊调整量v′)＝5/3，即，约1.7的运动量v的运动模糊的图像。在这种情况下，计算的图像不包含与3的运动量v相对应的运动模糊。因此，应该注意到，运动量v与通过其调整运动模糊的量v′之间的关系与运动模糊加法器806的结果是不同的。

如上所述，运动模糊调整单元106根据运动量v和处理单元生成方程式，为生成的方程式设置前景成分图像的像素值，从而计算运动模糊量得到调整的前景成分图像。

现在参照图85所示的流程图，描述运动模糊调整单元106执行的调整包含在前景成分图像中的运动模糊量的处理。

在步骤S801中，运动模糊调整单元106的处理单元确定部分801根据运动向量和区域信息，生成处理单元，并且把生成的处理单元供应给建模部分802。

在步骤S802中，运动模糊调整单元106的建模部分802根据运动量v和处理单元选择或生成模型。在步骤S803中，方程式生成器803根据所选的模型，建立正规方程。

在步骤S804中，加法器804为建立的正规方程设置前景成分图像的像素值。在步骤S805中，加法器804确定与处理单元相对应的所有像素的像素值是否都得到设置。如果确定与处理单元相对应的像素的像素值还没有全部得到设置，流程返回到步骤S804，重复为正规方程设置像素值的处理。

如果在步骤S805中确定与处理单元相对应的像素的像素值全部得到设置，流程转到步骤S806。在步骤S806中，计算器805根据加法器804供应的像素值得到设置的正规方程，计算运动模糊量已经得到调整的前景的像素值。然后，结束处理。

如上所述，运动模糊调整单元106根据运动向量和区域信息，可以调整包含运动模糊的前景成分图像中的运动模糊量。

也就是说，包含在像素值中的，也就是说包含在取样数据中的运动模糊量可以得到调整。

图86是显示运动模糊调整单元106的不同结构例子的图。把运动检测器102供应的运动向量和其位置信息供应给处理单元确定部分901和调整部分905。把区域指定单元103供应的区域信息供应给处理单元确定部分901。把前景/背景分离器105供应的前景成分图像供应给计算器904。

处理单元确定部分901根据运动向量、其位置信息、和区域信息，生成处理单元，并将生成的处理单元和运动向量供应给建模部分902。

建模部分902根据运动向量和输入的处理单元进行建模。更明确地说，例如，建模部分902可以根据包含在处理单元中的像素个数、像素值沿着时间方向的虚拟分割数、和前景成分的个数，为每个像素事先存储多个模型。然后建模部分902可以根据处理单元和像素值沿着时间方向的虚拟分割数，选择如图87所示的指定像素值与前景成分之间的相关关系的模型。

例如，假定与处理单元相对应的像素个数是12，运动量v是5。那么，建模部分902把虚拟分割数设置成5，并且选择总共由8种前景成分组成的模型，以便使得最左边位置的像素包括1个前景成分，从左边算起第2个像素包括2个前景成分，从左边算起第3像素包括3个前景成分，从左边算起第4个像素包括4个前景成分，从左边算起第5个像素包括5个前景成分，从左边算起第6个像素包括5个前景成分，从左边算起第7个像素包括5个前景成分，从左边算起第8个像素包括5个前景成分，从左边算起第9个像素包括4个前景成分，从左边算起第10个像素包括3个前景成分，从左边算起第11个像素包括2个前景成分，和从左边算起第12个像素包括1个前景成分。

建模部分902也可以不是从事先存储的模型中选择模型，而是在供应运动向量和处理单元的情况下，根据运动向量和处理单元生成模型。

方程式生成器903根据建模部分902供应的模型，生成方程式。

现在参照图87到图89所示的前景成分图像的模型，对在前景成分的个数是8，与处理单元相对应的像素个数是12，和运动量v是5的情况下，方程式生成器903生成的方程式例子加以描述。

当包含在前景成分图像中与快门时间/v相对应的前景成分是F01/v到F08/v时，F01/v到F08/v与像素值C01到C12之间的关系被表示成如上所述的方程式(87)到(98)。

考虑像素值C12和C11，像素值C12只包括如方程式(120)所表示的前景成分F08/v，像素值C11由前景成分F08/v和前景成分F07/v之和组成。因此，前景成分F07/v通过方程式(121)来计算：

F08/v＝C12                                         (120)

F07/v＝C11-C12                                     (121)

类似地，对包含在像素值C10到C01中的前景成分加以考虑，前景成分F06/v到F01/v分别通过方程式(122)到方程式(127)来计算：

F06/v＝C10-C11                                     (122)

F05/v＝C09-C10                                     (123)

F04/v＝C08-C09                                     (124)

F03/v＝C07-C08+C12                                 (125)

F02/v＝C06-C07+C11-C12                             (126)

F01/v＝C05-C06+C10-C11                             (127)

方程式生成器903通过，例如，方程式(120)到方程式(127)所表示的像素值之差，生成用于计算前景成分的方程式。方程式生成器903把生成的方程式供应给计算器904。

计算器904为方程式生成器903供应的方程式设置前景成分图像的像素值，从而根据设置了像素值的方程式获取前景成分。例如，在方程式生成器903供应方程式(120)到方程式(127)时，计算器904为方程式(120)到方程式(127)设置像素值C05到C12。

计算器904根据设置了像素值的方程式，计算前景成分。例如，如图88所示，计算器904根据设置了像素值C05到C12的方程式(120)到方程式(127)的计算，计算前景成分F01/v到F08/v。计算器904把前景成分F01/v到F08/v供应给调整部分905。

调整部分905将计算器904供应的前景成分与包含在处理单元确定部分901供应的运动向量中的运动量v相乘，以便获得运动模糊已经消除的前景像素值。例如，在从计算器904供应前景成分F01/v到F08/v时，调整部分905将前景成分F01/v到F08/v的每一个与运动量v，即5相乘，从而获取运动模糊已经消除的前景像素值F01到F08，如图89所示。

调整部分905把由通过如上所述的计算的、由没有运动模糊的前景像素值组成的前景成分图像供应给运动模糊加法器906和选择器907。

调整部分905生成与由没有运动模糊的前景像素值组成的前景成分图像相对应的区域信息和混合比α，并将所生成的区域信息和混合比α供应给选择器907。

运动模糊加法器906通过使用与运动量v不同的、通过其调整运动模糊的量v′，例如，通过其调整运动模糊的量v′是运动量v的一半、或通过其调整运动模糊的量v′与运动量v没有任何关系，可以调整运动模糊量。例如，如图82所示，运动模糊加法器906将不含运动模糊的前景像素值Fi除以通过其调整运动模糊的量v′，从而获得前景成分Fi/v′。然后运动模糊加法器906计算前景成分Fi/v′之和，生成已经调整过运动模糊量的像素值。例如，当通过其调整运动模糊的量v′是3时，像素值C02设为F01/v′，像素值C03设为(F01+F02)/v′，像素值C04设为(F01+F02+F03)/v′，和像素值C05设为(F02+F03+F04)/v′。

运动模糊加法器906把已经经过运动模糊量调整的前景成分图像供应给选择器907。

运动模糊加法器906生成与其中运动模糊量已经调整了的前景成分图像相对应的区域信息和混合比α，并将所生成的区域信息和混合比α供应给选择器907。

选择器907根据反映用户选择的选择信号，选择调整部分905供应的、没有运动模糊的前景成分图像、区域信息和混合比α，或者，运动模糊加法器906供应的、已经调整了运动模糊量的前景成分图像、区域信息和混合比α，并且输出所选的前景成分图像、区域信息和混合比α。

如上所述，运动模糊调整单元106可以根据选择信号和通过其调整运动模糊的量v′调整运动模糊量。

现在参照图90所示的流程图，对如图86所示配置的运动模糊调整单元106执行的调整前景的运动模糊量的处理加以描述。

在步骤S901中，运动模糊调整单元106的处理单元确定部分901根据运动向量和区域信息，生成处理单元，并且把生成的处理单元供应给建模部分902和调整部分905。

在步骤S902中，运动模糊调整单元106的建模部分902根据运动量v和处理单元选择或生成模型。在步骤S903中，方程式生成器903根据选择或生成的模型，通过前景成分图像的像素值之间的差值，生成用于计算前景成分的方程式。

在步骤S904中，计算器904为生成的方程式设置前景成分图像的像素值，并且，根据设置了像素值的方程式，使用像素值的差值来提取前景成分。在步骤S905中，计算器904确定与处理单元相对应的所有前景成分是否都得到提取。如果确定与处理单元相对应的前景成分还没有全部得到提取，流程返回到步骤S904，重复提取前景成分的处理。

如果在步骤S905中确定与处理单元相对应的前景成分全部得到提取，流程转到步骤S906。在步骤S906中，调整部分905根据运动量v，调整计算器904供应的前景成分F01/v到F08/v的每一个，从而获取已经消除运动模糊的前景像素值F01到F08。

在步骤S907中，运动模糊加法器906计算已经调整运动模糊量的前景像素值，和选择器907选择没有运动模糊的图像或运动模糊量已经调整过的图像，并且输出所选的图像。然后，结束处理。

如上所述，如图86所示的运动模糊调整单元106通过较简单的计算，可以更迅速地调整包含运动模糊的前景图像中的运动模糊。

虽然在理想状态下借助于诸如Winner(温纳)滤波器等可以部分消除运动模糊的传统技术能够达到一定效果，但是对于已经被量化和包含噪声的实际图像，没有达到显著效果。与此相反，利用如图86所示配置的运动模糊调整单元106，对于已经被量化和包含噪声的实际图像，可以达到显著效果。由此可以更精确地消除运动模糊。

如上所述，如图7所示配置的前景/背景成分图像生成器91能够将输入图像分离成前景成分图像和背景成分图像，并可以调整包含在前景成分图像中的运动模糊。

下面参照图91至94描述遮蔽校正部分92所执行的处理。例如，对于如图91所示包含在输入图像中的前景对象，当显示在帧#n中的对象的位置从显示在帧#n-1中的对象的位置向右移动时，如图92所示，前景对象的移动方向为图93所示的从左向右。在图93中，A表示作为覆盖背景区域的混合区域，B表示前景区域。在图93中，C表示作为未覆盖背景区域的混合区域。

如图93所示，作为覆盖背景区域的混合区域位于前景对象运动方向的前端，作为未覆盖背景区域的混合区域位于前景对象的运动方向的末端。

仅由在被分离之前属于混合区域而从中移除前景成分的背景成分构成的背景成分图像的像素的像素值电平与混合比α成正比地减小，如图94A所示，这是由于前景成分已经移除。

相应地，如图94B所示，遮蔽校正部分92将分离前属于混合区域的像素的像素值除以混合比α，以便校正分离前属于混合区域的像素的像素值。

利用该配置，通过使用包含在混合区域中并位于前景对象后面的背景成分可以创建背景。由于使用包含在属于混合区域的像素中的背景成分创建背景，所以根据本发明的图像处理设备能够生成更为自然的三维图像。

图95是显示前景视差图像生成器93的结构的方框图。

运动量生成器1001根据从视差计算器72供应的视差，生成用于生成右眼前景成分图像的运动量，并将所生成的运动量供应给图像移动部分1002、区域信息移动部分1003和混合比移动部分1004。

运动量生成器1001根据从视差计算器72供应的视差，生成用于生成左眼前景成分图像的运动量，并将所生成的运动量供应给图像移动部分1005、区域信息移动部分1006和混合比移动部分1007。

图像移动部分1002根据从运动量生成器1001供应的运动量，移动从前景/背景成分图像生成器91供应的已经调整过运动模糊量的前景成分图像，从而创建右眼前景成分图像。图像移动部分1002输出该右眼前景成分图像。

区域信息移动部分1003根据从运动量生成器1001供应的运动量，移动从前景/背景成分图像生成器91供应的区域信息，从而生成与右眼前景成分图像相对应的区域信息。区域信息移动部分1003输出该与右眼前景成分图像相对应的区域信息。

混合比移动部分1004根据从运动量生成器1001供应的运动量，移动从前景/背景成分图像生成器91供应的混合比α，从而生成与右眼前景成分图像相对应的混合比α。混合比移动部分1004输出该与右眼前景成分图像相对应的混合比α。

图像移动部分1005根据从运动量生成器1001供应的运动量，移动从前景/背景成分图像生成器91供应的已经调整过运动模糊量的前景成分图像，从而创建左眼前景成分图像。图像移动部分1005输出该左眼前景成分图像。

区域信息移动部分1006根据从运动量生成器1001供应的运动量，移动从前景/背景成分图像生成器91供应的区域信息，从而生成与左眼前景成分图像相对应的区域信息。区域信息移动部分1006输出该与左眼前景成分图像相对应的区域信息。

混合比移动部分1007根据从运动量生成器1001供应的运动量，移动从前景/背景成分图像生成器91供应的混合比α，从而生成与左眼前景成分图像相对应的混合比α。混合比移动部分1007输出该与左眼前景成分图像相对应的混合比α。

如上所述，前景视差图像生成器93根据从视差计算器72供应的视差生成右眼前景成分图像，并生成与该右眼前景成分图像相对应的区域信息和混合比α，以及将所生成的右眼前景成分图像、区域信息和混合比α供应给合成器94-1。前景视差图像生成器93根据从视差计算器72供应的视差生成左眼前景成分图像，并生成与该左眼前景成分图像相对应的区域信息和混合比α，以及将所生成的左眼前景成分图像、区域信息和混合比α供应给合成器94-2。

图96是显示合成器94的结构的方框图。

混合区域图像合成部分1101根据从前景视差图像生成器93供应的混合比α，通过合成从前景视差图像生成器93供应的右眼前景成分图像或左眼前景成分图像与遮蔽校正部分92供应的背景成分图像来合成混合区域合成图像。

也就是说，混合区域图像合成部分1101将背景成分图像的像素值乘以混合比α，从而计算与混合区域的像素相对应的背景成分之和。混合区域图像合成部分1101将所计算的背景成分之和加到属于相应混合区域的右眼前景成分图像或左眼前景成分图像的像素的像素值，从而生成混合区域合成图像。

混合区域图像合成部分1101将所生成的混合区域合成图像供应给图像合成部分1102。

图像合成部分1102根据从前景视差图像生成器93供应的区域信息，合成从混合区域图像合成部分1101供应的混合区域合成图像、从前景视差图像生成器93供应的右眼前景成分图像或左眼前景成分图像、以及从遮蔽校正部分92供应的背景成分图像，从而生成与右眼图像或左眼图像相对应的合成图像。图像合成部分1102输出与右眼图像或左眼图像相对应的合成图像。

以这种方式，合成器94能够将右眼前景成分图像或左眼前景成分图像与背景成分图像合成。

与仅通过简单地组合像素所获得的图像相比，根据特征量混合比α通过合成前景成分图像与背景成分图像所获得的三维图像显得更加自然。

已经描述了距离信息获取单元71生成距离信息的情况。但是，图像处理设备也可以使用从外部信号源供应的与输入图像相对应的距离信息来计算视差。

已经描述了视差由视差计算器72计算的情况，但是，图像处理设备也可以根据例如从外部信号源供应由用户设置的视差来生成三维图像。

尽管描述了根据距离信息计算视差的情况，但是，视差计算器72可以事先存储指示距离信息与视差之间的关系的数据，从而确定视差。

合成器94-1和94-2可以将从外部信号源供应的特定背景图像与右眼前景成分图像或左眼前景成分图像合成，从而生成右眼图像或左眼图像。

上面已经描述了将混合比α设置成包含在像素值中的背景成分的比例的实施例。但是，混合比α也可以设置成包含在像素值中的前景成分的比例。

上面已经描述了将前景对象的运动方向设置成从左边移动到右边的方向。但是，运动方向不局限于上述方向。

在上面的描述中，通过利用视频摄像机，把具有三维空间和时间轴信息的真实空间图像投影到具有二维空间和时间轴信息的时空上。但是，本发明不受这个例子的限制，并且可以应用到下述情形中。即，当把一维空间上较多数量的第一信息投影到二维空间上较少数量的第二信息时，能够校正由于投影引起的失真，能够提取重要的信息，或者合成更自然的图像。

传感器不限于CCD，可以是其它类型的传感器，例如，固态图像拍摄器件，比如BBD(Bucket Brigade Device，斗链器件)、CID(Charge InjectionDevice，电荷注入器件)、CPD(Charge Priming Device，电荷启动器件)、或CMOS(互补型金属氧化物半导体(互补型金属氧化物薄膜半导体))等。并且，传感器不限于检测元件排列成矩阵状的传感器，可以是检测元件排列成一行的传感器。

如图1所示，记录执行本发明的信号处理的程序的记录媒体可以被配置成其中记录程序的封装媒体，与计算机分开分发以提供程序给用户，譬如，磁盘51(包括软盘(注册商标))、光盘52(包括CD-ROM(只读光盘存储器)和DVD(数字多功能盘)、磁光盘53(包括MD(小型盘)(注册商标))或半导体存储器54。记录媒体也可以被配置成包含在用于记录程序的存储单元28中的ROM(只读存储器)22或硬盘，此类型的记录媒体与计算机组装在一起事先提供给用户。

构成记录在记录媒体中的程序的步骤可以按照如上在本说明书中所述次序以时间顺序执行。但是，不必一定按照时间顺序执行，也可以并行地或单独地执行。

工业可应用性

根据本发明，可以依据图像的混合状态从二维图像中生成三维图像。

Claims (20)

1.一种图像处理设备，用于对包括预定个数像素的图像拍摄器件获取、由预定个数像素数据组成的图像数据进行处理，所述像素具有时间积分效应，所述图像处理设备包括：

前景/背景成分图像生成装置，用于从包括前景区域、背景区域、以及由前景对象成分和背景对象成分混合在一起的混合区域在内的图像数据中生成只由前景对象成分构成的前景成分图像和只由背景对象成分构成的背景成分图像，其中前景区域只由组成前景对象的前景对象成分构成，背景区域只由组成背景对象的背景对象成分构成；

前景视差图像生成装置，用于通过将右眼视差加到前景成分图像上生成右眼前景视差图像、以及通过将左眼视差加到前景成分图像上生成左眼前景视差图像；以及

视差图像生成装置，用于通过将右眼前景视差图像与特定背景图像合成来生成右眼视差图像、以及通过将左眼前景视差图像与特定背景图像合成来生成左眼视差图像。

2.根据权利要求1所述的图像处理设备，还包括运动模糊调整装置，用于调整前景/背景成分图像生成装置所生成的前景成分图像的运动模糊量。

3.根据权利要求1所述的图像处理设备，其中，所述前景/背景成分图像生成装置还包括：区域指定装置，用于指定图像数据的前景区域、背景区域和混合区域；以及混合比检测装置，用于根据指定前景区域、背景区域和混合区域所获得的结果，检测指示混合区域中前景对象成分和背景对象成分的混合比例的混合比。

4.根据权利要求3所述的图像处理设备，其中，所述前景/背景成分图像生成装置包括前景/背景分离装置，用于根据混合比将属于混合区域的像素分离到前景对象成分和背景对象成分中，从而根据分离的前景对象成分和分离的背景对象成分生成前景成分图像和背景成分图像。

5.一种图像处理方法，用于对包括预定个数像素的图像拍摄器件获取、由预定个数像素数据组成的图像数据进行处理，所述像素具有时间积分效应，所述图像处理方法包括：

前景/背景成分图像生成步骤，用于从包括前景区域、背景区域、以及由前景对象成分和背景对象成分混合在一起的混合区域在内的图像数据中生成只由前景对象成分构成的前景成分图像和只由背景对象成分构成的背景成分图像，其中前景区域只由组成前景对象的前景对象成分构成，背景区域只由组成背景对象的背景对象成分构成；

前景视差图像生成步骤，用于通过将右眼视差加到前景成分图像上生成右眼前景视差图像、以及通过将左眼视差加到前景成分图像上生成左眼前景视差图像；以及

视差图像生成步骤，用于通过将右眼前景视差图像与特定背景图像合成来生成右眼视差图像、以及通过将左眼前景视差图像与特定背景图像合成来生成左眼视差图像。

6.根据权利要求5所述的图像处理方法，还包括运动模糊调整步骤，用于调整前景/背景成分图像生成步骤所生成的前景成分图像的运动模糊量。

7.根据权利要求5所述的图像处理方法，其中，所述前景/背景成分图像生成步骤还包括：区域指定步骤，用于指定图像数据的前景区域、背景区域和混合区域；以及混合比检测步骤，用于根据指定前景区域、背景区域和混合区域所获得的结果，检测指示混合区域中前景对象成分和背景对象成分的混合比例的混合比。

8.根据权利要求7所述的图像处理方法，其中，所述前景/背景成分图像生成步骤包括前景/背景分离步骤，用于根据混合比将属于混合区域的像素分离到前景对象成分和背景对象成分中，从而根据分离的前景对象成分和分离的背景对象成分生成前景成分图像和背景成分图像。

9.一种记录计算机可读程序的记录媒体，所述程序用于对包括预定个数像素的图像拍摄器件获取、由预定个数像素数据组成的图像数据进行处理，所述像素具有时间积分效应，所述程序包括：

前景/背景成分图像生成步骤，用于从包括前景区域、背景区域、以及由前景对象成分和背景对象成分混合在一起的混合区域在内的图像数据中生成只由前景对象成分构成的前景成分图像和只由背景对象成分构成的背景成分图像，其中前景区域只由组成前景对象的前景对象成分构成，背景区域只由组成背景对象的背景对象成分构成；

前景视差图像生成步骤，用于通过将右眼视差加到前景成分图像上生成右眼前景视差图像、以及通过将左眼视差加到前景成分图像上生成左眼前景视差图像；以及

视差图像生成步骤，用于通过将右眼前景视差图像与特定背景图像合成来生成右眼视差图像、以及通过将左眼前景视差图像与特定背景图像合成来生成左眼视差图像。

10.根据权利要求9所述的记录媒体，还包括运动模糊调整步骤，用于调整前景/背景成分图像生成步骤所生成的前景成分图像的运动模糊量。

11.根据权利要求9所述的记录媒体，其中，所述前景/背景成分图像生成步骤还包括：区域指定步骤，用于指定图像数据的前景区域、背景区域和混合区域；以及混合比检测步骤，用于根据指定前景区域、背景区域和混合区域所获得的结果，检测指示混合区域中前景对象成分和背景对象成分的混合比例的混合比。

12.根据权利要求11所述的记录媒体，其中，所述前景/背景成分图像生成步骤包括前景/背景分离步骤，用于根据混合比将属于混合区域的像素分离到前景对象成分和背景对象成分中，从而根据分离的前景对象成分和分离的背景对象成分生成前景成分图像和背景成分图像。

13.一种使计算机执行如下步骤的程序，用于对包括预定个数像素的图像拍摄器件获取、由预定个数像素数据组成的图像数据进行处理，所述像素具有时间积分效应：

前景/背景成分图像生成步骤，用于从包括前景区域、背景区域、以及由前景对象成分和背景对象成分混合在一起的混合区域在内的图像数据中生成只由前景对象成分构成的前景成分图像和只由背景对象成分构成的背景成分图像，其中前景区域只由组成前景对象的前景对象成分构成，背景区域只由组成背景对象的背景对象成分构成；

前景视差图像生成步骤，用于通过将右眼视差加到前景成分图像上生成右眼前景视差图像、以及通过将左眼视差加到前景成分图像上生成左眼前景视差图像；以及

视差图像生成步骤，用于通过将右眼前景视差图像与特定背景图像合成来生成右眼视差图像、以及通过将左眼前景视差图像与特定背景图像合成来生成左眼视差图像。

14.根据权利要求13所述的程序，还包括运动模糊调整步骤，用于调整前景/背景成分图像生成步骤所生成的前景成分图像的运动模糊量。

15.根据权利要求13所述的程序，其中，所述前景/背景成分图像生成步骤还包括：区域指定步骤，用于指定图像数据的前景区域、背景区域和混合区域；以及混合比检测步骤，用于根据指定前景区域、背景区域和混合区域所获得的结果，检测指示混合区域中前景对象成分和背景对象成分的混合比例的混合比。

16.根据权利要求15所述的程序，其中，所述前景/背景成分图像生成步骤包括前景/背景分离步骤，用于根据混合比将属于混合区域的像素分离到前景对象成分和背景对象成分中，从而根据分离的前景对象成分和分离的背景对象成分生成前景成分图像和背景成分图像。

17.一种图像拍摄设备，包括：

图像拍摄装置，用于输出由具有时间积分效应的、具有预定个像素的图像拍摄器件拍摄的主体图像，作为由预定个数像素数据组成的图像数据；

前景/背景成分图像生成装置，用于从包括前景区域、背景区域、以及由前景对象成分和背景对象成分混合在一起的混合区域在内的图像数据中生成只由前景对象成分构成的前景成分图像和只由背景对象成分构成的背景成分图像，其中前景区域只由组成前景对象的前景对象成分构成，背景区域只由组成背景对象的背景对象成分构成；

前景视差图像生成装置，用于通过将右眼视差加到前景成分图像上生成右眼前景视差图像、以及通过将左眼视差加到前景成分图像上生成左眼前景视差图像；以及

视差图像生成装置，用于通过将右眼前景视差图像与特定背景图像合成来生成右眼视差图像、以及通过将左眼前景视差图像与特定背景图像合成来生成左眼视差图像。

18.根据权利要求17所述的图像拍摄设备，还包括运动模糊调整装置，用于调整前景/背景成分图像生成装置所生成的前景成分图像的运动模糊量。

19.根据权利要求17所述的图像拍摄设备，其中，所述前景/背景成分图像生成装置还包括：区域指定装置，用于指定图像数据的前景区域、背景区域和混合区域；以及混合比检测装置，用于根据指定前景区域、背景区域和混合区域所获得的结果，检测指示混合区域中前景对象成分和背景对象成分的混合比例的混合比。

20.根据权利要求19所述的图像拍摄设备，其中，所述前景/背景成分图像生成装置包括前景/背景分离装置，用于根据混合比将属于混合区域的像素分离到前景对象成分和背景对象成分中，从而根据分离的前景对象成分和分离的背景对象成分生成前景成分图像和背景成分图像。

Images