CN1249630C - 图像处理装置和方法及摄像装置 - Google Patents

Abstract

可以检测表示多个对象如背景图像和移动对象图像的混合状态的混合比率。正规方程加入部分(541)根据运动提取混合像素数据并且根据混合像素数据提取背景像素数据，从而为目标像素生成多个关系方程。正规方程计算部分(542)根据关系方程检测表示对象混合状态的混合比率。正规方程加入部分(541)通过假定前景对象成分近似线性变化的第一近似和假定混合比率近似线性变化的第二近似，生成多个关系方程。本发明可以应用于处理图像的信号处理装置。

Description

图像处理装置和 方法及摄像装置

技术领域

本发明涉及图像处理装置和方法及摄像装置，特别涉及一种考虑由传感器检测的信号与真实世界之间差异的图像处理装置和方法及摄像装置。

背景技术

通过传感器检测在真实世界中发生的事件并且处理从图像传感器输出的采样数据的技术得到广泛的应用。

例如，在通过使用视频摄像机拍摄在预定静止背景之前移动的对象而获得的图像中，如果移动速度相对高，则发生运动模糊。

然而，当对象在静止背景之前移动时，不仅发生因移动对象图像自身的混合而产生的运动模糊，还发生背景图像与对象图像的混合。迄今为止，对于检测背景图像与移动对象的混合状态，尚未给予考虑。

发明内容

本发明是鉴于上述背景而提出的。因此，本发明的一个目的是允许检测表示多个对象如背景图像和移动对象图像的混合状态的混合比率。

本发明的第一图像处理装置，包括：关系表达式生成部件，用于根据形成多个对象的前景的前景对象的运动，从指定帧及其周围帧中与图像数据的指定帧的指定像素相对应提取作为像素数据的混合像素数据，在混合像素数据中，包含在图像数据中的多个对象混合在一起，并且还根据背景对象的运动从与提取混合像素数据的帧不同的帧中，与混合像素数据相对应提取与形成多个对象的背景的背景对象相对应的作为像素数据的背景像素数据，背景像素数据与对应混合像素数据相关联，从而生成有关指定像素的表示混合像素数据和背景像素数据之间关系的多个关系表达式；以及混合比率检测部件，用于根据关系表达式检测有关指定像素的表示多个真实世界对象的混合状态的混合比率。关系表达式生成部件根据包含在混合像素数据中的前景对象成分相对于像素位置大致线性变化的第一近似和从指定帧提取的混合像素数据的混合比率相对于像素位置大致线性变化的第二近似，生成多个关系表达式。

该图像处理装置还可以包括前景/背景分离部件，用于根据对应于指定像素的混合比率，将图像数据分离为前景对象图像和背景对象图像，其中，前景对象图像仅由形成图像数据的前景对象的前景对象成分构成，并且背景对象图像仅由形成图像数据的背景对象的背景对象成分构成。

混合比率检测部件可以通过根据最小二乘法求解多个关系表达式来检测混合比率。

本发明的第一图像处理方法，包括：关系表达式生成步骤，根据形成多个对象的前景的前景对象的运动，从指定帧及其周围帧中与图像数据的指定帧的指定像素相对应提取作为像素数据的混合像素数据，在混合像素数据中，包含在图像数据中的多个对象混合在一起，并且还根据背景对象的运动从与提取混合像素数据的帧不同的帧中，与混合像素数据相对应提取与形成多个对象的背景的背景对象相对应的作为像素数据的背景像素数据，背景像素数据与对应混合像素数据相关联，从而生成有关指定像素的表示混合像素数据和背景像素数据之间关系的多个关系表达式；以及混合比率检测步骤，根据关系表达式检测有关指定像素的表示多个真实世界对象的混合状态的混合比率。在关系表达式生成步骤中，根据包含在混合像素数据中的前景对象成分相对于像素位置大致线性变化的第一近似和从指定帧提取的混合像素数据的混合比率相对于像素位置大致线性变化的第二近似，生成多个关系表达式。

该图像处理方法还可以包括前景/背景分离步骤，根据对应于指定像素的混合比率，将图像数据分离为前景对象图像和背景对象图像，其中，前景对象图像仅由形成图像数据的前景对象的前景对象成分构成，并且背景对象图像仅由形成图像数据的背景对象的背景对象成分构成。

在混合比率检测步骤中，可以通过根据最小二乘法求解多个关系表达式来检测混合比率。

本发明的第一记录介质的程序，包括：关系表达式生成步骤，根据形成多个对象的前景的前景对象的运动，从指定帧及其周围帧中与图像数据的指定帧的指定像素相对应提取作为像素数据的混合像素数据，在混合像素数据中，包含在图像数据中的多个对象混合在一起，并且还根据背景对象的运动从与提取混合像素数据的帧不同的帧中，与混合像素数据相对应提取与形成多个对象的背景的背景对象相对应的作为像素数据的背景像素数据，背景像素数据与对应混合像素数据相关联，从而生成有关指定像素的表示混合像素数据和背景像素数据之间关系的多个关系表达式；以及混合比率检测步骤，根据关系表达式检测有关指定像素的表示多个真实世界对象的混合状态的混合比率。在关系表达式生成步骤中，根据包含在混合像素数据中的前景对象成分相对于像素位置大致线性变化的第一近似和从指定帧提取的混合像素数据的混合比率相对于像素位置大致线性变化的第二近似，生成多个关系表达式。

该程序还可以包括前景/背景分离步骤，根据对应于指定像素的混合比率，将图像数据分离为前景对象图像和背景对象图像，其中，前景对象图像仅由形成图像数据的前景对象的前景对象成分构成，并且背景对象图像仅由形成图像数据的背景对象的背景对象成分构成。

在混合比率检测步骤中，可以通过根据最小二乘法求解多个关系表达式来检测混合比率。

本发明的第一程序让计算机执行如下步骤：关系表达式生成步骤，根据形成多个对象的前景的前景对象的运动，从指定帧及其周围帧中与图像数据的指定帧的指定像素相对应提取作为像素数据的混合像素数据，在混合像素数据中，包含在图像数据中的多个对象混合在一起，并且还根据背景对象的运动从与提取混合像素数据的帧不同的帧中，与混合像素数据相对应提取与形成多个对象的背景的背景对象相对应的作为像素数据的背景像素数据，背景像素数据与对应混合像素数据相关联，从而生成有关指定像素的表示混合像素数据和背景像素数据之间关系的多个关系表达式；以及混合比率检测步骤，根据关系表达式检测有关指定像素的表示多个真实世界对象的混合状态的混合比率。在关系表达式生成步骤中，根据包含在混合像素数据中的前景对象成分相对于像素位置大致线性变化的第一近似和从指定帧提取的混合像素数据的混合比率相对于像素位置大致线性变化的第二近似，生成多个关系表达式。

该程序还可以包括前景/背景分离步骤，根据对应于指定像素的混合比率，将图像数据分离为前景对象图像和背景对象图像，其中，前景对象图像仅由形成图像数据的前景对象的前景对象成分构成，并且背景对象图像仅由形成图像数据的背景对象的背景对象成分构成。

在混合比率检测步骤中，可以通过根据最小二乘法求解多个关系表达式来检测混合比率。

本发明的第一摄像装置，包括：摄像部件，用于输出由包括预定数目像素的摄像设备拍摄的主体图像作为由预定数目的像素数据组成的图像数据，其中，所述像素具有时间累积功能；关系表达式生成部件，用于根据形成多个对象的前景的前景对象的运动，从指定帧及其周围帧中与图像数据的指定帧的指定像素相对应提取作为像素数据的混合像素数据，在混合像素数据中，包含在图像数据中的多个对象混合在一起，并且还根据背景对象的运动从与提取混合像素数据的帧不同的帧中，与混合像素数据相对应提取与形成多个对象的背景的背景对象相对应的作为像素数据的背景像素数据，背景像素数据与对应混合像素数据相关联，从而生成有关指定像素的表示混合像素数据和背景像素数据之间关系的多个关系表达式；以及混合比率检测部件，用于根据关系表达式检测有关指定像素的表示多个真实世界对象的混合状态的混合比率。关系表达式生成部件根据包含在混合像素数据中的前景对象成分相对于像素位置大致线性变化的第一近似和从指定帧提取的混合像素数据的混合比率相对于像素位置大致线性变化的第二近似，生成多个关系表达式。

该摄像装置还可以包括前景/背景分离部件，用于根据对应于指定像素的混合比率，将图像数据分离为前景对象图像和背景对象图像，其中，前景对象图像仅由形成图像数据的前景对象的前景对象成分构成，并且背景对象图像仅由形成图像数据的背景对象的背景对象成分构成。

混合比率检测部件可以通过根据最小二乘法求解多个关系表达式来检测混合比率。

本发明的第二图像处理装置，包括：关系表达式生成部件，用于与图像数据的指定帧的指定像素相对应提取指定帧的周围帧的像素数据作为与图像数据的多个对象的背景对象相对应的背景像素数据，并且还提取指定帧中指定像素的指定像素数据和位置与指定像素邻近的像素的近似像素数据，从而生成有关指定像素的表示指定像素数据、近似像素数据和对应于指定像素数据或近似像素数据的背景像素数据的关系的多个关系表达式；以及混合比率检测部件，用于根据关系表达式检测有关指定像素的表示多个真实世界对象的混合状态的混合比率。关系表达式生成部件根据对应于指定像素和近似像素的混合比率相同这一近似，生成多个关系表达式。

关系表达式生成部件可以根据包含在指定像素数据和近似像素数据中的多个对象的前景对象成分相同这一近似，生成多个关系表达式。

关系表达式生成部件可以根据包含在指定像素数据和近似像素数据中的多个对象的前景对象成分相对于像素位置大致线性变化这一近似，生成多个关系表达式。

该图像处理装置可以包括前景/背景分离部件，用于根据对应于指定像素的混合比率，将图像数据分离为前景对象图像和背景对象图像，其中，前景对象图像仅由形成图像数据的前景对象的前景对象成分构成，并且背景对象图像仅由形成图像数据的背景对象的背景对象成分构成。

混合比率检测部件可以通过根据最小二乘法求解多个关系表达式来检测混合比率。

本发明的第二图像处理方法，包括：关系表达式生成步骤，与图像数据的指定帧的指定像素相对应提取指定帧的周围帧的像素数据作为与图像数据的多个对象的背景对象相对应的背景像素数据，并且还提取指定帧中指定像素的指定像素数据和位置与指定像素邻近的像素的近似像素数据，从而生成有关指定像素的表示指定像素数据、近似像素数据和对应于指定像素数据或近似像素数据的背景像素数据的关系的多个关系表达式；以及混合比率检测步骤，根据关系表达式检测有关指定像素的表示多个真实世界对象的混合状态的混合比率。在关系表达式生成步骤中，根据对应于指定像素和近似像素的混合比率相同这一近似，生成多个关系表达式。

在关系表达式生成步骤中，可以根据包含在指定像素数据和近似像素数据中的多个对象的前景对象成分相同这一近似，生成多个关系表达式。

在关系表达式生成步骤中，可以根据包含在指定像素数据和近似像素数据中的多个对象的前景对象成分相对于像素位置大致线性变化这一近似，生成多个关系表达式。

该图像处理方法可以包括前景/背景分离步骤，根据对应于指定像素的混合比率，将图像数据分离为前景对象图像和背景对象图像，其中，前景对象图像仅由形成图像数据的前景对象的前景对象成分构成，并且背景对象图像仅由形成图像数据的背景对象的背景对象成分构成。

在混合比率检测步骤中，可以通过根据最小二乘法求解多个关系表达式来检测混合比率。

本发明的第二记录介质的程序，包括：关系表达式生成步骤，与图像数据的指定帧的指定像素相对应提取指定帧的周围帧的像素数据作为与图像数据的多个对象的背景对象相对应的背景像素数据，并且还提取指定帧中指定像素的指定像素数据和位置与指定像素邻近的像素的近似像素数据，从而生成有关指定像素的表示指定像素数据、近似像素数据和对应于指定像素数据或近似像素数据的背景像素数据的关系的多个关系表达式；以及混合比率检测步骤，根据关系表达式检测有关指定像素的表示多个真实世界对象的混合状态的混合比率。在关系表达式生成步骤中，根据对应于指定像素和近似像素的混合比率相同这一近似，生成多个关系表达式。

在关系表达式生成步骤中，可以根据包含在指定像素数据和近似像素数据中的多个对象的前景对象成分相同这一近似，生成多个关系表达式。

在关系表达式生成步骤中，可以根据包含在指定像素数据和近似像素数据中的多个对象的前景对象成分相对于像素位置大致线性变化这一近似，生成多个关系表达式。

该程序可以包括前景/背景分离步骤，根据对应于指定像素的混合比率，将图像数据分离为前景对象图像和背景对象图像，其中，前景对象图像仅由形成图像数据的前景对象的前景对象成分构成，并且背景对象图像仅由形成图像数据的背景对象的背景对象成分构成。

在混合比率检测步骤中，可以通过根据最小二乘法求解多个关系表达式来检测混合比率。

本发明的第二程序让计算机执行如下步骤：关系表达式生成步骤，与图像数据的指定帧的指定像素相对应提取指定帧的周围帧的像素数据作为与图像数据的多个对象的背景对象相对应的背景像素数据，并且还提取指定帧中指定像素的指定像素数据和位置与指定像素邻近的像素的近似像素数据，从而生成有关指定像素的表示指定像素数据、近似像素数据和对应于指定像素数据或近似像素数据的背景像素数据的关系的多个关系表达式；以及混合比率检测步骤，根据关系表达式检测有关指定像素的表示多个真实世界对象的混合状态的混合比率。在关系表达式生成步骤中，根据对应于指定像素和近似像素的混合比率相同这一近似，生成多个关系表达式。

在关系表达式生成步骤中，可以根据包含在指定像素数据和近似像素数据中的多个对象的前景对象成分相同这一近似，生成多个关系表达式。

在关系表达式生成步骤中，可以根据包含在指定像素数据和近似像素数据中的多个对象的前景对象成分相对于像素位置大致线性变化这一近似，生成多个关系表达式。

该程序还可以包括前景/背景分离步骤，根据对应于指定像素的混合比率，将图像数据分离为前景对象图像和背景对象图像，其中，前景对象图像仅由形成图像数据的前景对象的前景对象成分构成，并且背景对象图像仅由形成图像数据的背景对象的背景对象成分构成。

在混合比率检测步骤中，可以通过根据最小二乘法求解多个关系表达式来检测混合比率。

本发明的第二摄像装置，包括：摄像部件，用于输出由包括预定数目像素的摄像设备拍摄的主体图像作为由预定数目的像素数据组成的图像数据，其中，所述像素具有时间累积功能；关系表达式生成部件，用于与图像数据的指定帧的指定像素相对应提取指定帧的周围帧的像素数据作为与图像数据的多个对象的背景对象相对应的背景像素数据，并且还提取指定帧中指定像素的指定像素数据和位置与指定像素邻近的像素的近似像素数据，从而生成有关指定像素的表示指定像素数据、近似像素数据和对应于指定像素数据或近似像素数据的背景像素数据的关系的多个关系表达式；以及混合比率检测部件，用于根据关系表达式检测有关指定像素的表示多个真实世界对象的混合状态的混合比率。关系表达式生成部件根据对应于指定像素和近似像素的混合比率相同这一近似，生成多个关系表达式。

关系表达式生成部件可以根据包含在指定像素数据和近似像素数据中的多个对象的前景对象成分相同这一近似，生成多个关系表达式。

关系表达式生成部件可以根据包含在指定像素数据和近似像素数据中的多个对象的前景对象成分相对于像素位置大致线性变化这一近似，生成多个关系表达式。

该摄像装置还可以包括前景/背景分离部件，用于根据对应于指定像素的混合比率，将图像数据分离为前景对象图像和背景对象图像，其中，前景对象图像仅由形成图像数据的前景对象的前景对象成分构成，并且背景对象图像仅由形成图像数据的背景对象的背景对象成分构成。

混合比率检测部件可以通过根据最小二乘法求解多个关系表达式来检测混合比率。

根据形成多个对象的前景的前景对象的运动，从指定帧及其周围帧中与图像数据的指定帧的指定像素相对应提取作为像素数据的混合像素数据，在混合像素数据中，包含在图像数据中的多个对象混合在一起。另外，根据背景对象的运动从与提取混合像素数据的帧不同的帧中，与混合像素数据相对应提取与形成多个对象的背景的背景对象相对应的作为像素数据的背景像素数据，背景像素数据与对应混合像素数据相关联。生成有关指定像素的表示混合像素数据和背景像素数据之间关系的多个关系表达式。根据关系表达式检测有关指定像素的表示多个真实世界对象的混合状态的混合比率。在生成关系表达式中，根据包含在混合像素数据中的前景对象成分相对于像素位置大致线性变化的第一近似和从指定帧提取的混合像素数据的混合比率相对于像素位置大致线性变化的第二近似，生成多个关系表达式。

与图像数据的指定帧的指定像素相对应，提取指定帧的周围帧的像素数据作为与图像数据的多个对象的背景对象相对应的背景像素数据。另外，提取指定帧中指定像素的指定像素数据和位置与指定像素邻近的像素的近似像素数据。生成有关指定像素的表示指定像素数据、近似像素数据和对应于指定像素数据或近似像素数据的背景像素数据的关系的多个关系表达式。根据关系表达式检测有关指定像素的表示多个真实世界对象的混合状态的混合比率。在生成关系表达式中，根据对应于指定像素和近似像素的混合比率相同这一近似，生成多个关系表达式。

采用该方案，可以检测表示多个对象如背景图像和移动对象图像的混合状态的混合比率。

附图说明

图1示出本发明的原理；

图2是应用本发明的结构示例方框图；

图3是图2所示的信号处理器12的结构示例方框图；

图4是示出信号处理器12的方框图；

图5示出由传感器执行的摄像；

图6示出像素的排列；

图7示出检测器件的操作；

图8A示出通过拍摄对应于移动前景的对象和对应于静止背景的对象而获得的图像；

图8B示出通过拍摄对应于移动前景的对象和对应于静止背景的对象而获得的图像的模型；

图9示出背景区域、前景区域、混合区域、覆盖背景区域以及非覆盖背景区域；

图10示出通过沿着时间方向扩展通过拍摄对应于静止前景的对象和对应于静止背景的对象而获得的图像中连续排列在一行上的像素的像素值而获得的模型；

图11示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图12示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图13示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图14示出提取前景区域、背景区域以及混合区域中的像素的例子；

图15示出像素与通过沿着时间方向扩展像素值而获得的模型之间的关系；

图16示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图17示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图18示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图19示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图20示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图21是示出运动模糊量调整处理的流程图；

图22是区域指定单元103的结构示例方框图；

图23示出对应于前景的对象移动时的图像；

图24示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图25示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图26示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图27示出区域判定条件；

图28A示出通过区域指定单元103指定区域而获得的结果的例子；

图28B示出通过区域指定单元103指定区域而获得的结果的例子；

图28C示出通过区域指定单元103指定区域而获得的结果的例子；

图28D示出通过区域指定单元103指定区域而获得的结果的例子；

图29示出通过区域指定单元103指定区域而获得的结果的例子；

图30是示出区域指定处理的流程图；

图31是区域指定单元103的另一结构方框图；

图32示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图33示出背景图像的例子；

图34是二值对象图像提取部分302的结构方框图；

图35A示出相关值的计算；

图35B示出相关值的计算；

图36A示出相关值的计算；

图36B示出相关值的计算；

图37示出二值对象图像的例子；

图38是时间变化检测器303的结构方框图；

图39示出由区域判定部分342作出的判定；

图40示出由时间变化检测器303作出的判定的例子；

图41是示出由区域指定单元103执行的区域指定处理的流程图；

图42是示出区域指定处理详细信息的流程图；

图43是区域指定单元103的另一结构方框图；

图44是鲁棒处理部分361的结构方框图；

图45示出由运动补偿器381执行的运动补偿；

图46示出由运动补偿器381执行的运动补偿；

图47是示出区域指定处理的流程图；

图48是示出鲁棒处理详细信息的流程图；

图49是混合比率计算器104的结构方框图；

图50示出理想混合比率α的例子；

图51示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图52示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图53示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图54示出用于近似混合比率α的直线；

图55示出用于近似混合比率α的平面；

图56示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图57示出当计算混合比率α时多个帧内像素之间的关系；

图58示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图59是估计混合比率处理器401的结构方框图；

图60是混合比率计算器104的另一结构方框图；

图61是示出混合比率计算处理的流程图；

图62是示出估计混合比率计算处理的流程图；

图63是混合比率计算器104的结构方框图；

图64示出用于近似混合比率α的直线；

图65示出用于近似混合比率α的平面；

图66示出当计算混合比率α时多个帧内像素之间的关系；

图67示出当计算混合比率α时多个帧内像素之间的关系；

图68是估计混合比率处理器501的结构方框图；

图69是混合比率计算器522的结构示例方框图；

图70是示出混合比率计算处理的流程图；

图71是示出通过使用对应于覆盖背景区域的模型执行混合比率估计处理的流程图；

图72是前景/背景分离器105的结构示例方框图；

图73A示出输入图像、前景成分图像和背景成分图像；

图73B示出输入图像、前景成分图像和背景成分图像的模型；

图74示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图75示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图76示出沿着时间方向扩展像素值并且划分对应于快门时间的周期的模型；

图77是分离部分601的结构示例方框图；

图78A示出分离出的前景成分图像的例子；

图78B示出分离出的背景成分图像的例子；

图79是示出前景和背景分离处理的流程图；

图80是运动模糊调整单元106的结构示例方框图；

图81示出处理单元；

图82示出沿着时间方向扩展前景成分图像的像素值并且划分对应于快门时间的周期的模型；

图83示出沿着时间方向扩展前景成分图像的像素值并且划分对应于快门时间的周期的模型；

图84示出沿着时间方向扩展前景成分图像的像素值并且划分对应于快门时间的周期的模型；

图85示出沿着时间方向扩展前景成分图像的像素值并且划分对应于快门时间的周期的模型；

图86示出运动模糊调整单元106的另一结构例子；

图87是示出由运动模糊调整单元106执行的包含在前景成分图像中的运动模糊量调整处理的流程图；

图88是运动模糊调整单元106的另一结构示例方框图；

图89示出表示像素值与前景成分之间的关系的模型例子；

图90示出前景成分的计算；

图91示出前景成分的计算；

图92是示出包含在前景中的运动模糊消除处理的流程图；

图93是信号处理器12的另一功能结构方框图；

图94示出合成器1001的结构；

图95是信号处理器12的另一功能结构方框图；

图96是信号处理器12的另一功能结构方框图；

图97是混合比率计算器1101的结构方框图；

图98是前景/背景分离器1102的结构方框图；

图99是信号处理器12的另一功能结构方框图；

图100是混合比率计算器1101的结构方框图；

图101是信号处理器12的另一功能结构方框图；

图102示出合成器1201的结构；

图103是信号处理器12的另一功能结构方框图。

具体实施方式

图1示出本发明的原理。如图1所示，作为具有空间和时间轴的真实世界1的信息的第一信号由传感器2进行获得，并且形成为数据。数据3作为由传感器2获得的检测信号是通过将真实世界1的信息投影到维数比真实世界小的时空上而获得的信息。因此，投影信息具有因投影产生的失真。换句话说，从传感器2输出的数据3相对于真实世界1的信息具有失真。虽然数据3具有因投影产生的失真，但是它包含用于校正失真的有效信息(significantinformation)。

因此，在本发明中，通过信号处理器4对从传感器2输出的数据执行信号处理，可以提取有效信息。

通过使用该有效信息，可以消除、减小或调整失真。

图2示出应用本发明的信号处理装置的结构例子。由例如视频摄像机形成的传感器11拍摄真实世界的图像，并且将所获得的图像数据输出到信号处理器12。由例如个人计算机形成的信号处理器12处理从传感器11输入的数据，调整因投影产生的失真量，指定其中通过投影嵌入有效信息的区域，从指定区域中提取有效信息，或者根据所提取的有效信息处理输入数据。

上述有效信息例如是下面将要讨论的混合比率。

可以认为，表示其中包含通过投影嵌入的有效信息的区域的信息也是有效信息。下面将要讨论的区域信息对应于该有效信息。

其中包含有效信息的区域例如是下面将要讨论的混合区域。

信号处理器12例如图3所示进行构造。CPU(Central Processing Unit，中央处理单元)21根据存储在ROM(Read Only Memory，只读存储器)22或者存储单元28中的程序执行各种类型的处理。由CPU 21执行的程序以及数据根据需要存储在RAM(Random Access Memory，随机访问存储器)中。CPU 21、ROM 22和RAM 23通过总线24相互连接。

输入/输出接口25也通过总线24连接到CPU 21。由键盘、鼠标、麦克风等形成的输入单元26以及由显示器、扬声器等形成的输出单元27连接到输入/输出接口25。CPU 21响应从输入单元26输入的命令执行各种类型的处理。CPU 21然后将通过处理获得的图像或声音输出到输出单元27。

连接到输入/输出接口25的存储单元28由例如硬盘形成，并且存储由CPU 21执行的程序以及各种类型的数据。通信单元29通过因特网或其它网络与外部设备进行通信。在本例中，通信单元29用作获取传感器输出的获取单元。

可选地，程序可以通过通信单元29获取并且存储在存储单元28中。

连接到输入/输出接口25的驱动器30驱动磁盘51、光盘52、光磁盘53、半导体存储器54等。当这种记录介质装载到驱动器30时，获取存储在相应介质中的程序或数据。所获取的程序或数据如果必要传输到存储单元28，并且存储在其中。

现在举一个更具体的例子来描述执行处理如指定其中嵌有有效信息的区域或者从由传感器获取的数据中提取嵌入在其中的有效信息的信号处理装置。在随后的例子中，CCD线传感器或CCD区域传感器对应于传感器，区域信息或者混合比率对应于有效信息，并且前景和背景的混合状态或者混合区域中的运动模糊对应于失真。

图4是示出信号处理器12的方框图。

信号处理器12的各个功能是用软件还是用硬件实现无关紧要。也就是，本说明书的方框图可以是硬件方框图，也可以是软件功能方框图。

运动模糊是由于真实世界中被拍摄对象的移动和传感器11的摄像特性而产生的包含在对应于移动对象的图像中的失真。

在本说明书中，对应于真实世界对象的拍摄图像称作图像对象。

提供给信号处理器12的输入图像提供给对象提取单元101、区域指定单元103、混合比率计算器104和前景/背景分离器105。

对象提取单元101提取对应于包含在输入图像中的前景对象的粗略图像对象，并且将所提取的图像对象提供给运动检测器102。对象提取单元101例如检测包含在输入图像中的前景图像对象的轮廓，从而提取对应于前景对象的粗略图像对象。

对象提取单元101提取对应于包含在输入图像中的背景对象的粗略图像对象，并且将所提取的图像对象提供给运动检测器102。对象提取单元101根据例如输入图像与所提取的对应于前景对象的图像对象之间的差异，提取对应于背景对象的粗略图像对象。

可选地，例如，对象提取单元101可以根据存储在内置背景存储器中的背景图像与输入图像之间的差异，提取对应于前景对象的粗略图像对象和对应于背景对象的粗略图像对象。

运动检测器102根据例如分块匹配、梯度、相位相关或象元递归技术的技术，计算粗略提取的对应于前景对象的图像对象的运动向量，并且将算出的运动向量和运动向量位置信息(用于指定对应于运动向量的像素位置的信息)提供给区域指定单元103、混合比率计算器104和运动模糊调整单元106。

从运动检测器102输出的运动向量包含对应于移动量v的信息。

运动检测器102可以将每个图像对象的运动向量与用于指定图像对象像素的像素位置信息一起输出到运动模糊调整单元106。

移动量v是以像素间距为单位表示对应于移动对象的图像的位置变化的值。例如，如果对应于前景的对象图像发生移动从而它在后一帧中的显示位置相对于基准帧偏离四个像素，则对应于前景的对象图像的移动量v为4。

当调整对应于移动对象的运动模糊量时，需要对象提取单元101和运动检测器102。

区域指定单元103判定输入图像的每个像素属于前景区域、背景区域、或者混合区域中的哪一个区域，并且将表示每个像素属于哪个区域的信息(以下称作“区域信息”)提供给混合比率计算器104、前景/背景分离器105和运动模糊调整单元106。

混合比率计算器104根据输入图像、从运动检测器102提供的运动向量及其位置信息以及从区域指定单元103提供的区域信息，计算对应于包含在混合区域63中的像素的混合比率(以下称作“混合比率α”)，并且将混合比率α提供给前景/背景分离器105。

混合比率α是表示对应于背景对象的图像成分(以下也称作“背景成分”)与像素值的比率的值，如下面方程(3)所示。

前景/背景分离器105根据从区域指定单元103提供的区域信息和从混合比率计算器104提供的混合比率α，将输入图像分离为只由对应于前景对象的图像成分(以下也称作“前景成分”)形成的前景成分图像和只由背景成分形成的背景成分图像，并且将前景成分图像提供给运动模糊调整单元106和选择器107。分离出的前景成分图像可以设为最终输出。与只指定前景和背景而不考虑混合区域的公知方法相比可以获取更精确的前景和背景。

运动模糊调整单元106根据从运动向量获得的移动量v以及区域信息，确定表示包含在前景成分图像中的至少一个像素的处理单元。处理单元是指定要进行运动模糊调整的一组像素的数据。

根据输入到信号处理器12中的运动模糊调整量、从前景/背景分离器105提供的前景成分图像、从运动检测器102提供的运动向量及其位置信息、以及处理单元，运动模糊调整单元106通过消除、减小或者增加包含在前景成分图像中的运动模糊，调整包含在前景成分图像中的运动模糊量。运动模糊调整单元106然后将经过运动模糊量调整的前景成分图像输出到选择器107。使用运动向量及其位置信息不是必需的。

选择器107根据例如反映用户选择的选择信号，选择从前景/背景分离器105提供的前景成分图像和从运动模糊调整单元106提供的经过运动模糊量调整的前景成分图像之一，并且输出所选前景成分图像。

下面将参照图5到20对提供给信号处理器12的输入图像进行讨论。

图5示出由传感器执行的摄像。传感器11由例如装备有作为固态摄像器件的CCD(Charge-Coupled Device，电荷耦合器件)区域传感器的CCD视频摄像机形成。真实世界中对应于前景的对象111例如在对应于背景的对象112与传感器之间从左向右水平移动。

传感器11拍摄对应于前景的对象111的图像以及对应于背景的对象112的图像。传感器11以帧为单位输出拍摄图像。例如，传感器11输出每秒30帧的图像。传感器11的曝光时间可以是1/30秒。曝光时间是从传感器11开始将输入光转化为电荷直到完成将输入光转化为电荷的周期。曝光时间也称作“快门时间”。

图6示出像素的排列。在图6中，A到I表示各个像素。这些像素排列在相应图像的平面中。与各个像素一一对应的检测器件排列在传感器11上。当传感器11执行摄像时，每个检测器件输出形成图像的相应像素的像素值。例如，检测器件在X方向上的位置对应于图像的水平方向，而检测器件在Y方向上的位置对应于图像的垂直方向。

如图7所示，例如作为CCD的检测器件在对应于快门时间的周期内将输入光转化为电荷，并且存储所转化的电荷。电荷量与输入光的强度和输入光的周期几乎成正比。检测器件在对应于快门时间的周期内将从输入光转化的电荷顺序加入到所存储的电荷。也就是，检测器件在对应于快门时间的周期内累积输入光，并且存储对应于累积光量的电荷。可以认为检测器件具有相对于时间的累积功能。

存储在检测器件中的电荷通过电路(未示出)转换为电压值，并且该电压值进一步转换为像素值例如数字数据，然后进行输出。因此，从传感器11输出的每个像素值是投影到线性空间上的值，它是在快门时间内累积对应于前景或背景的对象的某三维部分的结果。

通过传感器11的存储操作，信号处理器12提取嵌入在输出信号中的有效信息，例如混合比率α。信号处理器12调整因前景图像对象自身的混合而产生的失真量，例如运动模糊量。信号处理器12还调整因前景图像对象与背景图像对象的混合而产生的失真量。

图8A示出通过拍摄对应于前景的移动对象和对应于背景的静止对象而获得的图像。在图8A所示的例子中，对应于前景的对象相对于屏幕从左向右水平移动。

图8B示出通过沿着时间方向扩展与图8A所示的图像的一行相对应的像素值而获得的模型。图8B所示的水平方向对应于图8A的空间方向X。

背景区域中的像素值只由背景成分即对应于背景对象的图像成分形成。前景区域中的像素值只由前景成分即对应于前景对象的图像成分形成。

混合区域中的像素值由背景成分和前景成分形成。由于混合区域中的像素值由背景成分和前景成分形成，因此它可以称作“失真区域”。混合区域进一步分为覆盖背景区域和非覆盖背景区域。

覆盖背景区域是所在位置对应于前景对象移动方向的起始端的混合区域，其中，背景成分随着时间被前景逐渐覆盖。

相反，未覆盖背景区域是对应于前景对象移动方向的结束端的混合区域，其中，背景成分随着时间逐渐显现。

如上所述，包含前景区域、背景区域、或者覆盖背景区域或非覆盖背景区域的图像作为输入图像输入到区域指定单元103、混合比率计算器104和前景/背景分离器105。

图9示出如上所述的背景区域、前景区域、混合区域、覆盖背景区域以及非覆盖背景区域。在对应于图8A所示的图像的区域中，背景区域是静止部分，前景区域是移动部分，混合区域的覆盖背景区域是从背景变到前景的部分，并且混合区域的非覆盖背景区域是从前景变到背景的部分。

图10示出通过沿着时间方向扩展通过拍摄对应于静止前景的对象和对应于静止背景的对象而获得的图像中连续排列在一行上的像素的像素值而获得的模型。例如，可以选择排列在屏幕的一行上的像素作为连续排列在一行上的像素。

图10所示的以F01到F04表示的像素值为对应于静止前景对象的像素值。图10所示的以B01到B04表示的像素值为对应于静止背景对象的像素值。

时间方向是图10中从上到下的垂直方向。图10中矩形上边位置对应于传感器11开始将输入光转化为电荷的时间，并且图10中矩形下边位置对应于完成将输入光转化为电荷的时间。也就是，图10中矩形上边到下边的距离对应于快门时间。

下面将假定例如快门时间等于帧大小，对图10所示的像素进行描述。

图10中的水平方向对应于图8A中的空间方向X。更具体地说，在图10所示的例子中，从图10中以“F01”表示的矩形的左边到以“B04”表示的矩形的右边的距离是8倍像素间距，即8个连续像素。

当前景对象和背景对象静止时，输入到传感器11的光在对应于快门时间的周期内没有变化。

对应于快门时间的周期划分为两个或多个相等周期部分。例如，如果虚拟划分部分的数目为4，图10所示的模型可以用图11所示的模型进行表示。虚拟划分部分的数目可以根据对应于前景的对象在快门时间内的移动量v来设置。例如，当移动量v为4时，虚拟划分部分的数目设为4，并且对应于快门时间的周期划分为四个部分。

图11中的最上一行对应于从打开快门开始的第一划分周期。图11中的第二行对应于从打开快门开始的第二划分周期。图11中的第三行对应于从打开快门开始的第三划分周期。图11中的第四行对应于从打开快门开始的第四划分周期。

根据移动量v划分后的快门时间以下也称作“快门时间/v”。

当对应于前景的对象为静止时，输入到传感器11的光不发生变化，因此，前景成分F01/v等于像素值F01除以虚拟划分部分的数目而获得的值。类似地，当对应于前景的对象为静止时，前景成分F02/v等于像素值F02除以虚拟划分部分的数目而获得的值，前景成分F03/v等于像素值F03除以虚拟划分部分的数目而获得的值，并且前景成分F04/v等于像素值F04除以虚拟划分部分的数目而获得的值。

当对应于背景的对象为静止时，输入到传感器11的光不发生变化，因此，背景成分B01/v等于像素值B01除以虚拟划分部分的数目而获得的值。类似地，当对应于背景的对象为静止时，背景成分B02/v等于像素值B02除以虚拟划分部分的数目而获得的值，背景成分B03/v等于像素值B03除以虚拟划分部分的数目而获得的值，并且背景成分B04/v等于像素值B04除以虚拟划分部分的数目而获得的值。

更具体地说，当对应于前景的对象为静止时，输入到传感器11的对应于前景对象的光在对应于快门时间的周期内不发生变化，因此，与从打开快门开始的第一快门时间/v部分相对应的前景成分F01/v、与从打开快门开始的第二快门时间/v部分相对应的前景成分F01/v、与从打开快门开始的第三快门时间/v部分相对应的前景成分F01/v、以及与从打开快门开始的第四快门时间/v部分相对应的前景成分F01/v为相同的值。如同F01/v的情况，同样适用于F02/v到F04/v。

当对应于背景的对象为静止时，输入到传感器11的对应于背景对象的光在对应于快门时间的周期内不发生变化，因此，与从打开快门开始的第一快门时间/v部分相对应的背景成分B01/v、与从打开快门开始的第二快门时间/v部分相对应的背景成分B01/v、与从打开快门开始的第三快门时间/v部分相对应的背景成分B01/v、以及与从打开快门开始的第四快门时间/v部分相对应的背景成分B01/v为相同的值。同样适用于B02/v到B04/v。

下面将描述对应于前景的对象为移动并且对应于背景的对象为静止的情况。

图12示出当对应于前景的对象在图12中向右移动时，通过沿着时间方向扩展包括覆盖背景区域的一行上的像素的像素值而获得的模型。在图12中，移动量v为4。由于一帧的周期很短，因此可以假定对应于前景的对象是匀速移动的刚体。在图12中，对应于前景的对象图像发生移动，从而它在后一帧中的显示位置相对于基准帧向右偏离四个像素。

在图12中，最左像素到第四像素属于前景区域。在图12中，左起第五像素到第七像素属于混合区域，这是覆盖背景区域。在图12中，最右像素属于背景区域。

对应于前景的对象发生移动，从而它随着时间逐渐覆盖对应于背景的对象。因此，包含在属于覆盖背景区域的像素的像素值中的成分在对应于快门时间的周期内的某个时间从背景成分变为前景成分。

例如，图12中用粗框包围的像素值M用下面方程(1)表示：

M＝B02/v+B02/v+F07/v+F06/v                      (1)

例如，左起第五像素包含对应于一个快门时间/v部分的背景成分和对应于三个快门时间/v部分的前景成分，因此，左起第五像素的混合比率α为1/4。左起第六像素包含对应于两个快门时间/v部分的背景成分和对应于两个快门时间/v部分的前景成分，因此，左起第六像素的混合比率α为1/2。左起第七像素包含对应于三个快门时间/v部分的背景成分和对应于一个快门时间/v部分的前景成分，因此，左起第七像素的混合比率α为3/4。

可以假定，对应于前景的对象是刚体，并且前景对象匀速移动，从而它在后一帧中向右显示四个像素。因此，例如，与从打开快门开始的第一快门时间/v部分相对应的图12中左起第四像素的前景成分F07/v等于与从打开快门开始的第二快门时间/v部分相对应的图12中左起第五像素的前景成分。类似地，前景成分F07/v等于与从打开快门开始的第三快门时间/v部分相对应的图12中左起第六像素的前景成分，以及与从打开快门开始的第四快门时间/v部分相对应的图12中左起第七像素的前景成分。

可以假定，对应于前景的对象是刚体，并且前景对象匀速移动，从而它在后一帧中向右显示四个像素。因此，例如，与从打开快门开始的第一快门时间/v部分相对应的图12中左起第三像素的前景成分F06/v等于与从打开快门开始的第二快门时间/v部分相对应的图12中左起第四像素的前景成分。类似地，前景成分F06/v等于与从打开快门开始的第三快门时间/v部分相对应的图12中左起第五像素的前景成分，以及与从打开快门开始的第四快门时间/v部分相对应的图12中左起第六像素的前景成分。

可以假定，对应于前景的对象是刚体，并且前景对象匀速移动，从而它在后一帧中向右显示四个像素。因此，例如，与从打开快门开始的第一快门时间/v部分相对应的图12中左起第二像素的前景成分F05/v等于与从打开快门开始的第二快门时间/v部分相对应的图12中左起第三像素的前景成分。类似地，前景成分F05/v等于与从打开快门开始的第三快门时间/v部分相对应的图12中左起第四像素的前景成分，以及与从打开快门开始的第四快门时间/v部分相对应的图12中左起第五像素的前景成分。

可以假定，对应于前景的对象是刚体，并且前景对象匀速移动，从而它在后一帧中向右显示四个像素。因此，例如，与从打开快门开始的第一快门时间/v部分相对应的图12中左起第一像素的前景成分F04/v等于与从打开快门开始的第二快门时间/v部分相对应的图12中左起第二像素的前景成分。类似地，前景成分F04/v等于与从打开快门开始的第三快门时间/v部分相对应的图12中左起第三像素的前景成分，以及与从打开快门开始的第四快门时间/v部分相对应的图12中左起第四像素的前景成分。

由于对应于移动对象的前景区域如上所述包含运动模糊，因此它也可以称作“失真区域”。

图13示出当对应于前景的对象在图13中向右移动时，通过沿着时间方向扩展包括非覆盖背景区域的一行上的像素的像素值而获得的模型。在图13中，移动量v为4。由于一帧的周期很短，因此可以假定对应于前景的对象是匀速移动的刚体。在图13中，对应于前景的对象图像向右移动，从而它在后一帧中的显示位置相对于基准帧向右偏离四个像素。

在图13中，最左像素到第四像素属于背景区域。在图13中，左起第五像素到第七像素属于混合区域，这是非覆盖背景区域。在图13中，最右像素属于前景区域。

覆盖对应于背景的对象的对应于前景的对象发生移动，从而随着时间逐渐显现被覆盖的对应于背景的对象。因此，包含在属于非覆盖背景区域的像素的像素值中的成分在对应于快门时间的周期内的某时间从前景成分变为背景成分。

例如，图13中用粗框包围的像素值M′用方程(2)表示：

M′＝F02/v+F01/v+B26/v+B26/v                     (2)

例如，左起第五像素包含对应于三个快门时间/v部分的背景成分和对应于一个快门时间/v部分的前景成分，因此，左起第五像素的混合比率α为3/4。左起第六像素包含对应于两个快门时间/v部分的背景成分和对应于两个快门时间/v部分的前景成分，因此，左起第六像素的混合比率α为1/2。左起第七像素包含对应于一个快门时间/v部分的背景成分和对应于三个快门时间/v部分的前景成分，因此，左起第七像素的混合比率α为1/4。

当推广方程(1)和(2)时，可以用方程(3)表示像素值M：

$M=\mathrm{\α}\·B+\underset{i}{\mathrm{\Σ}}\mathrm{Fi}/v----\left(3\right)$

其中，α是混合比率，B表示背景像素值，而Fi/v表示前景成分。

可以假定，对应于前景的对象是匀速移动的刚体，并且移动量v为4。因此，例如，与从打开快门开始的第一快门时间/v部分相对应的图13中左起第五像素的前景成分F01/v等于与从打开快门开始的第二快门时间/v部分相对应的图13中左起第六像素的前景成分。类似地，前景成分F01/v等于与从打开快门开始的第三快门时间/v部分相对应的图13中左起第七像素的前景成分，以及与从打开快门开始的第四快门时间/v部分相对应的图13中左起第八像素的前景成分。

可以假定，对应于前景的对象是匀速移动的刚体，并且移动量v为4。因此，例如，与从打开快门开始的第一快门时间/v部分相对应的图13中左起第六像素的前景成分F02/v等于与从打开快门开始的第二快门时间/v部分相对应的图13中左起第七像素的前景成分。类似地，前景成分F02/v等于与从打开快门开始的第三快门时间/v部分相对应的图13中左起第八像素的前景成分。

可以假定，对应于前景的对象是匀速移动的刚体，并且移动量v为4。因此，例如，与从打开快门开始的第一快门时间/v部分相对应的图13中左起第七像素的前景成分F03/v等于与从打开快门开始的第二快门时间/v部分相对应的图13中左起第八像素的前景成分。

已参照图11到13对虚拟划分部分的数目为4的情况进行了描述。虚拟划分部分的数目对应于移动量v。一般，移动量v对应于前景对象的移动速度。例如，如果对应于前景的对象发生移动，从而它在后一帧中的显示位置相对于特定帧向右偏离四个像素，则移动量v设为4。虚拟划分部分的数目根据移动量v设为4。类似地，如果对应于前景的对象发生移动，从而它在后一帧中的显示位置相对于特定帧向左偏离六个像素，则移动量v设为6，并且虚拟划分部分的数目设为6。

图14和15示出上述前景区域、背景区域、包括覆盖背景或非覆盖背景的混合区域与对应于快门时间划分周期的前景成分和背景成分之间的关系。

图14示出从包含与在静止背景之前移动的对象相对应的前景的图像中提取前景区域、背景区域和混合区域中的像素的例子。在图14所示的例子中，对应于前景的对象相对于屏幕水平移动。

帧#n+1是帧#n的后一帧，并且帧#n+2是帧#n+1的后一帧。

从帧#n到帧#n+2中的一个提取前景区域、背景区域和混合区域中的像素，并且移动量v设为4。图15示出通过沿着时间方向扩展所提取像素的像素值而获得的模型。

由于对应于前景的对象发生移动，因此前景区域中的像素值由四个不同的对应于快门时间/v的前景成分形成。例如，图15所示的前景区域像素中的最左像素包括F01/v、F02/v、F03/v和F04/v。也就是，前景中的像素包含运动模糊。

由于对应于背景的对象保持静止，因此在快门时间内对应于背景的输入到传感器11的光不发生变化。在这种情况下，背景区域中的像素值不包含运动模糊。

包括覆盖背景区域或非覆盖背景区域的混合区域中的像素值由前景成分和背景成分形成。

下面将描述，当对应于对象的图像移动时，通过沿着时间方向扩展多个帧中连续排列在一行上并且在重叠这些帧时处于相同位置的像素的像素值而获得的模型。例如，当对应于对象的图像相对于屏幕水平移动时，可以选择排列在屏幕的一行上的像素作为连续排列在一行上的像素。

图16示出通过沿着时间方向扩展通过拍摄对应于静止背景的对象而获得的图像的三个帧中连续排列在一行上并且在重叠这些帧时处于相同位置的像素而获得的模型。帧#n是帧#n-1的后一帧，并且帧#n+1是帧#n的后一帧。同样适用于其它帧。

图16所示的像素值B01到B12是对应于静止背景对象的像素值。由于对应于背景的对象保持静止，因此帧#n-1到帧#n+1中对应像素的像素值不发生变化。例如，位于帧#n-1中具有像素值B05的像素的对应位置的帧#n中的像素和帧#n+1中的像素具有像素值B05。

图17示出通过沿着时间方向扩展通过拍摄在图17中向右移动的对应于前景的对象以及对应于静止背景的对象而获得的图像的三个帧中连续排列在一行上并且在重叠这些帧时处于相同位置的像素而获得的模型。图17所示的模型包含覆盖背景区域。

在图17中，可以假定对应于前景的对象是匀速移动的刚体，并且它发生移动从而在后一帧中向右显示四个像素。因此，移动量v为4，并且虚拟划分部分的数目为4。

例如，与从打开快门开始的第一快门时间/v部分相对应的图17中帧#n-1的最左像素的前景成分为F12/v，并且与从打开快门开始的第二快门时间/v部分相对应的图17中左起第二像素的前景成分也为F12/v。与从打开快门开始的第三快门时间/v部分相对应的图17中左起第三像素的前景成分，以及与从打开快门开始的第四快门时间/v部分相对应的图17中左起第四像素的前景成分为F12/v。

与从打开快门开始的第二快门时间/v部分相对应的图17中帧#n-1的最左像素的前景成分为F11/v。与从打开快门开始的第三快门时间/v部分相对应的图17中左起第二像素的前景成分也为F11/v。与从打开快门开始的第四快门时间/v部分相对应的图17中左起第三像素的前景成分为F11/v。

与从打开快门开始的第三快门时间/v部分相对应的图17中帧#n-1的最左像素的前景成分为F10/v。与从打开快门开始的第四快门时间/v部分相对应的图17中左起第二像素的前景成分也为F10/v。与从打开快门开始的第四快门时间/v部分相对应的图17中帧#n-1的最左像素的前景成分为F09/v。

由于对应于背景的对象保持静止，因此，与从打开快门开始的第一快门时间/v部分相对应的图17中帧#n-1的左起第二像素的背景成分为B01/v。与从打开快门开始的第一和第二快门时间/v部分相对应的图17中帧#n-1的左起第三像素的背景成分为B02/v。与从打开快门开始的第一到第三快门时间/v部分相对应的图17中帧#n-1的左起第四像素的背景成分为B03/v。

在图17的帧#n-1中，左起最左像素属于前景区域，并且左起第二到第四像素属于作为覆盖背景区域的混合区域。

图17中帧#n-1的左起第五到第十二像素属于背景区域，并且其像素值分别为B04到B11。

图17中帧#n的左起第一到第五像素属于前景区域。帧#n的前景区域中的快门时间/v的前景成分是F05/v到F12/v中的任一个。

可以假定对应于前景的对象是匀速移动的刚体，并且它发生移动从而前景图像在后一帧中向右显示四个像素。因此，与从打开快门开始的第一快门时间/v部分相对应的图17中帧#n的左起第五像素的前景成分为F12/v，并且与从打开快门开始的第二快门时间/v部分相对应的图17中左起第六像素的前景成分也为F12/v。与从打开快门开始的第三快门时间/v部分相对应的图17中左起第七像素的前景成分，以及与从打开快门开始的第四快门时间/v部分相对应的图17中左起第八像素的前景成分为F12/v。

与从打开快门开始的第二快门时间/v部分相对应的图17中帧#n的左起第五像素的前景成分为F11/v。与从打开快门开始的第三快门时间/v部分相对应的图17中左起第六像素的前景成分也为F11/v。与从打开快门开始的第四快门时间/v部分相对应的图17中左起第七像素的前景成分为F11/v。

与从打开快门开始的第三快门时间/v部分相对应的图17中帧#n的左起第五像素的前景成分为F10/v。与从打开快门开始的第四快门时间/v部分相对应的图17中左起第六像素的前景成分也为F10/v。与从打开快门开始的第四快门时间/v部分相对应的图17中帧#n的左起第五像素的前景成分为F09/v。

由于对应于背景的对象保持静止，因此，与从打开快门开始的第一快门时间/v部分相对应的图17中帧#n的左起第六像素的背景成分为B05/v。与从打开快门开始的第一和第二快门时间/v部分相对应的图17中帧#n的左起第七像素的背景成分为B06/v。与从打开快门开始的第一到第三快门时间/v部分相对应的图17中帧#n的左起第八像素的背景成分为B07/v。

在图17的帧#n中，左起第六到第八像素属于作为覆盖背景区域的混合区域。

图17中的帧#n的左起第九到第十二像素属于背景区域，并且其像素值分别为B08到B11。

图17中的帧#n+1的左起第一到第九像素属于前景区域。帧#n+1的前景区域中的快门时间/v的前景成分是F01/v到F12/v中的任一个。

可以假定对应于前景的对象是匀速移动的刚体，并且它发生移动从而前景图像在后一帧中向右显示四个像素。因此，与从打开快门开始的第一快门时间/v部分相对应的图17中帧#n+1的左起第九像素的前景成分为F12/v，并且与从打开快门开始的第二快门时间/v部分相对应的图17中左起第十像素的前景成分也为F12/v。与从打开快门开始的第三快门时间/v部分相对应的图17中左起第十一像素的前景成分，以及与从打开快门开始的第四快门时间/v部分相对应的图17中左起第十二像素的前景成分为F12/v。

与从打开快门开始的第二快门时间/v部分相对应的图17中帧#n+1的左起第九像素的前景成分为F11/v。与从打开快门开始的第三快门时间/v部分相对应的图17中左起第十像素的前景成分也为F11/v。与从打开快门开始的第四快门时间/v部分相对应的图17中左起第十一像素的前景成分为F11/v。

与从打开快门开始的第三快门时间/v部分相对应的图17中帧#n+1的左起第九像素的前景成分为F10/v。与从打开快门开始的第四快门时间/v部分相对应的图17中左起第十像素的前景成分也为F10/v。与从打开快门开始的第四快门时间/v部分相对应的图17中帧#n+1的左起第九像素的前景成分为F09/v。

由于对应于背景的对象保持静止，因此，与从打开快门开始的第一快门时间/v部分相对应的图17中帧#n+1的左起第十像素的背景成分为B09/v。与从打开快门开始的第一和第二快门时间/v部分相对应的图17中帧#n+1的左起第十一像素的背景成分为B10/v。与从打开快门开始的第一到第三快门时间/v部分相对应的图17中帧#n+1的左起第十二像素的背景成分为B11/v。

在图17的帧#n+1中，左起第十到第十二像素属于作为覆盖背景区域的混合区域。

图18示出通过从图17所示的像素值中提取前景成分而获得的图像模型。

图19示出通过沿着时间方向扩展通过拍摄图19中向右移动的对应于前景的对象以及对应于静止背景的对象而获得的图像的三个帧中连续排列在一行上并且在重叠这些帧时处于相同位置的像素而获得的模型。图19所示的模型包含非覆盖背景区域。

在图19中，可以假定对应于前景的对象是匀速移动的刚体，并且它发生移动从而在后一帧中向右显示四个像素。因此，移动量v为4。

例如，与从打开快门开始的第一快门时间/v部分相对应的图19中帧#n-1的最左像素的前景成分为F13/v，并且与从打开快门开始的第二快门时间/v部分相对应的图19中左起第二像素的前景成分也为F13/v。与从打开快门开始的第三快门时间/v部分相对应的图19中左起第三像素的前景成分，以及与从打开快门开始的第四快门时间/v部分相对应的图19中左起第四像素的前景成分为F13/v。

与从打开快门开始的第一快门时间/v部分相对应的图19中帧#n-1的左起第二像素的前景成分为F14/v。与从打开快门开始的第二快门时间/v部分相对应的图19中左起第三像素的前景成分也为F14/v。与从打开快门开始的第一快门时间/v部分相对应的图19中左起第三像素的前景成分为F15/v。

由于对应于背景的对象保持静止，因此，与从打开快门开始的第二到第四快门时间/v部分相对应的图19中帧#n-1的最左像素的背景成分为B25/v。与从打开快门开始的第三和第四快门时间/v部分相对应的图19中帧#n-1的左起第二像素的背景成分为B26/v。与从打开快门开始的第四快门时间/v部分相对应的图19中帧#n-1的左起第三像素的背景成分为B27/v。

在图19的帧#n-1中，最左像素到第三像素属于作为非覆盖背景区域的混合区域。

图19中的帧#n-1的左起第四到第十二像素属于前景区域，该帧的前景成分是F13/v到F24/v中的任一个。

图19中的帧#n的左起第一到第四像素属于背景区域，并且其像素值分别为B25到B28。

可以假定对应于前景的对象是匀速移动的刚体，并且它发生移动从而在后一帧中向右显示四个像素。因此，与从打开快门开始的第一快门时间/v部分相对应的图19中帧#n的左起第五像素的前景成分为F13/v，并且与从打开快门开始的第二快门时间/v部分相对应的图19中左起第六像素的前景成分也为F13/v。与从打开快门开始的第三快门时间/v部分相对应的图19中左起第七像素的前景成分，以及与从打开快门开始的第四快门时间/v部分相对应的图19中左起第八像素的前景成分为F13/v。

与从打开快门开始的第一快门时间/v部分相对应的图19中帧#n的左起第六像素的前景成分为F14/v。与从打开快门开始的第二快门时间/v部分相对应的图19中左起第七像素的前景成分也为F14/v。与从打开快门开始的第一快门时间/v部分相对应的图19中左起第八像素的前景成分为F15/v。

由于对应于背景的对象保持静止，因此，与从打开快门开始的第二到第四快门时间/v部分相对应的图19中帧#n的左起第五像素的背景成分为B29/v。与从打开快门开始的第三和第四快门时间/v部分相对应的图19中帧#n的左起第六像素的背景成分为B30/v。与从打开快门开始的第四快门时间/v部分相对应的图19中帧#n的左起第七像素的背景成分为B31/v。

在图19的帧#n中，左起第五像素到第七像素属于作为非覆盖背景区域的混合区域。

图19中的帧#n的左起第八到第十二像素属于前景区域。对应于快门时间/v周期的帧#n的前景区域中的值是F13/v到F20/v中的任一个。

图19中的帧#n+1的最左像素到左起第八像素属于背景区域，并且其像素值分别为B25到B32。

可以假定对应于前景的对象是匀速移动的刚体，并且它发生移动从而在后一帧中向右显示四个像素。因此，与从打开快门开始的第一快门时间/v部分相对应的图19中帧#n+1的左起第九像素的前景成分为F13/v，并且与从打开快门开始的第二快门时间/v部分相对应的图19中左起第十像素的前景成分也为F13/v。与从打开快门开始的第三快门时间/v部分相对应的图19中左起第十一像素的前景成分，以及与从打开快门开始的第四快门时间/v部分相对应的图19中左起第十二像素的前景成分为F13/v。

与从打开快门开始的第一快门时间/v部分相对应的图19中帧#n+1的左起第十像素的前景成分为F14/v。与从打开快门开始的第二快门时间/v部分相对应的图19中左起第十一像素的前景成分也为F14/v。与从打开快门开始的第一快门时间/v部分相对应的图19中左起第十二像素的前景成分为F15/v。

由于对应于背景的对象保持静止，因此，与从打开快门开始的第二到第四快门时间/v部分相对应的图19中帧#n+1的左起第九像素的背景成分为B33/v。与从打开快门开始的第三和第四快门时间/v部分相对应的图19中帧#n+1的左起第十像素的背景成分为B34/v。与从打开快门开始的第四快门时间/v部分相对应的图19中帧#n+1的左起第十一像素的背景成分为B35/v。

在图19的帧#n+1中，图19的左起第九像素到第十一像素属于作为非覆盖背景区域的混合区域。

图19中的帧#n+1的左起第十二像素属于前景区域。帧#n+1的前景区域中的快门时间/v的前景成分分别是F13到F16中的任一个。

图20示出通过从图19所示的像素值中提取前景成分而获得的图像模型。

回到图4，区域指定单元103通过使用多个帧的像素值，指定表示输入图像的各个像素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪一个区域的标志，并且将这些标志作为区域信息提供给混合比率计算器104和运动模糊调整单元106。

混合比率计算器104根据多个帧的像素值以及区域信息为包含在混合区域中的每个像素计算混合比率α，并且将算出的混合比率α提供给前景/背景分离器105。

前景/背景分离器105根据多个帧的像素值、区域信息和混合比率α提取只包括前景成分的前景成分图像，并且将前景成分图像提供给运动模糊调整单元106。

运动模糊调整单元106根据从前景/背景分离器105提供的前景成分图像、从运动检测器102提供的运动向量以及从区域指定单元103提供的区域信息，调整包含在前景成分图像中的运动模糊量，然后输出经过运动模糊调整的前景成分图像。

下面将参照图21的流程图对由信号处理器12执行的运动模糊量调整处理进行描述。在步骤S11，区域指定单元103根据输入图像执行区域指定处理，用于生成表示输入图像的每个像素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪一个区域的区域信息。区域指定处理的详细信息在下面给出。区域指定单元103将所生成的区域信息提供给混合比率计算器104。

在步骤S11，区域指定单元103可以根据输入图像生成表示输入图像的每个像素属于前景区域、背景区域或混合区域(不管每个像素是属于覆盖背景区域还是属于非覆盖背景区域)中的哪一个区域的区域信息。在这种情况下，前景/背景分离器105和运动模糊调整单元106根据运动向量的方向判定混合区域是覆盖背景区域还是非覆盖背景区域。例如，如果输入图像在运动向量的方向上以前景区域、混合区域和背景区域这一次序排列，则判定混合区域为覆盖背景区域。如果输入图像在运动向量的方向上以背景区域、混合区域和前景区域这一次序排列，则判定混合区域为非覆盖背景区域。

在步骤S12，混合比率计算器104根据输入图像、运动向量及其位置信息和区域信息，为包含在混合区域中的每个像素计算混合比率α。混合比率计算处理的详细信息在下面给出。混合比率计算器104将算出的混合比率α提供给前景/背景分离器105。

在步骤S13，前景/背景分离器105根据区域信息和混合比率α从输入图像提取前景成分，并且将前景成分作为前景成分图像提供给运动模糊调整单元106。

在步骤S14，运动模糊调整单元106根据运动向量和区域信息，生成表示在移动方向上排列并且属于非覆盖背景区域、前景区域和覆盖背景区域中的任一个的连续像素位置的处理单元，并且调整包含在对应于处理单元的前景成分中的运动模糊量。运动模糊量调整处理的详细信息在下面给出。

在步骤S15，信号处理器12判定是否完成对整个屏幕的处理。如果判定尚未完成对整个屏幕的处理，过程进入步骤S14，并且重复用于为对应于处理单元的前景成分调整运动模糊量的处理。

如果在步骤S15判定已完成对整个屏幕的处理，则处理结束。

通过这种方式，信号处理器12能够通过分离前景和背景，调整包含在前景中的运动模糊量。也就是，信号处理器12能够调整包含在表示前景像素的像素值的采样数据中的运动模糊量。

下面将分别描述区域指定单元103、混合比率计算器104、前景/背景分离器105和运动模糊调整单元106的结构。

图22是区域指定单元103的结构示例方框图。图22所示的区域指定单元103不使用运动向量。帧存储器201以帧为单位存储输入图像。当所要处理的图像为帧#n时，帧存储器201存储帧#n-2(比帧#n早两帧的帧)、帧#n-1(比帧#n早一帧的帧)、帧#n、帧#n+1(比帧#n晚一帧的帧)、帧#n+2(比帧#n晚两帧的帧)。

静止/移动判定部分202-1从帧存储器201读取位于与判定像素所属区域的帧#n的指定像素相同的位置的帧#n+2像素的像素值，并且读取位于与帧#n的指定像素相同的位置的帧#n+1像素的像素值，并且计算所读取像素值之间的差值绝对值。静止/移动判定部分202-1判定帧#n+2的像素值与帧#n+1的像素值之间的差值绝对值是否大于预设阀值Th。如果判定该差值大于阀值Th，表示“移动”的静止/移动判定结果提供给区域判定部分203-1。如果判定帧#n+2像素的像素值与帧#n+1像素的像素值之间的差值绝对值小于或等于阀值Th，静止/移动判定部分202-1将表示“静止”的静止/移动判定结果提供给区域判定部分203-1。

静止/移动判定部分202-2从帧存储器201读取判定像素所属区域的帧#n的指定像素的像素值，并且读取位于与帧#n的指定像素相同的位置的帧#n+1像素的像素值，并且计算这些像素值之间的差值绝对值。静止/移动判定部分202-2判定帧#n+1的像素值与帧#n的像素值之间的差值绝对值是否大于预设阀值Th。如果判定像素值之间的差值绝对值大于阀值Th，表示“移动”的静止/移动判定结果提供给区域判定部分203-1和区域判定部分203-2。如果判定帧#n+1像素的像素值与帧#n像素的像素值之间的差值绝对值小于或等于阀值Th，静止/移动判定部分202-2将表示“静止”的静止/移动判定结果提供给区域判定部分203-1和区域判定部分203-2。

静止/移动判定部分202-3从帧存储器201读取判定像素所属区域的帧#n的指定像素的像素值，并且读取位于与帧#n的指定像素相同的位置的帧#n-1像素的像素值，并且计算这些像素值之间的差值绝对值。静止/移动判定部分202-3判定帧#n的像素值与帧#n-1的像素值之间的差值绝对值是否大于预设阀值Th。如果判定像素值之间的差值绝对值大于阀值Th，表示“移动”的静止/移动判定结果提供给区域判定部分203-2和区域判定部分203-3。如果判定帧#n像素的像素值与帧#n-1像素的像素值之间的差值绝对值小于或等于阀值Th，静止/移动判定部分202-3将表示“静止”的静止/移动判定结果提供给区域判定部分203-2和区域判定部分203-3。

静止/移动判定部分202-4从帧存储器201读取位于与判定像素所属区域的帧#n的指定像素相同的位置的帧#n-1像素的像素值，并且读取位于与帧#n的指定像素相同的位置的帧#n-2像素的像素值，并且计算这些像素值之间的差值绝对值。静止/移动判定部分202-4判定帧#n-1的像素值与帧#n-2的像素值之间的差值绝对值是否大于预设阀值Th。如果判定像素值之间的差值绝对值大于阀值Th，表示“移动”的静止/移动判定结果提供给区域判定部分203-3。如果判定帧#n-1像素的像素值与帧#n-2像素的像素值之间的差值绝对值小于或等于阀值Th，静止/移动判定部分202-4将表示“静止”的静止/移动判定结果提供给区域判定部分203-3。

当从静止/移动判定部分202-1提供的静止/移动判定结果表示“静止”，并且从静止/移动判定部分202-2提供的静止/移动判定结果表示“移动”时，区域判定部分203-1判定帧#n的指定像素属于非覆盖背景区域，并且将与该指定像素相关联的非覆盖背景区域判定标志设为“1”，表示该指定像素属于非覆盖背景区域。

当从静止/移动判定部分202-1提供的静止/移动判定结果表示“移动”，或者从静止/移动判定部分202-2提供的静止/移动判定结果表示“静止”时，区域判定部分203-1判定帧#n的指定像素不属于非覆盖背景区域，并且将与该指定像素相关联的非覆盖背景区域判定标志设为“0”，表示该指定像素不属于非覆盖背景区域。

区域判定部分203-1将如上所述设为“1”或“0”的非覆盖背景区域判定标志提供给判定标志存储帧缓冲区204。

当从静止/移动判定部分202-2提供的静止/移动判定结果表示“静止”，并且从静止/移动判定部分202-3提供的静止/移动判定结果表示“静止”时，区域判定部分203-2判定帧#n的指定像素属于静止区域，并且将与该指定像素相关联的静止区域判定标志设为“1”，表示该像素属于静止区域。

当从静止/移动判定部分202-2提供的静止/移动判定结果表示“移动”，或者从静止/移动判定部分202-3提供的静止/移动判定结果表示“移动”时，区域判定部分203-2判定帧#n的指定像素不属于静止区域，并且将与该指定像素相关联的静止区域判定标志设为“0”，表示该像素不属于静止区域。

区域判定部分203-2将如上所述设为“1”或“0”的静止区域判定标志提供给判定标志存储帧缓冲区204。

当从静止/移动判定部分202-2提供的静止/移动判定结果表示“移动”，并且从静止/移动判定部分202-3提供的静止/移动判定结果表示“移动”时，区域判定部分203-2判定帧#n的指定像素属于移动区域，并且将与该指定像素相关联的移动区域判定标志设为“1”，表示该指定像素属于移动区域。

当从静止/移动判定部分202-2提供的静止/移动判定结果表示“静止”，或者从静止/移动判定部分202-3提供的静止/移动判定结果表示“静止”时，区域判定部分203-2判定帧#n的指定像素不属于移动区域，并且将与该指定像素相关联的移动区域判定标志设为“0”，表示该像素不属于移动区域。

区域判定部分203-2将如上所述设为“1”或“0”的移动区域判定标志提供给判定标志存储帧缓冲区204。

当从静止/移动判定部分202-3提供的静止/移动判定结果表示“移动”，并且从静止/移动判定部分202-4提供的静止/移动判定结果表示“静止”时，区域判定部分203-3判定帧#n的指定像素属于覆盖背景区域，并且将与该指定像素相关联的覆盖背景区域判定标志设为“1”，表示该指定像素属于覆盖背景区域。

当从静止/移动判定部分202-3提供的静止/移动判定结果表示“静止”，或者从静止/移动判定部分202-4提供的静止/移动判定结果表示“移动”时，区域判定部分203-3判定帧#n的指定像素不属于覆盖背景区域，并且将与该指定像素相关联的覆盖背景区域判定标志设为“0”，表示该指定像素不属于覆盖背景区域。

区域判定部分203-3将如上所述设为“1”或“0”的覆盖背景区域判定标志提供给判定标志存储帧缓冲区204。

判定标志存储帧缓冲区204因此存储从区域判定部分203-1提供的非覆盖背景区域判定标志、从区域判定部分203-2提供的静止区域判定标志、从区域判定部分203-2提供的移动区域判定标志以及从区域判定部分203-3提供的覆盖背景区域判定标志。

判定标志存储帧缓冲区204将存储在其中的非覆盖背景区域判定标志、静止区域判定标志、移动区域判定标志以及覆盖背景区域判定标志提供给合成器205。合成器205根据从判定标志存储帧缓冲区204提供的非覆盖背景区域判定标志、静止区域判定标志、移动区域判定标志以及覆盖背景区域判定标志，生成表示每个像素属于非覆盖背景区域、静止区域、移动区域或覆盖背景区域中的哪一个区域的区域信息，并且将该区域信息提供给判定标志存储帧缓冲区206。

判定标志存储帧缓冲区206存储从合成器205提供的区域信息，并且还输出存储在其中的区域信息。

下面将参照图23到27对由区域指定单元103执行的处理例子进行描述。

当对应于前景的对象发生移动时，对应于该对象的图像在屏幕上的位置在每一帧中都发生变化。如图23所示，在帧#n中位于用Yn(x，y)表示的位置的对应于该对象的图像在帧#n之后的帧#n+1中位于Yn+1(x，y)。

通过沿着时间方向扩展在对应于前景对象的图像的移动方向上连续排列在一行上的像素的像素值而获得的模型如图24所示。例如，如果对应于前景对象的图像的移动方向相对于屏幕是水平的，图24所示的模型是通过沿着时间方向扩展连续排列在一行上的像素的像素值而获得的模型。

在图24中，帧#n中的一行与帧#n+1中的一行相同。

包含在帧#n的左起第二像素到第十三像素中的对应于对象的前景成分包含在帧#n+1的左起第六像素到第十七像素中。

在帧#n中，属于覆盖背景区域的像素为左起第十一到第十三像素，并且属于非覆盖背景区域的像素为左起第二到第四像素。在#n帧+1中，属于覆盖背景区域的像素为左起第十五到第十七像素，并且属于非覆盖背景区域的像素为左起第六到第八像素。

在图24所示的例子中，由于包含在帧#n中的前景成分在帧#n+1中移动四个像素，因此移动量v为4。虚拟划分部分的数目根据移动量v为4。

现在将对指定帧之前和之后的帧中属于混合区域的像素的像素值变化进行描述。

在图25中，在背景保持静止并且前景的移动量v为4的帧#n中属于覆盖背景区域的像素为左起第十五到第十七像素。由于移动量v为4，因此前一帧#n-1中左起第十五到第十七像素只包含背景成分，并且属于背景区域。比帧#n-1早一帧的帧#n-2中左起第十五到第十七像素只包含背景成分，并且属于背景区域。

由于对应于背景的对象保持静止，因此帧#n-1中左起第十五像素的像素值与帧#n-2中左起第十五像素的像素值相比没有变化。类似地，帧#n-1中左起第十六像素的像素值与帧#n-2中左起第十六像素的像素值相比没有变化，并且帧#n-1中左起第十七像素的像素值与帧#n-2中左起第十七像素的像素值相比没有变化。

也就是，与帧#n中属于覆盖背景区域的像素相对应的帧#n-1和帧#n-2中的像素只包括背景成分，并且其像素值不发生变化。因此，这些像素值之间的差值绝对值几乎为0。因此，静止/移动判定部分202-4对与帧#n中属于混合区域的像素相对应的帧#n-1和帧#n-2中的像素进行的静止/移动判定为“静止”。

因为帧#n中属于覆盖背景区域的像素包含前景成分，所以其像素值不同于只包括背景成分的帧#n-1的像素值。因此，静止/移动判定部分202-3对帧#n中属于混合区域的像素与帧#n-1中的对应像素进行的静止/移动判定为“移动”。

当如上所述从静止/移动判定部分202-3提供表示“移动”的静止/移动判定结果，并且从静止/移动判定部分202-4提供表示“静止”的静止/移动判定结果时，区域判定部分203-3判定相应像素属于覆盖背景区域。

在图26中，在背景保持静止并且前景的移动量v为4的帧#n中，包含在非覆盖背景区域中的像素为左起第二到第四像素。由于移动量v为4，因此后一帧#n+1中左起第二到第四像素只包含背景成分，并且属于背景区域。在帧#n+1之后的帧#n+2中，左起第二到第四像素只包含背景成分，并且属于背景区域。

由于对应于背景的对象保持静止，因此帧#n+2中左起第二像素的像素值与帧#n+1中左起第二像素的像素值相比没有变化。类似地，帧#n+2中左起第三像素的像素值与帧#n+1中左起第三像素的像素值相比没有变化，并且帧#n+2中左起第四像素的像素值与帧#n+1中左起第四像素的像素值相比没有变化。

也就是，与帧#n中属于非覆盖背景区域的像素相对应的帧#n+1和帧#n+2中的像素只包括背景成分，并且其像素值不发生变化。因此，这些像素值之间的差值绝对值几乎为0。因此，静止/移动判定部分202-1对与帧#n中属于混合区域的像素相对应的帧#n+1和帧#n+2中的像素作出的静止/移动判定结果为“静止”。

因为帧#n中属于非覆盖背景区域的像素包含前景成分，所以其像素值不同于只包括背景成分的帧#n+1的像素值。因此，静止/移动判定部分202-2对帧#n中属于混合区域的像素与帧#n+1中的对应像素作出的静止/移动判定结果为“移动”。

当如上所述从静止/移动判定部分202-2提供表示“移动”的静止/移动判定结果，并且从静止/移动判定部分202-1提供表示“静止”的静止/移动判定结果时，区域判定部分203-1判定相应像素属于非覆盖背景区域。

图27示出区域指定单元103对帧#n进行判定的条件。当对与待处理的帧#n像素处于相同图像位置的帧#n-2像素以及与帧#n像素处于相同图像位置的帧#n-1像素的判定结果为静止，并且对帧#n像素以及与帧#n像素处于相同图像位置的帧#n-1像素的判定结果为移动时，区域指定单元103判定帧#n像素属于覆盖背景区域。

当对帧#n像素以及与帧#n像素处于相同图像位置的帧#n-1像素的判定结果为静止，并且对帧#n像素以及与帧#n像素处于相同图像位置的帧#n+1像素的判定结果为静止时，区域指定单元103判定帧#n像素属于静止区域。

当对帧#n像素以及与帧#n像素处于相同图像位置的帧#n-1像素的判定结果为移动，并且对帧#n像素以及与帧#n像素处于相同图像位置的帧#n+1像素的判定结果为移动时，区域指定单元103判定帧#n像素属于移动区域。

当对帧#n像素以及与帧#n像素处于相同图像位置的帧#n+1像素的判定结果为移动，并且对与帧#n像素处于相同图像位置的帧#n+1像素以及与帧#n像素处于相同图像位置的帧#n+2像素的判定结果为静止时，区域指定单元103判定帧#n像素属于非覆盖背景区域。

图28A到28D示出由区域指定单元103获得的区域判定结果的例子。在图28A中，判定为属于覆盖背景区域的像素用白色表示。在图28B中，判定为属于非覆盖背景区域的像素用白色表示。

在图28C中，判定为属于移动区域的像素用白色表示。在图28D中，判定为属于静止区域的像素用白色表示。

图29以图像形式示出从由判定标志存储帧缓冲区206输出的区域信息中选择的表示混合区域的区域信息。在图29中，判定为属于覆盖背景区域或非覆盖背景区域的像素，即判定为属于混合区域的像素用白色表示。从判定标志存储帧缓冲区206输出的表示混合区域的区域信息指定混合区域以及前景区域中被不带纹理的部分包围的带纹理部分。

下面将参照图30的流程图对由区域指定单元103执行的区域指定处理进行描述。在步骤S201，帧存储器201获取包括帧#n的帧#n-2到帧#n+2的图像。

在步骤S202，静止/移动判定部分202-3判定对处于相同位置的帧#n-1像素以及帧#n像素的判定结果是否为静止。如果判定该判定结果为静止，过程进入步骤S203，其中，静止/移动判定部分202-2判定对处于相同位置的帧#n像素以及帧#n+1像素的判定结果是否为静止。

如果在步骤S203判定对处于相同位置的帧#n像素以及帧#n+1像素的判定结果为静止，过程进入步骤S204。在步骤S204中，区域判定部分203-2将与待处理像素相关联的静止区域判定标志设为“1”，表示该待处理像素属于静止区域。区域判定部分203-2将静止区域判定标志提供给判定标志存储帧缓冲区204，并且过程进入步骤S205。

如果在步骤S202判定对处于相同位置的帧#n-1像素以及帧#n像素的判定结果为移动，或者在步骤S203判定对处于相同位置的帧#n像素以及帧#n+1像素的判定结果为移动，则待处理像素不属于静止区域。因此，跳过步骤S204的处理，并且过程进入步骤S205。

在步骤S205，静止/移动判定部分202-3判定对处于相同位置的帧#n-1像素以及帧#n像素的判定结果是否为移动。如果判定该判定结果为移动，过程进入步骤S206，其中，静止/移动判定部分202-2判定对处于相同位置的帧#n像素以及帧#n+1像素的判定结果是否为移动。

如果在步骤S206判定对处于相同位置的帧#n像素以及帧#n+1像素的判定结果为移动，过程进入步骤S207。在步骤S207中，区域判定部分203-2将与待处理像素相关联的移动区域判定标志设为“1”，表示该待处理像素属于移动区域。区域判定部分203-2将移动区域判定标志提供给判定标志存储帧缓冲区204，并且过程进入步骤S208。

如果在步骤S205判定对处于相同位置的帧#n-1像素以及帧#n像素的判定结果为静止，或者在步骤S206判定对处于相同位置的帧#n像素以及帧#n+1像素的判定结果为静止，则帧#n像素不属于移动区域。因此，跳过步骤S207的处理，并且过程进入步骤S208。

在步骤S208，静止/移动判定部分202-4判定对处于相同位置的帧#n-2像素以及帧#n-1像素的判定结果是否为静止。如果判定该判定结果为静止，过程进入步骤S209，其中，静止/移动判定部分202-3判定对处于相同位置的帧#n-1像素以及帧#n像素的判定结果是否为移动。

如果在步骤S209判定对处于相同位置的帧#n-1像素以及帧#n像素的判定结果为移动，过程进入步骤S210。在步骤S210中，区域判定部分203-3将与待处理像素相关联的覆盖背景区域判定标志设为“1”，表示该待处理像素属于覆盖背景区域。区域判定部分203-3将覆盖背景区域判定标志提供给判定标志存储帧缓冲区204，并且过程进入步骤S211。

如果在步骤S208判定对处于相同位置的帧#n-2像素以及帧#n-1像素的判定结果为移动，或者在步骤S209判定对处于相同位置的帧#n-1像素以及帧#n像素的判定结果为静止，则帧#n像素不属于覆盖背景区域。因此，跳过步骤S210的处理，并且过程进入步骤S211。

在步骤S211，静止/移动判定部分202-2判定对处于相同位置的帧#n像素以及帧#n+1像素的判定结果是否为移动。如果在步骤S211判定该判定结果为移动，过程进入步骤S212，其中，静止/移动判定部分202-1判定对处于相同位置的帧#n+1像素以及帧#n+2像素的判定结果是否为静止。

如果在步骤S212判定对处于相同位置的帧#n+1像素以及帧#n+2像素的判定结果为静止，过程进入步骤S213。在步骤S213中，区域判定部分203-1将与待处理像素相关联的非覆盖背景区域判定标志设为“1”，表示该待处理像素属于非覆盖背景区域。区域判定部分203-1将非覆盖背景区域判定标志提供给判定标志存储帧缓冲区204，并且过程进入步骤S214。

如果在步骤S211判定对处于相同位置的帧#n像素以及帧#n+1像素的判定结果为静止，或者在步骤S212判定对帧#n+1像素以及帧#n+2像素的判定结果为移动，则帧#n像素不属于非覆盖背景区域。因此，跳过步骤S213的处理，并且过程进入步骤S214。

在步骤S214，区域指定单元103判定是否指定完毕帧#n中所有像素的区域。如果判定尚未指定帧#n中所有像素的区域，则过程返回到步骤S202，并且对剩余像素重复区域指定处理。

如果在步骤S214判定指定完毕帧#n中所有像素的区域，过程进入步骤S215。在步骤S215，合成器205根据存储在判定标志存储帧缓冲区204中的非覆盖背景区域判定标志和覆盖背景区域判定标志，生成表示混合区域的区域信息，并且还生成表示每个像素属于非覆盖背景区域、静止区域、移动区域或覆盖背景区域中的哪一个区域的区域信息，并且在判定标志存储帧缓冲区206中设置所生成的区域信息。然后，处理结束。

如上所述，区域指定单元103能够生成表示包含在帧中的每个像素属于移动区域、静止区域、覆盖背景区域或非覆盖背景区域中的哪一个区域的区域信息。

区域指定单元103可以对与非覆盖背景区域相对应的区域信息和与覆盖背景区域相对应的区域信息应用逻辑或操作，从而生成对应于混合区域的区域信息，然后可以生成由表示包含在帧中的各个像素属于移动区域、静止区域或混合区域中的哪一个区域的标志组成的区域信息。

当对应于前景的对象具有纹理时，区域指定单元103能够更精确地指定移动区域。

区域指定单元103能够输出表示移动区域的区域信息作为表示前景区域的区域信息，并且输出表示静止区域的区域信息作为表示背景区域的区域信息。

本实施例是假定对应于背景的对象保持静止而进行描述的。然而，即使对应于背景区域的图像包含运动时，也可以应用上述区域指定处理。例如，如果对应于背景区域的图像一致移动，区域指定单元103根据该运动偏移整个图像，并且以与对应于背景的对象保持静止的情况类似的方式执行处理。如果对应于背景区域的图像包含局部不同运动时，区域指定单元103选择对应于运动的像素，并且执行上述处理。

图31是区域指定单元103的结构方框图。图31所示的区域指定单元103不使用运动向量。背景图像生成器301生成对应于输入图像的背景图像，并且将所生成的背景图像提供给二值对象图像提取部分302。背景图像生成器301提取例如与包含在输入图像中的背景对象相对应的图像对象，并且生成背景图像。

通过沿着时间方向扩展在对应于前景对象的图像的移动方向上连续排列在一行上的像素的像素值而获得的模型例子如图32所示。例如，如果对应于前景对象的图像的移动方向相对于屏幕是水平的，图32所示的模型是通过在时域内扩展连续排列在一行上的像素的像素值而获得的模型。

在图32中，帧#n的一行与帧#n-1的一行和帧#n+1的一行相同。

在帧#n中，包含在左起第六到第十七像素中的对应于对象的前景成分包含在帧#n-1的左起第二到第十三像素中，并且还包含在帧#n+1的左起第十到第二十一像素中。

在帧#n-1中，属于覆盖背景区域的像素为左起第十一到第十三像素，并且属于非覆盖背景区域的像素为左起第二到第四像素。在帧#n中，属于覆盖背景区域的像素为左起第十五到第十七像素，并且属于非覆盖背景区域的像素为左起第六到第八像素。在帧#n+1中，属于覆盖背景区域的像素为左起第十九到第二十一像素，并且属于非覆盖背景区域的像素为左起第十到第十二像素。

在帧#n-1中，属于背景区域的像素为左起第一像素以及左起第十四到第二十一像素。在帧#n中，属于背景区域的像素为左起第一到第五像素以及左起第十八到第二十一像素。在帧#n+1中，属于背景区域的像素为左起第一到第九像素。

由背景图像生成器301生成的对应于图32所示例子的背景图像例子如图33所示。背景图像包括对应于背景对象的像素，并且不包含对应于前景对象的图像成分。

二值对象图像提取部分302根据背景图像与输入图像的相关，生成一个二值对象图像，并且将所生成的二值对象图像提供给时间变化检测器303。

图34是二值对象图像提取部分302的结构方框图。相关值计算器321计算从背景图像生成器301提供的背景图像与输入图像之间的相关，从而生成相关值，并且将所生成的相关值提供给阀值处理器322。

相关值计算器321将方程(4)应用于例如图35A所示的以X₄为中心的3×3背景图像块，以及例如图35B所示的对应于该背景图像块的以Y₄为中心的3×3输入图像块，从而计算对应于Y₄的相关值。

$\stackrel{\‾}{X}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Xi}}{9}----\left(5\right)$

$\stackrel{\‾}{Y}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Yi}}{9}----\left(6\right)$

相关值计算器321将如上所述为每个像素计算的相关值提供给阀值处理器322。

可选地，相关值计算器321将方程(7)应用于例如图36A所示的以X₄为中心的3×3背景图像块，以及例如图36B所示的对应于该背景图像块的以Y₄为中心的3×3输入图像块，从而计算对应于Y₄的差值绝对值之和。

相关值计算器321将如上所述算出的差值绝对值之和作为相关值提供给阀值处理器322。

阀值处理器322将相关图像的像素值与阀值th0进行比较。如果相关值小于或等于阀值th0，则将二值对象图像的像素值设为1。如果相关值大于阀值th0，则将二值对象图像的像素值设为0。阀值处理器322然后输出其像素值设为0或1的二值对象图像。阀值处理器322可以预先将阀值th0存储在其中，或者可以使用从外部源输入的阀值th0。

图37示出与图32所示的输入图像模型相对应的二值对象图像。在二值对象图像中，将与背景图像具有更高相关性的像素的像素值设为0。

图38是时间变化检测器303的结构方框图。当判定帧#n像素的区域时，帧存储器341存储从二值对象图像提取部分302提供的帧#n-1、帧#n和帧#n+1的二值对象图像。

区域判定部分342根据帧#n-1、帧#n和帧#n+1的二值对象图像，判定帧#n中每个像素的区域以生成区域信息，并且输出所生成的区域信息。

图39示出由区域判定部分342作出的判定。当帧#n二值对象图像的指定像素为0时，区域判定部分342判定帧#n的指定像素属于背景区域。

当帧#n二值对象图像的指定像素为1，帧#n-1二值对象图像的对应像素为1，并且帧#n+1二值对象图像的对应像素为1时，区域判定部分342判定帧#n的指定像素属于前景区域。

当帧#n二值对象图像的指定像素为1，并且帧#n-1二值对象图像的对应像素为0时，区域判定部分342判定帧#n的指定像素属于覆盖背景区域。

当帧#n二值对象图像的指定像素为1，并且帧#n+1二值对象图像的对应像素为0时，区域判定部分342判定帧#n的指定像素属于非覆盖背景区域。

图40示出时间变化检测器303对与图32所示的输入图像模型相对应的二值对象图像作出的判定例子。时间变化检测器303判定帧#n中左起第一到第五像素属于背景区域，因为帧#n二值对象图像的对应像素为0。

时间变化检测器303判定左起第六到第九像素属于非覆盖背景区域，因为帧#n二值对象图像的像素为1，并且帧#n+1的对应像素为0。

时间变化检测器303判定左起第十到第十三像素属于前景区域，因为帧#n二值对象图像的像素为1，帧#n-1的对应像素为1，并且帧#n+1的对应像素为1。

时间变化检测器303判定左起第十四到第十七像素属于覆盖背景区域，因为帧#n二值对象图像的像素为1，并且帧#n-1的对应像素为0。

时间变化检测器303判定左起第十八到第二十一像素属于背景区域，因为帧#n二值对象图像的对应像素为0。

下面将参照图41的流程图对由区域指定单元103执行的区域指定处理进行描述。在步骤S301，区域指定单元103的背景图像生成器301根据输入图像提取例如与包含在输入图像中的背景对象相对应的图像对象，以生成背景图像，并且将所生成的背景图像提供给二值对象图像提取部分302。

在步骤S302，二值对象图像提取部分302根据例如参照图35A和35B所述的计算操作，计算输入图像与从背景图像生成器301提供的背景图像之间的相关值。在步骤S303，二值对象图像提取部分302通过例如比较相关值与阀值th0，根据相关值和阀值th0计算二值对象图像。

在步骤S304，时间变化检测器303执行区域判定处理，然后处理结束。

下面将参照图42的流程图对步骤S304的区域判定处理的详细信息进行描述。在步骤S321，时间变化检测器303的区域判定部分342判定存储在帧存储器341中的帧#n的指定像素是否为0。如果判定帧#n的指定像素为0，过程进入步骤S322。在步骤S322，判定帧#n的指定像素属于背景区域，然后处理结束。

如果在步骤S321判定帧#n的指定像素为1，过程进入步骤S323。在步骤S323，时间变化检测器303的区域判定部分342判定存储在帧存储器341中的帧#n的指定像素是否为1，并且帧#n-1的对应像素是否为0。如果判定帧#n的指定像素为1，并且帧#n-1的对应像素为0，过程进入步骤S324。在步骤S324，判定帧#n的指定像素属于覆盖背景区域，然后处理结束。

如果在步骤S323判定帧#n的指定像素为0，或者帧#n-1的对应像素为1，过程进入步骤S325。在步骤S325，时间变化检测器303的区域判定部分342判定存储在帧存储器341中的帧#n的指定像素是否为1，并且帧#n+1的对应像素是否为0。如果判定帧#n的指定像素为1，并且帧#n+1的对应像素为0，过程进入步骤S326。在步骤S326，判定帧#n的指定像素属于非覆盖背景区域，然后处理结束。

如果在步骤S325判定帧#n的指定像素为0，或者帧#n+1的对应像素为1，过程进入步骤S327。在步骤S327，时间变化检测器303的区域判定部分342判定帧#n的指定像素属于前景区域，然后处理结束。

如上所述，区域指定单元103能够根据输入图像与对应背景图像之间的相关值指定输入图像的每个像素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪一个区域，并且生成对应于指定结果的区域信息。

图43是区域指定单元103的另一结构方框图。区域指定单元103使用从运动检测器102提供的运动向量及其位置信息。与图31所示相同的单元用相同的标号表示，因此略去不述。

鲁棒处理部分361根据从二值对象图像提取部分302提供的N帧二值对象图像生成鲁棒二值对象图像，并且将鲁棒二值对象图像输出到时间变化检测器303。

图44是鲁棒处理部分361的结构方框图。运动补偿器381根据从运动检测器102提供的运动向量及其位置信息，补偿N帧二值对象图像的运动，并且将经过运动补偿的二值对象图像提供给开关382。

下面将参照图45和46所示的例子对由运动补偿器381执行的运动补偿进行讨论。现在假定，例如要对帧#n的区域进行处理。当输入图45所示的帧#n-1、帧#n和帧#n+1的二值对象图像时，运动补偿器381根据从运动检测器102提供的运动向量，如图46所示的例子所示，补偿帧#n-1的二值对象图像和帧#n+1的二值对象图像的运动，并且将经过运动补偿的二值对象图像提供给开关382。

开关382将经过运动补偿的第一帧二值对象图像输出到帧存储器383-1，并且将经过运动补偿的第二帧二值对象图像输出到帧存储器383-2。类似地，开关382将经过运动补偿的第三到第(N-1)帧二值对象图像输出到帧存储器383-3到383-(N-1)，并且将经过运动补偿的第N帧二值对象图像输出到帧存储器383-N。

帧存储器383-1存储经过运动补偿的第一帧二值对象图像，并且将所存储的二值对象图像输出到加权部分384-1。帧存储器383-2存储经过运动补偿的第二帧二值对象图像，并且将所存储的二值对象图像输出到加权部分384-2。

类似地，帧存储器383-3到383-(N-1)存储经过运动补偿的第三到第(N-1)帧二值对象图像，并且将所存储的二值对象图像输出到加权部分384-3到384-(N-1)。帧存储器383-N存储经过运动补偿的第N帧二值对象图像，并且将所存储的二值对象图像输出到加权部分384-N。

加权部分384-1将从帧存储器383-1提供的经过运动补偿的第一帧二值对象图像的像素值与预定权值w1进行相乘，然后将经过加权的二值对象图像提供给累加器385。加权部分384-2将从帧存储器383-2提供的经过运动补偿的第二帧二值对象图像的像素值与预定权值w2进行相乘，然后将经过加权的二值对象图像提供给累加器385。

同样地，加权部分384-3到384-(N-1)将从帧存储器383-3到383-(N-1)提供的经过运动补偿的第三到第(N-1)帧二值对象图像的像素值与预定权值w3到w(N-1)进行相乘，然后将经过加权的二值对象图像提供给累加器385。加权部分384-N将从帧存储器383-N提供的经过运动补偿的第N帧二值对象图像的像素值与预定权值wN进行相乘，然后将经过加权的二值对象图像提供给累加器385。

累加器385累加第一到第N帧的乘以权值w1到wN之后的经过运动补偿的二值对象图像的像素值，并且将累加出的像素值与预定阀值th0进行比较，从而生成二值对象图像。

如上所述，鲁棒处理部分361从N个二值对象图像生成鲁棒二值对象图像，并且将它提供给时间变化检测器303。因此，即使输入图像包含噪声，如图43所示构造的区域指定单元103也能够比图31所示更精确地指定区域。

下面将参照图47的流程图对由如图43所示构造的区域指定单元103执行的区域指定处理进行描述。步骤S341到步骤S343的处理类似于参照图41所述的步骤S301到步骤S303的处理，因此略去不述。

在步骤S344，鲁棒处理部分361执行鲁棒处理。

在步骤S345，时间变化检测器303执行区域判定处理，然后处理结束。步骤S345的处理的详细信息类似于参照图42的流程图所述的处理，因此略去不述。

下面将参照图48的流程图对与图47中步骤S344的处理相对应的鲁棒处理的详细信息进行描述。在步骤S361，运动补偿器381根据从运动检测器102提供的运动向量及其位置信息，执行对输入二值对象图像的运动补偿。在步骤S362，帧存储器383-1到383-N之一存储通过开关382提供的对应经过运动补偿的二值对象图像。

在步骤S363，鲁棒处理部分361判定是否存储了N个二值对象图像。如果判定没有存储N个二值对象图像，过程返回到步骤S361，并且重复二值对象图像的运动补偿处理和二值对象图像的存储处理。

如果在步骤S363判定存储了N个二值对象图像，过程进入步骤S364，其中，执行加权。在步骤S364，加权部分384-1到384-N将N个二值对象图像与对应的权值w1到wN进行相乘。

在步骤S365，累加器385累加N个经过加权的二值对象图像。

在步骤S366，累加器385通过例如将累加值与预定阀值th1进行比较，根据累加图像生成二值对象图像，然后处理结束。

如上所述，如图43所示构造的区域指定单元103能够根据鲁棒二值对象图像生成区域信息。

从前面描述可以看到，区域指定单元103能够生成表示包含在帧中的每个像素属于移动区域、静止区域、非覆盖背景区域或覆盖背景区域中的哪一个区域的区域信息。

图49是混合比率计算器104的结构方框图。估计混合比率处理器401通过根据输入图像计算覆盖背景区域的模型，为每个像素计算估计混合比率，并且将算出的估计混合比率提供给混合比率判定部分403。

估计混合比率处理器402通过根据输入图像计算非覆盖背景区域的模型，为每个像素计算估计混合比率，并且将算出的估计混合比率提供给混合比率判定部分403。

因为可以假定对应于前景的对象在快门时间内匀速移动，所以属于混合区域的像素的混合比率α表现下面特性。也就是，混合比率α根据像素的位置变化而线性变化。如果像素的位置变化是一维的，可以在直线上表示混合比率α的变化。如果像素的位置变化是二维的，可以在平面中表示混合比率α的变化。

由于一帧的周期很短，因此可以假定对应于前景的对象是匀速移动的刚体。

混合比率α的斜率与前景在快门时间内的移动量v成反比。

理想混合比率α的例子如图50所示。混合区域中理想混合比率α的斜率1可以用移动量v的倒数表示。

如图50所示，理想混合比率α的值在背景区域中为1，在前景区域中为0，并且在混合区域中大于0且小于1。

在图51所示的例子中，帧#n中左起第七像素的像素值C06可以通过使用帧#n-1中左起第七像素的像素值P06，用方程(8)表示。

C06＝B06/v+B06/v+F01/v+F02/v

   ＝P06/v+P06/v+F01/v+F02/v

$=2/v\·P06+\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}/v----\left(8\right)$

在方程(8)中，像素值C06用混合区域像素的像素值M来表示，而像素值P06用背景区域像素的像素值B来表示。也就是，混合区域像素的像素值M和背景区域像素的像素值B可以分别用方程(9)和(10)表示。

M＝C06                                        (9)

B＝P06                                        (10)

在方程(8)中，2/v对应于混合比率α。由于移动量v为4，因此帧#n中左起第七像素的混合比率α为0.5。

如上所述，把指定帧#n的像素值C当作混合区域的像素值，而把帧#n之前的帧#n-1的像素值P当作背景区域的像素值。因此，表示混合比率α的方程(3)可以用方程(11)表示：

C＝α·P+f                                    (11)

其中，方程(11)中的f表示包含在指定像素中的前景成分之和∑_iFi/v。包含在方程(11)中的变量是两个因子，即混合比率α和前景成分之和f。

类似地，通过沿着时间方向扩展未覆盖背景区域中移动量为4并且虚拟划分部分的数目为4的像素值而获得的模型如图52所示。

如同覆盖背景区域的表示，在非覆盖背景区域中，把指定帧#n的像素值C当作混合区域的像素值，而把帧#n之后的帧#n+1的像素值N当作背景区域的像素值。因此，表示混合比率α的方程(3)可以用方程(12)表示：

C＝α·N+f                                      (12)

本实施例是假定背景对象保持静止而进行描述的。然而，通过使用所在位置对应于背景移动量v的像素的像素值，方程(8)到(12)可以应用于背景图像发生移动的情况。现在假定，例如，在图51中，对应于背景的对象的移动量v为2，并且虚拟划分部分的数目为2。在这种情况下，当对应于背景的对象在图49中向右移动时，方程(10)中背景区域像素的像素值B用像素值P04表示。

由于方程(11)和(12)都包含两个变量，因此，在不修改方程的情况下不能确定混合比率α。

混合比率α根据像素的位置变化而线性变化，因为对应于前景的对象匀速移动。通过利用这一特性，在空间方向上近似混合比率α和前景成分之和f的方程可以成立。通过利用属于混合区域的像素的像素值和属于背景区域的像素的像素值的多个集合，通过假定如图53所示混合比率α线性变化并且前景成分之和线性变化，对近似混合比率α和前景成分之和f的方程进行求解。

如图53所示，可以用来计算属于覆盖背景区域的像素的混合比率α的数据包括像素值M01到M05，这些像素值包含指定帧#n的指定像素的像素值和帧#n-1的像素值P01到P05。

混合比率α根据空间位置而不同，并且用α01到α05表示。

前景成分之和f根据空间位置而不同，并且用f01到f05表示。

当在平面中近似混合比率α时，通过考虑对应于两个方向即图像的水平方向和垂直方向的移动v，混合比率α可以用方程(13)表示。

αx＝jm+kq+p                                        (13)

在方程(13)中，x表示01到05之一。在方程(13)中，j是指定像素的位置为0时水平方向上的索引，并且k是垂直方向上的索引。在方程(13)中，m表示混合比率α在平面中的水平斜率，并且q表示混合比率α在平面中的垂直斜率。在方程(13)中，p表示混合比率α在平面中的截距。

前景成分之和可以用方程(14)表示。

fx＝js+kt+u                                        (14)

在方程(14)中，x表示01到05之一。在方程(14)中，j是指定像素的位置为0时水平方向上的索引，并且k是垂直方向上的索引。在方程(14)中，s表示前景成分之和在平面中的水平斜率，并且t表示前景成分之和在平面中的垂直斜率。在方程(14)中，u是前景成分之和在平面中的截距。

例如，通过将在空间上位置相近的5×5像素值应用于包含六个变量m、q、p、s、t和u的方程，可以为这六个变量获得25个方程。通过采用最小二乘法求解所获得的方程，可以确定这六个变量。

当对应于前景的对象在快门时间内快速移动时，由于前景对象的空间相关性，因此在空间上位置相近的像素的混合比率α相同，并且在空间上位置相近的像素的前景成分之和相同。通过利用这一假定，在空间方向上近似混合比率α和前景成分之和f的方程可以成立。

更具体地说，关于方程(3)的右边第一项，混合比率近似相同，如下述方程(15)所示，而且关于方程(3)的右边第二项，前景成分之和近似相同，如下述方程(21)所示。

通过利用属于混合区域的像素的像素值和属于背景区域的像素的像素值的多个集合，对近似混合比率α和前景成分之和f的方程进行求解。

通过假定在空间上位置相近的像素的混合比率α相同来近似混合比率α，混合比率α可以用方程(15)表示。

α＝n                                                (15)

如图54所示，i表示指定像素的位置设为0时的空间索引。在图54中，白点表示指定像素，并且黑点表示位置与指定像素邻近的像素。在方程(15)中，n为混合比率α的近似值，还是对应于索引0的指定像素的混合比率α。

虽然索引i是已知的，但是n是未知的。

通过近似混合比率α，如方程(15)所示，可以用一个变量表示多个像素的多个不同混合比率α。在图54所示的例子中，五个像素的五个混合比率α可以用一个变量即n表示。

通过在图55所示的平面中近似混合比率α，将方程(15)推广到平面中，并且混合比率α可以用方程(16)表示。

α＝n                                               (16)

在图55中，i表示指定像素的位置设为0时的水平索引，并且j表示指定像素的位置设为0时的垂直索引。在图55中，白点表示指定像素。

如图56所示，可以用来计算属于覆盖背景区域的像素的混合比率α的数据包括像素值M01到M05，这些像素值包含指定帧#n的指定像素的像素值和帧#n-1的像素值P01到P05。

由于混合比率α近似相同而与空间位置无关，因此它用混合比率α表示。

由于前景成分之和近似相同而与空间位置无关，因此它用f表示。

例如，在图51所示的帧#n中，方程(17)到(19)对于C05到C07成立。

C05＝α05·B05/v+f05                                (17)

C06＝α06·B06/v+f06                                (18)

C07＝α07·B07/v+f07                                (19)

假定位置相近的像素的前景成分相等，即F01到F03相等，通过用fc替代F01到F03，方程(20)成立。

fx＝Fc                                              (20)

在方程(20)中，x表示空间方向上的位置。

当i表示水平索引并且j表示垂直索引时，方程(20)可以用方程(21)表示。

fi，j＝u                                             (21)

在方程(21)中，u用Fc表示，如方程(22)所示。

u＝Fc                                                (22)

也就是，位置相近的像素的前景成分之和相同这一近似可以用方程(21)表示。

假定位置相近的像素的混合比率α近似相同，并且位置相近的像素的前景成分之和近似相同，将方程(15)和(21)代入方程(3)，从而获得方程(23)。

M＝n·B+u                                            (23)

方程(23)包含两个变量即n和u。

要确定混合比率α，通过在方程(23)中设置在空间上位置相近的像素的像素值同时保持两个变量，增加方程的数目。更具体地说，根据位置与指定像素邻近的像素，在对应于方程(23)的正规方程中设置像素值M或像素值B。然后，采用最小二乘法求解其中设有像素值M或像素值B的多个正规方程，从而计算混合比率α。

例如，指定像素的水平索引i设为0，并且垂直索引j设为0。然后，针对位置与指定像素邻近的3×3像素，在方程(23)中设置像素值M或像素值B，从而获得方程(24)到(32)。

M_-1，-1＝B_-1，-1·n+u                                (24)

M_0，-1＝B_0，-1·n+u                                 (25)

M_+1，-1＝B_+1，-1·n+u                                (26)

M_-1，0＝B_-1，0·n+u                                 (27)

M_0，0＝B_0，0·n+u                                  (28)

M_+1，0＝B_+1，0·n+u                                 (29)

M_-1，+1＝B_-1，+1·n+u                                (30)

M_0，+1＝B_0，+1·n+u                                 (31)

M_+1，+1＝B_+1，+1·n+u                                (32)

为两个变量n和u获得九个方程(24)到(32)，并且采用最小二乘法对其进行求解，从而确定两个变量n和u。在这种情况下，指定像素的混合比率α对应于方程(23)的变量n。因此，在两个确定变量u和n中，输出变量n作为混合比率α。

上面描述是通过假定包含在混合区域中的像素的像素值为M并且包含在背景区域中的像素的像素值为B而参照方程(24)到(32)给出的。在这种情况下，需要分别为指定像素包含在覆盖背景区域中或指定像素包含在非覆盖背景区域中这两种情况设置正规方程。

例如，当确定图51所示的帧#n中包含在覆盖背景区域中的像素的混合比率α时，在正规方程中设置帧#n的像素C04到C08以及帧#n-1像素的像素值P04到P08。

要确定图52所示的帧#n中包含在非覆盖背景区域中的像素的混合比率α，在正规方程中设置帧#n的像素C28到C32以及帧#n+1像素的像素值N28到N32。

当使用对应于覆盖背景区域的模型时，在方程(24)到(32)中设置M＝C和B＝P。相反，当使用对应于非覆盖背景区域的模型时，在方程(24)到(32)中设置M＝C和B＝N。

更具体地说，例如，要计算图57所示的包含在覆盖背景区域中的像素的混合比率α，建立下列方程(33)到(41)。要计算其混合比率α的像素的像素值是Mc5。在图57中，白点表示要视作背景的像素，并且黑点表示要视作混合区域的像素。

Mc1＝Bc1·n+u                                        (33)

Mc2＝Bc2·n+u                                        (34)

Mc3＝Bc3·n+u                                        (35)

Mc4＝Bc4·n+u                                        (36)

Mc5＝Bc5·n+u                                        (37)

Mc6＝Bc6·n+u                                        (38)

Mc7＝Bc7·n+u                                        (39)

Mc8＝Bc8·n+u                                        (40)

Mc9＝Bc9·n+u                                        (41)

当计算帧#n中包含在覆盖背景区域中的像素的混合比率α时，在方程(33)到(41)中使用对应于帧#n像素的帧#n-1背景区域像素的像素值Bc1到Bc9。由于为两个变量u和n设置九个方程(33)到(41)，因此它们可以采用最小二乘法来求解。

当计算图57所示的包含在非覆盖背景区域中的像素的混合比率α时，下列方程(42)到(50)可以成立。要计算其混合比率α的像素的像素值是Mu5。

Mu1＝Bu1·n+u                                (42)

Mu2＝Bu2·n+u                                (43)

Mu3＝Bu3·n+u                                (44)

Mu4＝Bu4·n+u                                (45)

Mu5＝Bu5·n+u                                (46)

Mu6＝Bu6·n+u                                (47)

Mu7＝Bu7·n+u                                (48)

Mu8＝Bu8·n+u                                (49)

Mu9＝Bu9·n+u                                (50)

当计算帧#n中包含在非覆盖背景区域中的像素的混合比率α时，在方程(42)到(50)中使用对应于帧#n像素的帧#n+1背景区域像素的像素值Bu1到Bu9。由于为两个变量u和n建立九个方程(42)到(50)，因此它们可以采用最小二乘法来求解。

通过应用最小二乘法计算混合比率α的特定过程如下所述。

为简洁起见，在方程(23)中，n用w0表示，并且u用w1表示。类似地，在方程(23)中，与n相关的值B用a0表示，并且与u相关的值l用a1表示。

另外，方程(24)到(32)中水平索引i和垂直索引j的组合用一个索引k表示。

当索引i和索引j用一个索引k表示时，索引i、索引j和索引k之间的关系用方程(51)表示。

k＝(i+1)·3+(j+1)                                (51)

考虑到误差ek，方程(24)到(32)可以修改为方程(52)。

$\mathrm{Mk}=\underset{h=0}{\overset{1}{\mathrm{\Σ}}}\mathrm{ah}\·\mathrm{wh}+\mathrm{ek}----\left(52\right)$

在方程(52)中，k是0到8之间的任一整数。

从方程(52)可以得出方程(53)。

$\mathrm{ek}=\mathrm{Mk}-\underset{h=0}{\overset{1}{\mathrm{\Σ}}}\mathrm{ah}\·\mathrm{wh}----\left(53\right)$

由于应用最小二乘法，误差平方和E如下面方程(54)所示定义。

$E=\underset{k=0}{\overset{8}{\mathrm{\Σ}}}{\mathrm{ek}}^2----\left(54\right)$

为使误差最小，误差平方和E对变量Wv的偏导值应为0。v是0或1。因此，wv确定为满足方程(55)。

$\frac{\∂E}{\∂\mathrm{Wv}}=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ek}\·\frac{\∂\mathrm{ek}}{\∂\mathrm{Wv}}----\left(55\right)$

$=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ek}\·\mathrm{av}=0$

通过将方程(53)代入方程(55)，获得方程(56)。

$\underset{k=0}{\overset{8}{\mathrm{\Σ}}}(\mathrm{av}\·\underset{h=0}{\overset{1}{\mathrm{\Σ}}}\mathrm{ah}\·\mathrm{Wh})=\underset{k=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{av}\·\mathrm{Mk}----\left(56\right)$

根据通过将整数0和1之一代入方程(56)的v而获得的两个方程，确定wh(h＝0，1)。

如上所述，确定结果w0即n设为对应于指定像素的混合比率α。

以这种方式，通过假定位置相近的像素的混合比率α近似相同并且位置相近的像素的前景成分之和近似相同，混合比率计算器104能够以相对简单的计算确定混合比率α。

当前景对象在快门时间内快速移动时，由于前景对象的空间相关性，因此可以假定在空间上位置相近的像素的混合比率α相同，并且在空间上位置相近的像素的前景成分之和线性变化。根据这些假定，可以建立近似混合比率α和前景成分之和f的方程。

如图58所示，可以用来计算属于覆盖背景区域的像素的混合比率α的数据包括像素值M01到M05，这些像素值包含指定帧#n的指定像素的像素值和帧#n-1的像素值P01到P05。

混合比率α近似相同而与空间位置无关，因此用混合比率α表示。

前景成分之和根据空间位置而不同，因此用f01到f05表示。

α近似相同的混合比率α用方程(57)表示。

α＝p                                             (57)

近似线性的f01到f05用方程(58)表示。

fx＝js+kt+u                                       (58)

在方程(58)中，x是01到05之一。

采用这种方案，例如，通过将在空间上位置相近的5×5像素的像素值应用于包含四个变量即p、s、t和u的方程，可以为这四个变量获得25个方程。采用最小二乘法求解所获得的方程，从而确定这四个变量。

例如，现在假定在空间上位置相近的5×5像素的混合比率相同，并且在空间上位置相近的像素的前景成分之和线性变化。然后，通过应用四个变量，即表示混合比率的一个变量和表示斜率和截距的三个变量，在方程中设置在空间上位置相近的像素值，并且采用最小二乘法求解其中设有像素值的方程。

下面以对位置与指定像素邻近的3×3像素进行处理为例对此进行描述。

当指定像素的水平索引和垂直索引用i和j表示(指定像素为0)时，针对3×3像素建立九个方程，如方程(59)到(67)所示。

M_-1，-1＝B_-1，-1·n+(-1)·s+(-1)·t+u                  (59)

M_0，-1＝B_0，-1·n+0·s+(-1)·t+u                      (60)

M_+1，-1＝B_+1，-1·n+(-1)·s+(-1)·t+u                  (61)

M_-1，0＝B_-1，0·n+(-1)·s+0·t+u                      (62)

M_0，0＝B_0，0·n+0·s+0·t+u                          (63)

M_+1，0＝B_+1，0·n+(+1)·s+0·t+u                      (64)

M_-1，+1＝B_-1，-1·n+(-1)·s+(+1)·t+u                  (65)

M_0，+1＝B_0，+1·n+0·s+(+1)·t+u                      (66)

M_+1，+1＝B_+1，+1·n+(+1)·s+(+1)·t+u                  (67)

为四个变量u、s、t和n获得九个方程(59)到(67)，并且采用最小二乘法对其进行求解，从而确定四个变量u、s、t和n。在这种情况下，指定像素的混合比率α对应于方程(23)的变量。因此，在四个确定变量中，输出n作为混合比率α。

上面描述是通过假定包含在混合区域中的像素的像素值为M并且包含在背景区域中的像素的像素值为B而参照方程(59)到(67)给出的。在这种情况下，需要分别为指定像素包含在覆盖背景区域中或指定像素包含在非覆盖背景区域中这两种情况设置正规方程。

例如，当确定图51所示的帧#n中包含在覆盖背景区域中的像素的混合比率α时，在正规方程中设置帧#n的像素C04到C08以及帧#n-1像素的像素值P04到P08。

要确定图52所示的帧#n中包含在非覆盖背景区域中的像素的混合比率α，在正规方程中设置帧#n的像素C28到C32以及帧#n+1像素的像素值N28到N32。

当使用对应于覆盖背景区域的模型时，在方程(59)到(67)中设置M＝C和B＝P。相反，当使用对应于非覆盖背景区域的模型时，在方程(59)到(67)中设置M＝C和B＝N。

更具体地说，例如，要计算图57所示的包含在覆盖背景区域中的像素的混合比率α，建立下列方程(68)到(76)。要计算其混合比率α的像素的像素值是Mc5。

Mc1＝Bc1·n+(-1)+s+(-1)·t+u                      (68)

Mc2＝Bc2·n+0+s+(-1)·t+u                         (69)

Mc3＝Bc3·n+(+1)+s+(-1)·t+u                      (70)

Mc4＝Bc4·n+(-1)+s+0·t+u                         (71)

Mc5＝Bc5·n+0+s+0·t+u                            (72)

Mc6＝Bc6·n+(+1)+s+0·t+u                         (73)

Mc7＝Bc7·n+(-1)+s+(+1)·t+u                      (74)

Mc8＝Bc8·n+0+s+(+1)·t+u                         (75)

Mc9＝Bc9·n+(+1)+s+(+1)·t+u                      (76)

当计算帧#n中包含在覆盖背景区域中的像素的混合比率α时，在方程(68)到(76)中使用对应于帧#n像素的帧#n-1背景区域像素的像素值Bc1到Bc9。由于为四个变量设置九个方程(68)到(76)，因此它们可以采用最小二乘法来求解。

当计算图57所示的包含在非覆盖背景区域中的像素的混合比率α时，下列方程(77)到(85)可以成立。要计算其混合比率α的像素的像素值是Mu5。

Mu1＝Bu1·n+(-1)·s+(-1)·t+u                      (77)

Mu2＝Bu2·n+0·s+(-1)·t+u                         (78)

Mu3＝Bu3·n+(+1)·s+(-1)·t+u                      (79)

Mu4＝Bu4·n+(-1)·s+0·t+u                         (80)

Mu5＝Bu5·n+0·s+0·t+u                            (81)

Mu6＝Bu6·n+(+1)·s+0·t+u                         (82)

Mu7＝Bu7·n+(-1)·s+(+1)·t+u                      (83)

Mu8＝Bu8·n+0·s+(+1)·t+u                         (84)

Mu9＝Bu9·n+(+1)·s+(+1)·t+u                       (85)

当计算帧#n中包含在非覆盖背景区域中的像素的混合比率α时，在方程(77)到(85)中使用对应于帧#n像素的帧#n+1背景区域像素的像素值Bu1到Bu9。由于为四个变量建立九个方程(77)到(85)，因此它们可以采用最小二乘法来求解。

通过应用最小二乘法计算混合比率α的特定过程如下所述。

为简洁起见，四个变量n、s、t和u分别用w0、w1、w2和w3表示。与四个变量n、s、t和u相关的值B、i、j和l分别用a0、a1、a2和a3表示。

另外，方程(59)到(67)中水平索引i和垂直索引j的组合用一个索引k表示。

当索引i和索引j用一个索引k表示时，索引i、索引j和索引k之间的关系用方程(86)表示。

k＝(i+1)·3+(j+1)                               (86)

考虑到误差ek，方程(59)到(67)可以修改为方程(87)。

$\mathrm{Mk}=\underset{h=0}{\overset{3}{\mathrm{\Σ}}}\mathrm{ah}\·\mathrm{wh}+\mathrm{ek}----\left(87\right)$

在方程(87)中，k是0到8之间的任一整数。

从方程(87)可以得出方程(88)。

$\mathrm{ek}=\mathrm{Mk}-\underset{h=0}{\overset{3}{\mathrm{\Σ}}}\mathrm{ah}\·\mathrm{wh}----\left(88\right)$

由于应用最小二乘法，误差平方和E如下面方程(89)所示定义。

$E=\underset{k=0}{\overset{8}{\mathrm{\Σ}}}{\mathrm{ek}}^2----\left(89\right)$

为使误差最小，误差平方和E对变量Wv的偏导值应为0。v是0到4之间的任一整数。因此，wv确定为满足方程(90)。

$\frac{\∂E}{\∂\mathrm{Wv}}=2\·\underset{k=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ek}\·\frac{\∂\mathrm{ek}}{\∂\mathrm{Wv}}----\left(90\right)$

$=2\·\underset{k=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ek}\·\mathrm{av}=0$

通过将方程(88)代入方程(90)，获得方程(91)。

$\underset{k=0}{\overset{8}{\mathrm{\Σ}}}(\mathrm{av}\·\underset{h=0}{\overset{3}{\mathrm{\Σ}}}\mathrm{ah}\·\mathrm{Wh})=\underset{h=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{av}\·\mathrm{Mk}----\left(91\right)$

根据通过将整数0到4之一代入方程(91)的v而获得的四个方程，确定wh(h＝0，1，2，3)。

如上所述，确定结果w0即n设为对应于指定像素的混合比率α。

以这种方式，通过假定位置相近的像素的混合比率α近似相同并且位置相近的像素的前景成分之和近似线性变化，混合比率计算器104能够以相对简单的计算和相对高的精确度确定混合比率α。当位置相近的像素的混合比率α近似相同并且位置相近的像素的前景成分之和近似以前景对象的梯度线性变化时，与位置相近的像素的混合比率α相同并且前景成分之和相同相比，混合比率计算器104能够以更高的精确度确定混合比率α。

图59是估计混合比率处理器401的结构方框图。输入到估计混合比率处理器401的图像提供给延迟电路421和加入器422。

延迟电路421对输入图像延迟一帧，并且将该图像提供给加入器422。当帧#n作为输入图像提供给加入器422时，延迟电路421将帧#n-1提供给加入器422。

加入器422在正规方程中设置与为其计算混合比率α的像素相邻的像素的像素值，以及帧#n-1的像素值。例如，加入器422分别在基于方程(33)到(41)的正规方程中设置像素值Mc1到Mc9和像素值Bc1到Bc9。加入器422将其中设有这些像素值的正规方程提供给计算器423。

计算器423通过求解从加入器422提供的正规方程，确定估计混合比率，并且输出所确定的估计混合比率。

以这种方式，估计混合比率处理器401能够根据输入图像计算估计混合比率，并且将它提供给混合比率判定部分403。

此外，由于估计混合比率处理器402在结构上类似于估计混合比率处理器401，因此略去不述。

图60是混合比率计算器104的另一结构方框图。与图49所示相同的部分用相同的标号表示，因此略去不述。

选择器441根据从区域指定单元103提供的区域信息将属于覆盖背景区域的像素以及前一帧的对应像素提供给估计混合比率处理器401。选择器441根据从区域指定单元103提供的区域信息将属于非覆盖背景区域的像素以及后一帧的对应像素提供给估计混合比率处理器402。

根据从区域指定单元103提供的区域信息，当指定像素属于前景区域时，选择器442将混合比率α设为0，并且当指定像素属于背景区域时，将混合比率α设为1。当指定像素属于覆盖背景区域时，选择器442选择从估计混合比率处理器401提供的估计混合比率，并且将它设作混合比率α。当指定像素属于非覆盖背景区域时，选择器442选择从估计混合比率处理器402提供的估计混合比率，并且将它设作混合比率α。选择器442然后输出根据区域信息所选择并设置的混合比率α。

如上所述，如图60所示构造的混合比率计算器104能够为包含在图像中的每个像素计算混合比率α，并且输出算出的混合比率α。

下面将参照图61的流程图对由如图49所示构造的混合比率计算器104执行的混合比率α计算处理进行讨论。在步骤S401，混合比率计算器104获取从区域指定单元103提供的区域信息。在步骤S402，估计混合比率处理器401通过使用对应于覆盖背景区域的模型，执行混合比率估计处理，并且将估计混合比率提供给混合比率判定部分403。下面将参照图62的流程图对混合比率估计处理的详细信息进行讨论。

在步骤S403，估计混合比率处理器402通过使用对应于非覆盖背景区域的模型，执行混合比率估计处理，并且将估计混合比率提供给混合比率判定部分403。

在步骤S404，混合比率计算器104判定是否估计完毕整个帧的混合比率。如果判定尚未估计整个帧的混合比率，过程返回到步骤S402，并且为下一像素执行混合比率估计处理。

如果在步骤S404判定估计完毕整个帧的混合比率，过程进入步骤S405。在步骤S405，混合比率判定部分403根据从区域指定单元103提供并且表示要为其计算混合比率α的像素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪一个区域的区域信息，设置混合比率。当对应像素属于前景区域时，混合比率判定部分403将混合比率α设为0，并且当对应像素属于背景区域时，将混合比率α设为1。当对应像素属于覆盖背景区域时，混合比率判定部分403将混合比率α设为从估计混合比率处理器401提供的估计混合比率。当对应像素属于非覆盖背景区域时，混合比率判定部分403将混合比率α设为从估计混合比率处理器402提供的估计混合比率。然后处理结束。

如上所述，混合比率计算器104能够根据从区域指定单元103提供的区域信息以及输入图像，计算表示对应于每个像素的特征量的混合比率α。

由如图60所示构造的混合比率计算器104执行的混合比率α计算处理与参照图61的流程图所述类似，因此略去不述。

现在参照图62的流程图对具有图59所示结构的估计混合比率处理器401通过使用覆盖背景区域模型执行混合比率估计处理进行描述。

在步骤S421，加入器422在对应于覆盖背景区域模型的正规方程中设置包含在输入图像中的像素值以及包含在从延时电路421提供的图像中的像素值。

在步骤S422，估计混合比率处理器401判定是否完成目标像素的设置。如果判定尚未完成目标像素的设置，过程返回到步骤S421，并且重复在正规方程中设置像素值的处理。

如果在步骤S422判定完成目标像素的设置，过程进入步骤S423。在步骤S423，计算器423根据其中设有像素值的正规方程，计算估计混合比率，并且输出算出的混合比率。

如上所述，具有图59所示结构的估计混合比率处理器401能够根据输入图像计算估计混合比率。

通过使用对应于非覆盖背景区域的模型而执行的混合比率估计处理类似于通过使用对应于覆盖背景区域模型的正规方程而执行的如图62的流程图所示的处理，因此略去不述。

本实施例是假定对应于背景的对象保持静止而进行描述的。然而，即使对应于背景区域的图像包含运动，也可以应用上述混合比率计算处理。例如，如果对应于背景区域的图像一致移动，估计混合比率处理器401根据该运动偏移整个图像，并且以类似于对应于背景的对象为静止的情况的方式执行处理。如果对应于背景区域的图像包含局部不同的运动时，估计混合比率处理器401选择对应于运动的像素作为属于混合区域的像素，并且执行上述处理。

如上所述，混合比率计算器104能够根据输入图像和从区域指定单元103提供的区域信息，计算作为对应于每个像素的特征量的混合比率α。

通过利用混合比率α，可以分离包含在像素值中的前景成分和背景成分，同时保持包含在对应于移动对象的图像中的运动模糊信息。

通过根据混合比率α组合图像，还可以创建包含与移动对象速度一致的正确运动模糊并且忠实反映真实世界的图像。

图63是混合比率计算器104的另一结构方框图。估计混合比率处理器501通过根据输入图像和从运动检测器102提供的运动向量及其位置信息计算覆盖背景区域的模型，为每个像素计算估计混合比率，并且将算出的估计混合比率提供给混合比率判定部分503。

估计混合比率处理器502通过根据输入图像和从运动检测器102提供的运动向量及其位置信息计算非覆盖背景区域的模型，为每个像素计算估计混合比率，并且将算出的估计混合比率提供给混合比率判定部分503。

因为对应于前景的对象匀速移动，所以混合比率α根据像素位置的变化而线性变化。通过利用该特性，在空间方向上近似混合比率α和前景成分之和f的方程可以成立。另外，根据前景的移动量v建立其中设有属于混合区域的像素的像素值和属于背景区域的像素的像素值的集合的方程。在具有图63所示结构的混合比率计算器104中，通过根据前景的移动利用属于混合区域的像素的像素值和属于背景区域的像素的像素值的多个集合，求解近似混合比率α和前景成分之和f的方程。

当混合比率α的变化近似为一条直线时，可以用方程(92)表示混合比率α。

α＝il+p                                           (92)

在方程(92)中，i表示指定像素的位置设为0时的空间索引，l表示混合比率α的直线斜率，并且p表示混合比率α的直线截距，并且还表示指定像素的混合比率α。在方程(92)中，索引i是已知的，而斜率l和截距p是未知的。

索引i、斜率l和截距p之间的关系如图64所示。

通过将混合比率α近似为方程(92)，可以用两个变量表示多个像素的多个不同混合比率α。在图64所示的例子中，用两个变量即斜率l和截距p表示五个像素的五个混合比率。在图64中，白点表示指定像素，并且黑点表示位置与指定像素邻近的像素。

当在图65所示的平面中近似混合比率α时，通过考虑对应于两个方向即图像的水平方向和垂直方向的运动v，将方程(92)推广到平面中，并且可以用方程(93)表示混合比率α。

α＝jm+kq+p                                         (93)

在方程(93)中，j是指定像素的位置为0时水平方向上的索引，并且k是垂直方向上的索引。在方程(93)中，m表示混合比率α在平面中的水平斜率，并且q表示混合比率α在平面中的垂直斜率。在方程(93)中，p表示混合比率α在平面中的截距。在图65中，白点表示指定像素。

例如，在图51所示的帧#n中，方程(94)到(96)分别对于C05到C07成立。

C05＝α05·B05/v+f05                            (94)

C06＝α06·B06/v+f06                            (95)

C07＝α07·B07/v+f07                            (96)

假定位置相近的前景成分相等，即F01到F03相等，通过用fc替代F01到F03，方程(97)成立。

f(x)＝(l-α(x))·Fc                             (97)

在方程(97)中，x表示空间方向上的位置。

当用方程(93)替代α(x)时，方程(97)可以用方程(98)表示。

f(x)＝(l-(jm+kq+p))·Fc                         (98)

＝j·(-m·Fc)+k·(-q·Fc)+((l-p)·Fc)

＝js+kt+u

在方程(98)中，如方程(99)到(101)所示，分别对(-m·Fc)、(-q·Fc)和(l-p)·Fc进行替代。

s＝-m·Fc                                        (99)

t＝-q·Fc                                        (100)

u＝(l-p)·Fc                                     (101)

在方程(98)中，j是指定像素的位置为0时水平方向上的索引，并且k是垂直方向上的索引。

如上所述，由于可以假定对应于前景的对象在快门周期内匀速移动，并且位置相近的前景成分相同，因此用方程(98)近似前景成分之和。

当用直线近似混合比率α时，可以用方程(102)表示前景成分之和。

f(x)＝is+u                                       (102)

通过使用方程(93)和(98)替代方程(92)中的混合比率α和前景成分之和，可以用方程(103)表示像素值M。

M＝(jm+kq+p)·B+js+kt+u                          (103)

＝jB·m+kB·q+B·p+j·s+k·t+u

在方程(103)中，未知变量为六个因子，如混合比率α在平面中的水平斜率m、混合比率α在平面中的垂直斜率q和混合比率α在平面中的截距p、s、t和u。

现在对于多个帧假定对应于前景的对象匀速移动并且前景成分相同。因而，图65所示的一帧近似可以扩展为多帧近似。在图66中，A表示前景成分和混合比率的平面。在图66中，黑点表示要属于混合区域的像素。

在图66中假定各个帧中的平面斜率相同，并且像素值可以通过近似混合比率和前景成分用方程(103)表示。

因此，当时间方向上的索引为T时，方程(103)可以修改为方程(104)。

M_T＝jB_T·m+kB_T+q+B_T·p+j·s+k·t+u                                              (104)

根据对象的移动量，在方程(104)中设置像素值B和像素值M，它们是每个帧中指定像素和邻近于指定像素的像素，然后，采用最小二乘法求解其中设有像素值M和像素值B的多个方程，从而计算混合比率α。

现在假定例如指定像素的水平索引j设为0，并且指定像素的垂直索引k设为0，并且时间方向上的索引T设为0。在这种情况下，当针对位置与指定像素邻近的3×3像素在表示混合像素且用方程(104)表示的方程中设置像素值M或像素值B时，获得方程(105)到(113)。

M_0，-1，-1＝(-1)·B_0，-1，-1·m+(-1)·B_0，-1，-1·q+B_0，-1，-1·p+(-1)·s+(-1)·t+u       (105)

M_0，0，-1＝(0)·B_0，0，-1·m+(-1)·B_0，0，-1·q+B_0，0，-1·p+(0)·s+(-1)·t+u            (106)

M_0，+1，-1＝(+1)·B_0，+1，-1·m+(-1)·B_0，+1，-1·q+B_0，+1，-1·p+(+1)·s+(-1)·t+u       (107)

M_0，-1，0＝(-1)·B_0，-1，0·m+(0)·B_0，-1，0·q+B_0，-1，0·p+(-1)·s+(0)·t+u            (108)

M_0，0，0＝(0)·B_0，0，0·m+(0)·B_0，0，0·q+B_0，0，0·p+(0)·s+(0)·t+u                 (109)

M_0，+1，0＝(+1)·B_0，+1，0·m+(0)·B_0，+1，0·q+B_0，+1，0·p+(+1)·s+(0)·t+u            (110)

M_0，-1，+1＝(-1)·B_0，-1，+1·m+(+1)·B_0，-1，+1·q+B_0，-1，+1·p+(-1)·s+(+1)·t+u       (111)

M_0，0，+1＝(0)·B_0，0，+1·m+(+1)·B_0，0，+1·q+B_0，0，+1·p+(0)·s+(+1)·t+u            (112)

M_0，+1，+1＝(+1)·B_0，+1，+1·m+(+1)·B_0，+1，+1·q+B_0，+1，+1·p+(+1)·s+(+1)·t+u       (113)

由于指定像素的水平索引j为0，并且指定像素的垂直索引k为0，因此指定像素的混合比率α等于在方程(93)中j为0且k为0时的值，也就是，混合比率α等于方程(93)的截距p。

因此，根据考虑T为-1、0和1时的27个方程(9×3)，即方程(105)到(113)，采用最小二乘法计算水平斜率m、垂直斜率q和截距p、s、t和u，并且输出截距p作为混合比率α。

通过应用最小二乘法计算混合比率α的特定过程如下所述。

当索引T、索引i和索引k用一个索引x来表示时，索引T、索引i、索引k和索引x之间的关系可以用方程(114)表示。

x＝(T+1)·3·(j+1)·3+(k+1)                            (114)

现在假定分别用w0、w1、w2、w3、w4和w5表示水平斜率m、垂直斜率q和截距p、s、t和u，并且分别用a0、a1、a2、a3、a4和a5表示jB、kB、B、j、k和l。考虑到误差ex，方程(105)到(113)可以修改为方程(115)。

$\mathrm{Mx}=\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy}+\mathrm{ex}----\left(115\right)$

在方程(115)中，x是0到27之间的任一整数。

从方程(115)可以得出方程(116)。

$\mathrm{ex}=\mathrm{Mx}-\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy}----\left(116\right)$

由于应用最小二乘法，误差平方和E如下面的方程(117)所示定义。

$E=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}{\mathrm{ex}}^2----\left(117\right)$

为使误差最小，误差平方和E对变量Wv的偏导值应为0。v是0到5之间的任一整数。因此，wy判定为满足方程(118)。

$\frac{\∂E}{\∂\mathrm{Wv}}=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ex}\·\frac{\∂\mathrm{ex}}{\∂\mathrm{Wv}}----\left(118\right)$

$=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ex}\·\mathrm{av}=0$

通过将方程(116)代入方程(118)，获得方程(119)。

$\underset{x=0}{\overset{8}{\mathrm{\Σ}}}(\mathrm{av}\·\underset{y=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{Wy})=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{av}\·\mathrm{Mx}----\left(119\right)$

例如，对由通过将0到5之间的一个整数代入方程(119)的v而获得的六个方程组成的正规方程应用消元法(Gauss-Jordan消元法)，从而获得wy。如上所述，w0是水平斜率m，w1是垂直斜率q，w2是截距p，w3是s，w4是t，并且w5是u。

如上所述，通过对其中设有像素值M和像素值B的方程应用最小二乘法，可以确定水平斜率m、垂直斜率q以及截距p、s、t和u。

截距p是索引i和k为0时的混合比率α，也就是，截距p位于中心位置。因此，输出截距p。

上面描述是通过假定包含在混合区域中的像素的像素值为M并且包含在背景区域中的像素的像素值为B参照方程(105)到(113)给出的。在这种情况下，需要分别为指定像素包含在覆盖背景区域中或者指定像素包含在非覆盖背景区域中这两种情况设置正规方程。

例如，如果确定图51所示的帧#n中包含在覆盖背景区域中的像素的混合比率α，在正规方程中设置帧#n像素C04到C08和帧#n-1像素的像素值P04到P08。

如果确定图52所示的帧#n中包含在非覆盖背景区域中的像素的混合比率α，在正规方程中设置帧#n像素C28到C32和帧#n+1像素的像素值N28到N32。

而且，如果例如计算图67所示的包含在覆盖背景区域中的像素的混合比率α，设置下列方程(120)到(128)。为其计算混合比率α的像素的像素值为Mc5。在图67中，白点表示属于背景的像素，而黑点表示属于混合区域的像素。

Mc_T1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u    (120)

Mc_T2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u      (121)

Mc_T3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u    (122)

Mc_T4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u      (123)

Mc_T5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u        (124)

Mc_T6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u      (125)

Mc_T7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u    (126)

Mc_T8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u      (127)

Mc_T9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u    (128)

要计算帧#n中包含在覆盖背景区域中的像素的混合比率α，当T为0时分别在方程(120)到(128)中使用对应于帧#n像素的帧#n-1背景区域像素的像素值Bc1到Bc9。

当例如计算图67所示的包含在非覆盖背景区域中的像素的混合比率α时，设置下列方程(129)到(137)。为其计算混合比率α的像素的像素值为Mu5。

Mu_T1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u     (129)

Mu_T2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u      (130)

Mu_T3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u    (131)

Mu_T4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u      (132)

Mu_T5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u        (133)

Mu_T6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u      (134)

Mu_T7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u    (135)

Mu_T8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u      (136)

Mu_T9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u    (137)

要计算帧#n中包含在非覆盖背景区域中的像素的混合比率α，当T为0时分别在方程(129)到(137)中使用对应于帧#n像素的帧#n+1背景区域像素的像素值Bu1到Bu9。

图68是估计混合比率处理器501的结构方框图，用于根据对应于覆盖背景区域的模型通过使用移动量v计算估计混合比率。

帧存储器521存储输入图像的多个帧，并且将所存储的帧提供给混合比率计算器522。帧存储器521以帧为单位存储例如六个帧，并且将所存储的六个帧提供给混合比率计算器522。

混合比率计算器522预先存储用于计算混合比率α和前景成分之和f的正规方程。

混合比率计算器522在正规方程中设置包含在从帧存储器521提供的帧中的属于混合区域的像素值和属于背景区域的对应像素值。混合比率计算器522根据矩阵求解法对其中设有属于混合区域的像素值和属于背景区域的对应像素值的正规方程进行求解，并且输出算出的估计混合比率。

图69是混合比率计算器522的结构方框图。

正规方程加入器541预先存储用于计算估计混合比率的正规方程。

正规方程加入器541在正规方程中设置包含在从帧存储器521提供的M帧图像中的属于混合区域的对应值和属于背景区域的对应值。正规方程加入器541将其中设有属于混合区域的像素值和属于背景区域的对应像素值的正规方程提供给正规方程计算器542。

正规方程计算器542通过应用例如消元法(Gauss-Jordan消元法)对从正规方程加入器541提供的其中设有像素值的正规方程进行求解，从而获得估计混合比率，并且输出算出的混合比率。

如上所述，估计混合比率处理器501根据对应于覆盖背景区域的模型通过使用移动量v计算估计混合比率。

估计混合比率处理器502在结构上类似于估计混合比率处理器501，因此略去不述。

混合比率判定部分503根据从区域指定单元103提供并且表示要为其计算混合比率的像素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪一个区域的区域信息，设置混合比率。当对应像素属于前景区域时，混合比率判定部分503将混合比率设为0，并且当对应像素属于背景区域时，将混合比率设为1。当对应像素属于覆盖背景区域时，混合比率判定部分503将混合比率设为从估计混合比率处理器501提供的估计混合比率。当对应像素属于非覆盖背景区域时，混合比率判定部分503将混合比率设为从估计混合比率处理器502提供的估计混合比率。混合比率判定部分503输出根据区域信息设定的混合比率。

下面将参照图70的流程图对由如图63所示构造的混合比率计算器104执行的混合比率计算处理进行讨论。在步骤S501，混合比率计算器104获取从区域指定单元103提供的区域信息。在步骤S502，估计混合比率处理器501通过使用对应于覆盖背景区域的模型，执行混合比率估计处理，并且将估计混合比率提供给混合比率判定部分503。下面将参照图71的流程图对混合比率估计处理的详细信息进行讨论。

在步骤S503，估计混合比率处理器502通过使用对应于非覆盖背景区域的模型，执行混合比率估计处理，并且将估计混合比率提供给混合比率判定部分503。

在步骤S504，混合比率计算器104判定是否估计完毕整个帧的混合比率。如果判定尚未估计整个帧的混合比率，过程返回到步骤S502，并且为下一像素执行混合比率估计处理。

如果在步骤S504判定估计完毕整个帧的混合比率，过程进入步骤S505。在步骤S505，混合比率判定部分503根据从区域指定单元103提供并且表示要为其计算混合比率的像素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪一个区域的区域信息，设置混合比率。当对应像素属于前景区域时，混合比率判定部分503将混合比率设为0，并且当对应像素属于背景区域时，将混合比率设为1。当对应像素属于覆盖背景区域时，混合比率判定部分503将混合比率设为从估计混合比率处理器501提供的估计混合比率。当对应像素属于非覆盖背景区域时，混合比率判定部分503将混合比率设为从估计混合比率处理器502提供的估计混合比率。然后处理结束。

如上所述，混合比率计算器104能够根据从区域指定单元103提供的区域信息以及输入图像，计算表示对应于每个像素的特征量的混合比率α。

通过利用混合比率α，可以在保持包含在对应于移动对象的图像中的运动模糊信息的同时，分离包含在像素值中的前景成分和背景成分。

现在参照图71的流程图对图70的步骤S502中通过使用覆盖背景区域模型而执行的混合比率估计处理进行描述。

在步骤S521，正规方程加入器541在对应于覆盖背景区域模型的正规方程中设置包含在输入图像中的像素值。

在步骤S522，正规方程加入器541判定是否完成目标像素的设置。如果判定尚未完成目标像素的设置，过程返回到步骤S521，并且重复在正规方程中设置像素值的处理。

如果在步骤S522判定完成目标像素的设置，过程进入步骤S523。在步骤S523，正规方程计算器542根据其中设有像素值的正规方程，计算估计混合比率，并且输出算出的混合比率。

如上所述，估计混合比率处理器501能够根据输入图像计算估计混合比率。

图70的步骤S503中通过使用对应于非覆盖背景区域的模型而执行的混合比率估计处理类似于通过使用对应于覆盖背景区域模型的正规方程而执行的如图71的流程图所示的处理，因此略去不述。

本实施例是假定对应于背景的对象保持静止而进行描述的。然而，即使对应于背景区域的图像包含运动，也可以应用上述混合比率计算处理。例如，如果对应于背景区域的图像一致移动，估计混合比率处理器501可以根据该运动偏移整个图像，并且以类似于对应于背景的对象为静止的情况的方式执行处理。如果对应于背景区域的图像包含局部不同的运动，估计混合比率处理器501选择对应于运动的像素作为属于混合区域的像素，并且执行上述处理。

混合比率计算器104可以通过仅使用对应于覆盖背景区域的模型，对所有像素执行混合比率估计处理，并且输出算出的估计混合比率作为混合比率α。在这种情况下，混合比率α对于属于覆盖背景区域的像素表示背景成分比率，并且对于属于非覆盖背景区域的像素表示前景成分比率。对于属于非覆盖背景区域的像素，确定算出的混合比率α与1的差值绝对值，并且将算出的绝对值设为混合比率α。因而，信号处理器12能够为属于非覆盖背景区域的像素确定表示背景成分比率的混合比率α。

类似地，混合比率计算器104可以通过仅使用对应于非覆盖背景区域的模型，对所有像素执行混合比率估计处理，并且输出算出的估计混合比率作为混合比率α。

下面对前景/背景分离器105进行讨论。图72是前景/背景分离器105的结构示例方框图。提供给前景/背景分离器105的输入图像提供给分离部分601、开关602和开关604。从区域指定单元103提供并且表示覆盖背景区域和非覆盖背景区域信息的区域信息提供给分离部分601。表示前景区域的区域信息提供给开关602。表示背景区域的区域信息提供给开关604。

从混合比率计算器104提供的混合比率α提供给分离部分601。

分离部分601根据表示覆盖背景区域的区域信息、表示非覆盖背景区域的区域信息以及混合比率α从输入图像中分离前景成分，并且将分离出的前景成分提供给合成器603。分离部分601还从输入图像中分离背景成分，并且将分离出的背景成分提供给合成器605。

当根据表示前景区域的区域信息输入对应于前景的像素时，闭合开关602，并且只将包含在输入图像中的对应于前景的像素提供给合成器603。

当根据表示背景区域的区域信息输入对应于背景的像素时，闭合开关604，并且只将包含在输入图像中的对应于背景的像素提供给合成器605。

合成器603根据从分离部分601提供的前景成分和从开关602提供的对应于前景的像素，合成前景成分图像，并且输出所合成的前景成分图像。由于前景区域和混合区域不重叠，因此合成器603对前景成分和前景像素应用例如逻辑或操作，从而合成前景成分图像。

在前景成分图像合成处理的开始所执行的初始化处理中，合成器603在内置帧存储器中存储其像素值全为0的图像。然后，在前景成分图像合成处理中，合成器603存储前景成分图像(用前景成分图像覆盖前面图像)。因此，在从合成器603输出的前景成分图像中将0存储在对应于背景区域的像素中。

合成器605根据从分离部分601提供的背景成分和从开关604提供的对应于背景的像素，合成背景成分图像，并且输出所合成的背景成分图像。由于背景区域和混合区域不重叠，因此合成器605对背景成分和背景像素应用例如逻辑或操作，从而合成背景成分图像。

在背景成分图像合成处理的开始所执行的初始化处理中，合成器605在内置帧存储器中存储其像素值全为0的图像。然后，在背景成分图像合成处理中，合成器605存储背景成分图像(用背景成分图像覆盖前面图像)。因此，在从合成器605输出的背景成分图像中将0存储在对应于前景区域的像素中。

图73A示出输入到前景/背景分离器105中的输入图像以及从前景/背景分离器105输出的前景成分图像和背景成分图像。图73B示出与输入到前景/背景分离器105中的输入图像以及从前景/背景分离器105输出的前景成分图像和背景成分图像相对应的模型。

图73A是示出所要显示的图像的示意图，并且图73B示出通过沿着时间方向扩展包括对应于图73A的属于前景区域的像素、属于背景区域的像素和属于混合区域的像素且排列在一行上的像素而获得的模型。

如图73A和73B所示，从前景/背景分离器105输出的背景成分图像包括属于背景区域的像素和包含在混合区域像素中的背景成分。

如图73A和73B所示，从前景/背景分离器105输出的前景成分图像包括属于前景区域的像素和包含在混合区域像素中的前景成分。

混合区域像素的像素值由前景/背景分离器105分离为背景成分和前景成分。分离出的背景成分与属于背景区域的像素一起形成背景成分图像。分离出的前景成分与属于前景区域的像素一起形成前景成分图像。

如上所述，在前景成分图像中，对应于背景区域的像素的像素值设为0，并且在对应于前景区域的像素和对应于混合区域的像素中设置有效像素值。类似地，在背景成分图像中，对应于前景区域的像素的像素值设为0，并且在对应于背景区域的像素和对应于混合区域的像素中设置有效像素值。

下面将对由分离部分601执行的用于从属于混合区域的像素中分离前景成分和背景成分的处理进行描述。

图74示出包括在图74中从左向右移动的前景对象且表示两帧前景成分和背景成分的图像模型。在图74所示的图像模型中，移动量v为4，并且虚拟划分部分的数目为4。

在帧#n中，最左像素以及左起第十四到第十八像素只包括背景成分，并且属于背景区域。在帧#n中，左起第二到第四像素包括背景成分和前景成分，并且属于非覆盖背景区域。在帧#n中，左起第十一到第十三像素包括背景成分和前景成分，并且属于覆盖背景区域。在帧#n中，左起第五到第十像素只包括前景成分，并且属于前景区域。

在帧#n+1中，左起第一到第五像素以及左起第十八像素只包括背景成分，并且属于背景区域。在帧#n+1中，左起第六到八像素包括背景成分和前景成分，并且属于非覆盖背景区域。在帧#n+1中，左起第十五到第十七像素包括背景成分和前景成分，并且属于覆盖背景区域。在帧#n+1中，左起第九到第十四像素只包括前景成分，并且属于前景区域。

图75出从属于覆盖背景区域的像素中分离前景成分的处理。在图75中，α1到α18表示帧#n各个像素的混合比率。在图75中，左起第十五到第十七像素属于覆盖背景区域。

可以用方程(138)表示帧#n中左起第十五像素的像素值C15：

C15＝B15/v+F09/v+F08/v+F07/v                         (138)

   ＝α15·B15+F09/v+F08/v+F07/v

   ＝α15·P15+F09/v+F08/v+F07/v

其中，α15表示帧#n中左起第十五像素的混合比率，并且P15表示帧#n-1中左起第十五像素的像素值。

帧#n中左起第十五像素的前景成分之和f15可以根据方程(138)用方程(139)表示。

f15＝F09/v+F08/v+F07/v                                 (139)

   ＝C15-α15·P15

类似地，可以用方程(140)表示帧#n中左起第十六像素的前景成分之和f16，并且可以用方程(141)表示帧#n中左起第十七像素的前景成分之和f17。

f16＝C16-α16·P16                                     (140)

f17＝C17-α17·P17                                     (141)

通过这种方式，可以用方程(142)表示包含在属于覆盖背景区域的像素的像素值C中的前景成分fc：

fc＝C-α·P                                            (142)

其中，P表示前一帧中对应像素的像素值。

图76出从属于非覆盖背景区域的像素中分离前景成分的处理。在图76中，α1到α18表示帧#n各个像素的混合比率。在图76中，左起第二到第四像素属于非覆盖背景区域。

可以用方程(143)表示帧#n中左起第二像素的像素值C02：

C02＝B02/v+B02/v+B02/v+F01/v                         (143)

   ＝α2·B02+F01/v

   ＝α2·N02+F01/v

其中，α2表示帧#n中左起第二像素的混合比率，并且N02表示帧#n+1中左起第二像素的像素值。

帧#n中左起第二像素的前景成分之和f02可以根据方程(143)用方程(144)表示。

f02＝F01/v                                           (144)

   ＝C02-α2·N02

类似地，可以用方程(145)表示帧#n中左起第三像素的前景成分之和f03，并且可以用方程(146)表示帧#n中左起第四像素的前景成分之和f04。

f03＝C03-α3·N03                                    (145)

f04＝C04-α4·N04                                    (146)

通过这种方式，可以用方程(147)表示包含在属于非覆盖背景区域的像素的像素值C中的前景成分fu：

fu＝C-α·N                                          (147)

其中，N表示后一帧中对应像素的像素值。

如上所述，分离部分601能够根据包含在区域信息中的表示覆盖背景区域的信息和表示非覆盖背景区域的信息以及每个像素的混合比率α，从属于混合区域的像素中分离前景成分，并且从属于混合区域的像素中分离背景成分。

图77是用于执行上述处理的分离部分601的结构示例方框图。输入到分离部分601的图像提供给帧存储器621，并且从混合比率计算器104提供的表示覆盖背景区域和非覆盖背景区域的区域信息以及混合比率α提供给分离处理块622。

帧存储器621以帧为单位存储输入图像。当所要处理的帧为帧#n时，帧存储器621存储帧#n-1(帧#n的前一帧)、帧#n和帧#n+1(帧#n的后一帧)。

帧存储器621将帧#n-1、帧#n和帧#n+1中的对应像素提供给分离处理块622。

分离处理块622根据表示覆盖背景区域和非覆盖背景区域的区域信息以及混合比率α，对从帧存储器621提供的帧#n-1、帧#n和帧#n+1中的对应像素的像素值应用参照图75和76所述的计算操作，从而从帧#n中属于混合区域的像素中分离前景成分和背景成分，并且将它们提供给帧存储器623。

分离处理块622由非覆盖区域处理器631、覆盖区域处理器632、合成器633和合成器634形成。

非覆盖区域处理器631的乘法器641将从帧存储器621提供的帧#n+1像素的像素值与混合比率α进行相乘，并且将结果像素值输出到开关642。当从帧存储器621提供的帧#n像素(对应于帧#n+1像素)属于非覆盖背景区域时，闭合开关642，并且将从乘法器641提供的乘以混合比率α之后的像素值提供给计算器643和合成器634。从开关642输出的通过相乘帧#n+1像素的像素值和混合比率α而获得的值相当于帧#n中对应像素的像素值的背景成分。

计算器643从由帧存储器621提供的帧#n像素的像素值中减去从开关642提供的背景成分，从而获得前景成分。计算器643将属于非覆盖背景区域的帧#n像素的前景成分提供给合成器633。

覆盖区域处理器632的乘法器651将从帧存储器621提供的帧#n-1像素的像素值与混合比率α进行相乘，并且将结果像素值输出到开关652。当从帧存储器621提供的帧#n像素(对应于帧#n-1像素)属于覆盖背景区域时，闭合开关652，并且将从乘法器651提供的乘以混合比率α之后的像素值提供给计算器653和合成器634。从开关652输出的通过相乘帧#n-1像素的像素值和混合比率α而获得的值相当于帧#n中对应像素的像素值的背景成分。

计算器653从由帧存储器621提供的帧#n像素的像素值中减去从开关652提供的背景成分，从而获得前景成分。计算器653将属于覆盖背景区域的帧#n像素的前景成分提供给合成器633。

合成器633组合属于非覆盖背景区域且从计算器643提供的像素的前景成分与属于覆盖背景区域且从计算器653提供的像素的前景成分，并且将所合成的前景成分提供给帧存储器623。

合成器634组合属于非覆盖背景区域且从开关642提供的像素的背景成分与属于覆盖背景区域且从开关652提供的像素的背景成分，并且将所合成的背景成分提供给帧存储器623。

帧存储器623存储从分离处理块622提供的帧#n混合区域像素的前景成分和背景成分。

帧存储器623输出所存储的帧#n混合区域像素的前景成分和所存储的帧#n混合区域像素的背景成分。

通过利用表示特征量的混合比率α，可以完全分离包含在像素值中的前景成分和背景成分。

合成器603组合从分离部分601输出的帧#n混合区域像素的前景成分和属于前景区域的像素，从而生成前景成分图像。合成器605组合从分离部分601输出的帧#n混合区域像素的背景成分和属于背景区域的像素，从而生成背景成分图像。

图78A示出对应于图74帧#n的前景成分图像的例子。在分离前景和背景之前，最左像素以及左起第十四像素只包括背景成分，因此像素值设为0。

在分离前景和背景之前，左起第二到第四像素属于非覆盖背景区域。因此，背景成分设为0，并且保持前景成分。在分离前景和背景之前，左起第十一到第十三像素属于覆盖背景区域。因此，背景成分设为0，并且保持前景成分。左起第五到第十像素只包括前景成分，因此保持前景成分。

图78B示出对应于图74帧#n的背景成分图像的例子。在分离前景和背景之前，最左像素以及左起第十四像素只包括背景成分，因此保持背景成分。

在分离前景和背景之前，左起第二到第四像素属于非覆盖背景区域。因此，前景成分设为0，并且保持背景成分。在分离前景和背景之前，左起第十一到第十三像素属于覆盖背景区域。因此，前景成分设为0，并且保持背景成分。左起第五到第十像素只包括前景成分，因此像素值设为0。

下面将参照图79的流程图对由前景/背景分离器105执行的前景和背景分离处理进行描述。在步骤S601，分离部分601的帧存储器621获取输入图像，并且与前一帧#n-1和后一帧+#n+1一起存储为其分离前景和背景的帧#n。

在步骤S602，分离部分601的分离处理块622获取从混合比率计算器104提供的区域信息。在步骤S603，分离部分601的分离处理块622获取从混合比率计算器104提供的混合比率α。

在步骤S604，非覆盖区域处理器631根据区域信息和混合比率α，从由帧存储器621提供的属于非覆盖背景区域的像素的像素值中提取背景成分。

在步骤S605，非覆盖区域处理器631根据区域信息和混合比率α，从由帧存储器621提供的属于非覆盖背景区域的像素的像素值中提取前景成分。

在步骤S606，覆盖区域处理器632根据区域信息和混合比率α，从由帧存储器621提供的属于覆盖背景区域的像素的像素值中提取背景成分。

在步骤S607，覆盖区域处理器632根据区域信息和混合比率α，从由帧存储器621提供的属于覆盖背景区域的像素的像素值中提取前景成分。

在步骤S608，合成器633组合在步骤S605的处理中提取的属于非覆盖背景区域的像素的前景成分与在步骤S607的处理中提取的属于覆盖背景区域的像素的前景成分。所合成的前景成分提供给合成器603。合成器603进一步组合通过开关602提供的属于前景区域的像素和从分离部分601提供的前景成分，从而生成前景成分图像。

在步骤S609，合成器634组合在步骤S604的处理中提取的属于非覆盖背景区域的像素的背景成分与在步骤S606的处理中提取的属于覆盖背景区域的像素的背景成分。所合成的背景成分提供给合成器605。合成器605进一步组合通过开关604提供的属于背景区域的像素和从分离部分601提供的背景成分，从而生成背景成分图像。

在步骤S610，合成器603输出前景成分图像。在步骤S611，合成器605输出背景成分图像。然后处理结束。

如上所述，前景/背景分离器105能够根据区域信息和混合比率α从输入图像中分离前景成分和背景成分，并且输出只包括前景成分的前景成分图像和只包括背景成分的背景成分图像。

下面描述对前景成分图像的运动模糊量的调整。

图80是运动模糊调整单元106的结构示例方框图。从运动检测器102提供的运动向量及其位置信息和从区域指定单元103提供的区域信息提供给处理单元确定部分801和模型形成部分802。从前景/背景分离器105提供的区域信息提供给加入器804。

处理单元确定部分801将根据运动向量及其位置信息以及区域信息生成的处理单元与运动向量一起提供给模型形成部分802。处理单元确定部分801将所生成的处理单元提供给加入器804。

如图81的A所示，例如，由处理单元确定部分801生成的处理单元表示从对应于前景成分图像的覆盖背景区域的像素开始直至对应于非覆盖背景区域的像素在移动方向上排列的连续像素，或者表示从对应于非覆盖背景区域的像素开始直至对应于覆盖背景区域的像素在移动方向上排列的连续像素。处理单元由两个数据形成，这两个数据例如表示左上点(由处理单元指定的图像最左或最上像素位置)和右下点。

模型形成部分802根据运动向量和输入处理单元形成一个模型。更具体地说，例如，模型形成部分802可以根据包含在处理单元中的像素数目、像素值在时间方向上的虚拟划分部分数目以及每个像素的前景成分数目，预先存储多个模型。模型形成部分802然后可以根据处理单元和像素值在时间方向上的虚拟划分部分数目，选择例如图82所示指定像素值和前景成分之间相关的模型。

现在假定例如对应于处理单元的像素数目为12，并且快门时间内的移动量v为5。然后，模型形成部分802将虚拟划分部分的数目设为5，并且选择由八种前景成分形成的模型，从而最左像素包含一个前景成分，左起第二像素包含两个前景成分，左起第三像素包含三个前景成分，左起第四像素包含四个前景成分，左起第五像素包含五个前景成分，左起第六像素包含五个前景成分，左起第七像素包含五个前景成分，左起第八像素包含五个前景成分，左起第九像素包含四个前景成分，左起第十像素包含三个前景成分，左起第十一像素包含两个前景成分，并且左起第十二像素包含一个前景成分。

当提供运动向量和处理单元时，代替从预先存储的模型中选择一个模型，模型形成部分802可以根据运动向量和处理单元生成一个模型。

模型形成部分802将所选模型提供给方程生成器803。

方程生成器803根据从模型形成部分802提供的模型生成方程。

下面将参照图82所示的前景成分图像模型，描述当前景成分数目为8，对应于处理单元的像素数目为12并且移动量v为5时由方程生成器803生成的方程。

当对应于快门时间/v的包含在前景成分图像中的前景成分为F01/v到F08/v时，可以用方程(148)到(159)表示F01/v到F08/v与像素值C01到C12之间的关系。

C01＝F01/v                                        (148)

C02＝F02/v+F01/v                                  (149)

C03＝F03/v+F02/v+F01/v                            (150)

C04＝F04/v+F03/v+F02/v+F01/v                         (151)

C05＝F05/v+F04/v+F03/v+F02/v+F01/v                   (152)

C06＝F06/v+F05/v+F04/v+F03/v+F02/v                   (153)

C07＝F07/v+F06/v+F05/v+F04/v+F03/v                   (154)

C08＝F08/v+F07/v+F06/v+F05/v+F04/v                   (155)

C09＝F08/v+F07/v+F06/v+F05/v                         (156)

C10＝F08/v+F07/v+F06/v                               (157)

C11＝F08/v+F07/v                                     (158)

C12＝F08/v                                           (159)

通过改写所生成的方程，方程生成器803生成另一组方程。由方程生成器803生成的另一组方程用方程(160)到方程(171)表示。

C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v    (160)

     +0·F06/v+0·F07/v+0·F08/v

C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v    (161)

     +0·F06/v+0·F07/v+0·F08/v

C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v    (162)

     +0·F06/v+0·F07/v+0·F08/v

C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v    (163)

     +0·F06/v+0·F07/v+0·F08/v

C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v    (164)

     +0·F06/v+0·F07/v+0·F08/v

C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v    (165)

     +1·F06/v+0·F07/v+0·F08/v

C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v    (166)

     +1·F06/v+1·F07/v+0·F08/v

C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v    (167)

     +1·F06/v+1·F07/v+1·F08/v

C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v    (168)

     +1·F06/v+1·F07/v+1·F08/v

C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v    (169)

     +1·F06/v+1·F07/v+1·F08/v

C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v      (170)

     +0·F06/v+1·F07/v+1·F08/v

C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v      (171)

     +0·F06/v+0·F07/v+1·F08/v

方程(160)到(171)可以用方程(172)表示：

$\mathrm{Cj}=\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v----\left(172\right)$

在方程(172)中，j表示像素的位置。在本例中，j的取值范围为1到12。在方程(172)中，i表示前景值的位置。在本例中，i的取值范围为1到8。在方程(172)中，根据i和j的值，aij的值为0或1。

将误差考虑在内，方程(172)用方程(173)表示。

$\mathrm{Cj}=\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v+\mathrm{ej}----\left(173\right)$

在方程(173)中，ej表示包含在给定像素Cj中的误差。

方程(173)可以改写为方程(174)。

$\mathrm{ej}=\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v----\left(174\right)$

为应用最小二乘法，如方程(175)所示定义误差平方和E。

$E=\underset{j=01}{\overset{12}{\mathrm{\Σ}}}{\mathrm{ej}}^2----\left(175\right)$

为使误差最小，误差平方和E对变量Fk的偏导值应为0。Fk确定为满足方程(176)。

$\frac{\∂E}{\∂\mathrm{Fk}}=2\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{ej}\·\frac{\∂\mathrm{ej}}{\∂\mathrm{Fk}}----\left(176\right)$

$=2\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\{(\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v)\·(-\mathrm{akj}/v)\}=0$

在方程(176)中，由于移动量v为固定值，因此可以推导出方程(177)。

$\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{akj}\·(\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v)=0----\left(177\right)$

通过将方程(177)展开并且进行移项，可以获得方程(178)：

$\underset{j=01}{\overset{12}{\mathrm{\Σ}}}(\mathrm{akj}\·\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi})=v\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{akj}\·\mathrm{Cj}----\left(178\right)$

通过分别用1到8之间的一个整数替代方程(178)中的k，方程(178)展开为8个方程。所获得的8个方程可以用一个矩阵方程表示。该方程称作“正规方程”。

根据最小二乘法由方程生成器803生成的正规方程的一个例子用方程(179)表示：

$\left[\begin{array}{cccccccc}5& 4& 3& 2& 1& 0& 0& 0\\ 4& 5& 4& 3& 2& 1& 0& 0\\ 3& 4& 5& 4& 3& 2& 1& 0\\ 2& 3& 4& 5& 4& 3& 2& 1\\ 1& 2& 3& 4& 5& 4& 3& 2\\ 0& 1& 2& 3& 4& 5& 4& 3\\ 0& 0& 1& 2& 3& 4& 5& 4\\ 0& 0& 0& 1& 2& 3& 4& 5\end{array}\right]\left[\begin{array}{c}F01\\ F02\\ F03\\ F04\\ F05\\ F06\\ F07\\ F08\end{array}\right]=v\·\left[\begin{array}{c}\underset{i=08}{\overset{12}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=07}{\overset{11}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=06}{\overset{10}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=05}{\overset{09}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=04}{\overset{08}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=03}{\overset{07}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=02}{\overset{06}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=01}{\overset{05}{\mathrm{\Σ}}}\mathrm{Ci}\end{array}\right]----\left(179\right)$

当方程(179)用A·F＝v·C表示时，C、A和v是已知的，而F是未知的。A和v在模型形成的时候是已知的，而C是在加入处理中输入像素值时得知的。

通过使用基于最小二乘法的正规方程计算前景成分，可以分散包含在像素C中的误差。

方程生成器803将如上所述生成的正规方程提供给加入器804。

根据从处理单元确定部分801提供的处理单元，加入器804在从方程生成器803提供的矩阵方程中，设置包含在前景成分图像中的像素值C。加入器804将其中设有像素值C的矩阵提供给计算器805。

计算器805通过基于如消元法(Gauss-Jordan消元法)的求解法的处理，计算消除了运动模糊的前景成分Fi/v，从而获得与表示0到8之间的一个整数的i相对应的Fi，它是消除了运动模糊的像素值。计算器805然后将如图83所示的由不带运动模糊的像素值Fi组成的前景成分图像输出到运动模糊加入器806和选择器807。

在图83所示的不带运动模糊的前景成分图像中，将F01到F08分别设在C03到C10中的原因是不改变前景成分图像相对于屏幕的位置。然而，F01到F08可以设在任意所需位置上。

运动模糊加入器806可以通过加入不同于移动量v的运动模糊调整量v′来调整运动模糊量，例如，运动模糊调整量v′是移动量v的一半，或者与移动量v无关。例如，如图84所示，运动模糊加入器806将不带运动模糊的前景像素值Fi除以运动模糊调整量v′，从而获得前景成分Fi/v′。运动模糊加入器806然后计算前景成分Fi/v′之和，从而生成经过运动模糊量调整的像素值。例如，当运动模糊调整量v′为3时，像素值C02设为(F01)/v′，像素值C03设为(F01+F02)/v′，像素值C04设为(F01+F02+F03)/v′，并且像素值C05设为(F02+F03+F04)/v′。

运动模糊加入器806将经过运动模糊量调整的前景成分图像提供给选择器807。

选择器807根据反映用户选择的选择信号，选择从计算器805提供的不带运动模糊的前景成分图像和从运动模糊加入器806提供的经过运动模糊量调整的前景成分图像的其中之一，然后输出所选的前景成分图像。

如上所述，运动模糊调整单元106能够根据选择信号和运动模糊调整量v′调整运动模糊量。

另外，例如，如图85所示，当对应于处理单元的像素数目为8，并且移动量v为4时，运动模糊调整单元106生成用方程(180)表示的矩阵方程。

$\left[\begin{array}{ccccc}4& 3& 2& 1& 0\\ 3& 4& 3& 2& 1\\ 2& 3& 4& 3& 2\\ 1& 2& 3& 4& 3\\ 0& 1& 2& 3& 4\end{array}\right]\left[\begin{array}{c}F01\\ F02\\ F03\\ F04\\ F05\end{array}\right]=v\·\left[\begin{array}{c}\underset{i=05}{\overset{08}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=04}{\overset{07}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=03}{\overset{06}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=02}{\overset{05}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=01}{\overset{04}{\mathrm{\Σ}}}\mathrm{Ci}\end{array}\right]----\left(180\right)$

以这种方式，运动模糊调整单元106通过根据处理单元的长度设置方程，计算经过运动模糊量调整的像素值Fi。类似地，例如，当包含在处理单元中的像素数目为100时，生成对应于100个像素的方程，以计算Fi。

图86示出运动模糊调整单元106的另一结构例子。与图80所示相同的单元用相同的标号表示，因此略去不述。

根据选择信号，选择器821将输入运动向量及其位置信号直接提供给处理单元确定部分801和模型形成部分802。可选地，选择器821可以将运动向量的大小替换为运动模糊调整量v′，然后将运动向量及其位置信号提供给处理单元确定部分801和模型形成部分802。

采用这种方案，图86所示的运动模糊调整单元106的处理单元确定部分801到计算器805能够根据移动量v和运动模糊调整量v′，调整运动模糊量。例如，当移动量为5并且运动模糊调整量v′为3时，图86所示的运动模糊调整单元106的处理单元确定部分801到计算器805根据运动模糊调整量v′为3的图84所示的模型，对图82所示的移动量v为5的前景成分图像执行计算。结果，获得包含移动量v为(移动量v)/(运动模糊调整量v′)＝5/3，约1.7的运动模糊的图像。在这种情况下，算出的图像不包含与等于3的移动量v相对应的运动模糊。因此，需要注意，移动量v与运动模糊调整量v′之间的关系不同于运动模糊加入器806的结果。

如上所述，运动模糊调整单元106根据移动量v和处理单元生成方程，并且在所生成的方程中设置前景成分图像的像素值，从而计算经过运动模糊量调整的前景成分图像。

下面将参照图87的流程图对由运动模糊调整单元106执行的调整包含在前景成分图像中的运动模糊量的处理进行描述。

在步骤S801，运动模糊调整单元106的处理单元确定部分801根据运动向量和区域信息，生成处理单元，并且将所生成的处理单元提供给模型形成部分802。

在步骤S802，运动模糊调整单元106的模型形成部分802根据移动量v和处理单元，选择或生成模型。在步骤S803，方程生成器803根据所选的模型，生成正规方程。

在步骤S804，加入器804在所生成的正规方程中设置前景成分图像的像素值。在步骤S805，加入器804判定是否已设置与处理单元相对应的所有像素的像素值。如果判定尚未设置与处理单元相对应的所有像素的像素值，过程返回到步骤S804，重复在正规方程中设置像素值的处理。

如果在步骤S805判定已设置与处理单元相对应的所有像素的像素值，过程进入步骤S806。在步骤S806中，计算器805根据从加入器804提供的其中设有像素值的正规方程，计算经过运动模糊量调整的前景像素值。然后，处理结束。

如上所述，运动模糊调整单元106能够根据运动向量和区域信息，调整包含运动模糊的前景图像的运动模糊量。

也就是，可以调整包含在像素值中即包含在样本数据中的运动模糊量。

从前面描述可以知道，图4所示的信号处理器12能够调整包含在输入图像中的运动模糊量。如图4所示构造的信号处理器12能够计算作为嵌入信息的混合比率α，并且输出算出的混合比率α。

图88是运动模糊调整单元106的另一结构示例方框图。从运动检测器102提供的运动向量及其位置信息提供给处理单元确定部分901和调整部分905。从区域指定单元103提供的区域信息提供给处理单元确定部分901。从前景/背景分离器105提供的前景成分图像提供给计算器904。

处理单元确定部分901将根据运动向量及其位置信息以及区域信息生成的处理单元与运动向量一起提供给模型形成部分902。

模型形成部分902根据运动向量和输入处理单元形成一个模型。

方程生成器903根据从模型形成部分902提供的模型生成方程。

现在参照图89到91所示的前景成分图像模型，描述当前景成分数目为8，对应于处理单元的像素数目为12并且移动量v为5时由方程生成器903生成的方程的例子。

当对应于快门时间/v的包含在前景成分图像中的前景成分为F01/v到F08/v时，如上所述，可以用方程(148)到(159)表示F01/v到F08/v与像素值C01到C12之间的关系。

通过考虑像素值C12和C11，像素值C12只包含前景成分F08/v，如方程(181)所示，并且像素值C11由前景成分F08/v与前景成分F07/v之和构成。因此，可以通过方程(182)得到前景成分F07/v。

F08/v＝C12                                        (181)

F07/v＝C11-C12                                    (182)

类似地，通过考虑包含在像素值C10到C01中的前景成分，可以分别通过方程(183)到(188)得到前景成分F06/v到F01/v

F06/v＝C10-C11                                    (183)

F05/v＝C09-C10                                    (184)

F04/v＝C08-C09                                    (185)

F03/v＝C07-C08+C12                                (186)

F02/v＝C06-C07+C11-C12                            (187)

F01/v＝C05-C06+C10-C11                            (188)

方程生成器903通过像素值之间的差值生成用于计算前景成分的方程，如方程(181)到(188)的例子所示。方程生成器903将所生成的方程提供给计算器904。

计算器904在从方程生成器903提供的方程中设置前景成分图像的像素值，从而根据其中设有像素值的方程获得前景成分。例如，当从方程生成器903提供方程(181)到(188)时，计算器904在方程(181)到(188)中设置像素值C05到C12。

计算器904根据其中设有像素值的方程计算前景成分。例如，计算器904根据其中设有像素值C05到C12的方程(181)到(188)的计算操作，计算如图90所示的前景成分F01/v到F08/v。计算器904将前景成分F01/v到F08/v提供给调整部分905。

调整部分905将从计算器904提供的前景成分与从处理单元确定部分901提供的包含在运动向量中的移动量v进行相乘，从而获取消除了运动模糊的前景像素值。例如，当从计算器904提供前景成分F01/v到F08/v时，调整部分905将每个前景成分F01/v到F08/v与移动量v，即5，进行相乘，从而获得消除了运动模糊的前景像素值F01到F08，如图91所示。

调整部分905将由如上所述算出的不带运动模糊的前景像素值组成的前景成分图像提供给运动模糊加入器906和选择器907。

运动模糊加入器906能够通过使用运动模糊调整量v′来调整运动模糊量，其中，运动模糊调整量v′不同于移动量v，例如，运动模糊调整量v′是移动量v值的一半，或者运动模糊调整量v′移动量v值无关。例如，如图84所示，运动模糊加入器906将不带运动模糊的前景像素值Fi除以运动模糊调整量v′，从而获得前景成分Fi/v′。运动模糊加入器906然后计算前景成分Fi/v′之和，从而生成经过运动模糊量调整的像素值。例如，当运动模糊调整量v′为3时，像素值C02设为(F01)/v′，像素值C03设为(F01+F02)/v′，像素值C04设为(F01+F02+F03)/v′，并且像素值C05设为(F02+F03+F04)/v′。

运动模糊加入器906将经过运动模糊量调整的前景成分图像提供给选择器907。

选择器907根据反映用户选择的选择信号，选择从调整部分905提供的不带运动模糊的前景成分图像或者从运动模糊加入器906提供的经过运动模糊量调整的前景成分图像，并且输出所选的前景成分图像。

如上所述，运动模糊调整单元106能够根据选择信号和运动模糊调整量v′来调整运动模糊量。

下面将参照图92的流程图对由如图88所示构造的运动模糊调整单元106执行的前景运动模糊量调整处理进行描述。

在步骤S901，运动模糊调整单元106的处理单元确定部分901根据运动向量和区域信息生成处理单元，并且将所生成的处理单元提供给模型形成部分902和调整部分905。

在步骤S902，运动模糊调整单元106的模型形成部分902根据移动量v和处理单元，选择或生成模型。在步骤S903，方程生成器903根据所选择或所生成的模型，生成用于通过前景成分图像的像素值之间的差值来计算前景成分的方程。

在步骤S904，计算器904在所生成的方程中设置前景成分图像的像素值，并且根据其中设有像素值的方程，通过使用像素值之间的差值，提取前景成分。在步骤S905，计算器904判定是否已提取对应于处理单元的所有前景成分。如果判定尚未提取对应于处理单元的所有前景成分，过程返回到步骤S904，并且重复前景成分提取处理。

如果在步骤S905判定已提取对应于处理单元的所有前景成分，过程进入步骤S906。在步骤S906，调整部分905根据移动量v调整从计算器904提供的每个前景成分F01/v到F08/v，从而获得消除了运动模糊的前景像素值F01/v到F08/v。

在步骤S907，运动模糊加入器906计算经过运动模糊量调整的前景像素值，并且选择器907选择不带运动模糊的图像或者经过运动模糊量调整的图像，并且输出所选的图像。然后，处理完成。

如上所述，如图88所示构造的运动模糊调整单元106能够能够通过更简单的计算，更快速地调整包含运动模糊的前景图像的运动模糊。

用于部分消除运动模糊的公知技术如Wiener滤波器在理想状态下使用时是有效的，但是对于经过量化且包含噪声的实际图像是不够的。相反，经过证实，如图88所示构造的运动模糊调整单元106对于经过量化且包含噪声的实际图像是足够有效的。因此，以高精确度消除运动模糊是可能的。

图93是当混合比率计算器104具有图63所示的结构时信号处理器12的另一功能结构方框图。

类似于图4所示的单元用相同的标号表示，因此略去不述。

区域指定单元103将区域信息提供给混合比率计算器104和合成器1001。

混合比率计算器104将混合比率α提供给前景/背景分离器105和合成器1001。

前景/背景分离器105将前景成分图像提供给合成器1001。

合成器1001根据从混合比率计算器104提供的混合比率α和从区域指定单元103提供的区域信息，组合特定背景图像与从前景/背景分离器105提供的前景成分图像，并且输出其中组合特定背景图像与前景成分图像的合成图像。

图94示出合成器1001的结构。背景成分生成器1021根据混合比率α和特定背景图像生成背景成分图像，并且将背景成分图像提供给混合区域图像合成部分1022。

混合区域图像合成部分1022组合从背景成分生成器1021提供的背景成分图像与前景成分图像，从而生成混合区域合成图像，并且将所生成的混合区域合成图像提供给图像合成部分1023。

图像合成部分1023根据区域信息组合前景成分图像、从混合区域图像合成部分1022提供的混合区域合成图像、以及特定背景图像，从而生成合成图像，并且对它进行输出。

如上所述，合成器1001能够组合前景成分图像和特定背景图像。

通过根据作为特征量的混合比率α组合前景成分图像和特定背景图像而获得的图像与通过简单组合像素而获得的图像相比，看上去更自然。

图95是当混合比率计算器104具有图49所示的结构时信号处理器12的另一功能结构方框图。

类似于图4所示的单元用相同的标号表示，因此略去不述。

区域指定单元103将区域信息提供给混合比率计算器104和合成器1001。

混合比率计算器104将混合比率α提供给前景/背景分离器105和合成器1001。

前景/背景分离器105将前景成分图像提供给合成器1001。

合成器1001根据从混合比率计算器104提供的混合比率α和从区域指定单元103提供的区域信息，组合特定背景图像与从前景/背景分离器105提供的前景成分图像，并且输出其中组合特定背景图像与前景成分图像的合成图像。

图96是用于调整运动模糊量的信号处理器12的另一功能结构方框图。图4所示的信号处理器12顺序执行区域指定操作和混合比率α计算操作。与之相对，图96所示的信号处理器12同时执行区域指定操作和混合比率α计算操作。

与图4的方框图类似的功能单元用相同的标号表示，因此略去不述。

输入图像提供给混合比率计算器1101、前景/背景分离器1102、区域指定单元103和对象提取部分101。

混合比率计算器1101根据输入图像计算假定包含在输入图像中的每个像素属于覆盖背景区域时的估计混合比率，并且计算假定包含在输入图像中的每个像素属于非覆盖背景区域时的估计混合比率，然后将如上所述算出的估计混合比率提供给前景/背景分离器1102。

图97是图96所示的混合比率计算器1101的结构示例方框图。

图97所示的估计混合比率处理器501与图63所示的估计混合比率处理器501相同。图97所示的估计混合比率处理器502与图63所示的估计混合比率处理器502相同。

估计混合比率处理器501根据输入图像通过对应于覆盖背景区域模型的计算操作，为每个像素计算估计混合比率，并且输出算出的估计混合比率。

估计混合比率处理器502根据输入图像通过对应于非覆盖背景区域模型的计算操作，为每个像素计算估计混合比率，并且输出算出的估计混合比率。

前景/背景分离器1102根据从混合比率计算器1101提供的假定像素属于覆盖背景区域时算出的估计混合比率、从混合比率计算器1101提供的假定像素属于非覆盖背景区域时算出的估计混合比率、以及从区域指定单元103提供的区域信息，从输入图像中生成前景成分图像，并且将所生成的前景成分图像提供给运动模糊调整单元106和选择器107。

图98是前景/背景分离器1102的结构示例方框图。

类似于图72所示的前景/背景分离器105的单元用相同的标号表示，因此略去不述。

选择器1121根据从区域指定单元103提供的区域信息，选择从混合比率计算器1101提供的假定像素属于覆盖背景区域时算出的估计混合比率，或者从混合比率计算器1101提供的假定像素属于非覆盖背景区域时算出的估计混合比率，并且将所选估计混合比率作为混合比率α提供给分离部分601。

分离部分601根据从选择器1121提供的混合比率α以及区域信息，从属于混合区域的像素的像素值中提取前景成分和背景成分，并且将所提取的前景成分提供给合成器603，并且还将背景成分提供给合成器605。

分离部分601可以类似于图77的对应部分进行构造。

合成器603合成前景成分图像，并且对它进行输出。合成器605合成背景成分图像，并且对它进行输出。

图96所示的运动模糊调整单元106可以类似于图4的对应部分进行构造。运动模糊调整单元106根据区域信息和运动向量，调整包含在从前景/背景分离器1102提供的前景成分图像中的运动模糊量，并且输出经过运动模糊量调整的前景成分图像。

图96所示的选择器107根据例如反映用户选择的选择信号，选择从前景/背景分离器1102提供的前景成分图像或者从运动模糊调整单元106提供的经过运动模糊量调整的前景成分图像，并且输出所选前景成分图像。

如上所述，图96所示的信号处理器12能够调整包含在与输入图像的前景对象相对应的图像中的运动模糊量，并且输出结果前景对象图像。具有图96所示结构的信号处理器12能够计算作为嵌入信息的混合比率α，并且输出算出的混合比率α。

图99是用于调整运动模糊量的信号处理器12的另一功能结构方框图。图4所示的信号处理器12顺序执行区域指定操作和混合比率α计算操作。与之相对，图99所示的信号处理器12同时执行区域指定操作和混合比率α计算操作。

与图4的方框图类似的功能单元用相同的标号表示，因此略去不述。

输入图像提供给混合比率计算器1101、前景/背景分离器1102、区域指定单元103和对象提取部分101。

混合比率计算器1101根据输入图像计算假定包含在输入图像中的每个像素属于覆盖背景区域时的估计混合比率，并且计算假定包含在输入图像中的每个像素属于非覆盖背景区域时的估计混合比率，然后将如上所述算出的估计混合比率提供给前景/背景分离器1102。

图100是图99所示的混合比率计算器1101的结构示例方框图。

图100所示的估计混合比率处理器401与图49所示的估计混合比率处理器401相同。图100所示的估计混合比率处理器402与图49所示的估计混合比率处理器402相同。

估计混合比率处理器401根据输入图像通过对应于覆盖背景区域模型的计算操作，为每个像素计算估计混合比率，并且输出算出的估计混合比率。

估计混合比率处理器402根据输入图像通过对应于非覆盖背景区域模型的计算操作，为每个像素计算估计混合比率，并且输出算出的估计混合比率。

前景/背景分离器1102根据从混合比率计算器1101提供的假定像素属于覆盖背景区域时算出的估计混合比率、从混合比率计算器1101提供的假定像素属于非覆盖背景区域时算出的估计混合比率、以及从区域指定单元103提供的区域信息，从输入图像中生成前景成分图像，并且将所生成的前景成分图像提供给运动模糊调整单元106和选择器107。

图99所示的运动模糊调整单元106可以类似于图4的对应部分进行构造。运动模糊调整单元106根据区域信息和运动向量，调整包含在从前景/背景分离器1102提供的前景成分图像中的运动模糊量，并且输出经过运动模糊量调整的前景成分图像。

图99所示的选择器107根据例如反映用户选择的选择信号，选择从前景/背景分离器1102提供的前景成分图像或者从运动模糊调整单元106提供的经过运动模糊量调整的前景成分图像，并且输出所选前景成分图像。

如上所述，图99所示的信号处理器12能够调整包含在与输入图像的前景对象相对应的图像中的运动模糊量，并且输出结果前景对象图像。具有图99所示结构的信号处理器12能够计算作为嵌入信息的混合比率α，并且输出算出的混合比率α。

图101是用于组合前景成分图像与特定背景图像的信号处理器12的另一功能结构方框图。图93所示的信号处理器12以串行方式执行区域指定操作和混合比率α计算操作。与之相对，图101所示的信号处理器12以并行方式执行区域指定操作和混合比率α计算操作。

与图96的方框图类似的功能单元用相同的标号表示，因此略去不述。

图101所示的混合比率计算器1101根据输入图像计算假定包含在输入图像中的每个像素属于覆盖背景区域时的估计混合比率，并且计算假定包含在输入图像中的每个像素属于非覆盖背景区域时的估计混合比率，然后将如上所述算出的估计混合比率提供给前景/背景分离器1102和合成器1201。

图101所示的混合比率计算器1101可以如图97所示进行构造。

图101所示的前景/背景分离器1102根据从混合比率计算器1101提供的假定像素属于覆盖背景区域时算出的估计混合比率、从混合比率计算器1101提供的假定像素属于非覆盖背景区域时算出的估计混合比率、以及从区域指定单元103提供的区域信息，从输入图像中生成前景成分图像，并且将所生成的前景成分图像提供给合成器1201。

合成器1201根据从混合比率计算器1101提供的假定像素属于覆盖背景区域时算出的估计混合比率、从混合比率计算器1101提供的假定像素属于非覆盖背景区域时算出的估计混合比率、以及从区域指定单元103提供的区域信息，组合特定背景图像与从前景/背景分离器1102提供的前景成分图像，并且输出其中组合背景图像与前景成分图像的合成图像。

图102示出合成器1201的结构。与图94的方框图类似的功能单元用相同的标号表示，因此略去不述。

选择器1221根据从区域指定单元103提供的区域信息，选择从混合比率计算器1101提供的假定像素属于覆盖背景区域时算出的估计混合比率或者从混合比率计算器1101提供的假定像素属于非覆盖背景区域时算出的估计混合比率，并且将所选估计混合比率作为混合比率α提供给背景成分生成器1021。

图102所示的背景成分生成器1021根据从选择器1221提供的混合比率α以及特定背景图像生成背景成分图像，并且将背景成分图像提供给混合区域图像合成部分1022。

图102所示的混合区域图像合成部分1022组合从背景成分生成器1021提供的背景成分图像与前景成分图像，从而生成混合区域合成图像，并且将所生成的混合区域合成图像提供给图像合成部分1023。

图像合成部分1023根据区域信息组合前景成分图像、从混合区域图像合成部分1022提供的混合区域合成图像、以及背景图像，从而生成合成图像，并且对它进行输出。

以这种方式，合成器1201能够组合前景成分图像和特定背景图像。

图103是用于组合前景成分图像与特定背景图像的信号处理器12的另一功能结构方框图。图95所示的信号处理器12以串行方式执行区域指定操作和混合比率α计算操作。与之相对，图103所示的信号处理器12以并行方式执行区域指定操作和混合比率α计算操作。

与图99的方框图类似的功能单元用相同的标号表示，因此略去不述。

图103所示的混合比率计算器1101根据输入图像计算假定包含在输入图像中的每个像素属于覆盖背景区域时的估计混合比率，并且计算假定包含在输入图像中的每个像素属于非覆盖背景区域时的估计混合比率，然后将如上所述算出的估计混合比率提供给前景/背景分离器1102和合成器1201。

图103所示的混合比率计算器1101可以如图100所示进行构造。

图103所示的前景/背景分离器1102根据从混合比率计算器1101提供的假定像素属于覆盖背景区域时算出的估计混合比率、从混合比率计算器1101提供的假定像素属于非覆盖背景区域时算出的估计混合比率、以及从区域指定单元103提供的区域信息，从输入图像中生成前景成分图像，并且将所生成的前景成分图像提供给合成器1201。

合成器1201根据从混合比率计算器1101提供的假定像素属于覆盖背景区域时算出的估计混合比率、从混合比率计算器1101提供的假定像素属于非覆盖背景区域时算出的估计混合比率、以及从区域指定单元103提供的区域信息，组合特定背景图像与从前景/背景分离器1102提供的前景成分图像，并且输出其中组合背景图像与前景成分图像的合成图像。

如上所述，根据本发明，可以检测表示多个对象如背景对象和移动对象图像的混合状态的混合比率。

本实施例在上面是通过将混合比率α设为包含在像素值中的背景成分比率而进行讨论的。然而，混合比率α可以设为包含在像素值中的前景成分比率。

本实施例在上面是通过将前景对象的移动方向设为从左到右的方向而进行讨论的。然而，移动方向不限于上述方向。

在上面描述中，具有三维空间和时间轴信息的真实空间图像通过使用视频摄像机投影到具有二维空间和时间轴信息的时空中。然而，本发明不限于该例子，并且可以应用于下面情况。当一维空间中数量较大的第一信息投影到二维空间中数量较小的第二信息时，可以校正因投影而产生的失真，提取有效信息或者合成更自然的图像。

传感器11不限于CCD，并且可以是其它类型的传感器，如固态摄像器件，例如BBD(Bucket Brigade Device，组桶式器件)、CID(Charge InjectionDevice，电荷注入器件)、CPD(Charge Priming Device，电荷启动器件)或者CMOS(Complementary Metal Oxide Semiconductor，互补型金属氧化物半导体)。另外，传感器不一定是其中检测器件排列在矩阵上的传感器，并且可以是其中检测器件排列在一行上的传感器。

其中记录有本发明信号处理执行程序的记录介质可以由其中记录程序的包介质形成，该包介质采用与计算机分开的方式分发给用户，以提供该程序，如图3所示，例如磁盘51(包括软(注册商标)盘)、光盘52(包括CD-ROM(致密盘-只读存储器)和DVD(数字多功能盘))、磁光盘53(包括MD(小型盘)(注册商标))或者半导体存储器54。该记录介质还可以由其中记录有该程序的ROM22或包含在存储单元28中的硬盘形成，这种记录介质以预先存储在计算机中的方式提供给用户。

形成记录在记录介质中的程序的步骤可以根据在本说明书中所述的次序按照时间顺序执行。然而，它们不一定以时间串行方式执行，而可以同时或单独执行。

工业应用

根据第一发明，可以检测表示多个对象如背景图像和移动对象图像的混合状态的混合比率。

根据第二发明，可以检测表示多个对象如背景图像和移动对象图像的混合状态的混合比率。

Claims (24)

1.一种图像处理装置，用于处理由预定数目的像素数据形成的图像数据，其中，所述图像数据是通过包括预定数目像素的摄像设备来获得的，所述像素具有时间累积功能，所述图像处理装置包括：

关系表达式生成部件，用于根据形成多个对象的前景的前景对象的运动，从指定帧及其周围帧中与图像数据的指定帧的指定像素相对应提取作为像素数据的混合像素数据，在混合像素数据中，包含在图像数据中的多个对象混合在一起，并且还根据背景对象的运动从与提取混合像素数据的帧不同的帧中，与混合像素数据相对应提取与形成多个对象的背景的背景对象相对应的作为像素数据的背景像素数据，背景像素数据与对应混合像素数据相关联，从而生成有关指定像素的表示混合像素数据和背景像素数据之间关系的多个关系表达式；以及

混合比率检测部件，用于根据关系表达式检测有关指定像素的表示多个真实世界对象的混合状态的混合比率，其中，

所述关系表达式生成部件根据包含在混合像素数据中的前景对象成分相对于像素位置大致线性变化的第一近似和从指定帧提取的混合像素数据的混合比率相对于像素位置大致线性变化的第二近似，生成多个关系表达式。

2.如权利要求1所述的图像处理装置，还包括前景/背景分离部件，用于根据对应于指定像素的混合比率，将图像数据分离为前景对象图像和背景对象图像，其中，所述前景对象图像仅由形成图像数据的前景对象的前景对象成分构成，并且所述背景对象图像仅由形成图像数据的背景对象的背景对象成分构成。

3.如权利要求1所述的图像处理装置，其中，所述混合比率检测部件通过根据最小二乘法求解多个关系表达式检测混合比率。

4.一种图像处理方法，用于处理由预定数目的像素数据形成的图像数据，其中，所述图像数据是通过包括预定数目像素的摄像设备来获得的，所述像素具有时间累积功能，所述图像处理方法包括：

关系表达式生成步骤，根据形成多个对象的前景的前景对象的运动，从指定帧及其周围帧中与图像数据的指定帧的指定像素相对应提取作为像素数据的混合像素数据，在混合像素数据中，包含在图像数据中的多个对象混合在一起，并且还根据背景对象的运动从与提取混合像素数据的帧不同的帧中，与混合像素数据相对应提取与形成多个对象的背景的背景对象相对应的作为像素数据的背景像素数据，背景像素数据与对应混合像素数据相关联，从而生成有关指定像素的表示混合像素数据和背景像素数据之间关系的多个关系表达式；以及

混合比率检测步骤，根据关系表达式检测有关指定像素的表示多个真实世界对象的混合状态的混合比率，

其中，在所述关系表达式生成步骤中，根据包含在混合像素数据中的前景对象成分相对于像素位置大致线性变化的第一近似和从指定帧提取的混合像素数据的混合比率相对于像素位置大致线性变化的第二近似，生成多个关系表达式。

5.如权利要求4所述的图像处理方法，还包括前景/背景分离步骤，根据对应于指定像素的混合比率，将图像数据分离为前景对象图像和背景对象图像，其中，所述前景对象图像仅由形成图像数据的前景对象的前景对象成分构成，并且所述背景对象图像仅由形成图像数据的背景对象的背景对象成分构成。

6.如权利要求4所述的图像处理方法，其中，在所述混合比率检测步骤中，通过根据最小二乘法求解多个关系表达式检测混合比率。

7.一种摄像装置，包括：

摄像部件，用于输出由包括预定数目像素的摄像设备拍摄的主体图像作为由预定数目的像素数据组成的图像数据，其中，所述像素具有时间累积功能；

关系表达式生成部件，用于根据形成多个对象的前景的前景对象的运动，从指定帧及其周围帧中与图像数据的指定帧的指定像素相对应提取作为像素数据的混合像素数据，在混合像素数据中，包含在图像数据中的多个对象混合在一起，并且还根据背景对象的运动从与提取混合像素数据的帧不同的帧中，与混合像素数据相对应提取与形成多个对象的背景的背景对象相对应的作为像素数据的背景像素数据，背景像素数据与对应混合像素数据相关联，从而生成有关指定像素的表示混合像素数据和背景像素数据之间关系的多个关系表达式；以及

混合比率检测部件，用于根据关系表达式检测有关指定像素的表示多个真实世界对象的混合状态的混合比率，

其中，所述关系表达式生成部件根据包含在混合像素数据中的前景对象成分相对于像素位置大致线性变化的第一近似和从指定帧提取的混合像素数据的混合比率相对于像素位置大致线性变化的第二近似，生成多个关系表达式。

8.如权利要求7所述的摄像装置，还包括前景/背景分离部件，用于根据对应于指定像素的混合比率，将图像数据分离为前景对象图像和背景对象图像，其中，所述前景对象图像仅由形成图像数据的前景对象的前景对象成分构成，并且所述背景对象图像仅由形成图像数据的背景对象的背景对象成分构成。

9.如权利要求7所述的摄像装置，其中，所述混合比率检测部件通过根据最小二乘法求解多个关系表达式检测混合比率。

10.一种图像处理装置，用于处理由预定数目的像素数据形成的图像数据，其中，所述图像数据是通过包括预定数目像素的摄像设备来获得的，所述像素具有时间累积功能，所述图像处理装置包括：

关系表达式生成部件，用于与图像数据的指定帧的指定像素相对应提取指定帧的周围帧的像素数据作为与图像数据的多个对象的背景对象相对应的背景像素数据，并且还提取指定帧中指定像素的指定像素数据和位置与指定像素邻近的像素的近似像素数据，从而生成有关指定像素的表示指定像素数据、近似像素数据和对应于指定像素数据或近似像素数据的背景像素数据的关系的多个关系表达式；以及

混合比率检测部件，用于根据关系表达式检测有关指定像素的表示多个真实世界对象的混合状态的混合比率，

其中，所述关系表达式生成部件根据对应于指定像素和近似像素的混合比率相同这一近似，生成多个关系表达式。

11.如权利要求10所述的图像处理装置，其中，所述关系表达式生成部件根据包含在指定像素数据和近似像素数据中的多个对象的前景对象成分相同这一近似，生成多个关系表达式。

12.如权利要求10所述的图像处理装置，其中，所述关系表达式生成部件根据包含在指定像素数据和近似像素数据中的多个对象的前景对象成分相对于像素位置大致线性变化这一近似，生成多个关系表达式。

13.如权利要求10所述的图像处理装置，还包括前景/背景分离部件，用于根据对应于指定像素的混合比率，将图像数据分离为前景对象图像和背景对象图像，其中，所述前景对象图像仅由形成图像数据的前景对象的前景对象成分构成，并且所述背景对象图像仅由形成图像数据的背景对象的背景对象成分构成。

14.如权利要求10所述的图像处理装置，其中，所述混合比率检测部件通过根据最小二乘法求解多个关系表达式检测混合比率。

15.一种图像处理方法，用于处理由预定数目的像素数据形成的图像数据，其中，所述图像数据是通过包括预定数目像素的摄像设备来获得的，所述像素具有时间累积功能，所述图像处理方法包括：

关系表达式生成步骤，与图像数据的指定帧的指定像素相对应提取指定帧的周围帧的像素数据作为与图像数据的多个对象的背景对象相对应的背景像素数据，并且还提取指定帧中指定像素的指定像素数据和位置与指定像素邻近的像素的近似像素数据，从而生成有关指定像素的表示指定像素数据、近似像素数据和对应于指定像素数据或近似像素数据的背景像素数据的关系的多个关系表达式；以及

混合比率检测步骤，根据关系表达式检测有关指定像素的表示多个真实世界对象的混合状态的混合比率，

其中，在所述关系表达式生成步骤中，根据对应于指定像素和近似像素的混合比率相同这一近似，生成多个关系表达式。

16.如权利要求15所述的图像处理方法，其中，在所述关系表达式生成步骤中，根据包含在指定像素数据和近似像素数据中的多个对象的前景对象成分相同这一近似，生成多个关系表达式。

17.如权利要求15所述的图像处理方法，其中，在所述关系表达式生成步骤中，根据包含在指定像素数据和近似像素数据中的多个对象的前景对象成分相对于像素位置大致线性变化这一近似，生成多个关系表达式。

18.如权利要求15所述的图像处理方法，还包括前景/背景分离步骤，根据对应于指定像素的混合比率，将图像数据分离为前景对象图像和背景对象图像，其中，所述前景对象图像仅由形成图像数据的前景对象的前景对象成分构成，并且所述背景对象图像仅由形成图像数据的背景对象的背景对象成分构成。

19.如权利要求15所述的图像处理方法，其中，在所述混合比率检测步骤中，通过根据最小二乘法求解多个关系表达式检测混合比率。

20.一种摄像装置，包括：

摄像部件，用于输出由包括预定数目像素的摄像设备拍摄的主体图像作为由预定数目的像素数据组成的图像数据，其中，所述像素具有时间累积功能；

关系表达式生成部件，用于与图像数据的指定帧的指定像素相对应提取指定帧的周围帧的像素数据作为与图像数据的多个对象的背景对象相对应的背景像素数据，并且还提取指定帧中指定像素的指定像素数据和位置与指定像素邻近的像素的近似像素数据，从而生成有关指定像素的表示指定像素数据、近似像素数据和对应于指定像素数据或近似像素数据的背景像素数据的关系的多个关系表达式；以及

混合比率检测部件，用于根据关系表达式检测有关指定像素的表示多个真实世界对象的混合状态的混合比率，关系表达式生成部件根据对应于指定像素和近似像素的混合比率相同这一近似，生成多个关系表达式。

21.如权利要求20所述的摄像装置，其中，所述关系表达式生成部件根据包含在指定像素数据和近似像素数据中的多个对象的前景对象成分相同这一近似，生成多个关系表达式。

22.如权利要求20所述的摄像装置，其中，所述关系表达式生成部件根据包含在指定像素数据和近似像素数据中的多个对象的前景对象成分相对于像素位置大致线性变化这一近似，生成多个关系表达式。

23.如权利要求20所述的摄像装置，还包括前景/背景分离部件，用于根据对应于指定像素的混合比率，将图像数据分离为前景对象图像和背景对象图像，其中，所述前景对象图像仅由形成图像数据的前景对象的前景对象成分构成，并且所述背景对象图像仅由形成图像数据的背景对象的背景对象成分构成。

24.如权利要求20所述的摄像装置，其中，所述混合比率检测部件通过根据最小二乘法求解多个关系表达式检测混合比率。

Images