CN1465033A - 图像处理设备和方法、以及图像拍摄设备 - Google Patents

Abstract

可以获取指示曝光时间期间对象的运动的运动量。估计混合比处理模块执行与覆盖背景区域的模型相对应的计算，从而为每一个像素计算估计混合比和估计运动向量，并将所计算的估计混合比和估计运动向量供应给混合比确定模块。估计混合比处理模块(402)执行与未覆盖背景区域的模型相对应的计算，从而为每一个像素计算估计混合比和估计运动向量，并将所计算的估计混合比和估计运动向量供应给混合比确定模块(403)。混合比确定模块(403)根据指示像素属于前景区域、背景区域、覆盖背景区域、以及未覆盖背景区域中的哪一个的区域信息，设置混合比和运动向量。本发明可以应用到图像处理设备中。

Description

图像处理设备和方法、以及图像拍摄设备

技术领域

本发明涉及图像处理设备和方法以及图像拍摄设备，尤其涉及考虑到传感器检测的信号与现实世界(real world)之间的差异的图像处理设备和方法以及图像拍摄设备。

背景技术

通常情况下，通过传感器检测在现实世界中发生的现象，和处理从图像传感器输出的取样数据的技术得到广泛应用。

例如，对于视频摄像机拍摄在预定静止背景前运动的对象获得的图像，如果运动速率相对较高，则会出现运动模糊(motion blur)。

但是，当拍摄运动对象作为运动图像时，运动对象的图像根据拍摄一帧的曝光间隔，也就是快门间隔来进行拍摄。传统上并不考虑如何获取指示快门间隔内对象的运动的运动量。

发明内容

本发明就是在考虑了上述背景之后作出的。因此，本发明的目的是使得获取指示曝光间隔对象的运动的运动量成为可能。

根据本发明的图像处理设备的特征在于包括：混合比检测装置，用于在图像数据中从构成前景对象的前景对象成分和构成背景对象的背景对象成分混合在一起的混合区域检测指示前景对象成分和背景对象成分之间的混合比例的混合比；以及运动量检测装置，用于与所述混合比相对应，当已经获得构成图像数据的像素数据时检测曝光间隔前景对象的运动量。

该图像处理设备可以如下配置，即，混合比检测装置包括关系式生成装置，用于与所述图像数据的指定帧中的指定像素相对应、提取靠近所述指定帧的邻近帧中的像素数据作为与背景对象相对应的背景像素数据，还用于提取所述指定帧中指定像素的指定像素数据和邻近指定像素的邻近像素的邻近像素数据；以及用于生成指示指定像素数据、邻近像素数据和对应于指定像素和邻近像素的背景像素数据之间的关系的多个关系式；并且，根据所述关系式检测指定像素和邻近像素的混合比。

该图像处理设备可以如下配置，即，所述关系式生成装置根据其中前景对象的成分的值是相同的第一近似、所述成分包括在指定像素数据和邻近像素数据中、以及其中混合比根据像素在混合区域中的位置线性地变化的第二近似，生成所述关系式。

该图像处理设备可以如下配置，即，当已经获得所述图像数据时，所述运动量检测装置检测混合区域中与像素位置相对应的混合比线性变化的斜率的倒数，作为曝光间隔前景对象的运动量，并输出所检测的运动量。

根据本发明的图像处理方法的特征在于包括：混合比检测步骤，用于在图像数据中从构成前景对象的前景对象成分和构成背景对象的背景对象成分混合在一起的混合区域检测指示前景对象成分和背景对象成分之间的混合比例的混合比；以及运动量检测步骤，用于与所述混合比相对应，当已经获得构成图像数据的像素数据时检测曝光间隔前景对象的运动量。

该图像处理方法可以如下配置，即，混合比检测步骤包括关系式生成步骤，用于与所述图像数据的指定帧中的指定像素相对应、提取靠近所述指定帧的邻近帧中的像素数据作为与背景对象相对应的背景像素数据，还用于提取所述指定帧中指定像素的指定像素数据和邻近指定像素的邻近像素的邻近像素数据；以及用于生成指示指定像素数据、邻近像素数据和对应于指定像素和邻近像素的背景像素数据之间的关系的多个关系式；并且，根据所述关系式检测指定像素和邻近像素的混合比。

该图像处理方法可以如下配置，即，在关系式生成步骤中，根据其中前景对象的成分的值是相同的第一近似、所述成分包括在指定像素数据和邻近像素数据中、以及其中混合比根据像素在混合区域中的位置线性地变化的第二近似，生成所述关系式。

该图像处理方法可以如下配置，即，在运动量检测步骤中，当已经获得所述图像数据时，检测混合区域中与像素位置相对应的混合比线性变化的斜率的倒数，作为曝光间隔前景对象的运动量，并输出所检测的运动量。

根据本发明的记录媒体中的程序的特征在于包括：混合比检测步骤，用于在图像数据中从构成前景对象的前景对象成分和构成背景对象的背景对象成分混合在一起的混合区域检测指示前景对象成分和背景对象成分之间的混合比例的混合比；以及运动量检测步骤，用于与所述混合比相对应，当已经获得构成图像数据的像素数据时检测曝光间隔前景对象的运动量。

该记录媒体可以如下配置，即，在混合比检测中步骤包括关系式生成步骤，用于与所述图像数据的指定帧中的指定像素相对应、提取靠近所述指定帧的邻近帧中的像素数据作为与背景对象相对应的背景像素数据，还用于提取所述指定帧中指定像素的指定像素数据和邻近指定像素的邻近像素的邻近像素数据；以及用于生成指示指定像素数据、邻近像素数据和对应于指定像素和邻近像素的背景像素数据之间的关系的多个关系式；并且，根据所述关系式检测指定像素和邻近像素的混合比。

该记录媒体可以如下配置，即，在关系式生成步骤中，根据其中前景对象的成分的值是相同的第一近似、所述成分包括在指定像素数据和邻近像素数据中、以及其中混合比根据像素在混合区域中的位置线性地变化的第二近似，生成所述关系式。

该记录媒体可以如下配置，即，在运动量检测步骤中，当已经获得所述图像数据时，检测混合区域中与像素位置相对应的混合比线性变化的斜率的倒数，作为曝光间隔前景对象的运动量，并输出所检测的运动量。

根据本发明的程序的特征在于使计算机执行如下步骤：混合比检测步骤，用于在图像数据中从构成前景对象的前景对象成分和构成背景对象的背景对象成分混合在一起的混合区域检测指示前景对象成分和背景对象成分之间的混合比例的混合比；以及运动量检测步骤，用于与所述混合比相对应，当已经获得构成图像数据的像素数据时检测曝光间隔前景对象的运动量。

该程序可以如下配置，即，在混合比检测步骤中包括关系式生成步骤，用于与所述图像数据的指定帧中的指定像素相对应、提取靠近所述指定帧的邻近帧中的像素数据作为与背景对象相对应的背景像素数据，还用于提取所述指定帧中指定像素的指定像素数据和邻近指定像素的邻近像素的邻近像素数据；以及用于生成指示指定像素数据、邻近像素数据和对应于指定像素和邻近像素的背景像素数据之间的关系的多个关系式；并且，根据所述关系式检测指定像素和邻近像素的混合比。

该程序可以如下配置，即，在关系式生成步骤中，根据其中前景对象的成分的值是相同的第一近似、所述成分包括在指定像素数据和邻近像素数据中、以及其中混合比根据像素在混合区域中的位置线性地变化的第二近似，生成所述关系式。

该程序可以如下配置，即，在运动量检测步骤中，当已经获得所述图像数据时，检测混合区域中与像素位置相对应的混合比线性变化的斜率的倒数，作为曝光间隔前景对象的运动量，并输出所检测的运动量。

根据本发明的图像拍摄设备的特征在于包括：图像拍摄装置，用于输出由具有时间积分效应的、包括预定个像素的图像拍摄器件拍摄的对象的图像，作为由预定个数像素数据组成的图像数据；混合比检测装置，用于在图像数据中从构成前景对象的前景对象成分和构成背景对象的背景对象成分混合在一起的混合区域检测指示前景对象成分和背景对象成分之间的混合比例的混合比；以及运动量检测装置，用于与所述混合比相对应，当已经获得构成图像数据的像素数据时检测曝光间隔前景对象的运动量。

该图像拍摄设备可以如下配置，即，混合比检测装置包括关系式生成装置，用于与所述图像数据的指定帧中的指定像素相对应、提取靠近所述指定帧的邻近帧中的像素数据作为与背景对象相对应的背景像素数据，还用于提取所述指定帧中指定像素的指定像素数据和邻近指定像素的邻近像素的邻近像素数据；以及用于生成指示指定像素数据、邻近像素数据和对应于指定像素和邻近像素的背景像素数据之间的关系的多个关系式；并且，根据所述关系式检测指定像素和邻近像素的混合比。

该图像拍摄设备可以如下配置，即，所述关系式生成装置根据其中前景对象的成分的值是相同的第一近似、所述成分包括在指定像素数据和邻近像素数据中、以及其中混合比根据像素在混合区域中的位置线性地变化的第二近似，生成所述关系式。

该图像拍摄设备可以如下配置，即，当已经获得所述图像数据时，所述运动量检测装置检测混合区域中与像素位置相对应的混合比线性变化的斜率的倒数，作为曝光间隔前景对象的运动量，并输出所检测的运动量。

在图像数据中从构成前景对象的前景对象成分和构成背景对象的背景对象成分混合在一起的混合区域检测指示前景对象成分和背景对象成分之间的混合比例的混合比；以及与所述混合比相对应，当已经获得构成图像数据的像素数据时检测曝光间隔前景对象的运动量。

由此，可以获取指示曝光间隔对象的运动的运动量。

附图说明

图1是显示根据本发明的实施例的图像处理设备的图；

图2是显示图像处理设备的结构的方块图；

图3显示传感器进行的图像拍摄(capture)；

图4显示像素的排列；

图5显示检测器件的操作；

图6A显示拍摄与运动前景相对应的对象、和与静止背景相对应的对象的图像获得的图像；

图6B显示拍摄与运动前景相对应的对象、和与静止背景相对应的对象的图像获得的图像的模型(model)；

图7显示背景区域、前景区域、混合区域、覆盖背景区域、和未覆盖背景区域；

图8显示沿着时间方向展开在对与静止前景相对应的对象和与静止背景相对应的对象进行图像拍摄所获得的图像中、一个接一个排列成一行的像素的像素值而获得的模型；

图9显示沿着时间方向展开像素值和分割与快门时间相对应的间隔(period)的模型；

图10显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图11显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图12显示从前景区域、背景区域和混合区域中提取像素的例子；

图13显示像素与沿着时间方向展开像素值获得的模型之间的关系；

图14显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图15显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图16显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图17显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图18显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图19显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图20显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图21显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图22显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图23显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图24是描述调整运动模糊量的处理的流程图；

图25是显示区域指定单元101的配置例子的方块图；

图26显示当与前景相对应的对象移动时所获取的图像；

图27显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图28显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图29显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图30显示确定区域的条件；

图31A显示区域指定单元101指定区域所获得的结果的例子；

图31B显示区域指定单元101指定区域所获得的结果的例子；

图31C显示区域指定单元101指定区域所获得的结果的例子；

图31D显示区域指定单元101指定区域所获得的结果的例子；

图32显示区域指定单元101指定区域所获得的结果的例子；

图33是描述区域指定处理的流程图；

图34是显示区域指定单元101的另一个配置例子的方块图；

图35显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图36显示背景图像的例子；

图37是显示二值(binary)对象图像提取部分302的配置的方块图；

图38A显示相关值的计算；

图38B显示相关值的计算；

图39A显示相关值的计算；

图39B显示相关值的计算；

图40显示二值对象图像的例子；

图41是显示时间变化检测器303的配置的方块图；

图42显示区域确定部分342进行的确定；

图43显示时间变化检测器303所进行的确定的例子；

图44是描述区域指定单元101进行区域指定的处理的流程图；

图45是详细描述区域指定的处理的流程图；

图46是显示混合比计算器102的配置的方块图；

图47显示理想混合比α的例子；

图48显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图49显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图50显示用于近似混合比α的直线；

图51显示用于近似混合比α的平面；

图52显示计算混合比α时多个帧中的像素之间的关系；

图53是显示混合比估计处理器401的配置的方块图；

图54显示从混合比确定部分403输出的运动向量；

图55显示估计混合比的例子；

图56是显示混合比计算器102的另一结构的方框图；

图57是显示计算混合比和运动向量的处理的流程图；

图58是描述使用与覆盖背景区域相对应的模型用于估计混合比和运动向量的处理的流程图；

图59是显示前景/背景分离器103的配置例子的方块图；

图60A显示输入图像、前景成分图像、和背景成分图像；

图60B显示输入图像、前景成分图像、和背景成分图像的模型；

图61显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图62显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图63显示沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型；

图64是显示分离部分601的配置例子的方块图；

图65A是显示分离前景成分图像的例子；

图65B是显示分离背景成分图像的例子；

图66是描述分离前景和背景的处理的流程图；

图67是显示运动模糊调整单元104的配置例子的方块图；

图68显示处理单元；

图69显示沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的间隔的模型；

图70显示沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的间隔的模型；

图71显示沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的间隔的模型；

图72显示沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的间隔的模型；

图73显示运动模糊调整单元104的另一个配置；

图74是描述由运动模糊调整单元104执行的调整包含在前景成分图像中的运动模糊量的处理的流程图；

图75是显示运动模糊调整单元104的另一个配置例子的图；

图76显示其中表示了像素值和前景成分之间的关系的模型示例；

图77显示前景成分的计算；

图78显示前景成分的计算；

图79是描述调整包含在前景中的运动模糊量的处理的流程图；

图80是显示图像处理设备的另一功能配置的方框图；

图81显示合成器1001的配置；

图82仍是显示图像处理设备的另一功能配置的方框图；

图83是显示混合比计算器1101的配置的方框图；

图84是显示前景/背景分离器1102的配置的方框图；和

图85是显示运动模糊调整单元1103的配置的方框图。

具体实施方式

图1显示根据本发明的实施例的图像处理设备。CPU(中央处理单元)21遵照存储在ROM(只读存储器)22或存储单元28中的程序，执行各种类型的处理。RAM(随机存取存储器)23存储CPU 21执行的程序、和数据等。CPU 21、ROM 22、和RAM 23通过总线24相互连接。

通过总线24，输入/输出接口25也连接到CPU 21。由诸如键盘、鼠标、麦克风等构成的输入单元26，和由诸如显示器、扬声器等构成的输出单元27连接到输入/输出接口25。CPU 21响应从输入单元26输入的命令执行各种类型的处理。然后，CPU 21把作为处理结果获得的图像、声音等输出到输出单元27。

与输入/输出接口25相连接的存储单元28包括例如硬盘，并存储CPU 21执行的程序和各种类型的数据。通信单元29通过因特网或其它网络与外部设备通信。在本例中，通信单元29还用作获取来自传感器的输出的获取单元。

此外，可以通过通信单元29获取程序，并将其存储在存储单元28中。

驱动器30与输入/输出接口25相连接，当把磁盘51、光盘52、磁光盘53、半导体存储器54等记录媒体安装在驱动器30上时，驱动器30驱动它们，获取存储在相应媒体中的程序或数据。如有必要，把获取的程序或数据发送到存储单元28，存储在其中。

图2是显示图像处理设备的方块图。

图像处理设备的每种功能由硬件来实现还是由软件来实现是无关紧要的。也就是说，本说明书中的每个方块图不仅可以被当作硬件方块图，而且可以被当作软件功能方块图。

在本说明书中，与现实世界中的对象相对应而被拍摄的图像称为图像对象。

将发送到图像处理设备的输入图像提供给区域指定单元101、混合比计算器102、和前景/背景分离器103。

区域指定单元101确定输入图像的每一个像素属于前景区域、背景区域、或混合区域中的哪一个区域，并且把指示每个像素所属区域的信息(下文中称作“区域信息”)提供给混合比计算器102、前景/背景分离器103、和运动模糊调整单元104。

混合比计算器102根据输入图像和区域指定单元101供应的区域信息，计算与包含在混合区域中的像素相对应的混合比(下文中称作“混合比α”)并将混合比α供应给前景/背景分离器103。

混合比α是表示与背景对象相对应的图像成分(下文中称作“背景成分”)和像素值之间的比例的值，用在下文中所示的方程式(3)表示。

混合比计算器102根据输入图像和区域指定单元101供应的区域信息，生成运动向量和指示与运动向量相对应的像素或图像对象的位置信息，并将所生成的运动向量和位置信息提供给运动模糊调整单元104。

从混合比计算器102输出的运动向量包括在快门时间内与运动量v相对应的信息。

快门时间内的运动量v是表示以像素间距(pitch)为单位与运动对象相对应的图像的位置改变的值。例如，如果与前景相对应的对象图像的一个成分发生移动，致使被包括在一个帧的4个像素中，那么，与前景相对应的对象图像在快门时间内的运动量v是4。

根据区域指定单元101供应的区域信息、和混合比计算器102供应的混合比α，前景/背景分离器103把输入图像分离成只由与前景对象相对应的图像成分(下文中称作“前景成分”)组成的前景成分图像、和只由背景成分组成的背景成分图像，并且把前景成分图像供应给运动模糊调整单元104和选择器105。所分离的前景成分图像可以用作最终的输出。与仅指定前景和背景而不考虑混合区域并分离的方法相比，可以获得更为精确的前景和背景。

运动模糊调整单元104根据区域信息、和从运动向量导出的快门时间内的运动量v，确定指示包含在前景成分图像中的至少一个像素的处理单元。处理单元(unit)是指示将被进行运动模糊调整的一组像素的数据。

根据输入到图像处理设备的运动模糊调整量、前景/背景分离器103提供的前景成分图像、混合比计算器102提供的运动向量和其位置信息、以及处理单元，运动模糊调整单元104通过消除、减少或增加包含在前景成分图像中的运动模糊，调整包含在前景成分图像中的运动模糊量。然后运动模糊调整单元104输出已经经过运动模糊量调整的前景成分图像给选择器105。不一定必须使用运动向量和其位置信息。

运动模糊是包含在与运动对象相对应的图像中的失真，它是由被拍摄对象在现实世界中的运动与传感器的图像拍摄特性造成的。

选择器105根据例如反映用户选择的选择信号，从前景/背景分离器103提供的前景成分图像和运动模糊调整单元104提供的已经经过运动模糊量调整的前景成分图像中选择一个，并将所选择的前景成分图像输出。

现在参照图3到图23描述供应给前景/背景成分图像生成器91的输入图像。

图3显示传感器进行的图像拍摄。传感器由例如CCD(电荷耦合器件)视频摄像机构成，CCD视频摄像机配置有作为固态图像拍摄器件的CCD面传感器。例如，在该图中，现实世界中与前景相对应的对象111在与背景相对应的对象112与传感器之间、沿着水平方向从左边移动到右边。

传感器拍摄与前景相对应的对象111、以及与背景相对应的对象112的图像。传感器以帧为单位输出拍摄的图像。例如，传感器每秒输出30个帧的图像。

在本说明书中，帧的时间间隔称作帧间隔时间(frame interval time)。

传感器的曝光时间可以设置为1/30秒。曝光时间代表传感器开始把输入光转换成电荷直到把输入光转换成电荷结束之间的间隔。曝光时间在下文也被称为“快门时间(shutter time)”。

图4显示像素的排列。在图4中，A到I表示各个像素。这些像素排列在与图像相对应的平面上。在传感器上布置着与像素一一对应的检测元件。当传感器执行图像拍摄时，每一个检测元件输出与组成图像的一个像素相对应的像素值。例如，检测元件的X方向的位置对应于图像上水平方向的位置，和检测元件的Y方向的位置对应于图像上垂直方向的位置。

如图5所示，检测元件例如CCD在与快门时间相对应的间隔内把输入光转换成电荷，并且累积转换电荷。电荷量基本上与输入光的强度和输入光的间隔成正比。检测元件在与快门时间相对应的间隔中，把从输入光转换而来的电荷顺序加入累积的电荷中。也就是说，检测元件在与快门时间相对应的间隔中，积分输入光，并且累积与积分光相对应的的电荷量。也可以认为，检测元件具有对时间的积分效应。

在检测元件中累积的电荷由图中未示出的电路转换成电压值，再把电压值转换成诸如数字数据等的像素值，然后输出它。因此，从传感器输出的各个像素值是通过将与前景或背景相对应的对象的给定三维部分投影到一维空间上所获得的值，该值为在快门时间内积分所得的结果。

图像处理设备提取由于传感器的累积操作而隐埋在输出信号中的有效信息，譬如，混合比α。图像处理设备调整由于前景图像对象本身的混合造成的失真量，譬如，运动模糊量。此外，图像处理设备调整由于前景图像对象与背景图像对象的混合造成的失真量。

图6A显示了拍摄与前景相对应的运动对象、和与背景相对应的静止对象的图像获得的图像。图6B显示了拍摄与前景相对应的运动对象、和与背景相对应的静止对象的图像获得的图像的模型。

图6A显示了拍摄与前景相对应的运动对象、和与背景相对应的静止对象的图像获得的图像。在图6A所示的例子，与前景相对应的对象在屏幕上沿着水平方向从左边移动到右边。

图6B显示沿着时间方向展开与图6A所示的图像的一行相对应的像素值所获得的模型图。图6B中的水平方向对应于图6A中的空间方向X。

背景区域中的像素值只由背景成分，即，与背景对象相对应的图像成分组成。前景区域中的像素值只由前景成分，即，与前景对象相对应的图像成分组成。

混合区域内的像素值由背景成分和前景成分组成。由于混合区域内的像素值由背景成分和前景成分组成，因此，也可以认为混合区域是“失真区域”。混合区域进一步分为覆盖背景区域和未覆盖背景区域。

覆盖背景区域是沿着前景对象的运动方向，与领先部分相对应的混合区域，其中，随着时间的流逝背景成分逐渐被前景覆盖。

与此相反，未覆盖背景区域是沿着前景对象的运动方向，与尾随部分相对应的混合区域，其中，背景成分随着时间的流逝而逐渐出现。

如上所述，包括前景区域、背景区域、或覆盖背景区域、或未覆盖背景区域的图像被当作输入图像输入到区域指定单元101、混合比计算器102、和前景/背景分离器103。

图7显示如上所述的背景区域、前景区域、混合区域、覆盖背景区域、和未覆盖背景区域。当以图6A所示的图像作为例子时，背景区域是静止部分，前景区域是运动部分，混合区域的覆盖背景区域是从背景变成前景的部分，和混合区域的未覆盖背景区域是从前景变成背景的部分。

图8显示沿着时间方向展开当对与静止前景相对应的对象和与静止背景相对应的对象进行拍摄时所得的图像中、一个接一个排列成行的像素的像素值所获得的模型图。例如，可以选择屏幕中排列在一行上的像素，作为一个接一个排列成行的像素。

图8所示的像素值F01到F04是与静止前景对象相对应的像素的像素值。图8所示的像素值B01到B04是与静止背景对象相对应的像素的像素值。

图8中的垂直方向对应于时间，并且图8中时间自上而下的流逝。图8中长方形的上侧位置对应于传感器开始把输入光转换成电荷的时间，和图8中长方形的下侧位置对应于传感器结束把输入光转换成电荷的时间。也就是说，图8中从长方形的上侧到下侧的距离对应于快门时间。

图8中的水平方向对应于在图6A中所述的空间方向X。更明确地说，如图8中的例子所示，从图8中用“F01”表示的长方形的左侧到用“B04”表示的长方形的右侧的距离是像素间距的8倍长，也就是说，对应于8个连续像素的长度。

当前景对象和背景对象静止时，输入到传感器的光在与快门时间相对应的间隔内不会发生改变。

将与快门时间相对应的间隔分割成两个或更多个等间隔的部分。例如，如果将虚拟分割数设置为4，图8所示的模型图可以用图9所示的模型图来表示。虚拟分割数可以根据例如快门时间内与前景相对应的对象的运动量v相对应地设置。例如，当快门时间内运动量v是4时，虚拟分割数设置为4，并且把与快门时间相对应的间隔分割成4个部分。

图中的最上行对应于从打开快门开始的第1个分(divided)间隔。图中第2行对应于从打开快门开始的第2个分间隔。图中第3行对应于从打开快门开始的第3个分间隔。图中第4行对应于从打开快门开始的第4个分间隔。

根据快门时间内的运动量v进行分割的快门时间在下文中也被称为“快门时间/v”。

当与前景相对应的对象静止时，由于输入传感器的光不发生改变，因此前景成分F01/v等于像素值F01除以虚拟分割数所得的值。类似地，当与前景相对应的对象静止时，前景成分F02/v等于像素值F02除以虚拟分割数所得的值，前景成分F03/v等于像素值F03除以虚拟分割数所得的值，和前景成分F04/v等于像素值F04除以虚拟分割数所得的值。

当与背景相对应的对象静止时，由于输入传感器的光不发生改变，因此背景成分B01/v等于像素值B01除以虚拟分割数所得的值。类似地，当与背景相对应的对象静止时，背景成分B02/v等于像素值B02除以虚拟分割数所得的值，背景成分B03/v等于像素值B03除以虚拟分割数所得的值，和背景成分B04/v等于像素值B04除以虚拟分割数所得的值。

更具体地说，当与前景相对应的对象静止时，在与快门时间相对应的间隔内，输入传感器的、与前景对象相对应的光不发生改变。因此，与从快门打开算起的第1快门时间/v相对应的前景成分F01/v、与从快门打开算起的第2快门时间/v相对应的前景成分F01/v、与从快门打开算起的第3快门时间/v相对应的前景成分F01/v、和与从快门打开算起的第4快门时间/v相对应的前景成分F01/v具有相同的值。F02/v到F04/v具有与F01/v相同的关系。

当与背景相对应的对象静止时，在与快门时间相对应的间隔内，输入传感器的、与背景对象相对应的光不发生改变。因此，与从快门打开算起的第1快门时间/v相对应的背景成分B01/v、与从快门打开算起的第2快门时间/v相对应的背景成分B01/v、与从快门打开算起的第3快门时间/v相对应的背景成分B01/v、和与从快门打开算起的第4快门时间/v相对应的背景成分B01/v是相同的。B02/v到B04/v具有与B01/v相同的关系。

现在描述其中与背景相对应的对象保持静止并且与前景相对应的对象运动的情况。

图10显示当与前景相对应的对象在图中朝着右侧移动时，沿着时间方向展开包括覆盖背景区域的一行上的像素的像素值所获得的模型图。

由于一个帧是一个短间隔，因此，可以假设与前景相对应的对象是刚体并以恒速运动。在图10中，与前景相对应的对象图像的一个成分发生移动，致使其被包括在4个像素中。

例如，前景成分F04/v包括在最左边像素到从左算起第4个的像素中。

在图10中，快门时间内的运动量v是4。

在图10中，最左边像素到从左算起第4个像素属于前景区域。在图10中，从最左算起第5个像素到第7个像素属于混合区域的覆盖背景区域。在图10中，最右边像素属于背景区域。

由于与前景相对应的对象发生移动，致使随着时间的流逝逐渐覆盖了与背景相对应的对象。因此，在与快门时间相对应的间隔的某个时间点上，包含在属于覆盖背景区域的像素的像素值中的成分从背景成分变成前景成分。

例如，图10中用粗线框(frame)围绕的像素值M由方程式(1)表示：

M＝B02/v+B02/v+F07/v+F06/v                          (1)

例如，由于从左边算起第5个像素包括与一个快门时间/v相对应的背景成分和与3倍的快门时间/v相对应的前景成分，因此，从左边算起第5个像素的混合比α是1/4。由于从左边算起第6个像素包括与2倍的快门时间/v相对应的背景成分和与2倍的快门时间/v相对应的前景成分，因此，从左边算起第6个像素的混合比α是1/2。由于从左边算起第7个像素包括与3倍的快门时间/v相对应的背景成分和与一个快门时间/v相对应的前景成分，因此，从左边算起第7个像素的混合比α是3/4。

可以假设与前景相对应的对象是刚体，以及任何前景成分以恒速运动，致使其被包括在4个像素中。因此，例如，图10中相应于快门打开算起的第1快门时间/v的从左边算起第4个像素中的前景成分F07/v等于图10中与从快门打开算起的第2快门时间/v相对应的从左边算起第5个像素的前景成分。类似地，前景成分F07/v分别等于图10中与从快门打开算起的第3快门时间/v相对应的从左边算起第6个像素的前景成分、和图10中与从快门打开算起的第4快门时间/v相对应的从左边算起第7个像素的前景成分。

可以假设与前景相对应的对象是刚体，以及任何前景成分以恒速运动，致使其被包括在4个像素中。因此，例如，图10中相应于从快门打开算起的第1快门时间/v的从左边算起第3个像素的前景成分F06/v等于图10中与从快门打开算起的第2快门时间/v相对应的从左边算起第4个像素的前景成分。类似地，前景成分F06/v分别等于图10中与从快门打开算起的第3快门时间/v相对应的从左边算起第5个像素的前景成分、和图10中与从快门打开算起的第4快门时间/v相对应的从左边算起第6个像素的前景成分。

可以假设与前景相对应的对象是刚体，以及任何前景成分以恒速运动，致使其被包括在4个像素中。因此，例如，图10中相应于从快门打开算起的第1快门时间/v的从左边算起第2个像素的前景成分F05/v等于图10中与从快门打开算起的第2快门时间/v相对应的从左边算起第3个像素的前景成分。类似地，前景成分F05/v分别等于图10中与从快门打开算起的第3快门时间/v相对应的从左边算起第4个像素的前景成分、和图10中与从快门打开算起的第4快门时间/v相对应的从左边算起第5个像素的前景成分。

可以假设与前景相对应的对象是刚体，以及任何前景成分以恒速运动，致使其被包括在4个像素中。因此，例如，图10中与从快门打开算起的第1快门时间/v相对应的最左边像素的前景成分F04/v等于图10中与从快门打开算起的第2快门时间/v相对应的从左边算起第2个像素的前景成分。类似地，前景成分F04/v分别等于图10中与从快门打开算起的第3快门时间/v相对应的从左边算起第3个像素的前景成分、和图10中与从快门打开算起的第4快门时间/v相对应的从左边算起第4个像素的前景成分。

如上所述，由于与运动对象相对应的前景区域包括运动模糊，因此，可以认为这是“失真区域”。

图11显示当前景在图中朝着右侧移动时，沿着时间方向展开包括未覆盖背景区域的一行上的像素的像素值所获得的模型图。在图11中，运动量v是4。

由于一个帧是一个短间隔，因此，可以假设与前景相对应的对象是一个刚体并作恒速运动。在图11中，与前景相对应的对象图像的任何成分运动致使其被包括在4个像素中。

例如，前景成分F01/v运动致使其被包括从左算起的第5到第8个像素中。

在图11中，快门时间内前景的运动量v是4。

在图11中，最左边像素到第4个像素属于背景区域。在图11中，从最左算起第5个像素到第7个像素属于作为未覆盖背景区域的混合区域。在图11中，最右边像素属于前景区域。

由于与覆盖相应于背景的对象的前景相对应的对象发生移动，致使随着时间的流逝逐渐从与背景相对应的对象的前面移走。因此，在与快门时间相对应的间隔的某个时间点上，包含在属于未覆盖背景区域的像素的像素值中的成分从前景成分变成背景成分。

例如，图11中用粗线框围绕的像素值M′由方程式(2)表示：

M′＝F02/v+F01/v+B26/v+B26/v                    (2)

例如，从左边算起第5个像素包括与3倍的快门时间/v相对应的背景成分和与一个快门时间/v相对应的前景成分，因此，从左边算起第5个像素的混合比α是3/4。从左边算起第6个像素包括与2倍的快门时间/v相对应的背景成分和与2倍的快门时间/v相对应的前景成分，因此，从左边算起第6个像素的混合比α是1/2。从左边算起第7个像素包括与一个快门时间/v相对应的背景成分和与3倍的快门时间/v相对应的前景成分，因此，从左边算起第7个像素的混合比α是1/4。

当推广方程式(1)和方程式(2)时，像素值M可以由方程式(3)表示： $M=\mathrm{\α}\·B+\underset{i}{\mathrm{\Σ}}\mathrm{Fi}/v---\left(3\right)$

这里，α表示混合比。B表示背景的像素值，和Fi/v表示前景成分。

可以假设与前景相对应的对象是刚体并以恒速运动。此外，快门时间内的运动量v是4。因此，例如，图11中与从快门打开算起的第1快门时间/v相对应的从左边算起第5个像素的前景成分F01/v等于图11中与从快门打开算起的第2快门时间/v相对应的从左边算起第6个像素的前景成分。类似地，前景成分F01/v分别等于图11中与从快门打开算起的第3快门时间/v相对应的从左边算起第7个像素的前景成分、和图11中与从快门打开算起的第4快门时间/v相对应的从左边算起第8个像素的前景成分。

可以假设与前景相对应的对象是刚体并以恒速运动。此外，虚拟分割数是4。因此，例如，图11中与从快门打开算起的第1快门时间/v相对应的从左边算起第6个像素的前景成分F02/v等于图11中与从快门打开算起的第2快门时间/v相对应的从左边算起第7个像素的前景成分。类似地，前景成分F07/v等于图11中与从快门打开算起的第3快门时间/v相对应的从左边算起第8个像素的前景成分。

可以假设与前景相对应的对象是刚体并以恒速运动。此外，运动量v是4。因此，例如，图11中与从快门打开算起的第1快门时间/v相对应的从左边算起第7个像素的前景成分F03/v等于图11中与从快门打开算起的第2快门时间/v相对应的从左边算起第8个像素的前景成分。

已经参照图9到图11描述了虚拟分割数是4的情况。虚拟分割数对应于快门时间内的运动量v。快门时间内的运动量v一般对应于与前景相对应的对象的运动速度。例如，如果前景成分移动，致使其被包括在一帧中的4个像素，则快门时间内的运动量v设定为4。根据快门时间内的运动量v，虚拟分割数也设定为4。

类似地，例如，当前景成分移动，致使其被包括在一帧中的6个像素，则快门时间内的运动量v设定为6，并且虚拟分割数也设定为6。

图12和图13显示了如上所述的前景区域、背景区域以及由覆盖背景区域或未覆盖背景区域组成的混合区域与相应于分隔快门时间的前景成分和背景成分之间的关系。

图12显示了从包括与在静止背景的前面移动的对象相对应的前景的图像中提取前景区域、背景区域、和混合区域的像素的例子。在图12所示的例子中，用A表示的与前景相对应的对象在屏幕上沿着水平方向移动。

帧#n+1是接在帧#n之后的帧，和帧#n+2是接在帧#n+1之后的帧。

从帧#n到帧#n+2之一中提取前景区域、背景区域、和混合区域的像素，快门时间内的运动量v设置为4。图13显示了沿着时间方向展开的提取像素的像素值所获得的模型。

由于与前景相对应的对象发生移动，前景区域的像素值由与快门时间/v的间隔相对应的4个不同前景成分组成。例如，图13所示的前景区域的像素的最左边像素由F01/v、F02/v、F03/v、和F04/v组成。也就是说，前景区域的像素包含了运动模糊。

由于与背景相对应的对象保持静止，因此，输入传感器的、与背景相对应的光在快门时间内不发生改变。在这种情况下，背景区域的像素值不包含运动模糊。

属于由覆盖背景区域或未覆盖背景区域组成的混合区域的像素的像素值由前景成分和背景成分组成。

下面描述当与对象相对应的图像发生移动时，沿着时间方向展开在多个帧中一个接一个排列并位于相同位置上的像素的像素值所获得的模型。例如，当与对象相对应的图像在屏幕上沿着水平方向移动时，可以选择在屏幕上排列成一行的像素，作为一个接一个排列的像素。

图14显示沿着时间方向展开在拍摄与静止背景相对应的对象所得的图像的三个帧中一个接一个排列并位于相同位置上的像素的像素值所获得的模型图。在图14中，快门时间与帧间隔时间具有相同的长度。

帧#n是接在#n-1之后的帧，和帧#n+1是接在#n之后的帧。其它帧用相同的方式表示。

图14所示的像素值B01到B12是与静止背景对象相对应的像素的像素值。由于与背景相对应的对象保持静止，因此，在帧#n-1到帧#n+1中，相应像素的像素值不发生改变。例如，在与帧#n-1中具有像素值B05相对应的位置上帧#n中的像素和帧#n+1中的像素分别具有像素值B05。

下面参照图15和图16描述快门时间等于帧间隔时间时所拍摄的包括覆盖背景区域的图像。

图15显示沿着时间方向展开在拍摄与图中向右移动的前景相对应的对象、以及与静止背景相对应的对象所得图像的三个帧中一个接一个排列并位于相同位置上的像素的像素值所获得的模型图。

在图15中可以假设与前景相对应的对象是刚体并以恒速运动。此外，任一前景成分发生移动，致使被包括在一帧的4个像素中。因此，快门时间内的运动量v是4，虚拟分割数也设置4。

例如，与从快门打开算起的第1快门时间/v相对应的图15中帧#n-1的最左边像素的前景成分是F12/v，与从快门打开算起的第2快门时间/v相对应的图15中从左边算起第2个像素的前景成分也是F12/v。与从快门打开算起的第3快门时间/v相对应的图15中从左边算起第3个像素的前景成分，和与从快门打开算起的第4快门时间/v相对应的图15中从左边算起第4个像素的前景成分都是F12/v。

与从快门打开算起的第2快门时间/v相对应的图15中的帧#n-1中的最左边像素的前景成分是F11/v，和与从快门打开算起的第3快门时间/v相对应的图15中从左边算起第2个像素的前景成分也是F11/v。与从快门打开算起的第4快门时间/v相对应的图15中从左边算起第3个像素的前景成分是F11/v。

与从快门打开算起的第3快门时间/v相对应的图15中的帧#n-1中的最左边像素的前景成分是F10/v。与从快门打开算起的第4快门时间/v相对应的图15中从左边算起第2个像素的前景成分也是F10/v。与从快门打开算起的第4快门时间/v相对应的图15中的帧#n-1中的最左边像素的前景成分是F09/v。

由于与背景相对应的对象保持静止，所以与从快门打开算起的第1快门时间/v相对应的图15中的帧#n-1中从左边算起第2个像素的背景成分是B01/v。与从快门打开算起的第1和第2快门时间/v相对应的图15中的帧#n-1中从左边算起第3个像素的背景成分都是B02/v。与从快门打开算起的第1到第3快门时间/v相对应的图15中的帧#n-1中从左边算起第4个像素的背景成分B03/v。

在图15中的帧#n-1中，最左边的像素属于前景区域，和从左边算起第2个到第4个像素属于作为覆盖背景区域的混合区域。

在图15中的帧#n-1中从左边算起的第5个像素到第12个像素属于背景区域，和其像素值分别是B04到B11。

在图15中的帧#n中从左边算起的第1个像素到第5个像素属于前景区域。在帧#n中的前景区域中与快门时间/v相对应的前景成分是F05/v到F12/v之一。

可以假设与前景相对应的对象是刚体并以恒速运动。此外，快门时间内的运动量v是4，并且快门时间等于帧间隔时间，在下一帧中前景图像向右移动4个像素并显示。

因此，与从快门打开算起的第1快门时间/v相对应的图15中的帧#n中从左边算起第5个像素的前景成分是F12/v。与从快门打开算起的第2快门时间/v相对应的图15中从左边算起第6个像素的前景成分也是F12/v。与从快门打开算起的第3快门时间/v相对应的图15中从左边算起第7个像素的前景成分、和与从快门打开算起的第4快门时间/v相对应的图15中从左边算起第8个像素的前景成分都是F12/v。

与从快门打开算起的第2快门时间/v相对应的图15中的帧#n中从左边算起第5个像素的前景成分是F11/v。与从快门打开算起的第3快门时间/v相对应的图15中从左边算起第6个像素的前景成分也是F11/v。与从快门打开算起的第4快门时间/v相对应的图15中从左边算起第7个像素的前景成分是F11/v。

与从快门打开算起的第3快门时间/v相对应的图15中的帧#n中从左边算起第5个像素的前景成分是F10/v。与从快门打开算起的第4快门时间/v相对应的图15中从左边算起第6个像素的前景成分也是F10/v。与从快门打开算起的第4快门时间/v相对应的图15中从左边算起第5个像素的前景成分是F09/v。

由于与背景相对应的对象保持静止，与从快门打开算起的第1快门时间/v相对应的图15中的帧#n中从左边算起第6个像素的背景成分是B05/v。与从快门打开算起的第1和第2快门时间/v相对应的图15中的帧#n中从左边算起第7个像素的背景成分都是B06/v。与从快门打开算起的第1到第3快门时间/v相对应的图15中的帧#n中从左边算起第8个像素的背景成分B07/v。

在图15中的帧#n中，从左边算起第6个到第8个像素属于作为覆盖背景区域的混合区域。

在图15中的帧#n中从左边算起的第9个像素到第12个像素属于背景区域，和像素值分别是B08到B11。

在图15中的帧#n+1中从左边算起的第1个到第9个像素属于前景区域。在帧#n+1中的前景区域中与快门时间/v相对应的前景成分是F01/v到F12/v之一。

可以假设与前景相对应的对象是刚体并以恒速运动。此外，快门时间内的运动量v是4，并且快门时间等于帧间隔时间。因此，与从快门打开算起的第1快门时间/v相对应的图15中的帧#n+1中从左边算起第9个像素的前景成分是F12/v，和与从快门打开算起的第2快门时间/v相对应的图15中从左边算起第10个像素的前景成分也是F12/v。与从快门打开算起的第3快门时间/v相对应的图15中从左边算起第11个像素的前景成分、和与从快门打开算起的第4快门时间/v相对应的图15中从左边算起第12个像素的前景成分都是F12/v。

与从快门打开算起的第2快门时间/v相对应的图15中的帧#n+1中从左边算起第9个像素的前景成分是F11/v。与从快门打开算起的第3快门时间/v相对应的图15中从左边算起第10个像素的前景成分也是F11/v。与从快门打开算起的第4快门时间/v相对应的图15中从左边算起第11个像素的前景成分是F11/v。

与从快门打开算起的第3快门时间/v相对应的图15中的帧#n+1中从左边算起第9个像素的前景成分是F10/v。与从快门打开算起的第4快门时间/v相对应的图15中从左边算起第10个像素的前景成分也是F10/v。与从快门打开算起的第4快门时间/v相对应的图15中从左边算起第9个像素的前景成分是F09/v。

由于与背景相对应的对象保持静止，与从快门打开算起的第1快门时间/v相对应的图15中的帧#n+1中从左边算起第10个像素的背景成分是B09/v。与从快门打开算起的第1和第2快门时间/v相对应的图15中的帧#n+1中从左边算起第11个像素的背景成分都是B10/v。与从快门打开算起的第1到第3快门时间/v相对应的图15中的帧#n+1中从左边算起第12个像素的背景成分B11/v。

在图15中的帧#n+1中，从左边算起第10个到第12个像素属于作为覆盖背景区域的混合区域。

图16显示从图15所示的像素值中提取前景成分所获得的图像模型图。

图17显示沿着时间方向展开在拍摄与静止背景相对应的对象所得的图像的三个帧中一个接一个排列并位于相同位置上的像素的像素值所获得的模型图。在图17中，帧间隔时间为快门时间的2倍。

图17所示的像素值B01到B12是与静止背景对象相对应的像素的像素值。由于与背景相对应的对象保持静止，因此，在帧#n-1到帧#n+1中，相应像素的像素值不发生改变。例如，在与帧#n-1中具有像素值B05相对应的位置上帧#n中的像素和帧#n+1中的像素分别具有像素值B05。

这样，即使快门时间和帧间隔时间之间的关系发生改变，包括在通过仅拍摄静止背景所获得的图像中的图像成分也是相同的。

下面参照图18和图19描述快门时间等于帧间隔时间的一半时所拍摄的包括覆盖背景区域的图像。

图18显示沿着时间方向展开在拍摄与图中向右移动的前景相对应的对象、以及与静止背景相对应的对象所得图像的三个帧中一个接一个排列并位于相同位置上的像素的像素值所获得的模型图。

在图18中可以假设与前景相对应的对象是刚体并以恒速运动。此外，任一前景成分发生移动，致使被包括在一帧的4个像素中。因此，快门时间内的运动量v是4，虚拟分割数也设置4。

例如，与从快门打开算起的第1快门时间/v相对应的图18中帧#n-1的最左边像素的前景成分是F20/v，与从快门打开算起的第2快门时间/v相对应的图18中从左边算起第2个像素的前景成分也是F20/v。与从快门打开算起的第3快门时间/v相对应的图18中从左边算起第3个像素的前景成分，和与从快门打开算起的第4快门时间/v相对应的图18中从左边算起第4个像素的前景成分都是F20/v。

与从快门打开算起的第2快门时间/v相对应的图18中的帧#n-1中的最左边像素的前景成分是F19/v。与从快门打开算起的第3快门时间/v相对应的图18中从左边算起第2个像素的前景成分也是F19/v。与从快门打开算起的第4快门时间/v相对应的图18中从左边算起第3个像素的前景成分是F19/v。

与从快门打开算起的第3快门时间/v相对应的图18中的帧#n-1中的最左边像素的前景成分是F18/v。与从快门打开算起的第4快门时间/v相对应的图18中从左边算起第2个像素的前景成分也是F18/v。与从快门打开算起的第4快门时间/v相对应的图18中的帧#n-1中的最左边像素的前景成分是F17/v。

由于与背景相对应的对象保持静止，所以与从快门打开算起的第1快门时间/v相对应的图18中的帧#n-1中从左边算起第2个像素的背景成分是B01/v。与从快门打开算起的第1和第2快门时间/v相对应的图18中的帧#n-1中从左边算起第3个像素的背景成分都是B02/v。与从快门打开算起的第1到第3快门时间/v相对应的图18中的帧#n-1中从左边算起第4个像素的背景成分B03/v。

在图18中的帧#n-1中，最左边的像素属于前景区域，和从左边算起第2个到第4个像素属于作为覆盖背景区域的混合区域。

在图18中的帧#n-1中从左边算起的第5个像素到第12个像素属于背景区域，和其像素值分别是B04到B19。

在图18中的帧#n中从左边算起的第1个像素到第9个像素属于前景区域。在帧#n中的前景区域中与快门时间/v相对应的前景成分是F09/v到F20/v之一。

可以假设与前景相对应的对象是刚体并以恒速运动。此外，快门时间内的运动量v是4，并且帧间隔时间是快门时间的2倍，在下一帧中前景图像向右移动8个像素并显示。

因此，与从快门打开算起的第1快门时间/v相对应的图18中的帧#n中从左边算起第9个像素的前景成分是F20/v，与从快门打开算起的第2快门时间/v相对应的图18中从左边算起第10个像素的前景成分也是F20/v。与从快门打开算起的第3快门时间/v相对应的图18中从左边算起第11个像素的前景成分、和与从快门打开算起的第4快门时间/v相对应的图18中从左边算起第12个像素的前景成分都是F20/v。

与从快门打开算起的第2快门时间/v相对应的图18中的帧#n中从左边算起第9个像素的前景成分是F19/v。与从快门打开算起的第3快门时间/v相对应的图18中从左边算起第10个像素的前景成分也是F19/v。与从快门打开算起的第4快门时间/v相对应的图18中从左边算起第11个像素的前景成分是F19/v。

与从快门打开算起的第3快门时间/v相对应的图18中的帧#n中从左边算起第9个像素的前景成分是F18/v。与从快门打开算起的第4快门时间/v相对应的图18中从左边算起第10个像素的前景成分也是F18/v。与从快门打开算起的第4快门时间/v相对应的图18中从左边算起第9个像素的前景成分是F17/v。

由于与背景相对应的对象保持静止，与从快门打开算起的第1快门时间/v相对应的图18中的帧#n中从左边算起第10个像素的背景成分是B09/v。与从快门打开算起的第1和第2快门时间/v相对应的图18中的帧#n中从左边算起第11个像素的背景成分都是B10/v。与从快门打开算起的第1到第3快门时间/v相对应的图18中的帧#n中从左边算起第12个像素的背景成分B11/v。

在图18中的帧#n中，从左边算起第10个到第12个像素属于作为覆盖背景区域的混合区域。

在图18中的帧#n中从左边算起的第13个像素到第20个像素属于背景区域，和像素值分别是B12到B19。

在图18中的帧#n+1中从左边算起的第1个到第17个像素属于前景区域。在帧#n+1中的前景区域中与快门时间/v相对应的前景成分是F01/v到F20/v之一。

可以假设与前景相对应的对象是刚体并以恒速运动。此外，快门时间内的运动量v是4，并且帧间隔时间是快门时间的2倍。因此，与从快门打开算起的第1快门时间/v相对应的图18中的帧#n+1中从左边算起第17个像素的前景成分是F20/v，和与从快门打开算起的第2快门时间/v相对应的图18中从左边算起第18个像素的前景成分也是F20/v。与从快门打开算起的第3快门时间/v相对应的图18中从左边算起第19个像素的前景成分、和与从快门打开算起的第4快门时间/v相对应的图18中从左边算起第20个像素的前景成分都是F20/v。

与从快门打开算起的第2快门时间/v相对应的图18中的帧#n+1中从左边算起第17个像素的前景成分是F19/v。与从快门打开算起的第3快门时间/v相对应的图18中从左边算起第18个像素的前景成分也是F19/v。与从快门打开算起的第4快门时间/v相对应的图18中从左边算起第19个像素的前景成分是F19/v。

与从快门打开算起的第3快门时间/v相对应的图18中的帧#n+1中从左边算起第17个像素的前景成分是F18/v。与从快门打开算起的第4快门时间/v相对应的图18中从左边算起第18个像素的前景成分也是F18/v。与从快门打开算起的第4快门时间/v相对应的图18中从左边算起第17个像素的前景成分是F17/v。

由于与背景相对应的对象保持静止，与从快门打开算起的第1快门时间/v相对应的图18中的帧#n+1中从左边算起第18个像素的背景成分是B17/v。与从快门打开算起的第1和第2快门时间/v相对应的图18中的帧#n+1中从左边算起第19个像素的背景成分都是B18/v。与从快门打开算起的第1到第3快门时间/v相对应的图18中的帧#n+1中从左边算起第20个像素的背景成分B19/v。

在图18中的帧#n+1中，从左边算起第18个到第20个像素属于作为覆盖背景区域的混合区域。

图19显示从图18所示的像素值中提取前景成分所获得的图像模型图。

下面参照图20和图21描述快门时间等于帧间隔时间时所拍摄的包括未覆盖背景区域的图像。

图20显示沿着时间方向展开在拍摄与图中向右移动的对象相对应的前景、以及静止背景所得图像的三个帧中一个接一个排列并位于相同位置上的像素的像素值所获得的模型图。

在图20中，可以假设与前景相对应的对象是刚体并以恒速运动。此外，前景成分运动致使被包括在一个帧的4个像素中。因此，快门时间内的运动量v是4。

例如，与从快门打开算起的第1快门时间/v相对应的图20中的帧#n-1的最左边像素的前景成分是F13/v，与从快门打开算起的第2快门时间/v相对应的图20中从左边算起第2个像素的前景成分也是F13/v。与从快门打开算起的第3快门时间/v相对应的图20中从左边算起第3个像素的前景成分、和与从快门打开算起的第4快门时间/v相对应的图20中从左边算起第4个像素的前景成分都是F13/v。

与从快门打开算起的第1快门时间/v相对应的图20中的帧#n-1中从左边算起第2个像素的前景成分是F14/v。与从快门打开算起的第2快门时间/v相对应的图20中从左边算起第3个像素的前景成分也是F14/v。与从快门打开算起的第1快门时间/v相对应的图20中从左边算起第3个像素的前景成分是F15/v。

由于与背景相对应的对象保持静止，与从快门打开算起的第2到第4快门时间/v相对应的图20中的帧#n-1中的最左边像素的背景成分是B25/v。与从快门打开算起的第3和第4快门时间/v相对应的图20中的帧#n-1中从左边算起第2个像素的背景成分都是B26/v。与从快门打开算起的第4快门时间/v相对应的图20中的帧#n-1中从左边算起第3个像素的背景成分B27/v。

在图20中的帧#n-1中，最左边像素到第3个像素属于作为未覆盖背景区域的混合区域。

在图20中的帧#n-1中从左边算起的第4个像素到第12个像素属于前景区域。帧中的前景成分是F13/v到F24/v之一。

在图20中的帧#n中最左边像素到从左边算起的第4个像素属于背景区域，和像素值分别是B25到B28。

可以假设与前景相对应的对象是刚体并以恒速运动。此外，一个前景成分发生移动，致使被包括在一个帧的4个像素中。因此，与从快门打开算起的第1快门时间/v相对应的图20中的帧#n中从左边算起第5个像素的前景成分是F13/v，和与从快门打开算起的第2快门时间/v相对应的图20中从左边算起第6个像素的前景成分也是F13/v。与从快门打开算起的第3快门时间/v相对应的图20中从左边算起第7个像素的前景成分、和与从快门打开算起的第4快门时间/v相对应的图20中从左边算起第8个像素的前景成分都是F13/v。

与从快门打开算起的第1快门时间/v相对应的图20中的帧#n中从左边算起第6个像素的前景成分是F14/v。与从快门打开算起的第2快门时间/v相对应的图20中从左边算起第7个像素的前景成分也是F14/v。与从快门打开算起的第1快门时间/v相对应的图20中从左边算起第8个像素的前景成分是F15/v。

由于与背景相对应的对象保持静止，与从快门打开算起的第2到第4快门时间/v相对应的图20中的帧#n中从左边算起第5个像素的背景成分是B29/v。与从快门打开算起的第3和第4快门时间/v相对应的图20中的帧#n中从左边算起第6个像素的背景成分都是B30/v。与从快门打开算起的第4快门时间/v相对应的图20中的帧#n中从左边算起第7个像素的背景成分B31/v。

在图20中的帧#n中，从左边算起第5个到第7个像素属于作为未覆盖背景区域的混合区域。

在图20中的帧#n中从左边算起的第8个像素到第12个像素属于前景区域。在帧#n的前景区域中与快门时间/v相对应的值是F13/v到F20/v之一。

在图20中的帧#n+1中的最左边像素到从左边算起的第8个像素属于背景区域，和其像素值分别是B25到B32。

可以假设与前景相对应的对象是刚体并以恒速运动。此外，一个前景成分发生移动，致使被包括在一个帧的4个像素中。因此，与从快门打开算起的第1快门时间/v相对应的图20中的帧#n+1中从左边算起第9个像素的前景成分是F13/v，和与从快门打开算起的第2快门时间/v相对应的图20中从左边算起第10个像素的前景成分也是F13/v。与从快门打开算起的第3快门时间/v相对应的图20中从左边算起第11个像素的前景成分、和与从快门打开算起的第4快门时间/v相对应的图20中从左边算起第12个像素的前景成分都是F13/v。

与从快门打开算起的第1快门时间/v相对应的图20中的帧#n+1中从左边算起第10个像素的前景成分是F14/v。与从快门打开算起的第2快门时间/v相对应的图20中从左边算起第11个像素的前景成分也是F14/v。与从快门打开算起的第1快门时间/v相对应的图20中从左边算起第12个像素的前景成分是F15/v。

由于与背景相对应的对象保持静止，与从快门打开算起的第2到第4快门时间/v相对应的图20中的帧#n+1中从左边算起第9个像素的背景成分都是B33/v。与从快门打开算起的第3和第4快门时间/v相对应的图20中的帧#n+1中从左边算起第10个像素的背景成分都是B34/v。与从快门打开算起的第4快门时间/v相对应的图20中的帧#n+1中从左边算起第11个像素的背景成分B35/v。

在图20中的帧#n+1中，从左边算起第9个到第11个像素属于作为未覆盖背景区域的混合区域。

图20中的帧#n+1中从左边算起的第12个像素属于前景区域。在帧#n+1中的前景区域中与快门时间/v相对应的前景成分是F13/v到F16/v之一。

图21显示从图20所示的像素值中提取前景成分所获得的图像模型图。

下面参照图22和图23描述帧间隔时间是快门时间的2倍时所拍摄的包括未覆盖背景区域的图像。

图22显示沿着时间方向展开在拍摄与图中向右移动的对象相对应的前景、以及静止背景所得图像的三个帧中一个接一个排列并位于相同位置上的像素的像素值所获得的模型图。

在图22中，可以假设与前景相对应的对象是刚体并以恒速运动。此外，任意前景成分运动致使被包括在一个帧的4个像素中。因此，快门时间内的运动量v是4。

例如，与从快门打开算起的第1快门时间/v相对应的图22中的帧#n-1的最左边像素的前景成分是F13/v，与从快门打开算起的第2快门时间/v相对应的图22中从左边算起第2个像素的前景成分也是F13/v。与从快门打开算起的第3快门时间/v相对应的图22中从左边算起第3个像素的前景成分、和与从快门打开算起的第4快门时间/v相对应的图22中从左边算起第4个像素的前景成分都是F13/v。

与从快门打开算起的第1快门时间/v相对应的图22中的帧#n-1中从左边算起第2个像素的前景成分是F14/v。与从快门打开算起的第2快门时间/v相对应的图22中从左边算起第3个像素的前景成分也是F14/v。与从快门打开算起的第1快门时间/v相对应的图22中从左边算起第3个像素的前景成分是F15/v。

由于与背景相对应的对象保持静止，与从快门打开算起的第2到第4快门时间/v相对应的图22中的帧#n-1中的最左边像素的背景成分是B25/v。与从快门打开算起的第3和第4快门时间/v相对应的图22中的帧#n-1中从左边算起第2个像素的背景成分都是B26/v。与从快门打开算起的第4快门时间/v相对应的图22中的帧#n-1中从左边算起第3个像素的背景成分B27/v。

在图22中的帧#n-1中，最左边像素到第3个像素属于作为未覆盖背景区域的混合区域。

在图22中的帧#n-1中从左边算起的第4个像素到第20个像素属于前景区域。帧中的前景成分是F13/v到F32/v之一。

在图22中的帧#n中最左边像素到从左边算起的第8个像素属于背景区域，和像素值分别是B25到B32。

可以假设与前景相对应的对象是刚体并以恒速运动。此外，快门时间内的运动量是4，并且帧间隔时间是快门时间的2倍。因此，在下一个帧中前景图像向右移动8个像素并被显示。

与从快门打开算起的第1快门时间/v相对应的图22中的帧#n中从左边算起第9个像素的前景成分是F13/v，和与从快门打开算起的第2快门时间/v相对应的图22中从左边算起第10个像素的前景成分也是F13/v。与从快门打开算起的第3快门时间/v相对应的图22中从左边算起第11个像素的前景成分、和与从快门打开算起的第4快门时间/v相对应的图22中从左边算起第12个像素的前景成分都是F13/v。

与从快门打开算起的第1快门时间/v相对应的图22中的帧#n中从左边算起第10个像素的前景成分是F14/v。与从快门打开算起的第2快门时间/v相对应的图22中从左边算起第11个像素的前景成分也是F14/v。与从快门打开算起的第1快门时间/v相对应的图22中从左边算起第12个像素的前景成分是F15/v。

由于与背景相对应的对象保持静止，与从快门打开算起的第2到第4快门时间/v相对应的图22中的帧#n中从左边算起第9个像素的背景成分是B33/v。与从快门打开算起的第3和第4快门时间/v相对应的图22中的帧#n中从左边算起第10个像素的背景成分都是B34/v。与从快门打开算起的第4快门时间/v相对应的图22中的帧#n中从左边算起第11个像素的背景成分B35/v。

在图22中的帧#n中，从左边算起第9个到第11个像素属于作为未覆盖背景区域的混合区域。

在图22中的帧#n中从左边算起的第12个像素到第20个像素属于前景区域。在帧#n的前景区域中与快门时间/v相对应的值是F13/v到F24/v之一。

在图22中的帧#n+1中的最左边像素到从左边算起的第16个像素属于背景区域，和其像素值分别是B25到B40。

可以假设与前景相对应的对象是刚体并以恒速运动。此外，一个前景成分发生移动，致使被包括在一个帧的4个像素中。因此，与从快门打开算起的第1快门时间/v相对应的图22中的帧#n+1中从左边算起第17个像素的前景成分是F13/v，和与从快门打开算起的第2快门时间/v相对应的图22中从左边算起第18个像素的前景成分也是F13/v。与从快门打开算起的第3快门时间/v相对应的图22中从左边算起第19个像素的前景成分、和与从快门打开算起的第4快门时间/v相对应的图22中从左边算起第20个像素的前景成分都是F13/v。

与从快门打开算起的第1快门时间/v相对应的图22中的帧#n+1中从左边算起第18个像素的前景成分是F14/v。与从快门打开算起的第2快门时间/v相对应的图22中从左边算起第19个像素的前景成分也是F14/v。与从快门打开算起的第1快门时间/v相对应的图22中从左边算起第19个像素的前景成分是F15/v。

由于与背景相对应的对象保持静止，与从快门打开算起的第2到第4快门时间/v相对应的图22中的帧#n+1中从左边算起第17个像素的背景成分都是B41/v。与从快门打开算起的第3和第4快门时间/v相对应的图22中的帧#n+1中从左边算起第18个像素的背景成分都是B42/v。与从快门打开算起的第4快门时间/v相对应的图22中的帧#n+1中从左边算起第19个像素的背景成分B43/v。

在图22中的帧#n+1中，从左边算起第17个到第19个像素属于作为未覆盖背景区域的混合区域。

图22中的帧#n+1中从左边算起的第20个像素属于前景区域。在帧#n+1中的前景区域中与快门时间/v相对应的前景成分是F13/v到F16/v之一。

图23显示从图22所示的像素值中提取前景成分所获得的图像模型图。

返回到图2，区域指定单元101利用多个帧中的像素值，指定指示输入图像的各个像素属于前景区域、背景区域、覆盖背景区域或未覆盖背景区域中哪一个的标志，并且把标志供应给混合比计算器102和运动模糊调整单元104，作为区域信息。

混合比计算器102根据多个帧中的像素值和区域信息，为包含在混合区域内的每一个像素计算混合比α，并且把计算的混合比α供应给前景/背景分离器103。

混合比计算器102根据输入图像以及从区域指定单元供应的区域信息，生成运动向量和指示与所述运动向量相对应的像素或图像对象的位置信息，并将所生成的运动向量和位置信息发送给运动模糊调整单元104。混合比计算器102所生成的运动向量的大小指示快门时间内的运动量v。

前景/背景分离器103根据多个帧中的像素值、区域信息、和混合比α，提取只由前景成分组成的前景成分图像，并且将该前景成分图像供应给运动模糊调整单元104。

运动模糊调整单元104根据前景/背景分离器103供应的前景成分图像、混合比计算器102供应的运动向量、和区域指定单元101供应的区域信息，调整包含在前景图像中的运动模糊量，并且输出已经经过运动模糊调整的前景成分图像。

下面参照图24的流程图描述图像处理设备所执行的调整运动模糊量的处理。在步骤S11中，根据输入图像，区域指定单元101进行区域指定处理，生成指示输入图像的每个像素属于前景区域、背景区域、覆盖背景区域、或未覆盖背景区域的哪一个的区域信息。区域指定处理以后再加以描述。区域指定单元101把生成的区域信息供应给混合比计算器102。

在步骤S11中，区域指定单元101可以根据输入图像，生成指示输入图像的每个像素属于前景区域、背景区域、或混合区域(不考虑每一个像素是属于覆盖背景区域还是属于未覆盖背景区域)的哪一个的区域信息。在这种情况下，前景/背景分离器103和运动模糊调整单元104根据运动向量的方向，确定混合区域是覆盖背景区域还是未覆盖背景区域。例如，如果输入图像在运动向量的方向上按照前景区域、混合区域、和背景区域的顺序排列，则确定混合区域是覆盖背景区域。如果输入图像在运动向量的方向上按照背景区域、混合区域、和前景区域的顺序排列，则确定混合区域是未覆盖背景区域。

在步骤S12中，混合比计算器102根据输入图像和区域信息，为包含在混合区域内的每个像素计算混合比α和运动向量。混合比和运动向量计算的处理以后再作详细描述。混合比计算器102把计算的混合比α供应给前景/背景分离器103，并将运动向量供应给运动模糊调整单元104。

在步骤S13中，前景/背景分离器103根据区域信息和混合比α，从输入图像中提取前景成分，并且将前景成分作为前景成分图像供应给运动模糊调整单元104。

在步骤S14中，运动模糊调整单元104根据运动向量和区域信息，生成指示沿着运动方向排列并属于未覆盖背景区域、前景区域、或覆盖背景区域之一的连续像素的位置的处理单元(processing unit)，并且调整与处理单元相对应的包含在前景成分中的运动模糊量。调整运动模糊量的处理以后再加以描述。

在步骤S15中，图像处理设备确定整个屏幕的处理是否已经结束。如果确定对整个屏幕的处理还没有结束，流程转到步骤S14，重复调整与处理单元相对应的前景成分的运动模糊量的处理。

如果在步骤S15中确定对整个屏幕的处理已经结束，则处理结束。

通过这种方式，该图像处理设备可以通过分离前景和背景，调整包含在前景中的运动模糊量。也就是说，该图像处理设备可以调整包含在表示前景像素的像素值的取样数据中的运动模糊量。

下面描述区域指定单元101、混合比计算器102、前景/背景分离器103、运动模糊调整单元104各自的配置。

图25是显示区域指定单元101的配置例子的方块图。图25所示的区域指定单元101不使用运动向量。帧存储器201以帧为单位存储输入图像。当被处理的图像是帧#n时，帧存储器201存储比帧#n早2个帧的帧#n-2、比帧#n早1个帧的帧#n-1、帧#n、比帧#n晚1个帧的帧#n+1、和比帧#n晚2个帧的帧#n+2。

静止/运动确定部分202-1从帧存储器201中读出帧#n+2中、处在与帧#n中像素所属区域已经确定的指定像素相同位置上的像素的像素值，以及读出帧#n+1中、处在与帧#n中所述指定像素相同位置上的像素的像素值，并且计算读出像素值之差的绝对值。静止/运动确定部分202-1确定帧#n+2中的像素值与帧#n+1中的像素值之差的绝对值是否大于预定阈值Th。如果确定差值的绝对值大于阈值Th，则静止/运动确定部分202-1把指示“运动”的静止/运动判断结果供应给区域确定部分203-1。如果确定帧#n+2中的像素值与帧#n+1中的像素值之差的绝对值小于等于阈值Th，则静止/运动确定部分202-1把指示“静止”的静止/运动判断结果供应给区域确定部分203-1。

静止/运动确定部分202-2从帧存储器201中读出帧#n中像素所属区域已经确定的指定像素的像素值，以及读出帧#n+1中、处在与帧#n中所述指定像素相同位置上的像素的像素值，并且计算像素值之差的绝对值。静止/运动确定部分202-2确定帧#n+1中的像素值与帧#n中的像素值之差的绝对值是否大于预定阈值Th。如果确定像素值之差的绝对值大于阈值Th，则把指示“运动”的静止/运动判断结果供应给区域确定部分203-1和区域确定部分203-2。如果确定帧#n+1中的像素的像素值与帧#n中的像素的像素值之差的绝对值小于等于阈值Th，则静止/运动确定部分202-2把指示“静止”的静止/运动判断结果供应给区域确定部分203-1和区域确定部分203-2。

静止/运动确定部分202-3从帧存储器201中读出帧#n中像素所属区域已经确定的指定像素的像素值，以及读出帧#n-1中、处在与帧#n中所述指定像素相同位置上的像素的像素值，并且计算像素值之差的绝对值。静止/运动确定部分202-3确定帧#n中的像素值与帧#n-1中的像素值之差的绝对值是否大于预定阈值Th。如果确定像素值之差的绝对值大于阈值Th，则把指示“运动”的静止/运动判断结果供应给区域确定部分203-2和区域确定部分203-3。如果确定帧#n中的像素的像素值与帧#n-1中的像素的像素值之差的绝对值小于等于阈值Th，则静止/运动确定部分202-3把指示“静止”的静止/运动判断结果供应给区域确定部分203-2和区域确定部分203-3。

静止/运动确定部分202-4从帧存储器201中读出帧#n-1中、处在与帧#n中像素所属区域已经确定的指定像素相同位置上的像素的像素值，以及读出帧#n-2中、处在与帧#n中所述指定像素相同位置上的像素的像素值，并且计算像素值之差的绝对值。静止/运动确定部分202-4确定帧#n-1中的像素值与帧#n-2中的像素值之差的绝对值是否大于预定阈值Th。如果确定像素值之差的绝对值大于阈值Th，则把指示“运动”的静止/运动判断结果供应给区域确定部分203-3。如果确定帧#n-1中的像素的像素值与帧#n-2中的像素的像素值之差的绝对值小于等于阈值Th，则静止/运动确定部分202-4把指示“静止”的静止/运动判断结果供应给区域确定部分203-3。

当静止/运动确定部分202-1供应的静止/运动判断结果指示“静止”，和静止/运动确定部分202-2供应的静止/运动判断结果指示“运动”时，区域确定部分203-1确定帧#n中所述指定像素属于未覆盖背景区域，并且把与所述指定像素相对应的未覆盖背景区域确定标志设置成指示像素属于未覆盖背景区域的“1”。

当静止/运动确定部分202-1供应的静止/运动判断结果指示“运动”，或静止/运动确定部分202-2供应的静止/运动判断结果指示“静止”时，区域确定部分203-1判断帧#n中所述指定像素不属于未覆盖背景区域，并且把所述指定像素相对应的未覆盖背景区域确定标志设置成指示像素不属于未覆盖背景区域的“0”。

区域确定部分203-1把如上所述，已经设置成“1”或“0”的未覆盖背景区域确定标志供应给确定标志存储帧存储器204。

当静止/运动确定部分202-2供应的静止/运动判断结果指示“静止”，和静止/运动确定部分202-3供应的静止/运动判断结果指示“静止”时，区域确定部分203-2确定帧#n中所述指定像素属于静止区域，并且把与所述指定像素相对应的静止区域确定标志设置成指示像素属于静止区域的“1”。

当静止/运动确定部分202-2供应的静止/运动判断结果指示“运动”，或静止/运动确定部分202-3供应的静止/运动判断结果指示“运动”时，区域确定部分203-2确定帧#n中所述指定像素不属于静止区域，并且把与所述指定像素相对应的静止区域确定标志设置成指示像素不属于静止区域的“0”。

区域确定部分203-2把如上所述，已经设置成“1”或“0”的静止区域确定标志供应给确定标志存储帧存储器204。

当静止/运动确定部分202-2供应的静止/运动判断结果指示“运动”，和静止/运动确定部分202-3供应的静止/运动判断结果指示“运动”时，区域确定部分203-2确定帧#n中所述指定像素属于运动区域，并且把与所述指定像素相对应的运动区域确定标志设置成指示所述指定像素属于运动区域的“1”。

当静止/运动确定部分202-2供应的静止/运动判断结果指示“静止”，或静止/运动确定部分202-3供应的静止/运动判断结果指示“静止”时，区域确定部分203-2判断帧#n中所述指定像素不属于运动区域，并且把与所述指定像素相对应的运动区域确定标志设置成指示像素不属于运动区域的“0”。

区域确定部分203-2把如上所述，已经设置成“1”或“0”的运动区域确定标志供应给确定标志存储帧存储器204。

当静止/运动确定部分202-3供应的静止/运动判断结果指示“运动”，和静止/运动确定部分202-4供应的静止/运动判断结果指示“静止”时，区域确定部分203-3确定帧#n中所述指定像素属于覆盖背景区域，并且把与所述指定像素相对应的覆盖背景区域确定标志设置成指示所述指定像素属于覆盖背景区域的“1”。

当静止/运动确定部分202-3供应的静止/运动判断结果指示“静止”，或静止/运动确定部分202-4供应的静止/运动判断结果指示“运动”时，区域确定部分203-3确定帧#n中所述指定像素不属于覆盖背景区域，并且把与所述指定像素相对应的覆盖背景区域确定标志设置成指示所述指定像素不属于覆盖背景区域的“0”。

区域确定部分203-3把如上所述，已经设置成“1”或“0”的覆盖背景区域确定标志供应给确定标志存储帧存储器204。

确定标志存储帧存储器204存储区域确定部分203-1供应的未覆盖背景区域确定标志、区域确定部分203-2供应的静止区域确定标志、区域确定部分203-2供应的运动区域确定标志、和区域确定部分203-3供应的覆盖背景区域确定标志。

确定标志存储帧存储器204把存储在其中的未覆盖背景区域确定标志、静止区域确定标志、运动区域确定标志、和覆盖背景区域确定标志供应给合成器205。根据确定标志存储帧存储器204供应的未覆盖背景区域确定标志、静止区域确定标志、运动区域确定标志、和覆盖背景区域确定标志，合成器205生成指示每个像素属于未覆盖背景区域、静止区域、运动区域、或覆盖背景区域的哪一个的区域信息，并且把区域信息供应给确定标志存储帧存储器206。

确定标志存储帧存储器206存储合成器205供应的区域信息，并且输出存储的区域信息。

现在参照图26到图30描述帧间隔时间具有与快门时间相同的长度时区域指定单元101所进行的处理的例子。

当与前景相对应的对象发生移动时，屏幕上与对象相对应的图像的位置随着每个帧而改变。如图26所示，在帧#n中，处在Y_n(x，y)所指示的位置上与对象相对应的图像在帧#n的下一帧#n+1中处在位置Y_n+1(x，y)上。

图27示出沿着时间方向展开在与前景对象相对应的图像的运动方向上一个接一个排列的像素的像素值所获得的模型图。例如，如果与前景对象相对应的图像的运动方向相对于屏幕是水平的，则图27所示的模型是通过沿着时间方向展开一个接一个排列成一行的像素的像素值所获得的模型。

在图27中，帧#n中的行与帧#n+1中的行相同。

包含在帧#n中从左边算起第2个像素到第13个像素中的、与对象相对应的前景成分包含在帧#n+1中从左边算起第6个到第17个像素中。

在帧#n中，属于覆盖背景区域的像素是从左边算起的第11个到第13个像素，和属于未覆盖背景区域的像素是从左边算起的第2个到第4个像素。在帧#n+1中，属于覆盖背景区域的像素是从左边算起的第15个到第17个像素，和属于未覆盖背景区域的像素是从左边算起的第6个到第8个像素。

在图27所示的例子中，由于包含在帧#n中的前景成分移动致使被包括在4个像素中，因此，运动量v是4。与运动量v相对应，虚拟分割数也是4。

接着，对属于指定帧之前和之后的帧中的混合区域的像素的像素值的变化加以描述。

在图28中，在背景保持静止和快门时间内前景的运动量v是4的帧#n中，属于覆盖背景区域的像素是从左边算起的第15个到第17个像素。由于快门时间内的运动量v是4，因此，在前一帧#n-1中，从左边算起的第15个到第17个像素只包括背景成分，并且属于背景区域。此外，在帧#n-1一帧之前的帧#n-2中，从左边算起的第15个到第17个像素只包括背景成分，并且属于背景区域。

由于与背景相对应的对象保持静止，帧#n-1中从左边算起的第15个像素的像素值与帧#n-2中从左边算起的第15个像素的像素值没有发生变化。同样，帧#n-1中从左边算起的第16个像素的像素值与帧#n-2中从左边算起的第16个像素的像素值没有发生变化，和帧#n-1中从左边算起的第17个像素的像素值与帧#n-2中从左边算起的第17个像素的像素值没有发生变化。

也就是说，与帧#n中属于覆盖背景区域的像素相对应的帧#n-1和帧#n-2的像素只由背景成分组成，其像素值不会改变。因此，像素值之间的差值的绝对值几乎为零。于是，静止/运动确定部分202-4作出与帧#n中属于混合区域的像素相对应的帧#n-1和帧#n-2的像素的静止/运动判断结果是“静止”的判断。

由于帧#n中属于覆盖背景区域的像素包括前景成分，因此，像素值与帧#n-1中的像素值只由背景成分组成的情况不同。于是，静止/运动确定部分202-3作出帧#n中属于混合区域的像素和与之相对应的帧#n-1中的像素的静止/运动判断结果是“运动”的判断。

如上所述，当静止/运动确定部分202-3供应指示“运动”的静止/运动判断结果，和静止/运动确定部分202-4供应指示“静止”的静止/运动判断结果时，区域确定部分203-3确定相应的像素属于覆盖背景区域。

在图29中，在背景保持静止和快门时间内前景的运动量v是4的帧#n中，包含在未覆盖背景区域中的像素是从左边算起的第2个到第4个。由于帧间隔时间具有与快门时间相同的长度，并且运动量v是4，因此，在接在帧#n之后的帧#n+1中，从左边算起的第2个到第4个像素只包括背景成分，并且属于背景区域。此外，在接在帧#n+1之后的帧#n+2中，从左边算起的第2个到第4个像素只包含背景成分，并且属于背景区域。

由于与背景相对应的对象保持静止，帧#n+2中从左边算起的第2个像素的像素值与帧#n+1中从左边算起的第2个像素的像素值没有发生变化。同样，帧#n+2中从左边算起的第3个像素的像素值与帧#n+1中从左边算起的第3个像素的像素值没有发生变化，和帧#n+2中从左边算起的第4个像素的像素值与帧#n+1中从左边算起的第4个像素的像素值没有发生变化。

也就是说，与帧#n中的未覆盖背景区域相对应的帧#n+1和帧#n+2的像素只由背景成分组成，并且其像素值不会改变。因此，像素值之间的差值的绝对值接近零。于是，静止/运动确定部分202-1作出与帧#n中属于混合区域的像素相对应的帧#n+1和帧#n+2的像素的静止/运动判断结果是“静止”的判断。

由于帧#n中属于未覆盖背景区域的像素包括前景成分，因此，像素值与帧#n+1中像素值只由背景成分组成的情况不同。于是，静止/运动确定部分202-2作出帧#n中属于混合区域的像素和帧#n+1中与之相对应的像素的静止/运动判断结果是“运动”的判断。

如上所述，当静止/运动确定部分202-2供应指示“运动”的静止/运动判断结果，和静止/运动确定部分202-1供应指示“静止”的静止/运动判断结果时，区域确定部分203-1确定相应的像素属于未覆盖背景区域。

图30显示区域指定单元101对帧#n的判断条件。当对帧#n-2中、处在与帧#n中将被处理的像素相同图像位置上的像素，和对帧#n-1中、处在与所述像素相同位置上的像素的判断结果为“静止”时，以及当对帧#n中的像素，和对帧#n-1中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“运动”时，区域指定单元101确定帧#n中的所述像素属于覆盖背景区域。

当对帧#n中的像素以及对帧#n-1中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“静止”时，以及当对帧#n中的像素和对帧#n+1中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“静止”时，区域指定单元101确定帧#n中的所述像素属于静止区域。

当对帧#n中的像素以及对帧#n-1中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“运动”时，以及当对帧#n中的像素和对帧#n+1中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“运动”时，区域指定单元101确定帧#n中的所述像素属于运动区域。

当对帧#n中的像素以及对帧#n+1中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“运动”时，以及当对帧#n+1中、处在与帧#n中的所述像素相同图像位置上的像素，和对帧#n+2中、处在与帧#n中的所述像素相同图像位置上的像素的判断结果为“静止”时，区域指定单元101确定帧#n中的所述像素属于未覆盖背景区域。

图31A到31D显示由区域指定单元101所获得的区域确定结果的例子。在图31A中，用白色显示被确定为属于覆盖背景区域的像素。在图31B中，用白色显示被确定为属于未覆盖背景区域的像素。

在图31C中，用白色显示被确定为属于运动区域的像素。在图31D中，用白色显示被确定为属于静止区域的像素。

图32以图像形式显示从确定标志存储帧存储器206输出的区域信息中所选择的、指示混合区域的区域信息。在图32中，用白色显示被确定为属于覆盖背景区域或未覆盖背景区域的像素，即被确定为属于混合区域的像素。确定标志存储帧存储器206输出的、指示混合区域的区域信息指定混合区域和在前景区域内具有被没有纹理(texture)的部分包围着的纹理的部分。

下面参照图33的流程图描述区域指定单元101进行的区域指定处理。在步骤S201中，帧存储器201获取包括帧#n在内的帧#n-2到帧#n+2的图像。

在步骤S202中，静止/运动确定部分202-3确定对帧#n-1中的像素和对处在相同位置上的帧#n中的像素的判断结果是否为静止。如果确定判断结果为静止，则流程转到步骤S203，在步骤S203中，静止/运动确定部分202-2确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果是否为静止。

在步骤S203中，如果确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果为静止，流程转到步骤S204。在步骤S204中，区域确定部分203-2把与被处理的像素相对应的静止区域确定标志设置成指示被处理的像素属于静止区域的“1”。区域确定部分203-2把静止区域确定标志供应给确定标志存储帧存储器204，然后，过程转到步骤S205。

在步骤S202中，如果确定对帧#n-1的像素和对处在相同位置上的帧#n的像素的判断结果为运动，或者，在步骤S203中，如果确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果为运动，则被处理的像素不属于静止区域。于是，跳过步骤S204中的处理，过程转到步骤S205。

在步骤S205中，静止/运动确定部分202-3确定对帧#n-1的像素和处在相同位置上的帧#n的像素的判断结果是否为运动。如果确定判断结果为运动，则流程转到步骤S206，在步骤S206中，静止/运动确定部分202-2确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果是否为运动。

在步骤S206中，如果确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果为运动，那么，过程转到步骤S207。在步骤S207中，区域确定部分203-2把与被处理的像素相对应的运动区域确定标志设置成指示被处理的像素属于运动区域的“1”。区域确定部分203-2把运动区域确定标志供应给确定标志存储帧存储器204，然后，过程转到步骤S208。

在步骤S205中，如果对帧#n-1的像素和对处在相同位置上的帧#n的像素的判断结果为静止，或者，在步骤S206中，如果对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果为静止，那么，帧#n的像素不属于运动区域。因此，跳过步骤S207中的处理，过程转到步骤S208。

在步骤S208中，静止/运动确定部分202-4确定对帧#n-2的像素和对处在相同位置上的帧#n-1的像素的判断结果是否为静止。如果确定判断结果为静止，则流程转到步骤S209，在步骤S209中，静止/运动确定部分202-3确定对帧#n-1的像素和对处在相同位置上的帧#n的像素的判断结果是否为运动。

在步骤S209中，如果确定对帧#n-1的像素和对处在相同位置上的帧#n的像素的判断结果为运动，那么，过程转到步骤S210。在步骤S210中，区域确定部分203-3把与被处理的像素相对应的覆盖背景区域确定标志设置成指示被处理的像素属于覆盖背景区域的“1”。区域确定部分203-3把覆盖背景区域确定标志供应给确定标志存储帧存储器204，然后，过程转到步骤S211。

在步骤S208中，如果确定对帧#n-2的像素和对处在相同位置上的帧#n-1的像素的判断结果为运动，或者，在步骤S209中，如果确定对帧#n-1的像素和对处在相同位置上的帧#n的像素的判断结果为静止，那么，帧#n的像素不属于覆盖背景区域。因此，跳过步骤S210中的处理，过程转到步骤S211。

在步骤S211中，静止/运动确定部分202-2确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果是否为运动。如果在步骤S211中确定判断结果为运动，流程转到步骤S212，在步骤S212中，静止/运动确定部分202-1确定对帧#n+1的像素和对处在相同位置上的帧#n+2的像素的判断结果是否为静止。

在步骤S212中，如果确定对帧#n+1的像素和对处在相同位置上的帧#n+2的像素的判断结果为静止，那么，流程转到步骤S213。在步骤S213中，区域确定部分203-1把与被处理的像素相对应的未覆盖背景区域确定标志设置成指示被处理的像素属于未覆盖背景区域的“1”。区域确定部分203-1把未覆盖背景区域确定标志供应给确定标志存储帧存储器204，然后，过程转到步骤S214。

在步骤S211中，如果确定对帧#n的像素和对处在相同位置上的帧#n+1的像素的判断结果为静止，或者，在步骤S212中，如果确定对帧#n+1的像素和对处在相同位置上的帧#n+2的像素的判断结果为运动，那么，帧#n的像素不属于未覆盖背景区域。因此，跳过步骤S213中的处理，过程转到步骤S214。

在步骤S214中，区域指定单元101确定帧#n中的所有像素是否都得到区域指定。如果确定并非帧#n中的所有像素都得到区域指定，过程返回到步骤S202，为其它像素重复执行区域指定处理。

在步骤S214中，如果确定帧#n中的所有像素都得到区域指定，那么，流程转到步骤S215。在步骤S215中，合成器205根据存储在确定标志存储帧存储器204中的未覆盖背景区域确定标志和覆盖背景区域确定标志，生成指示混合区域的区域信息，并且还生成指示每个像素属于未覆盖背景区域、静止区域、运动区域、或覆盖背景区域的哪一个的区域信息，把生成的区域信息设置到确定标志存储帧存储器206中，然后，结束处理。

如上所述，区域指定单元101可以生成指示包含在帧中的每个像素属于运动区域、静止区域、未覆盖背景区域、或覆盖背景区域的哪一个的区域信息。

区域指定单元101可以求出与未覆盖背景区域相对应的区域信息和与覆盖背景区域相对应的区域信息的逻辑“或”，从而生成与混合区域相对应的区域信息，并进而生成由指示包含在帧中的每个像素属于运动区域、静止区域、或混合区域的哪一个的标志组成的区域信息。

当与前景相对应的对象具有纹理时，区域指定单元101可以更精确地指定运动区域。

区域指定单元101可以输出指示运动区域的区域信息，作为指示前景区域的区域信息，或输出指示静止区域的区域信息，作为指示背景区域的区域信息。

已经对假定与背景相对应的对象保持静止的实施例作了描述。但是，即使与背景区域相对应的图像涉及到运动，也可以应用上述指定区域的处理。例如，如果与背景区域相对应的图像匀速运动，那么，区域指定单元101根据该运动平移整个图像，并且以与背景相对应的对象保持静止的情况相同的方式进行处理。如果与背景区域相对应的图像包括局部不同的运动，那么，区域指定单元101选择与运动相对应的像素，进行上述处理。

图34是显示区域指定单元101的另一个配置例子的方块图。背景图像生成器301生成与输入图像相对应的背景图像，并且把生成的背景图像供应给二值对象图像提取部分302。背景图像生成器301提取，例如，包含在输入图像中与背景对象相对应的图像对象，并生成背景图像。

通过将与前景对象相对应、沿着图像的运动方向一个接一个排列的像素的像素值沿着时间方向展开所获得的模型图的例子显示在图35中。例如，如果与前景对象相对应的图像的运动方向相对于屏幕是水平的，则图35所示的模型图是通过在时域中展开一行中一个接一个排列的像素的像素值所获得的模型。

在图35中，帧#n中的行与帧#n-1中的行和帧#n+1中的行相同。

在帧#n中，包含在从左边算起第6个像素到第17个像素中的、与对象相对应的前景成分包含在帧#n-1中从左边算起第2个到第13个像素中，也包含在帧#n+1中从左边算起第10个到第21个像素中。

在帧#n-1中，属于覆盖背景区域的像素是从左边算起的第11个到第13个像素，和属于未覆盖背景区域的像素是从左边算起的第2个到第4个像素。在帧#n中，属于覆盖背景区域的像素是从左边算起的第15个到第17个像素，和属于未覆盖背景区域的像素是从左边算起的第6个到第8个像素。在帧#n+1中，属于覆盖背景区域的像素是从左边算起的第19个到第21个像素，和属于未覆盖背景区域的像素是从左边算起的第10个到第12个像素。

在帧#n-1中，属于背景区域的像素是从左边算起的第1个、和从左边算起的第14个到第21个像素。在帧#n中，属于背景区域的像素是从左边算起的第1个到第5个像素、和从左边算起的第18个到第21个像素。在帧#n+1中，属于背景区域的像素是从左边算起的第1个到第9个像素。

由背景图像生成器301生成的、与图35所示的例子相对应的背景图像的例子显示在图36中。背景图像由与背景对象相对应的像素组成，不包括与前景对象相对应的图像成分。

二值对象图像提取部分302根据背景图像和输入图像之间的相关性，生成二值对象数据，并且把生成的二值对象图像供应给时间变化检测器303。

图37是显示二值对象图像提取部分302的结构的方块图。相关值计算器321计算背景图像生成器301供应的背景图像与输入图像之间的相关性，生成相关值，并且把生成的相关值供应给阈值处理器322。

相关值计算器321把方程式(4)作用于如图38A所示，以X₄为中心的3×3背景图像块、和如图38B所示，与上述背景图像块相对应的以Y₄为中心的3×3背景图像块，从而计算与Y₄相对应的相关值。 $\stackrel{\‾}{X}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Xi}}{9}---\left(5\right)$ $\stackrel{\‾}{Y}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Yi}}{9}---\left(6\right)$

相关值计算器321把如上所述为每个像素计算的相关值供应给阈值处理器322。

此外，相关值计算器可以321把方程式(7)作用于如图39A所示，以X₄为中心的3×3背景图像块、和如图39B所示，与上述背景图像块相对应的以Y₄为中心的3×3背景图像块，从而计算与Y₄相对应的差值的绝对值之和。

相关值计算器321把如上所述计算的差值的绝对值之和作为相关值供应给阈值处理器322。

阈值处理器322将图像像素的相关值与阈值th0相比较。如果相关值小于等于阈值th0，则把二值对象图像的像素值设置成1。如果相关值大于阈值th0，则把二值对象图像的像素值设置成0。阈值处理器322然后输出其每个像素值被设置成0或1的二值对象图像。阈值处理器322可以事先存储阈值th0，也可以使用从外部输入的阈值th0。

图40显示与图35所示的输入图像的模型相对应的二值对象图像例子。在二值对象图像中，与背景图像相关性高的像素的像素值被设置成0。

图41是显示时间变化检测器303的结构的方块图。当确定帧#n中的像素的区域时，帧存储器341存储二值对象图像提取部分302供应的帧#n-1、帧#n、和帧#n+1的二值对象图像。

区域确定部分342根据帧#n-1、帧#n、和帧#n+1的二值对象图像，确定帧#n的每个像素的区域，从而生成区域信息，并且输出生成的区域信息。

图42是描述区域确定部分342进行判断的图。当帧#n中二值对象图像的指定像素是0时，区域确定部分342确定帧#n中的指定像素属于背景区域。

当帧#n中二值对象图像的指定像素是1，帧#n-1中二值对象图像的相对应的像素的像素值是1，和帧#n+1的二值对象图像的相对应的像素是1时，区域确定部分342确定帧#n中的指定像素属于前景区域。

当帧#n中的二值对象图像的指定像素是1，和帧#n-1的二值对象图像的相对应的像素是0时，区域确定部分342确定帧#n中的指定像素属于覆盖前景区域。

当帧#n中的二值对象图像的指定像素是1，和帧#n+1中的二值对象图像的相对应的像素是0时，区域确定部分342确定帧#n的指定像素属于未覆盖前景区域。

图43显示时间变化检测器303对与图35所示的输入图像的模型相对应的二值对象图像进行判断的例子。由于帧#n中二值对象图像的相应像素是0，时间变化检测器303确定帧#n中从左边算起的第1个到第5个像素属于背景区域。

由于帧#n的二值对象图像的像素是1，和帧#n+1的相应像素是0，时间变化检测器303确定从左边算起的第6个到第9个像素属于未覆盖背景区域。

由于帧#n的二值对象图像的像素是1，帧#n-1的相应像素是1，和帧#n+1的相应像素是1，时间变化检测器303确定从左边算起的第10个到第13个像素属于前景区域。

由于帧#n的二值对象图像的像素是1，和帧#n-1的相应像素是0，时间变化检测器303确定从左边算起的第14个到第17个像素属于覆盖背景区域。

由于帧#n的二值对象图像的相应像素是0，时间变化检测器303判断从左边算起的第18个到第21个像素属于背景区域。

现在参照图44所示的流程图，描述区域确定部分103执行的区域指定处理。在步骤S301中，例如，区域确定部分103的背景图像生成器301根据输入图像，提取与包含在输入图像中的背景对象相对应的图像对象，从而生成背景图像，并且把生成的背景图像供应给二值对象图像提取部分302。

在步骤S302中，二值对象图像提取部分302根据，例如，参照图38B所述的计算，计算输入图像和背景图像生成器301供应的背景图像之间的相关值。在步骤S303中，二值对象图像提取部分302通过，例如，将相关值与阈值th0相比较，从相关值和阈值th0中计算二值对象图像。

在步骤S304中，时间变化检测器303进行区域确定处理，然后，结束处理。

下面参照图45所示的流程图，详细描述步骤S304中的区域确定处理。在步骤S321中，时间变化检测器303的区域确定部分342确定存储在帧存储器341中的帧#n中的指定像素是否是0。如果确定帧#n中的指定像素是0的判断的情况下，流程转到步骤S322。在步骤S322中，确定帧#n中的指定像素属于背景区域，然后，结束处理。

如果在步骤S321中确定帧#n中的指定像素是1，则流程转到步骤S323。在步骤S323中，时间变化检测器303的区域确定部分342确定存储在帧存储器341中的帧#n中的指定像素是否是1，和帧#n-1中的相应像素是否是0。如果确定帧#n中的指定像素是1，和帧#n-1中相应像素是0，则流程转到步骤S324。在步骤S324中，确定帧#n中的指定像素属于覆盖背景区域，然后，结束处理。

如果在步骤S323中确定帧#n中的指定像素是0，或帧#n-1中的相应像素是1，则流程转到步骤S325。在步骤S325中，时间变化检测器303的区域确定部分342确定存储在帧存储器341中的帧#n中的指定像素是否是1，和帧#n+1中的相应像素是否是0。如果确定帧#n中的指定像素是1，和帧#n+1中的相应像素是0，则流程转到步骤S326。在步骤S326中，确定帧#n中的指定像素属于未覆盖背景区域的设置，然后，结束处理。

如果在步骤S325中确定帧#n中的指定像素是0，或帧#n+1中的相应像素是1，则流程转到步骤S327。在步骤S327中，时间变化检测器303的区域确定部分342确定帧#n中的指定像素属于前景区域，然后，结束处理。

如上所述，区域指定单元101可以根据输入图像和相应的背景图像之间的相关值，为输入图像的每一个像素指定属于前景区域、背景区域、覆盖背景区域、或未覆盖背景区域中的哪一个，并且生成与指定结果相对应的区域信息。

图46是显示混合比计算器102的结构的方块图。根据输入图像通过计算覆盖背景区域的模型，估计混合比处理器401为每个像素计算估计混合比，并且把计算的估计混合比供应给混合比确定部分403。根据为每个像素计算的估计混合比通过计算覆盖背景区域的模型，估计混合比处理器401计算估计运动向量，并且把计算的估计运动向量供应给混合比确定部分403。

根据输入图像通过计算未覆盖背景区域的模型，估计混合比处理器402为每个像素计算估计混合比，并且把计算的估计混合比供应给混合比确定部分403。根据为每个像素计算的估计混合比通过计算未覆盖背景区域的模型，估计混合比处理器402计算估计运动向量，并且把计算的估计运动向量供应给混合比确定部分403。

混合比确定部分403根据区域指定单元101供应的表明为其计算混合比α的像素属于前景区域、背景区域、覆盖背景区域、或者未覆盖背景区域中的哪一个的区域信息，设置混合比α。当相应的像素属于前景区域时，混合比确定部分403将混合比α设为0，而当相应的像素属于背景区域时，则将混合比α设为1。当相应的像素属于覆盖背景区域时，混合比确定部分403将估计混合比处理器401供应的估计混合比设为混合比α。当相应的像素属于未覆盖背景区域时，混合比确定部分403将估计混合比处理器402供应的估计混合比设为混合比α。混合比确定部分403输出根据区域信息所指定的混合比α。

当根据区域指定单元101供应的区域信息，相应的像素属于覆盖背景区域时，混合比确定部分403将估计混合比处理器401供应的估计运动向量设为运动向量。当根据区域指定单元101供应的区域信息，相应的像素属于未覆盖背景区域时，混合比确定部分403将估计混合比处理器402供应的估计运动向量设为运动向量。混合比确定部分403输出根据区域信息所指定的运动向量和该运动向量的位置信息。

由于可以假设与前景相对应的对象在快门时间内作恒速运动，属于混合区域的像素的混合比α具有如下所述的性质。也就是说，根据像素的位置改变，混合比α线性地改变。如果在像素中位置改变为一维，则混合比α的改变可以线性地表示。如果在像素中位置改变为二维，则混合比α的改变可以以平面的方式来表示。

由于一个帧的间隔很短，可以假设与前景相对应的对象是刚体并以恒速运动。

在前景的快门时间内混合比α的斜率与运动量v成反比。

图47示出理想混合比α的例子。在混合区域中理想混合比α的斜率l可以用运动量v的倒数表示。

如图47所示，理想混合比α在背景区域中值为1，在前景区域中值为0，在混合区域中的值大于0小于1。

在图48所示的例子中，可以利用帧#n-1中从左边算起第7个像素的像素值P06把帧#n中从左边算起第7个像素的像素值C06表达成方程式(8)。 $C06=B06/v+B06/v+F01/v+F02/v$ $=P06/v+P06/v+F01/v+F02/v---\left(8\right)$ $=2/v\·P06+\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}/v$

在方程式(8)中，像素值C06被表示成混合区域中像素的像素值M，而像素值P06被表示成背景区域中像素的像素值B。也就是说，混合区域中像素的像素值M和背景区域中像素的像素值B可以被分别表示成方程式(9)和方程式(10)。

M＝C06                                                  (9)

B＝P06                                                 (10)

方程式(8)中的2/v对应于混合比α。由于快门时间内的运动量v是4，因此，帧#n中从左边算起第7个帧的混合比α是0.5。

如上所述，把指定帧#n中的像素值C当作混合区域的像素值，而把帧#n之前的帧#n-1的像素值P当作背景区域的像素值。因此，表示混合比α的方程式(3)可以被重写成方程式(11)。

C＝α·P+f                                             (11)

方程式(11)中的f表示包含在指定像素中的前景成分之和∑_i Fi/v。包含在方程式(11)中的变量为两个，即混合比α和前景成分f之和。

类似地，图49示出通过沿着时间方向扩展未覆盖背景区域中快门时间内的运动量是4、虚拟分割数也是4的像素值所获得的模型。

与在覆盖背景区域中表示的相同，在未覆盖背景区域中，把指定帧#n中的像素值C当作混合区域的像素值，而把帧#n之后的帧#n+1的像素值N当作背景区域的像素值。因此，表示混合比α的方程式(3)可以重写成方程式(12)。

C＝α·N+f                                                (12)

已经对假定背景对象是静止的实施例作了描述。但是，通过使用位于与快门时间内背景的运动量v相对应的位置的像素的像素值，方程式(8)到方程式(12)也可以应用到在背景对象是在运动的情况中。例如，在图48中，假定快门时间内与背景相对应的对象的运动量v是2，并且虚拟分割数也是2。在这种情况下，当与背景相对应的对象在图中向右边移动时，在方程式(10)中，背景区域中的像素的像素值B用像素值P04表示。

由于方程式(11)和方程式(12)每一个都包含2个变量，因此，不经过修正就无法确定混合比α。

由于在快门时间内与前景相对应的对象恒速运动，所以混合比α根据像素位置的变化而线性地变化。利用该特性，可以得到其中在空间上将混合比α和前景成分之和f近似了的方程式。通过利用多组属于混合区域的像素的像素值以及属于背景区域的像素的像素值，可以求解其中将混合比α和前景成分之和f近似了的方程式。

当将混合比α的变化近似为直线时，混合比α可以用方程式(13)表示。

α＝il+p                                                  (13)

在方程式(13)中，当指定像素的位置设置为0时i表示空间索引，l表示混合比α的直线斜率，p表示混合比α的直线的截距，也表示指定像素的混合比α。在方程式(13)中，索引i是已知的，但是斜率l和截距p是未知数。

索引i、斜率l和截距p的关系示于图50。在图50中，白圈表示指定像素，黑圈表示接近指定像素的像素。

通过将混合比α近似为方程式(13)，用于多个像素的多个不同的混合比α可以用两个变量表示。在图50所示的例子中，用两个变量，也就是斜率l和截距p表示了5个像素的5个混合比。

当将混合比α近似为图51所示的平面时，通过考虑与两个方向，即图像的水平方向和垂直方向相对应的运动量v，可以将方程式(13)扩展到平面，并且混合比α可以表示为方程式(14)。在图51中，白圈表示指定像素。

α＝jm+kq+p                                                (14)

在方程式(14)中，当指定像素的位置是0时，j是水平方向上的索引，k是垂直方向上的索引。在方程式(14)中，m表示混合比α的平面水平斜率，q表示混合比α的平面垂直斜率。在方程式(14)中，p表示混合比α的平面截距。

例如，在图48所示的帧#n中，方程式(15)至(17)对于C05至C07分别成立。

C05＝α05·B05/v+f05                                    (15)

C06＝α06·B06/v+f06                                    (16)

C07＝α07·B07/v+f07                                    (17)

假定位于彼此接近位置上的前景成分彼此相等，也就是说，F01至F03相等，则将F01至F03用Fc代替，方程式(18)成立。

f(x)＝(1-α(x))·Fc                                     (18)

在方程式(18)中，x表示在空间方向上的位置。

当α(x)用方程式(14)替换时，方程式(18)可以表示为(19)。

f(x)＝(1-(jm+kq+p))·Fc

    ＝j·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)

    ＝js+kt+u                                           (19)

在方程式(19)中，(-m·Fc)，(-q·Fc)和(1-p)·Fc分别用方程式(20)至(22)替代。

s＝-m·Fc                                               (20)

t＝-q·Fc                                               (21)

u＝(1-p)·Fc                                            (22)

在方程式(19)中，当指定像素的位置是0时，j是水平方向上的索引，k是垂直方向上的索引。

如上所述，由于可以假设在快门时间内与前景相对应的对象恒速运动，并且位于邻近位置上的前景成分是均匀的，因此，可以用方程式(19)近似前景成分之和。

当将混合比α近似为直线时，前景成分之和可以用方程式(23)表示。

f(x)＝is+u                                                  (23)

使用方程式(14)和(19)，替换方程式(13)中的混合比α以及前景成分之和，可以用方程式(24)表示像素值M。

M＝(jm+kq+p)·B+js+kt+u

 ＝jB·m+kB·q+B·p+j·s+k·t+u                             (24)

在方程式(24)中，未知变量为6个，混合比α的平面水平斜率m，混合比α的平面垂直斜率q，以及混合比α的平面截距p、s、t和u。

根据邻近指定像素的像素设置正规方程式(24)中的像素值M或像素值B，然后通过最小二乘法求解多个其中设置了像素值M或像素值B的正规方程，并由此计算混合比α。

例如，假定将指定像素的水平索引j设为0，并且将指定像素的垂直索引k设为0。在这种情况下，当使用邻近指定像素的3×3像素设置方程式(24)所表示的正规方程中的像素值M或像素值B时，可以得到方程式(25)至(33)。

M_-1，-1＝(-1)·B_-1，-1·m+(-1)·B_-1，-1·q+B_-1，-1·p+(-1)·s+(-1)·t+u    (25)

M_0，-1＝(0)·B_0，-1·m+(-1)·B_0，-1·q+B_0，-1·p+(0)·s+(-1)·t+u         (26)

M_+1，-1＝(+1)·B_+1，-1·m+(-1)·B_+1，-1·q+B_+1，-1·p+(+1)·s+(-1)·t+u    (27)

M_-1，0＝(-1)·B_-1，0·m+(0)·B_-1，0·q+B_-1，0·p+(-1)·s+(0)·t+u         (28)

M_0，0＝(0)·B_0，0·m+(0)·B_0，0·q+B_0，0·p+(0)·s+(0)·t+u              (29)

M_+1，0＝(+1)·B_+1，0·m+(0)·B_+1，0·q+B_+1，0·p+(+1)·s+(0)·t+u         (30)

M_-1，+1＝(-1)·B_-1，+1·m+(+1)·B_-1，+1·q+B_-1，+1·p+(-1)·s+(+1)·t+u    (31)

M_0，+1＝(0)·B_0，+1·m+(+1)·B_0，+1·q+B_0，+1·p+(0)·s+(+1)·t+u         (32)

M_+1，+1＝(+1)·B_+1，+1·m+(+1)·B_+1，+1·q+B_+1，+1·p+(+1)·s+(+1)·t+u    (33)

由于指定像素的水平索引j是0，以及指定像素的垂直索引k也是0，所以指定像素的混合比α等于方程式(24)中j等于0和k等于0时的值，也就是说，混合比α等于方程式(24)中的截距p。

因此，根据上述9个方程式(25)至(33)，利用最小二乘法可以计算出水平斜率m、垂直斜率q、以及截距p、s、t和u，并将截距p作为混合比α输出。

通过应用最小二乘法计算混合比α的具体过程如下所述。

当索引i和索引k用单个索引x表示时，索引i、索引k和索引x之间的关系可以用方程式(34)表示。

x＝(j+1)·3+(k+1)                                     (34)

现在假定水平斜率m、垂直斜率q、以及截距p、s、t和u分别用变量w0、w1、w2、w3、w4和w5表示，并且jB、kB、B、j、k和l分别用a0、a1、a2、a3、a4和a5表示。考虑到误差ex，则方程式(25)至(33)可以修正为方程式(35)。 $\mathrm{Mx}=\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy}+\mathrm{ex}---\left(35\right)$

在方程式(35)中，x是从0到8的整数之一。

从方程式(35)可以得出方程式(36)。 $\mathrm{ex}=\mathrm{Mx}-\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy}---\left(36\right)$

由于应用最小二乘法，所以将误差平方和E定义为下式(37)。 $E=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}e{x}^2---\left(37\right)$

为了使误差最小，变量Wv相对于误差平方和E的偏微分值应该为0。v是0到5的整数之一。由此，可以确定wy，并且满足方程式(38)。 $\frac{\∂E}{\∂\mathrm{wv}}=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ex}\·\frac{\∂\mathrm{ex}}{\∂\mathrm{wv}}$ $=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ex}\·\mathrm{av}=0---\left(38\right)$

将方程式(36)代入方程式(38)中，可以得到方程式(39)。 $\underset{x=0}{\overset{8}{\mathrm{\Σ}}}(\mathrm{av}\·\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy})=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{av}\·\mathrm{Mx}---\left(39\right)$

例如，将消元法(sweep-out method)(高斯-约旦消元法，Gauss-Jordanelimination)应用到通过将0到5的整数之一代入方程式(39)中的v而得到的6个方程式，从而获得wy。如上所述，w0是水平斜率，w1是垂直斜率，w2是截距p，w3是s，w4是t，以及w5是u。

如上所述，通过将最小二乘法应用到其中设置了像素值M和像素值B的方程式中，可以确定水平斜率m、垂直斜率q、以及截距p、s、t和u。

参照方程式(25)至(33)描述了假定包含在混合区域中的像素的像素值是M、以及包含在背景区域中的像素的像素值是B的情况。在这种情况下，需要为指定像素包含在覆盖背景区域中或指定像素包含在未覆盖背景区域中的每一种情况设置正规方程。

例如，如果确定图48所示的帧#n中的覆盖背景区域所包含的像素的混合比α，将帧#n中的像素的像素值C04至C08和帧#n-1中的像素的像素值P04至P08设置到正规方程中。

如果确定图49所示的帧#n中的未覆盖背景区域所包含的像素的混合比α，将帧#n中的像素的像素值C28至C32和帧#n+1中的像素的像素值N28至N32设置到正规方程中。

而且，例如，如果计算包含在图52所示的覆盖背景区域中的像素的混合比α，则设置下述的方程式(40)至(48)。在图52中，白圈表示被考虑为属于背景的像素，黑圈表示被考虑为属于混合区域的像素。为其计算混合比α的像素的像素值为Mc5。

Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u      (40)

Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u        (41)

Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u      (42)

Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u        (43)

Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u          (44)

Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u        (45)

Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u      (46)

Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u        (47)

Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u      (48)

当计算包含帧#n中的在覆盖背景区域中的像素的混合比α时，在方程式(40)至(48)中分别使用与#n中的像素相对应的帧#n-1中的背景区域中的像素的像素值Bc1至Bc9。

如果，例如计算包含在图52所示的未覆盖背景区域中的像素的混合比α，则设置下述的方程式(49)至(57)。为其计算混合比α的像素的像素值为Mu5。

Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u      (49)

Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u        (50)

Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u      (51)

Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u        (52)

Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u          (53)

Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u        (54)

Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u      (55)

Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u        (56)

Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u      (57)

当计算包含帧#n中的在未覆盖背景区域中的像素的混合比α时，在方程式(49)至(57)中分别使用与#n中的像素相对应的帧#n+1中的背景区域中的像素的像素值Bu1至Bu9。

图53是显示估计混合比处理器401的配置的方框图。输入到估计混合比处理器401的图像提供给延迟电路421和加法器(adder)422。

延迟电路421将输入图像延迟一帧，并将图像供应给加法器422。当帧#n作为输入图像供应给加法器422时，延迟电路421将帧#n-1供应给加法器422。

加法器422设置与为其计算混合比α的像素邻近的像素的像素值、以及正规方程中帧#n-1的像素值。例如，根据方程式(40)至(48)，加法器422分别设置正规方程中的像素值Mc1至Mc9和像素值Bc1至Bc9。加法器422将设置了像素值的正规方程供应给计算器423。

计算器423例如采用消元法或其它方法，通过求解从加法器422供应的正规方程来确定估计混合比，并输出所确定的估计混合比。

计算器423使用方程式(58)根据混合比的斜率a计算快门时间内的运动量v。

a＝1/v                                                     (58)

更具体地说，计算器423根据在方程式(24)中表示的混合比的平面水平方向上的斜率m和混合比的平面垂直方向上的斜率q，计算快门时间内x方向上的运动量vix和快门时间内y方向上的运动量viy。

vix＝1/m                                                   (59)

viy＝1/q                                                   (60)

计算器423输出快门时间内x方向上的运动量vix和快门时间内y方向上的运动量viy表示的估计运动向量。

如图54所示，从计算器423输出的估计运动向量的大小对应于快门时间内的运动量v。

帧间运动量vf表示两个相邻帧之间对象的运动量。例如，当与前景相对应的对象的图像发生移动致使图像显示在特定帧和下一帧之间相隔8个像素的位置上时，与前景相对应的对象的图像的帧间运动量vf是8。在图54中，A表示背景对象。

通过这种方式，估计混合比处理器401能够根据输入图像计算估计混合比和估计运动向量，并将它们供应给混合比确定部分403。

估计混合比处理器402的结构类似于估计混合比处理器401，因此省去其详细描述。

图55显示估计混合比处理器401计算估计混合比的例子。图55所示的估计混合比是当与恒速运动的对象相对应的前景的运动量v是11时、以7×7像素块为单位生成并求解方程通过计算所获得的结果，并用一条线表示。

如图55所示，可以看出在混合区域估计混合比几乎线性地变化。

图56是显示混合比计算器102的另一种配置的方框图。

与图46中相同的部分用相同的标号表示，并由此略去其描述。

选择器441根据从区域指定单元101供应的区域信息，将属于覆盖背景区域的像素以及在前一和后一帧中的相应像素供应给估计混合比处理器401。选择器441根据从区域指定单元101供应的区域信息，将属于未覆盖背景区域的像素以及在前一和后一帧中的相应像素供应给估计混合比处理器402。

估计混合比处理器401根据从选择器441输入的像素值，计算属于覆盖背景区域的指定像素的估计混合比，并将所计算的估计混合比供应给选择器442。估计混合比处理器401根据所计算的估计混合比，计算估计运动向量，并将所计算的估计运动向量供应给选择器442。

估计混合比处理器402根据从选择器441输入的像素值，计算属于未覆盖背景区域的指定像素的估计混合比，并将所计算的估计混合比供应给选择器442。估计混合比处理器402根据所计算的估计混合比，计算估计运动向量，并将所计算的估计运动向量供应给选择器442。

根据从区域指定单元101供应的区域信息，当指定像素属于前景区域时，选择器442选择估计混合比0，并将混合比α设置为0，而当指定像素属于背景区域时，选择器442选择估计混合比1，并将混合比α设置为1。当指定像素属于覆盖背景区域时，选择器442选择从估计混合比处理器401供应的估计混合比并将其设置为混合比α。当指定像素属于未覆盖背景区域时，选择器442选择从估计混合比处理器402供应的估计混合比并将其设置为混合比α。选择器442然后输出已经根据所述区域信息选择和设定的混合比α。

根据从区域指定单元101供应的区域信息，当指定像素属于覆盖背景区域时，选择器442选择从估计混合比处理器401供应的估计运动向量并将其设置为运动向量。当指定像素属于未覆盖背景区域时，选择器442选择从估计混合比处理器402供应的估计运动向量并将其设置为运动向量。选择器442然后输出已经根据所述区域信息选择和设定的运动向量。

如上所述，混合比计算器102为包含在图像中的每个像素计算混合比α，计算运动向量，并且输出所计算的混合比α和所计算的运动向量。

下面参照图57的流程图描述混合比计算器102执行的计算混合比α和运动向量的处理。在步骤S401中，混合比计算器102获取区域指定单元101供应的区域信息。在步骤S402中，估计混合比处理器401使用与覆盖背景区域相对应的模型，计算估计混合比和估计运动向量，并且把计算的估计混合比和计算的估计运动向量供应给混合比确定部分403。估计混合比的处理细节以后将参照图58所示的流程图加以描述。

在步骤S403中，估计混合比处理器402使用与未覆盖背景区域相对应的模型，计算估计混合比和估计运动向量，并且把计算的估计混合比和计算的估计运动向量供应给混合比确定部分403。

在步骤S404中，混合比计算器102确定是否对整个帧都估计了混合比α。如果确定还没有对整个帧估计混合比α，则流程返回到步骤S402，执行为下一个像素估计混合比α的处理。

如果在步骤S404中确定已经对整个帧都估计了混合比，则流程转到步骤S405。在步骤S405中，混合比确定部分403根据从区域指定单元101供应的、表明为其计算混合比α和运动向量的像素属于前景区域、背景区域、覆盖背景区域、未覆盖背景区域中的哪一个的区域信息设置混合比α和运动向量。当相应像素属于前景区域时，混合比确定部分403设置混合比α为0，而当相应像素属于背景区域时，混合比确定部分403设置混合比α为1。当相应像素属于覆盖背景区域时，混合比确定部分403设置混合比α为从估计混合比处理器401供应的估计混合比。当相应像素属于未覆盖背景区域时，混合比确定部分403设置混合比α为从估计混合比处理器402供应的估计混合比。

根据从区域指定单元101供应的区域信息，当指定像素属于覆盖背景区域时，混合比确定部分403选择从估计混合比处理器401供应的估计运动向量并将其设置为运动向量。当相应像素属于未覆盖背景区域时，混合比确定部分403选择从估计混合比处理器402供应的估计运动向量并将其设置为运动向量。然后，结束处理。

如上所述，混合比计算器102根据区域指定单元101供应的区域信息和输入图像，计算与每一个像素相对应的指示其特征量的混合比α和运动向量。

如图56所示配置的混合比计算器102所执行的计算混合比α的处理与参照图57的流程图所描述的类似，由此略去其详细描述。

下面参照图58的流程图描述估计混合比处理器401通过使用与覆盖背景区域相对应的模型所执行的混合比和运动向量估计处理，该处理相应于步骤S402的处理。

在步骤S421中，加法器422在与覆盖背景区域的模型相对应的正规方程中设置包含在输入图像中的像素值以及包含在从延迟电路421供应的图像中的像素值。

在步骤S422中，估计混合比处理器401确定目标像素的设置是否完成。如果确定还没有完成目标像素的设置，则处理返回到步骤S421，继续设置正规方程中的像素值的处理。

如果在步骤S422中确定已经完成目标像素的设定，则处理前进到步骤S423。在步骤S423中，计算器423根据其中已经设定了像素值的正规方程计算估计混合比，并输出所计算估计混合比。

在步骤S424中，计算器423根据所获得的估计混合比的斜率计算估计运动向量，并结束处理。

如上所述，具有如图53所示配置的估计混合比处理器401根据输入图像计算估计混合比和估计运动向量。

通过使用与未覆盖背景区域的模型相对应的正规方程，采用与未覆盖背景区域相对应的模型所进行的混合比和运动向量估计处理与图58的流程图所示的处理类似，由此省去其详细描述。

已经描述了假定与背景相对应的对象是静止的实施例。但是，即使与背景区域相对应的图像包含运动，也可以应用上述混合比计算处理。例如，如果与背景区域相对应的图像相一致地运动，则估计混合比处理器401根据该运动移动整个图像，并与相应于背景区域的对象是静止的情况相类似地方式进行处理。如果与背景区域相对应的图像包含局部不同的运动，则估计混合比处理器401选择与运动相对应的像素作为属于混合区域的像素，并执行上述处理。

混合比计算器102可以仅通过使用与覆盖背景区域相对应的模型为所有的像素执行混合比估计处理，并输出所计算的估计混合比作为混合比α。在这种情况下，混合比α为属于覆盖背景区域的像素的背景成分指示背景成分的比例，而为属于未覆盖背景区域的像素指示前景成分的比例。对于属于未覆盖背景区域的像素，当计算的混合比α与1的差值的绝对值确定，并将所计算的绝对值设置为混合比α时，所述图像处理设备能够为属于未覆盖背景区域的像素确定指示背景成分的比例的混合比α。

类似地，混合比计算器102可以仅通过使用与未覆盖背景区域相对应的模型为所有的像素执行混合比估计处理，并输出所计算的估计混合比作为混合比α。

如上所述，混合比计算器102根据输入图像和从区域指定单元101供应的区域信息计算作为与每一个像素相对应的特征量的混合比α和运动向量。

通过利用混合比计算器102所计算的混合比α，能够从像素值中分离前景成分和背景成分，而保持在与运动对象相对应的图像中所包含的运动模糊信息。

通过组合基于混合比α的图像，可以合成包含已经校正了与运动对象的速度相一致的运动模糊的图像，就象现实世界被真实地拍摄一样。

混合比计算器102所计算的运动向量表明快门时间内的运动量v，这在传统上是不能进行检测的。

使用混合比计算器102所计算的运动向量，可以调整包括在与运动对象相对应的图像中的运动模糊量。

混合比计算器102可以设置运动向量为相应于0到1但不包括0和1的估计混合比所估计的向量。在这种情况下，混合比计算器102可以不用区域信息生成运动向量。

现在描述前景/背景分离器103。图59是显示前景/背景分离器103的结构的一个例子的方块图。把供应给前景/背景分离器103的输入图像供应给分离部分601、切换器602、和切换器604。把区域指定单元101供应的、指示覆盖背景区域的信息和指示未覆盖背景区域的信息供应给分离部分601。把指示前景区域的区域信息供应给切换器602。把指示背景区域的区域信息供应给切换器604。

把混合比计算器102供应的混合比α供应给分离部分601。

根据指示覆盖背景区域的区域信息、指示未覆盖背景区域的区域信息、和混合比α，分离部分601从输入图像中分离前景成分，并且把分离的前景成分供应给合成器603。分离部分601还从输入图像中分离出背景成分，并且把分离的背景成分供应给合成器605。

当输入与前景相对应的像素时，根据指示前景区域的区域信息，闭合切换器602，并且只把包含在输入图像中与前景相对应的像素供应给合成器603。

当输入与背景相对应的像素时，根据指示背景区域的区域信息，闭合切换器604，并且只把包含在输入图像中与背景相对应的像素供应给合成器605。

合成器603根据分离部分601供应的前景成分、切换器602供应的与前景相对应的像素，合成前景成分图像，并且输出合成的前景成分图像。由于前景区域和混合区域不重叠，因此，合成器603通过，例如，把逻辑“或”运算作用于前景成分和前景像素，从而合成前景成分图像。

在前景成分图像合成处理的开始阶段进行的初始化处理中，合成器603把其中所有像素值都是0的图像存储在内置帧存储器中。然后，在前景成分图像合成处理中，合成器603存储前景成分图像(用前景成分图像覆写先前的图像)。因此，在从合成器603输出的前景成分图像中、与背景区域相对应的像素存储0。

合成器605根据从分离部分601供应的背景成分、和切换器604供应的与背景相对应的像素，合成背景成分图像，并且输出合成的背景成分图像。由于背景区域和混合区域不重叠，因此，合成器605通过，例如，把逻辑“或”运算作用于背景成分和背景像素，合成背景成分图像。

在背景成分图像合成处理的开始阶段进行的初始化处理中，合成器605把其中所有像素值都是0的图像存储在内置帧存储器中。然后，在背景成分图像合成处理中，合成器605存储背景成分图像(用背景成分图像覆写先前的图像)。因此，在从合成器605输出的背景成分图像中与前景区域相对应的像素存储0。

图60A显示输入到前景/背景分离器103的输入图像、和从前景/背景分离器103输出的前景成分图像和背景成分图像。图60B显示与输入到前景/背景分离器103的输入图像、和从前景/背景分离器103输出的前景成分图像和背景成分图像相对应的模型。

图60A是所显示图像的示意图，和图60B显示与图60A相对应，在一行上排列的包括属于前景区域的像素、属于背景区域的像素、和属于混合区域的像素的像素沿着时间方向展开所获得的模型图。

如图60A和60B所示，从前景/背景分离器103输出的背景成分图像由属于背景区域的像素、和包含在混合区域的像素内的背景成分组成。

如图60A和60B所示，从前景/背景分离器103输出的前景成分图像由属于前景区域的像素、和包含在混合区域的像素内的前景成分组成。

混合区域内的像素的像素值被前景/背景分离器103分离成背景成分和前景成分。分离的背景成分与属于背景区域的像素一起组成背景成分图像。分离的前景成分与属于前景区域的像素一起组成前景成分图像。

如上所述，在前景成分图像中，与背景区域相对应的像素的像素值被设置成0，与前景区域相对应的像素和与混合区域相对应的像素的像素值被设置成有效像素值。类似地，在背景成分图像中，与前景区域相对应的像素的像素值被设置成0，与背景区域相对应的像素和与混合区域相对应的像素的像素值被设置成有效像素值。

现在对帧间隔时间等于快门时间时分离部分601从属于混合区域的像素中分离出前景成分和背景成分的处理加以描述。

图61显示在包括图中从左边移动到右边的前景对象的两个帧中、指示前景成分和背景成分的图像的模型。在图61所示的图像的模型中，快门时间内的运动量v是4，并且虚拟分割数设置为4。

在帧#n中，最左边像素和从左边算起第14个到18个像素只由背景成分组成，并且属于背景区域。在帧#n中，从左边算起第2个到4个像素包含背景成分和前景成分，并且属于未覆盖背景区域。在帧#n中，从左边算起第11个到13个像素包含背景成分和前景成分，并且属于覆盖背景区域。在帧#n中，从左边算起第5个到10个像素只由前景成分组成，并且属于前景区域。

在帧#n+1中，从左边算起第1个到第5个和第18个像素只由背景成分组成，并且属于背景区域。在帧#n+1中，从左边算起第6个到8个像素包含背景成分和前景成分，并且属于未覆盖背景区域。在帧#n+1中，从左边算起第15个到17个像素包含背景成分和前景成分，并且属于覆盖背景区域。在帧#n+1中，从左边算起第9个到14个像素只由前景成分组成，并属于前景区域。

图62显示从属于覆盖背景区域的像素中分离前景成分的处理。在图62中，α1到α18分别表示帧#n中各个像素的混合比。在图62中，从左边算起第15个到第17个像素属于覆盖背景区域。

帧#n中从左边算起第15个像素的像素值C15被表示成方程式(61)：

C15＝B15/v+F09/v+F08/v+F07/v

   ＝α15·B15+F09/v+ F08/v+F07/v

   ＝α15·P15+F09/v+F08/v+F07/v                   (61)

这里，α15表示帧#n中从左边算起第15个像素的混合比。P15表示帧#n-1中从左边算起第15个像素的像素值。

根据方程式(61)，帧#n中从左边算起第15个像素的前景成分之和f15被表示成方程式(62)：

f15＝F09/v+F08/v+F07/v

   ＝C15-α15·P15                                 (62)

类似地，帧#n中从左边算起第16个像素的前景成分之和f16被表示成方程式(63)，和帧#n中从左边算起第17个像素的前景成分之和f17被表示成方程式(64)：

f16＝C16-α16·P16                                 (63)

f17＝C17-α17·P17                                 (64)

以这种方式，包含在属于覆盖背景区域的像素的像素值C中的前景成分fc通过方程式(65)来计算：

fc＝C-α·P                                        (65)其中，P表示前一帧中的相对应的像素的像素值。

图63显示从属于未覆盖背景区域的像素中分离前景成分的处理。在图63中，α1到α18分别表示帧#n中各个像素的混合比。在图63中，从左边算起第2个到第4个像素属于未覆盖背景区域。

帧#n中从左边算起第2个像素的像素值C02被表示成方程式(66)：

C02＝B02/v+B02/v+B02/v+F01/v

   ＝α2·B02+F01/v

   ＝α2·N02+F01/v                                (66)

这里，α2表示帧#n中从左边算起第2个像素的混合比。N02表示帧#n+1中从左边算起第2个像素的像素值。

根据方程式(66)，帧#n中从左边算起第2个像素的前景成分和f02被表示成方程式(67)：

f02＝F01/v

   ＝C02-α2·N02                            (67)

类似地，帧#n中从左边算起第3个像素的前景成分和f03被表示成方程式(68)，和帧#n中从左边算起第4个像素的前景成分和f04被表示成方程式(69)：

f03＝C03-α3·N03                            (68)

f04＝C04-α4·N04                            (69)

以这种方式，包含在属于未覆盖背景区域的像素的像素值C中的前景成分fu通过方程式(70)来计算：

fu＝C-α·N                                  (70)其中，N表示后一帧中的相对应的像素的像素值。

如上所述，根据包含在区域信息中的指示覆盖背景区域的信息、指示未覆盖背景区域的信息、以及每个像素的混合比α，分离部分601可以从属于混合区域的像素中分离出前景成分和从属于混合区域的像素中分离出背景成分。

图64是显示进行上述处理的分离部分601的结构例子的方块图。把输入分离部分601的图像供应给帧存储器621，和把混合比计算器102供应的指示覆盖背景区域和未覆盖背景区域的区域信息、和混合比α输入分离处理模块622中。

帧存储器621以帧为单元存储输入图像。当被处理的帧是帧#n时，帧存储器621存储比帧#n早一个帧的帧#n-1、帧#n、和比帧#n晚一个帧的帧#n+1。

帧存储器621把帧#n-1、帧#n、和#n+1中的相应像素供应给分离处理模块622。

分离处理模块622根据指示覆盖背景区域和未覆盖背景区域的区域信息、和混合比α，把参照图62和图63所述的计算应用于从帧存储器621供应的帧#n-1、帧#n、和#n+1中相应像素的像素值，以便从帧#n中属于混合区域的像素中分离出前景成分和背景成分，并且把它们供应给帧存储器623。

分离处理模块622包括未覆盖区域处理器631、覆盖区域处理器632、合成器633、和合成器634。

未覆盖区域处理器631的乘法器641将帧存储器621供应的帧#n+1的像素的像素值乘以混合比α，并且将得到的结果像素值输出到切换器642。在帧存储器621供应的帧#n中的像素(与帧#n+1的像素相对应)属于未覆盖背景区域时，闭合切换器642，将乘法器641供应的被乘以混合比α的像素值供应给计算器643和合成器634。从切换器642输出的帧#n+1的像素的像素值被乘以混合比α所得的值与帧#n中相应像素的像素值的背景成分相同。

计算器643从帧存储器621供应的帧#n的像素的像素值中减去切换器642供应的背景成分，从而获得前景成分。计算器643把属于未覆盖背景区域的帧#n中的像素的前景成分供应给合成器633。

覆盖区域处理器632的乘法器651将帧存储器621供应的帧#n-1的像素的像素值乘以混合比α，并且将得到的结果像素值输出到切换器652。在帧存储器621供应的帧#n中的像素(与帧#n-1的像素相对应)属于覆盖背景区域时，闭合切换器652，将乘法器651供应的被乘以混合比α的像素值供应给计算器653和合成器634。从切换器652输出的帧#n-1的像素的像素值被乘以混合比α所得的值与帧#n中相应像素的像素值的背景成分相同。

计算器653从帧存储器621供应的帧#n的像素的像素值中减去切换器652供应的背景成分，从而获得前景成分。计算器653把属于覆盖背景区域的帧#n中的像素的前景成分供应给合成器633。

合成器633合成计算器643供应的帧#n中属于未覆盖背景区域的像素的前景成分、和计算器653供应的属于覆盖背景区域的像素的前景成分，并且把合成的前景成分供应给帧存储器623。

合成器634合成切换器642供应的帧#n中属于未覆盖背景区域的像素的背景成分、和切换器652供应的属于覆盖背景区域的像素的背景成分，并且把合成的背景成分供应给帧存储器623。

帧存储器623分别存储分离处理模块622供应的、帧#n中混合区域内的像素的前景成分和背景成分。

帧存储器623输出所存储的帧#n中混合区域内的像素的前景成分、和存储的帧#n中混合区域内的像素的背景成分。

利用作为特征量的混合比α能够把包含在像素值中的前景成分和背景成分完全分离开。

合成器603合成从分离部分601输出的、帧#n中混合区域内的像素的前景成分、和属于前景区域的像素，从而生成前景成分图像。合成器605合成从分离部分601输出的、帧#n中混合区域内的像素的背景成分、和属于背景区域的像素，从而生成背景成分图像。

图65A显示与图61中的帧#n相对应的前景成分图像的例子。在把前景和背景分开之前，最左边像素和从左边算起第14个像素只由背景成分组成，因此，像素值设置为0。

在前景和背景被分开之前，从左边算起第2个到第4个像素属于未覆盖背景区域。因此，背景成分设置为0，前景成分保持原来值。在把前景和背景分开之前，从左边算起第11个到第13个像素属于覆盖背景区域。因此，背景成分设置为0，前景成分保持原来值。由于从左边算起第5个到第10个像素只由前景成分组成，因此，那些前景成分保持原来值。

图65B显示了与图61所示中的帧#n相对应的背景成分图像的例子。在前景和背景被分开之前，最左边像素和从左边算起第14个像素由背景成分组成，因此，那些背景成分保持原来值。

在前景和背景被分开之前，从左边算起第2个到第4个像素属于未覆盖背景区域。因此，前景成分设置为0，背景成分保持原来值。在前景和背景被分开之前，从左边算起第11个到第13个像素属于覆盖背景区域，因此，前景成分设置为0，背景成分保持原来值。在前景和背景被分开之前，从左边算起第5个到第10个像素只由前景成分组成，因此，像素值设置为0。

现在参照图66所示的流程图，描述前景/背景分离器103执行的前景和背景分离处理。在步骤S601中，分离部分601的帧存储器621获取输入图像，并且存储为其分离前景和背景的帧#n、以及前一帧#n-1和后一帧#n+1。

在步骤S602中，分离部分601的分离处理模块622获取混合比计算器102供应的区域信息。在步骤S603中，分离部分601的分离处理模块622获取混合比计算器102供应的混合比α。

在步骤S604中，未覆盖区域处理器631根据区域信息和混合比α，从帧存储器621供应的属于未覆盖背景区域的像素的像素值中提取背景成分。

在步骤S605中，未覆盖区域处理器631根据区域信息和混合比α，从帧存储器621供应的属于未覆盖背景区域的像素的像素值中提取前景成分。

在步骤S606中，覆盖区域处理器632根据区域信息和混合比α，从帧存储器621供应的属于覆盖背景区域的像素的像素值中提取背景成分。

在步骤S607中，覆盖区域处理器632根据区域信息和混合比α，从帧存储器621供应的属于覆盖背景区域的像素的像素值中提取前景成分。

在步骤S608中，合成器633合成在步骤S605的处理中提取的、属于未覆盖背景区域的像素的前景成分、和在步骤S607的处理中提取的、属于覆盖背景区域的像素的前景成分。把合成的前景成分供应给合成器603。此外，合成器603合成通过切换器602供应的、属于前景区域的像素、和分离部分601供应的前景成分，生成前景成分图像。

在步骤609中，合成器634合成在步骤S604的处理中提取的、属于未覆盖背景区域的像素的背景成分、和在步骤S606的处理中提取的、属于覆盖背景区域的像素的背景成分。把合成的背景成分供应给合成器605。此外，合成器605合成通过切换器604供应的、属于背景区域的像素、和分离部分601供应的背景成分，生成背景成分图像。

在步骤S610中，合成器603输出前景成分图像。在步骤S611中，合成器605输出背景成分图像，然后，结束处理。

如上所述，根据区域信息和混合比α，前景/背景分离器103可以从输入图像中分离出前景成分和背景成分，并且输出只由前景成分组成的前景成分图像、和只由背景成分组成的背景成分图像。

现在描述对前景成分图像调整运动模糊量的处理。

图67是显示运动模糊调整单元104的结构例子的方块图。把混合比计算器102供应的运动向量和其位置信息供应给处理单元确定部分801、建模部分802和计算器805。把区域指定单元101供应的区域信息供应给处理单元确定部分801。把前景/背景分离器103供应的前景成分图像供应给加法器804。

处理单元确定部分801根据运动向量和其位置信息、以及区域信息生成处理单元，并把生成的处理单元供应给建模部分802。处理单元确定部分801把生成的处理单元供应给加法器804。

例如，在图68中用A表示的、处理单元确定部分801生成的处理单元表示从与前景成分图像的覆盖背景区域相对应的像素开始、直到与未覆盖背景区域相对应的像素结束沿着运动方向依次排列的像素，或者从与未覆盖背景区域相对应的像素开始、直到与覆盖背景区域相对应的像素结束沿着运动方向依次排列的像素。处理单元由指示，例如，左上点(作为通过处理单元指定的图像中最左或最高像素的位置)和右下点的两段数据组成。

建模部分802根据运动向量和输入的处理单元，进行建模。更明确地说，例如，建模部分802可以根据包含在处理单元中的像素个数、像素值沿着时间方向的虚拟分割数、和前景成分的个数，为每个像素事先存储多个模型。然后建模部分802可以根据处理单元和像素值沿着时间方向的虚拟分割数，选择如图69所示的指定像素值与前景成分之间的相关关系的模型。

例如，假定与处理单元相对应的像素个数是12，快门时间内的运动量v是5。那么，建模部分802把虚拟分割数设置成5，并且选择总共由8种前景成分组成的模型，以便使得最左边位置的像素包括1个前景成分，从左边算起第2个像素包括2个前景成分，从左边算起第3像素包括3个前景成分，从左边算起第4个像素包括4个前景成分，从左边算起第5个像素包括5个前景成分，从左边算起第6个像素包括5个前景成分，从左边算起第7个像素包括5个前景成分，从左边算起第8个像素包括5个前景成分，从左边算起第9个像素包括4个前景成分，从左边算起第10个像素包括3个前景成分，从左边算起第11个像素包括2个前景成分，和从左边算起第12个像素包括1个前景成分。

建模部分802也可以不是从事先存储的模型中选择模型，而是在供应运动向量和处理单元的情况下，根据运动向量和处理单元生成模型。

建模部分802把所选的模型供应给方程式生成器803。

方程式生成器803根据建模部分802供应的模型，生成方程式。

下面参照图69所示的前景成分图像的模型，在前景成分的个数是8，与处理单元相对应的像素个数是12，快门时间内的运动量v是5的情况下，描述方程式生成器803生成的方程式。

当包含在前景成分图像中与快门时间/v相对应的前景成分是F01/v到F08/v时，F01/v到F08/v与像素C01到C12之间的关系被表示成方程式(71)到方程式(82)：

C01＝F01/v                                             (71)

C02＝F02/v+F01/v                                       (72)

C03＝F03/v+F02/v+F01/v                                 (73)

C04＝F04/v+F03/v+F02/v+F01/v                           (74)

C05＝F05/v+F04/v+F03/v+F02/v+F01/v                     (75)

C06＝F06/v+F05/v+F04/v+F03/v+F02/v              (76)

C07＝F07/v+F06/v+F05/v+F04/v+F03/v              (77)

C08＝F08/v+F07/v+F06/v+F05/v+F04/v              (78)

C09＝F08/v+F07/v+F06/v+F05/v                    (79)

C10＝F08/v+F07/v+F06/v                          (80)

C11＝F08/v+F07/v                                (81)

C12＝F08/v                                      (82)

通过变换生成的方程式，方程式生成器803生成另一组方程式。由方程式生成器803生成的另一组方程式被表示成方程式(83)到方程式(94)：

C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v                                  (83)

C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v                                  (84)

C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v                                  (85)

C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v                                  (86)

C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v                                  (87)

C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v                                  (88)

C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v                                  (89)

C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v                                  (90)

C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v                                  (91)

C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v                                  (92)

C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v                                  (93)

C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v                                  (94)

方程式(83)到方程式(94)可以用方程式(95)来表示： $\mathrm{Cj}=\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v---\left(95\right)$

在方程式(95)中，j表示像素位置。在本例中，j具有1到12之间的值之一。在方程式(95)中，i表示前景值的位置。在本例中，i具有1到8之间的一个值。在方程式(95)中，根据i和j的值，aij具有0或1的值之一。

考虑到误差，方程式(95)可以用方程式(96)来表示： $\mathrm{Cj}=\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v+\mathrm{ej}---\left(96\right)$

在方程式(96)中，ej表示包含在指定像素Cj中的误差。

可以把方程式(96)重写成方程式(97)： $\mathrm{ej}=\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v---\left(97\right)$

为了使用最小二乘法，把误差的平方和E定义成方程式(98)： $E=\underset{j=01}{\overset{12}{\mathrm{\Σ}}}e{j}^2---\left(98\right)$

为了使误差达到最小，应该使变量Fk关于误差的平方和E的偏导数的值为0。求出满足方程式(99)的Fk。 $\frac{\∂E}{\∂\mathrm{Fk}}=2\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{ej}\·\frac{\∂\mathrm{ej}}{\∂\mathrm{Fk}}$ $=2\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\{(\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v)\·(-\mathrm{akj}/v)\}=0---\left(99\right)$

在方程式(99)中，快门时间内的运动量v是固定值，因此，可以导出方程式(100)： $\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{akj}\·(\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v)=0---\left(100\right)$

展开方程式(100)和移动变元，得到方程式(101)： $\underset{j=01}{\overset{12}{\mathrm{\Σ}}}(\mathrm{akj}\·\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi})=v\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{akj}\·\mathrm{Cj}---\left(101\right)$

通过把1到8之间的整数之一代入方程式(101)中的k，将方程式(101)展开成8个方程式。获得的8个方程式可以用一个矩阵方程式表示。这个方程式被称为“正规方程”。

方程式生成器803根据最小二乘法生成的正规方程的例子被表示成方程式(102)。

当把方程式(102)表示成A·F＝v·C时，C、A和v是已知的，F是未知的。此外，虽然A和v在建模时就是已知的，但是，通过在相加处理中输入像素值，C才成为已知的。

按照最小二乘法，根据正规方程计算前景成分，可以处理包含在像素C中的误差。

方程式生成器803把如上所述生成的正规方程供应给加法器804。

加法器804根据处理单元确定部分801供应的处理单元，为方程式生成器803供应的矩阵方程式设置包含在前景成分图像中的像素值C。加法器804把设置了像素值C的矩阵供应给计算器805。

计算器805通过基于诸如消元法(Gauss-Jordan消元法)之类的方法的处理，计算已经消除运动模糊的前景成分Fi/v，从而获得作为已经经过运动模糊消除的像素值的、与1到8之间的整数i之一相对应的Fi。然后计算器805把由，例如，如图70所示的、由不含运动模糊的像素值Fi组成的前景成分图像输出到运动模糊加法器806和选择器807。

在如图70所示不含运动模糊的前景成分图像中，C03到C10的每一个分别被设置成F01到F08的每一个是为了不改变前景成分图像相对于屏幕的位置。但是，F01到F08可以被设置到任何期望的位置。

运动模糊加法器806通过加入与运动量v不同的通过其调整运动模糊的量v′，例如，通过其调整运动模糊的量v′是快门时间内的运动量v的一半、或通过其调整运动模糊的量v′与快门时间内的运动量v没有任何关系，可以调整运动模糊量。例如，如图71所示，运动模糊加法器806将不含运动模糊的前景像素值Fi除以通过其调整运动模糊的量v′，从而获得前景成分Fi/v′。然后运动模糊加法器806计算前景成分Fi/v′之和，生成已经调整过运动模糊量的像素值。例如，当通过其调整运动模糊的量v′是3时，像素值C02设为F01/v′，像素值C03设为(F01+F02)/v′，像素值C04设为(F01+F02+F03)/v′，和像素值C05设为(F02+F03+F04)/v′。

运动模糊加法器806把已经经过运动模糊量调整的前景成分图像供应给选择器807。

选择器807根据反映用户选择的选择信号，选择计算器805供应的、没有运动模糊的前景成分图像，或者选择运动模糊加法器806供应的、已经调整了运动模糊量的前景成分图像，并且输出所选的前景成分图像、区域信息和混合比α。

如上所述，运动模糊调整单元104可以根据选择信号和通过其调整运动模糊的量v′来调整运动模糊量。

此外，例如，如图72所示，当与处理单元相对应的像素个数是8，快门时间内的运动量v是4时，运动模糊调整单元104生成用方程式(103)表示的矩阵方程式： $\begin{array}{}\left[\begin{array}{c}43210\\ 34321\\ 23432\\ 12343\\ 01234\end{array}\right]\end{array}\begin{array}{c}\left[\begin{array}{c}F01\\ F02\\ F03\\ F04\\ F05\end{array}\right]\end{array}=v\·\left[\begin{array}{c}\underset{i=05}{\overset{08}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=04}{\overset{07}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=03}{\overset{06}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=02}{\overset{05}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=01}{\overset{04}{\mathrm{\Σ}}}\mathrm{Ci}\end{array}\right]---\left(103\right)$

以这种方式，运动模糊调整单元104根据处理单元的长度通过建立方程计算运动模糊量已经经过调整的像素值Fi。类似地，例如，在包含在处理单元中的像素个数是100时，生成与100个像素相对应的方程式，从而计算Fi。

图73显示运动模糊调整单元104的另一配置例子。与图67所示相同的部分用相同的标号表示，并且，略去不述。

根据选择信号，选择器821直接把输入的运动向量和其位置信息供应给处理单元确定部分801和建模部分802。或者，选择器821用通过其调整运动模糊的量v′替代运动向量的大小，然后将该运动向量和其位置信息供应给处理单元确定部分801和建模部分802。

利用该配置，图73所示的运动模糊调整单元104的处理单元确定部分801到计算器805可以根据快门时间内的运动量v和通过其调整运动模糊的量v＇调整运动模糊量。例如，当快门时间内的运动量v是5和通过其调整运动模糊的量v′是3时，图73所示的运动模糊调整单元104的处理单元确定部分801到计算器805根据图71所示的其中通过其调整运动模糊的量v′是3的模型，对如图69所示的快门时间内运动量v是5的前景成分图像进行计算。结果，获得包括具有(快门时间内的运动量v)/(运动模糊调整量v′)＝5/3，即，约1.7的快门时间内的运动量v的运动模糊的图像。在这种情况下，计算的图像不包含与3的快门时间内的运动量v相对应的运动模糊。因此，应该注意到，快门时间内的运动量v与通过其调整运动模糊的量v′之间的关系与运动模糊加法器806的结果是不同的。

如上所述，运动模糊调整单元104根据快门时间内的运动量v和处理单元生成方程式，为生成的方程式设置前景成分图像的像素值，从而计算运动模糊量得到调整的前景成分图像。

现在参照图74所示的流程图，描述运动模糊调整单元104执行的调整包含在前景成分图像中的运动模糊量的处理。

在步骤S801中，运动模糊调整单元104的处理单元确定部分801根据运动向量和区域信息，生成处理单元，并且把生成的处理单元供应给建模部分802。

在步骤S802中，运动模糊调整单元104的建模部分802根据快门时间内的运动量v和处理单元选择或生成模型。在步骤S803中，方程式生成器803根据所选的模型，建立正规方程。

在步骤S804中，加法器804为建立的正规方程设置前景成分图像的像素值。在步骤S805中，加法器804确定与处理单元相对应的所有像素的像素值是否都得到设置。如果确定与处理单元相对应的像素的像素值还没有全部得到设置，流程返回到步骤S804，重复为正规方程设置像素值的处理。

如果在步骤S805中确定与处理单元相对应的像素的像素值全部得到设置，流程转到步骤S806。在步骤S806中，计算器805根据加法器804供应的像素值得到设置的正规方程，计算运动模糊量已经得到调整的前景的像素值。然后，结束处理。

如上所述，运动模糊调整单元104根据运动向量和区域信息，可以调整包含运动模糊的前景成分图像中的运动模糊量。

也就是说，包含在像素值中的，也就是说包含在取样数据中的运动模糊量可以得到调整。

图75是显示运动模糊调整单元104的另一不同结构例子的图。把混合比计算器102供应的运动向量和其位置信息供应给处理单元确定部分901和调整部分905。把区域指定单元101供应的区域信息供应给处理单元确定部分901。把前景/背景分离器103供应的前景成分图像供应给计算器904。

处理单元确定部分901根据运动向量、其位置信息、和区域信息，生成处理单元，并将生成的处理单元和运动向量供应给建模部分902。

建模部分902根据运动向量和输入的处理单元进行建模。更明确地说，例如，建模部分902可以根据包含在处理单元中的像素个数、像素值沿着时间方向的虚拟分割数、和前景成分的个数，为每个像素事先存储多个模型。然后建模部分902可以根据处理单元和像素值沿着时间方向的虚拟分割数，选择如图76所示的指定像素值与前景成分之间的相关关系的模型。

例如，假定与处理单元相对应的像素个数是12，快门时间内的运动量v是5。那么，建模部分902把虚拟分割数设置成5，并且选择总共由8种前景成分组成的模型，以便使得最左边位置的像素包括1个前景成分，从左边算起第2个像素包括2个前景成分，从左边算起第3像素包括3个前景成分，从左边算起第4个像素包括4个前景成分，从左边算起第5个像素包括5个前景成分，从左边算起第6个像素包括5个前景成分，从左边算起第7个像素包括5个前景成分，从左边算起第8个像素包括5个前景成分，从左边算起第9个像素包括4个前景成分，从左边算起第10个像素包括3个前景成分，从左边算起第11个像素包括2个前景成分，和从左边算起第12个像素包括1个前景成分。

建模部分902也可以不是从事先存储的模型中选择模型，而是在供应运动向量和处理单元的情况下，根据运动向量和处理单元生成模型。

方程式生成器903根据建模部分902供应的模型，生成方程式。

现在参照图76到图78所示的前景成分图像的模型，对在前景成分的个数是8，与处理单元相对应的像素个数是12，和快门时间内的运动量v是5的情况下，方程式生成器903生成的方程式例子加以描述。

当包含在前景成分图像中与快门时间/v相对应的前景成分是F01/v到F08/v时，F01/v到F08/v与像素值C01到C12之间的关系被表示成如上所述的方程式(71)到(82)。

考虑像素值C12和C11，像素值C12只包括如方程式(104)所表示的前景成分F08/v，像素值C11由前景成分F08/v和前景成分F07/v之和组成。因此，前景成分F07/v通过方程式(105)来计算。

F08/v＝C12                                       (104)

F07/v＝C11-C12                                   (105)

类似地，对包含在像素值C10到C01中的前景成分加以考虑，前景成分F06/v到F01/v分别通过方程式(106)到方程式(111)来计算：

F06/v＝C10-C11                                   (106)

F05/v＝C09-C10                                   (107)

F04/v＝C08-C09                                   (108)

F03/v＝C07-C08+C12                               (109)

F02/v＝C06-C07+C11-C12                           (110)

F01/v＝C05-C06+C10-C11                           (111)

方程式生成器903通过，例如，方程式(104)到方程式(111)所表示的像素值之差，生成用于计算前景成分的方程式。方程式生成器903把生成的方程式供应给计算器904。

计算器904为方程式生成器903供应的方程式设置前景成分图像的像素值，从而根据设置了像素值的方程式获取前景成分。例如，在方程式生成器903供应方程式(104)到方程式(111)时，计算器904为方程式(104)到方程式(111)设置像素值C05到C12。

计算器904根据设置了像素值的方程式，计算前景成分。例如，如图77所示，计算器904根据设置了像素值C05到C12的方程式(104)到方程式(111)的计算，计算前景成分F01/v到F08/v。计算器904把前景成分F01/v到F08/v供应给调整部分905。

调整部分905将计算器904供应的前景成分与包含在混合比计算器102供应的运动向量中的快门时间内的运动量v相乘，以便获得运动模糊已经消除的前景像素值。例如，在从计算器904供应前景成分F01/v到F08/v时，调整部分905将前景成分F01/v到F08/v的每一个与快门时间内的运动量v，即5相乘，从而获取运动模糊已经消除的前景像素值F01到F08，如图78所示。

调整部分905把由通过如上所述计算的、由没有运动模糊的前景像素值组成的前景成分图像供应给运动模糊加法器906和选择器907。

运动模糊加法器906通过使用与快门时间内的运动量v不同的、通过其调整运动模糊的量v′，例如，通过其调整运动模糊的量v′是快门时间内的运动量v的一半、或通过其调整运动模糊的量v′与快门时间内的运动量v没有任何关系，可以调整运动模糊量。例如，如图71所示，运动模糊加法器906将不含运动模糊的前景像素值Fi除以通过其调整运动模糊的量v′，从而获得前景成分Fi/v′。然后运动模糊加法器906计算前景成分Fi/v′之和，生成已经调整过运动模糊量的像素值。例如，当通过其调整运动模糊的量v′是3时，像素值C02设为F01/v′，像素值C03设为(F01+F02)/v′，像素值C04设为(F01+F02+F03)/v′，和像素值C05设为(F02+F03+F04)/v′。

运动模糊加法器906把已经经过运动模糊量调整的前景成分图像供应给选择器907。

选择器907根据反映用户选择的选择信号，选择调整部分905供应的、没有运动模糊的前景成分图像，或者选择运动模糊加法器906供应的、已经调整了运动模糊量的前景成分图像，并且输出所选的前景成分图像。

如上所述，运动模糊调整单元104可以根据选择信号和通过其调整运动模糊的量v′调整运动模糊量。

现在参照图79所示的流程图，对如图75所示配置的运动模糊调整单元104执行的调整前景的运动模糊量的处理加以描述。

在步骤S901中，运动模糊调整单元104的处理单元确定部分901根据运动向量和区域信息，生成处理单元，并且把生成的处理单元供应给建模部分902和调整部分905。

在步骤S902中，运动模糊调整单元104的建模部分902根据快门时间内的运动量v和处理单元选择或生成模型。在步骤S903中，方程式生成器903根据选择或生成的模型，通过前景成分图像的像素值之间的差值，生成用于计算前景成分的方程式。

在步骤S904中，计算器904为生成的方程式设置前景成分图像的像素值，并且，根据设置了像素值的方程式，使用像素值的差值来提取前景成分。在步骤S905中，计算器904确定与处理单元相对应的所有前景成分是否都得到提取。如果确定与处理单元相对应的前景成分还没有全部得到提取，流程返回到步骤S904，重复提取前景成分的处理。

如果在步骤S905中确定与处理单元相对应的前景成分全部得到提取，流程转到步骤S906。在步骤S906中，调整部分905根据快门时间内的运动量v，调整计算器904供应的前景成分F01/v到F08/v的每一个，以便获取已经消除运动模糊的前景像素值F01到F08。

在步骤S907中，运动模糊加法器906计算已经调整运动模糊量的前景像素值，和选择器907选择没有运动模糊的图像或运动模糊量已经调整过的图像，并且输出所选的图像。然后，结束处理。

如上所述，如图75所示的运动模糊调整单元104通过较简单的计算，可以更迅速地调整前景图像中的运动模糊。

虽然在理想状态下借助于诸如Winner(温纳)滤波器等可以部分消除运动模糊的传统技术能够达到一定效果，但是对于已经被量化和包含噪声的实际图像，没有达到显著效果。与此相反，利用如图75所示配置的运动模糊调整单元104，对于已经被量化和包含噪声的实际图像，可以达到显著效果。由此可以更精确地消除运动模糊。

如上所述，如图2所示配置的图像处理设备能够调整包含在输入图像中的运动模糊量。

图80是显示该图像处理设备功能的另一配置的方框图。图80所示的图像处理设备不使用运动向量。

与图2所示的部件相同的部件用相同的标号表示，并由此略去其描述。

区域指定单元101将区域信息供应给混合比计算器102和合成器1001。

混合比计算器102将混合比α供应给前景/背景分离器103和合成器1001。

前景/背景分离器103将前景成分图像供应给合成器1001。

合成器1001根据混合比计算器102供应的混合比α、和区域指定单元101供应的区域信息，合成任意背景图像和前景/背景分离器103供应的前景成分图像，并且输出其中已经合成了任意背景图像和前景成分图像的合成图像。

图81显示合成器1001的配置。背景成分生成器1021根据混合比α和任意背景图像，生成背景成分图像，并且把这个背景成分图像供应给混合区域图像合成部分1022。

混合区域图像合成部分1022将背景成分生成器1021供应的背景成分图像与前景成分图像合成在一起，从而生成混合区域合成图像，并且把生成的混合区域合成图像供应给图像合成部分1023。

图像合成部分1023根据区域信息合成前景成分图像、混合区域图像合成部分1022供应的混合区域合成图像、和任意背景图像，从而生成合成的图像并输出。

如上所述，合成器1001将前景成分图像与任意背景图像合成在一起。

根据作为特征值的混合比α将前景成分图像与任意背景图像合成在一起获得的图像比简单合成像素获得的图像更加自然。

图82是显示用于调整运动模糊量的该图像处理设备功能的另一配置的方框图。图2所示的图像处理设备顺序地执行区域指定操作和混合比α的计算。与此相反，图82所示的图像处理设备同时执行区域指定操作和混合比α的计算。

与图2所示方框图中相同的部件用相同的参考标号表示，并由此略去其描述。

输入图像供应给混合比计算器1101、前景/背景分离器1102和区域指定单元101。

区域指定单元101根据输入图像生成区域信息，并将所生成的区域信息供应给前景/背景分离器1102和运动模糊调整单元1103。

混合比计算器1101根据输入图像，计算假定包括在输入图像中的每一个像素属于覆盖背景区域时所获得的估计混合比、以及计算假定包括在输入图像中的每一个像素属于未覆盖背景区域时所获得的估计混合比，并将所计算的假定包括在输入图像中的每一个像素属于覆盖背景区域时获得的估计混合比、以及所计算的假定包括在输入图像中的每一个像素属于未覆盖背景区域时获得的估计混合比供应给前景/背景分离器1102。

混合比计算器1101根据假定包括在输入图像中的每一个像素属于覆盖背景区域时所计算的估计混合比、计算假定包括在输入图像中的每一个像素属于覆盖背景区域时所获得的估计运动向量，以及根据假定包括在输入图像中的每一个像素属于未覆盖背景区域时所计算的估计混合比、计算假定包括在输入图像中的每一个像素属于未覆盖背景区域时所获得的估计运动向量，并将所计算的假定包括在输入图像中的每一个像素属于覆盖背景区域时获得的估计运动向量、以及所计算的假定包括在输入图像中的每一个像素属于未覆盖背景区域时获得的估计运动向量供应给运动模糊调整单元1103。

图83是显示混合比计算器1101的配置例子的方框图。

图83所示的估计混合比处理器401与图47所示的估计混合比处理器401相同。图83所示的估计混合比处理器402与图47所示的估计混合比处理器402相同。

估计混合比处理器401根据输入图像通过与覆盖背景区域的模型相对应的计算，为每一个像素计算估计混合比，并输出所计算的估计混合比。估计混合比处理器401根据所计算的估计混合比计算估计运动向量，并输出所计算的估计运动向量。

估计混合比处理器402根据输入图像通过与未覆盖背景区域的模型相对应的计算，为每一个像素计算估计混合比，并输出所计算的估计混合比。估计混合比处理器402根据所计算的估计混合比计算估计运动向量，并输出所计算的估计运动向量。

前景/背景分离器1102根据混合比计算器1101供应的假定像素属于覆盖背景区域时所计算的估计混合比、混合比计算器1101供应的假定像素属于未覆盖背景区域时所计算的估计混合比、以及区域指定单元101所供应的区域信息，从输入图像中生成前景成分图像，并将所生成的前景成分图像供应给运动模糊调整单元1103和选择器105。

图84是显示前景/背景分离器1102的配置例子的方框图。

与图59所示的前景/背景分离器103的部件相同的那些部件用相同的参考标号表示，并由此略去其描述。

选择器1121根据区域指定单元101所供应的区域信息，选择混合比计算器1101供应的假定像素属于覆盖背景区域时所计算的估计混合比，或者选择混合比计算器1101供应的假定像素属于未覆盖背景区域时所计算的估计混合比，并将所选择的估计混合比作为混合比α供应给分离部分601。

分离部分601根据选择器1121供应的混合比α和区域信息，从属于混合区域的像素的像素值中提取前景成分和背景成分，并将所提取的前景成分供应给合成器603，将背景成分供应给合成器605。

分离部分601可以具有与图64所示的结构完全相同的结构。

合成器603合成前景成分图像并输出。合成器605合成背景成分图像并输出。

运动模糊调整单元1103根据区域指定单元101供应的区域信息、混合比计算器1101供应的假定像素属于覆盖背景区域时所计算的估计运动向量、以及混合比计算器1101供应的假定像素属于未覆盖背景区域时所计算的估计运动向量，调整包括在前景/背景分离器1102所供应的前景成分图像中的运动模糊量，并输出已经调整了运动模糊量的前景成分图像。

图85是显示运动模糊调整单元1103的结构的方框图。

与图67所示的部件相同的那些部件用相同的参考标号表示，并由此略去其描述。

选择器1131根据区域指定单元101供应的区域信息，选择混合比计算器1101供应的假定像素属于覆盖背景区域时所计算的估计运动向量、或者选择混合比计算器1101供应的假定像素属于未覆盖背景区域时所计算的估计运动向量；将所选择的估计运动向量指定为运动向量；并将该运动向量供应给处理单元确定部分801、建模部分802、以及计算器805。

返回图82，选择器105根据例如反映用户选择的选择信号，从前景/背景分离器1102提供的前景成分图像和运动模糊调整单元1103提供的已经经过运动模糊量调整的前景成分图像中选择一个，并输出所选择的前景成分图像。

如上所述，具有如图82所示结构的图像处理设备调整包括在与输入图像的前景对象相对应的图像中的运动模糊量，并输出所得到的前景对象图像。

上面已经描述了将混合比α设置成包含在像素值中的背景成分的比例的实施例。但是，混合比α也可以设置成包含在像素值中的前景成分的比例。

上面已经描述了将前景对象的运动方向设置成从左边移动到右边的方向。但是，运动方向不局限于上述方向。

在上面的描述中，通过利用视频摄像机，把具有三维空间和时间轴信息的真实空间图像投影到具有二维空间和时间轴信息的时空上。但是，本发明不受这个例子的限制，并且可以应用到下述情形中，即，当把较多数量的第一维空间中的第一信息投影到较少数量的第二维空间中的第二信息时，能够校正由于投影引起的失真，能够提取重要的信息，或者合成更自然的图像。

传感器不限于CCD，可以是其它类型的固态图像拍摄器件，比如CMOS(互补型金属氧化物半导体)、BBD(Bucket Brigade Device，斗链器件)、CID(Charge Injection Device，电荷注入器件)、或CPD(Charge Priming Device，电荷启动器件)等。并且，传感器不限于检测元件排列成矩阵状的传感器，可以是检测元件排列成一行的传感器。

如图1所示，记录执行本发明的信号处理的程序的记录媒体可以被配置成其中记录程序的封装媒体，与计算机分开分发以提供程序给用户，譬如，磁盘51(包括软盘(注册商标))、光盘52(包括CD-ROM(只读光盘存储器)和DVD(数字多功能盘)、磁光盘53(包括MD(小型盘)(注册商标))或半导体存储器54。记录媒体也可以被配置成包含在用于记录程序的存储单元28中的ROM(只读存储器)22或硬盘，此类型的记录媒体与计算机组装在一起事先提供给用户。

在本说明书中，描述记录在记录媒体中的程序的步骤包括按照如上所述次序以时间顺序执行的处理，也包括不必按照时间顺序的方式而是并行地或单独地执行的处理。

工业可应用性

根据本发明，可以获取指示曝光间隔内对象的运动的运动量。

Claims (20)

1.一种图像处理设备，用于对包括预定个数像素的图像拍摄器件获取、由预定个数像素数据组成的图像数据进行处理，所述像素具有时间积分效应，所述图像处理设备包括：

混合比检测装置，用于在图像数据中从构成前景对象的前景对象成分和构成背景对象的背景对象成分混合在一起的混合区域检测指示前景对象成分和背景对象成分之间的混合比例的混合比；以及

运动量检测装置，用于与所述混合比相对应，当已经获得构成图像数据的像素数据时检测曝光间隔前景对象的运动量。

2.根据权利要求1所述的图像处理设备，其特征在于混合比检测装置包括关系式生成装置，用于与所述图像数据的指定帧中的指定像素相对应、提取靠近所述指定帧的邻近帧中的像素数据作为与背景对象相对应的背景像素数据，还用于提取所述指定帧中指定像素的指定像素数据和邻近指定像素的邻近像素的邻近像素数据；以及用于生成指示指定像素数据、邻近像素数据和对应于指定像素和邻近像素的背景像素数据之间的关系的多个关系式；并且，根据所述关系式检测指定像素和邻近像素的混合比。

3.根据权利要求2所述的图像处理设备，其特征在于，所述关系式生成装置根据其中前景对象的成分的值是相同的第一近似、所述成分包括在指定像素数据和邻近像素数据中、以及其中混合比根据像素在混合区域中的位置线性地变化的第二近似，生成所述关系式。

4.根据权利要求3所述的图像处理设备，其特征在于，当已经获得所述图像数据时，所述运动量检测装置检测混合区域中与像素位置相对应的混合比线性变化的斜率的倒数，作为曝光间隔前景对象的运动量，并输出所检测的运动量。

5.一种图像处理方法，用于对包括预定个数像素的图像拍摄器件获取、由预定个数像素数据组成的图像数据进行处理，所述像素具有时间积分效应，所述图像处理方法包括：

混合比检测步骤，用于在图像数据中从构成前景对象的前景对象成分和构成背景对象的背景对象成分混合在一起的混合区域检测指示前景对象成分和背景对象成分之间的混合比例的混合比；以及

运动量检测步骤，用于与所述混合比相对应，当已经获得构成图像数据的像素数据时检测曝光间隔前景对象的运动量。

6.根据权利要求5所述的图像处理方法，其特征在于混合比检测步骤包括关系式生成步骤，用于与所述图像数据的指定帧中的指定像素相对应、提取靠近所述指定帧的邻近帧中的像素数据作为与背景对象相对应的背景像素数据，还用于提取所述指定帧中指定像素的指定像素数据和邻近指定像素的邻近像素的邻近像素数据；以及用于生成指示指定像素数据、邻近像素数据和对应于指定像素和邻近像素的背景像素数据之间的关系的多个关系式；并且，根据所述关系式检测指定像素和邻近像素的混合比。

7.根据权利要求6所述的图像处理方法，其特征在于在关系式生成步骤中，根据其中前景对象的成分的值是相同的第一近似、所述成分包括在指定像素数据和邻近像素数据中、以及其中混合比根据像素在混合区域中的位置线性地变化的第二近似，生成所述关系式。

8.根据权利要求7所述的图像处理方法，其特征在于，在运动量检测步骤中，当已经获得所述图像数据时，检测混合区域中与像素位置相对应的混合比线性变化的斜率的倒数，作为曝光间隔前景对象的运动量，并输出所检测的运动量。

9.一种其上记录有计算机可读程序的记录媒体，用于对包括预定个数像素的图像拍摄器件获取、由预定个数像素数据组成的图像数据进行处理，所述像素具有时间积分效应，所述程序包括：

混合比检测步骤，用于在图像数据中从构成前景对象的前景对象成分和构成背景对象的背景对象成分混合在一起的混合区域检测指示前景对象成分和背景对象成分之间的混合比例的混合比；以及

运动量检测步骤，用于与所述混合比相对应，当已经获得构成图像数据的像素数据时检测曝光间隔前景对象的运动量。

10.根据权利要求9所述的记录媒体，其特征在于混合比检测步骤包括关系式生成步骤，用于与所述图像数据的指定帧中的指定像素相对应、提取靠近所述指定帧的邻近帧中的像素数据作为与背景对象相对应的背景像素数据，还用于提取所述指定帧中指定像素的指定像素数据和邻近指定像素的邻近像素的邻近像素数据；以及用于生成指示指定像素数据、邻近像素数据和对应于指定像素和邻近像素的背景像素数据之间的关系的多个关系式；并且，根据所述关系式检测指定像素和邻近像素的混合比。

11.根据权利要求10所述的记录媒体，其特征在于在关系式生成步骤中，根据其中前景对象的成分的值是相同的第一近似、所述成分包括在指定像素数据和邻近像素数据中、以及其中混合比根据像素在混合区域中的位置线性地变化的第二近似，生成所述关系式。

12.根据权利要求11所述的记录媒体，其特征在于，在运动量检测步骤中，当已经获得所述图像数据时，检测混合区域中与像素位置相对应的混合比线性变化的斜率的倒数，作为曝光间隔前景对象的运动量，并输出所检测的运动量。

13.一种使计算机执行如下步骤的程序，用于对包括预定个数像素的图像拍摄器件获取、由预定个数像素数据组成的图像数据进行处理，所述像素具有时间积分效应：

混合比检测步骤，用于在图像数据中从构成前景对象的前景对象成分和构成背景对象的背景对象成分混合在一起的混合区域检测指示前景对象成分和背景对象成分之间的混合比例的混合比；以及

运动量检测步骤，用于与所述混合比相对应，当已经获得构成图像数据的像素数据时检测曝光间隔前景对象的运动量。

14.根据权利要求13所述的程序，其特征在于混合比检测步骤包括关系式生成步骤，用于与所述图像数据的指定帧中的指定像素相对应、提取靠近所述指定帧的邻近帧中的像素数据作为与背景对象相对应的背景像素数据，还用于提取所述指定帧中指定像素的指定像素数据和邻近指定像素的邻近像素的邻近像素数据；以及用于生成指示指定像素数据、邻近像素数据和对应于指定像素和邻近像素的背景像素数据之间的关系的多个关系式；并且，根据所述关系式检测指定像素和邻近像素的混合比。

15.根据权利要求14所述的程序，其特征在于在关系式生成步骤中，根据其中前景对象的成分的值是相同的第一近似、所述成分包括在指定像素数据和邻近像素数据中、以及其中混合比根据像素在混合区域中的位置线性地变化的第二近似，生成所述关系式。

16.根据权利要求15所述的程序，其特征在于，在运动量检测步骤中，当已经获得所述图像数据时，检测混合区域中与像素位置相对应的混合比线性变化的斜率的倒数，作为曝光间隔前景对象的运动量，并输出所检测的运动量。

17.一种图像拍摄设备，其特征在于包括：

图像拍摄装置，用于输出由具有时间积分效应的、包括预定个像素的图像拍摄器件拍摄的对象的图像，作为由预定个数像素数据组成的图像数据；

混合比检测装置，用于在图像数据中从构成前景对象的前景对象成分和构成背景对象的背景对象成分混合在一起的混合区域检测指示前景对象成分和背景对象成分之间的混合比例的混合比；以及

运动量检测装置，用于与所述混合比相对应，当已经获得构成图像数据的像素数据时检测曝光间隔前景对象的运动量。

18.根据权利要求17所述的图像拍摄设备，其特征在于混合比检测装置包括关系式生成装置，用于与所述图像数据的指定帧中的指定像素相对应、提取靠近所述指定帧的邻近帧中的像素数据作为与背景对象相对应的背景像素数据，还用于提取所述指定帧中指定像素的指定像素数据和邻近指定像素的邻近像素的邻近像素数据；以及用于生成指示指定像素数据、邻近像素数据和对应于指定像素和邻近像素的背景像素数据之间的关系的多个关系式；并且，根据所述关系式检测指定像素和邻近像素的混合比。

19.根据权利要求18所述的图像拍摄设备，其特征在于，所述关系式生成装置根据其中前景对象的成分的值是相同的第一近似、所述成分包括在指定像素数据和邻近像素数据中、以及其中混合比根据像素在混合区域中的位置线性地变化的第二近似，生成所述关系式。

20.根据权利要求19所述的图像拍摄设备，其特征在于，当已经获得所述图像数据时，所述运动量检测装置检测混合区域中与像素位置相对应的混合比线性变化的斜率的倒数，作为曝光间隔前景对象的运动量，并输出所检测的运动量。

Images