CN1672402A - 图像处理设备和方法以及图像捕获设备 - Google Patents

Abstract

一种能够消除包含在散焦图像中的运动模糊的图象处理设备。区域识别单元(103)识别由前景区域和背景区域组成的非混合区域，或者识别混合了前景对象分量和背景对象分量的混合区域，这里，所述前景区域由构成前景对象的前景对象分量组成，所述背景区域由构成背景对象的背景对象分量组成。根据区域识别结果等，分离/模糊消除单元(1503)从混合区域的象素数据中分离前景对象分量和背景对象分量并以批处理模式执行从所分离的前景对象分量中消除运动模糊的处理。这可以考虑到图像捕获器件所检测的信号与现实之差。

Description

图像处理设备和方法以及图像捕获设备

技术领域

本发明涉及一种图像处理设备，特别是涉及一种考虑了传感器检测的信号与现实(real world)之间的差异的图像处理设备。

背景技术

用于利用传感器检测现实发生的事件和处理从该图像传感器输出的样本数据的技术已经得到了广泛使用。

例如，如果对象运动速度比较快，则会在通过利用摄像机捕获在预定静止背景前方运动的对象而获得的图像中出现运动模糊。

迄今为止，为了避免这种运动模糊，例如加快了电子快门的速度以便减少曝光时间。

此外，在增加快门速度的方法中，必须在捕获图像之前调整摄像机的快门速度。结果导致不能校正模糊的图像以获得清晰图像的问题。

发明内容

本发明是考虑到上述背景技术做出的。因此，本发明目的是使得消除包含在模糊图像中的运动模糊成为可能。

本发明的第一图像处理设备包括：区域指定装置，用于指定由前景区域和背景区域构成的非混合区域，或者指定混合前景对象分量与背景对象分量的混合区域，这里，所述前景区域由构成图像数据的前景对象的前景对象分量组成，所述背景区域由构成图像数据的背景对象的背景对象分量组成；和处理执行装置，根据由区域指定装置通过指定区域所获得的结果，同时执行从混合区域的像素数据中分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

该图像处理设备还包括相等(equal-portion)部分检测装置，检测由其数值彼此基本相等的前景区域的邻近像素数据组成的相等部分。该处理执行装置根据所检测的相等部分和由区域指定装置通过指定区域所获得的结果，至少可以同时执行从混合区域的像素数据中分离前景对象分量和背景分量对象的处理以及从分离的前景对象分量中消除运动模糊的处理。

图像处理装置还可以包括：处理单位(unit-of-processing)确定装置，用于根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位。处理执行装置对于每个处理单位可以同时执行分离前景对象分量和背景对象分量的处理以及从分离的前景对象分量中消除运动模糊的处理。

处理单位确定装置可以确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

相等部分检测装置可以通过比较像素数据的差值与一阈值来检测相等部分。

相等部分检测装置可以检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

通过施行对应于运动向量的计算，处理执行装置可以同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

处理执行装置可以包括：模型获取装置，用于获取对应于处理单位和运动向量的模型；方程生成装置，根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量及背景对象分量之间的关系式；以及计算装置，用于根据所生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

本发明的第一图像处理方法包括：区域指定步骤，用于指定由前景区域和背景区域构成的非混合区域，或者指定混合前景对象分量与背景对象分量的混合区域，这里，所述前景区域由构成图像数据的前景对象的前景对象分量组成，所述背景区域由构成图像数据的背景对象的背景对象分量组成；和处理执行步骤，根据由区域指定处理步骤通过指定区域所获得的结果，同时执行从混合区域的像素数据中分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

该图像处理方法还包括相等部分检测步骤，检测由其数值彼此基本相等的前景区域的邻近像素数据组成的相等部分。在处理执行步骤的处理中，根据所检测的相等部分和由区域指定步骤通过指定区域所获得的结果，至少可以同时执行从混合区域的像素数据中分离前景对象分量和背景分量对象的处理以及从分离的前景对象分量中消除运动模糊的处理。

图像处理方法还可以包括：处理单位确定步骤，用于根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位。在处理执行步骤的处理中，对于每个处理单位可以同时执行分离前景对象分量和背景对象分量的处理以及从分离的前景对象分量中消除运动模糊的处理。

在处理单位确定步骤的处理中，可以确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

在相等部分检测步骤的处理中，可以通过比较像素数据的差值与一阈值来检测相等部分。

在相等部分检测步骤的处理中，可以检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

在处理执行步骤的处理中，通过施行对应于运动向量的计算，可以同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

处理执行步骤的处理可以包括：模型获取步骤，用于获取对应于处理单位和运动向量的模型；方程生成步骤，根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量及背景对象分量之间的关系式；以及计算步骤，用于根据所生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

本发明的第一存储媒介的程序包括：区域指定步骤，用于指定由前景区域和背景区域构成的非混合区域，或者指定混合前景对象分量与背景对象分量的混合区域，这里，所述前景区域由构成图像数据的前景对象的前景对象分量组成，所述背景区域由构成图像数据的背景对象的背景对象分量组成；和处理执行步骤，根据区域指定处理步骤指定区域所获得的结果，同时执行从混合区域的像素数据中分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

该存储媒介的程序还包括相等部分检测步骤，检测由其数值彼此基本相等的前景区域的邻近像素数据组成的相等部分。在处理执行步骤的处理中，根据所检测的相等部分和由区域指定步骤通过指定区域所获得的结果，至少可以同时执行从混合区域的像素数据中分离前景对象分量和背景分量对象的处理以及从分离的前景对象分量中消除运动模糊的处理。

存储媒介的程序还可以包括：处理单位确定步骤，用于根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位。在处理执行步骤的处理中，对于每个处理单位可以同时执行分离前景对象分量和背景对象分量的处理以及从分离的前景对象分量中消除运动模糊的处理。

在处理单位确定步骤的处理中，可以确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

在相等部分检测步骤的处理中，可以通过比较像素数据的差值与一阈值来检测相等部分。

在相等部分检测步骤的处理中，可以检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

在处理执行步骤的处理中，通过施行对应于运动向量的计算，可以同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

处理执行步骤的处理可以包括：模型获取步骤，用于获取对应于处理单位和运动向量的模型；方程生成步骤，根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量及背景对象分量之间的关系式；以及计算步骤，用于根据所生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

本发明的第一程序允许计算机执行：区域指定步骤，用于指定由前景区域和背景区域构成的非混合区域，或者指定混合前景对象分量与背景对象分量的混合区域，这里，所述前景区域由构成图像数据的前景对象的前景对象分量组成，所述背景区域由构成图像数据的背景对象的背景对象分量组成；和处理执行步骤，根据由区域指定处理步骤通过指定区域所获得的结果，同时执行从混合区域的像素数据中分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

该程序还可以包括相等部分检测步骤，检测由其数值彼此基本相等的前景区域的邻近像素数据组成的相等部分。在处理执行步骤的处理中，根据所检测的相等部分和区域指定处理步骤通过指定区域所获得的结果，至少可以同时执行从混合区域的像素数据中分离前景对象分量和背景分量对象的处理以及从分离的前景对象分量中消除运动模糊的处理。

该程序还可以包括：处理单位确定步骤，用于根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位。在处理执行步骤的处理中，对于每个处理单位可以同时执行分离前景对象分量和背景对象分量的处理以及从分离的前景对象分量中消除运动模糊的处理。

在处理单位确定步骤的处理中，可以确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

在相等部分检测步骤的处理中，可以通过比较像素数据的差值与一阈值来检测相等部分。

在相等部分检测步骤的处理中，可以检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

在处理执行步骤的处理中，通过施行对应于运动向量的计算，可以同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

处理执行步骤的处理可以包括：模型获取步骤，用于获取对应于处理单位和运动向量的模型；方程生成步骤，根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量及背景对象分量之间的关系式；以及计算步骤，用于根据所生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

本发明的第二图像处理设备包括：输入装置，输入具有对象区域的图像数据，该对象区域由形成对象的对象分量组成；以及运动模糊(motion-blur)消除装置，通过假定在由输入装置所输入的图像数据的对象区域中像素数据部分的值基本相等，来消除出现在对象区域中的运动模糊。

输入装置可以输入具有前景区域、背景区域和混合区域的图像数据，所述前景区域由形成对象的前景对象分量组成，所述背景区域由形成背景对象的背景对象分量组成，所述混合区域是混合了前景对象分量和背景对象分量的区域。运动模糊消除装置通过假定在输入装置所输入的图像数据的前景区域中像素数据部分的值基本相等，可以消除出现在前景区域中的运动模糊。

该图像处理设备还包括相等部分检测装置，检测在图像数据的前景区域中像素数据的值基本相等的相等部分。运动模糊消除装置可以根据相等部分检测装置所检测的相等部分来消除出现在前景区域中运动模糊。

图像处理装置还可以包括：处理单位确定装置，用于根据相等部分的位置确定由多个前景对象分量组成的处理单位。运动模糊消除装置可以消除每个处理单位的前景区域中的运动模糊。

处理单位确定装置可以确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

图像处理设备还可以包括一个区域指定装置，用于指定前景区域、背景区域或者混合区域。

相等部分检测装置可以通过比较像素数据的差值与一阈值来检测相等部分。

相等部分检测装置可以检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

通过施行对应于运动向量的计算，运动模糊消除装置可以消除出现在前景区域中的运动模糊。

运动模糊消除装置可以包括：模型获取装置，用于获取对应于处理单位和运动向量的模型；方程生成装置，根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量之间的关系式；以及计算装置，用于根据所生成的方程计算包含在处理单位内的前景对象分量。

运动模糊消除装置根据区域信息和根据相等部分，可以同时执行将混合区域的像素数据分离成前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理，所述的区域信息指示由前景区域和背景区域组成的非混合区域或者指示混合区域。

图像处理设备还包括处理单位确定装置，根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位。处理执行装置对于每个处理单位可以同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

处理单位确定装置可以确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一直线上并且不同于相等部分的像素数据。

图像处理设备还包括指定前景区域、背景区域或者混合区域的区域指定装置

相等部分检测装置通过比较像素数据的差值与阈值可以检测相等部分。

相等部分检测装置可以检测由邻近像素数据组成的相等部分，所述邻近像素数据的像素数量大于或者等于相对于前景对象运动量的像素数量。

处理单位确定装置通过施行一个对应于运动向量的计算，可以同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

处理单位确定装置可以包括：模型获取装置，用于获取对应于处理单位和运动向量的模型；方程生成装置，用于根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量和背景对象分量之间的关系式；以及计算装置，根据生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

本发明的第二图像处理方法包括：输入步骤，输入具有对象区域的图像数据，该对象区域由形成对象的对象分量组成；以及运动模糊消除步骤，通过假定在由输入步骤的处理所输入的图像数据的对象区域中的像素数据部分的值基本相等，来消除出现在对象区域中的运动模糊。

在输入步骤的处理中，可以输入具有前景区域、背景区域和混合区域的图像数据，所述前景区域由形成对象的前景对象分量组成，所述背景区域由形成背景对象的背景对象分量组成，所述混合区域是前景对象分量和背景对象分量混合的区域。在运动模糊消除步骤的处理中，通过假定在输入步骤处理所输入的图像数据的前景区域中像素数据部分的值基本相等，可以消除出现在前景区域中的运动模糊。

该图像处理方法还包括相等部分检测步骤，检测在图像数据的前景区域中像素数据的值基本相等的相等部分。在运动模糊消除步骤的处理中，可以根据相等部分检测步骤处理所检测的相等部分来消除出现在前景区域中运动模糊。

图像处理方法还可以包括：处理单位确定步骤，用于根据相等部分的位置确定由多个前景对象分量组成的处理单位。在运动模糊消除步骤处理中，可以消除每个处理单位的前景区域中的运动模糊。

在处理单位确定步骤的处理中，可以确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

图像处理方法还可以包括区域指定步骤，用于指定前景区域、背景区域或者混合区域。

在相等部分检测步骤的处理中，可以通过比较像素数据的差值与一阈值来检测相等部分。

在相等部分检测步骤的处理中，可以检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

在运动模糊消除步骤的处理中，通过施行对应于运动向量的计算，可以消除出现在前景区域中的运动模糊。

运动模糊消除步骤的处理可以包括：模型获取步骤，用于获取对应于处理单位和运动向量的模型；方程生成步骤，根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量之间的关系式；以及计算步骤，用于根据所生成的方程计算包含在处理单位内的前景对象分量。

在运动模糊消除步骤的处理中，根据区域信息和根据相等部分，可以同时执行将混合区域的像素数据分离成前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理，所述的区域信息指示由前景区域和背景区域组成的非混合区域或者指示混合区域。

图像处理方法还包括处理单位确定步骤，根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位。在处理执行步骤的处理中，对于每个处理单位可以同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

在处理单位确定步骤的处理中，可以确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一直线上并且不同于相等部分的像素数据。

图像处理步骤还包括指定前景区域、背景区域或者混合区域的区域指定步骤。

在相等部分检测步骤的处理中，可以通过比较像素数据的差值与一阈值来检测相等部分。

在相等部分检测步骤的处理中，可以检测由邻近像素数据组成的相等部分，所述邻近像素数据的像素数量大于或者等于相对于前景对象运动量的像素数量。

在处理单位确定步骤的处理中，通过施行一个对应于运动向量的计算，可以同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

处理单位确定步骤的处理可以包括：模型获取步骤，用于获取对应于处理单位和运动向量的模型；方程生成步骤，用于根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量和背景对象分量之间的关系式；以及计算步骤，根据生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

第二存储媒介的程序包括：输入步骤，输入具有对象区域的图像数据，该对象区域由形成对象的对象分量组成；以及运动模糊消除步骤，通过假定在由输入步骤的处理所输入的图像数据的对象区域中的像素数据部分的值基本相等，来消除出现在对象区域中的运动模糊。

在输入步骤的处理中，可以输入具有前景区域、背景区域和混合区域的图像数据，所述前景区域由形成对象的前景对象分量组成，所述背景区域由形成背景对象的背景对象分量组成，所述混合区域是前景对象分量和背景对象分量混合的区域。在运动模糊消除步骤的处理中，通过假定在输入步骤的处理所输入的图像数据的前景区域中像素数据部分的值基本相等，可以消除出现在前景区域中的运动模糊。

该存储媒介的程序还包括相等部分检测步骤，检测在图像数据的前景区域中像素数据的值基本相等的相等部分。在运动模糊消除步骤的处理中，可以根据相等部分检测步骤处理所检测的相等部分来消除出现在前景区域中运动模糊。

存储媒介的程序还可以包括：一个处理单位确定步骤，用于根据相等部分的位置确定由多个前景对象分量组成的处理单位。在运动模糊消除步骤处理中，可以消除每个处理单位的前景区域中的运动模糊。

在处理单位确定步骤的处理中，可以确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

存储媒介的程序还可以包括区域指定步骤，用于指定前景区域、背景区域或者混合区域。

在相等部分检测步骤的处理中，可以通过比较像素数据的差值与一阈值来检测相等部分。

在相等部分检测步骤的处理中，可以检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

在运动模糊消除步骤的处理中，通过施行对应于运动向量的计算，可以消除出现在前景区域中的运动模糊。

运动模糊消除步骤的处理可以包括：模型获取步骤，用于获取对应于处理单位和运动向量的模型；方程生成步骤，根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量之间的关系式；以及计算步骤，用于根据所生成的方程计算包含在处理单位内的前景对象分量。

在运动模糊消除步骤的处理中，根据区域信息和根据相等部分，可以同时执行将混合区域的像素数据分离成前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理，所述的区域信息指示由前景区域和背景区域组成的非混合区域或者指示混合区域。

存储媒介的程序还包括处理单位确定步骤，根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位。在处理执行步骤的处理中，对于每个处理单位可以同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

在处理单位确定步骤的处理中，可以确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一直线上并且不同于相等部分的像素数据。

存储媒介的程序还包括指定前景区域、背景区域或者混合区域的区域指定步骤。

在相等部分检测步骤的处理中，可以通过比较像素数据的差值与一阈值来检测相等部分。

在相等部分检测步骤的处理中，可以检测由邻近像素数据组成的相等部分，所述邻近像素数据的像素数量大于或者等于相对于前景对象运动量的像素数量。

在处理单位确定步骤的处理中，通过施行一个对应于运动向量的计算，可以同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

处理单位确定步骤的处理可以包括：模型获取步骤，用于获取对应于处理单位和运动向量的模型；方程生成步骤，用于根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量和背景对象分量之间的关系式；以及计算步骤，根据生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

本发明的第二程序允许计算机执行：输入步骤，输入具有对象区域的图像数据，该对象区域由形成对象的对象分量组成；以及运动模糊消除步骤，通过假定在由输入步骤的处理所输入的图像数据的对象区域中的像素数据部分的值基本相等，来消除出现在对象区域中的运动模糊。

在输入步骤的处理中，可以输入具有前景区域、背景区域和混合区域的图像数据，所述前景区域由形成对象的前景对象分量组成，所述背景区域由形成背景对象的背景对象分量组成，所述混合区域是前景对象分量和背景对象分量混合的区域。在运动模糊消除步骤的处理中，通过假定在输入步骤的处理所输入的图像数据的前景区域中像素数据部分的值基本相等，可以消除出现在前景区域中的运动模糊。

该程序还包括相等部分检测步骤，检测在图像数据的前景区域中像素数据的值基本相等的相等部分。在运动模糊消除步骤的处理中，可以根据相等部分检测步骤处理所检测的相等部分来消除出现在前景区域中运动模糊。

该程序还可以包括：一个处理单位确定步骤，用于根据相等部分的位置确定由多个前景对象分量组成的处理单位。在运动模糊消除步骤处理中，可以消除每个处理单位的前景区域中的运动模糊。

在处理单位确定步骤的处理中，可以确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

该程序还可以包括区域指定步骤，用于指定前景区域、背景区域或者混合区域。

在相等部分检测步骤的处理中，可以通过比较像素数据的差值与一阈值来检测相等部分。

在相等部分检测步骤的处理中，可以检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

在运动模糊消除步骤的处理中，通过施行对应于运动向量的计算，可以消除出现在前景区域中的运动模糊。

运动模糊消除步骤的处理可以包括：模型获取步骤，用于获取对应于处理单位和运动向量的模型；方程生成步骤，根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量之间的关系式；以及计算步骤，用于根据所生成的方程计算包含在处理单位内的前景对象分量。

在运动模糊消除步骤的处理中，根据区域信息和根据相等部分，可以同时执行将混合区域的像素数据分离成前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理，所述的区域信息指示由前景区域和背景区域组成的非混合区域或者指示混合区域。

该程序还可以包括处理单位确定步骤，根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位。在处理执行步骤的处理中，对于每个处理单位可以同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

在处理单位确定步骤的处理中，可以确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一直线上并且不同于相等部分的像素数据。

该程序还包括指定前景区域、背景区域或者混合区域的区域指定步骤。

在相等部分检测步骤的处理中，可以通过比较像素数据的差值与一阈值来检测相等部分。

在相等部分检测步骤的处理中，可以检测由邻近像素数据组成的相等部分，所述邻近像素数据的像素数量大于或者等于相对于前景对象运动量的像素数量。

在处理单位确定步骤的处理中，通过施行一个对应于运动向量的计算，可以同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

处理单位确定步骤的处理可以包括：模型获取步骤，用于获取对应于处理单位和运动向量的模型；方程生成步骤，用于根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量和背景对象分量之间的关系式；以及计算步骤，根据生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

本发明的第一图像捕获设备包括：图像捕获装置，用于输出由图像捕获器件捕获的对象图像，包括预定数量的像素并具有由预定量的像素数据形成的图像数据的时间积分函数；区域指定装置，用于指定由前景区域和背景区域构成的非混合区域，或者指定混合前景对象分量与背景对象分量的混合区域，这里，所述前景区域由构成图像数据的前景对象的前景对象分量组成，所述背景区域由构成图像数据的背景对象的背景对象分量组成；和处理执行装置，根据由区域指定装置通过指定区域所获得的结果，同时执行从混合区域的像素数据中分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

该图像捕获设备还包括相等部分检测装置，检测由其数值彼此基本相等的前景区域的邻近像素数据组成的相等部分。处理执行装置根据所检测的相等部分和区域指定装置通过指定区域所获得的结果，至少可以同时执行从混合区域的像素数据中分离前景对象分量和背景分量对象的处理以及从分离的前景对象分量中消除运动模糊的处理。

图像捕获装置还可以包括：处理单位确定装置，用于根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位。处理执行装置对于每个处理单位可以同时执行分离前景对象分量和背景对象分量的处理以及从分离的前景对象分量中消除运动模糊的处理。

处理单位确定装置可以确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

相等部分检测装置可以通过比较像素数据的差值与一阈值来检测相等部分。

相等部分检测装置可以检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

通过施行对应于运动向量的计算，处理执行装置可以同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

处理执行装置可以包括：模型获取装置，用于获取对应于处理单位和运动向量的模型；方程生成装置，根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量及背景对象分量之间的关系式；以及计算装置，用于根据所生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

本发明的第二图像捕获设备包括：图像捕获装置，用于输出由图像捕获器件捕获的对象图像，包括预定数量的像素并具有由预定量的像素数据形成的图像数据的时间积分函数，和具有由形成对象的对象分量组成的对象区域；以及运动模糊消除装置通过假定在图像数据的对象区域中像素数据部分的值基本相等，来消除出现在对象区域中的运动模糊。

输入装置可以输入具有前景区域、背景区域和混合区域的图像数据，所述前景区域由形成对象的前景对象分量组成，所述背景区域由形成背景对象的背景对象分量组成，所述混合区域是前景对象分量和背景对象分量混合的区域。通过假定在输入装置所输入的图像数据的前景区域中像素数据部分的值基本相等，运动模糊消除装置可以消除出现在前景区域中的运动模糊。

该图像捕获设备还包括相等部分检测装置，检测在图像数据的前景区域中像素数据的值基本相等的相等部分。运动模糊消除装置可以根据相等部分检测装置所检测的相等部分来消除出现在前景区域中运动模糊。

图像捕获装置还可以包括：处理单位确定装置，用于根据相等部分的位置确定由多个前景对象分量组成的处理单位。运动模糊消除装置可以消除每个处理单位的前景区域中的运动模糊。

处理单位确定装置可以确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

图像捕获设备还可以包括一个区域指定装置，用于指定前景区域、背景区域或者混合区域。

相等部分检测装置可以通过比较像素数据的差值与一阈值来检测相等部分。

相等部分检测装置可以检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

通过施行对应于运动向量的计算，运动模糊消除装置可以消除出现在前景区域中的运动模糊。

运动模糊消除装置可以包括：模型获取装置，用于获取对应于处理单位和运动向量的模型；方程生成装置，根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量之间的关系式；以及计算装置，用于根据所生成的方程计算包含在处理单位内的前景对象分量。

运动模糊消除装置根据区域信息和根据相等部分，可以同时执行将混合区域的像素数据分离成前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理，所述的区域信息指示由前景区域和背景区域组成的非混合区域或者指示混合区域。

图像捕获设备还包括处理单位确定装置，根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位。处理执行装置对于每个处理单位可以同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

处理单位确定装置可以确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一直线上并且不同于相等部分的像素数据。

图像捕获设备还包括指定前景区域、背景区域或者混合区域的区域指定装置

相等部分检测装置通过比较像素数据的差值与阈值可以检测相等部分。

相等部分检测装置可以检测由邻近像素数据组成的相等部分，所述邻近像素数据的像素数量大于或者等于相对于前景对象运动量的像素数量。

处理单位确定装置通过施行一个对应于运动向量的计算，可以同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

处理单位确定装置可以包括：模型获取装置，用于获取对应于处理单位和运动向量的模型；方程生成装置，用于根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量和背景对象分量之间的关系式；以及计算装置，根据生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

附图说明

图1是图示说明本发明的信号处理设备的一个实施例配置的方框图；

图2是图示信号处理设备的方框图；

图3图示说明了由一个传感器执行的图像捕获；

图4图示说明了像素的安排；

图5图示说明了检测装置的操作；

图6A图示说明了通过图像捕获对应于运动前景的对象和对应于静止背景的对象而获得的一个图像；

图6B图示说明了通过在时间方向上扩展对应于图像的一条直线上像素值而获得的一个图像的模型；

图7图示说明了一个背景区域、一个前景区域、一个混合区域、一个覆盖的背景区域和一个未覆盖的背景区域；

图8图示说明了通过在时间方向上扩展一个图像的并排排列的诸多像素的像素值而获得的一个模型，其中，所述图像是通过图像捕获对应于静止前景的一个对象和对应于静止背景的一个对象获得的；

图9图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；

图10图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；

图11图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；

图12图示说明了提取前景区域、背景区域和混合区域中的像素的一个实例；

图13图示说明了诸多像素与通过在时间方向扩展像素值而获得的模型之间的关系；

图14图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；

图15图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；

图16图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；

图17图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；

图18图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；

图19是说明调整运动模糊量的处理的流程图；

图20是说明区域指定单元103的配置的一个实例的方框图；

图21图示说明了当对应于前景的一个对象正在运动时的一个图像；

图22图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；

图23图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；

图24图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；

图25图示说明了确定区域的条件；

图26A图示说明了通过区域指定单元103指定区域而获得的结果的一个实例；

图26B图示说明了通过区域指定单元103指定区域而获得的结果的一个实例；

图26C图示说明了通过区域指定单元103指定区域而获得的结果的一个实例；

图26D图示说明了通过区域指定单元103指定区域而获得的结果的一个实例；

图27图示说明了通过区域指定单元103指定区域而获得的结果的一个实例；

图28是说明区域指定处理的流程图；

图29是说明区域指定单元103的另一配置的方框图；

图30图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；

图31图示说明了背景图像的一个实例；

图32是说明二进制对象图像提取部分302的配置的方框图；

图33A图示说明了相关值的计算；

图33B图示说明了相关值的计算；

图34A图示说明了相关值的计算；

图34B图示说明了相关值的计算；

图35图示说明了二进制对象图像的一个实例；

图36是说明时间变化检测器303的配置的方框图；

图37图示说明了由区域确定部分342作出的确定；

图38图示说明了由时间变化检测器303作出的确定的一个实例；

图39是说明由区域指定单元103执行的区域指定处理的流程图；

图40是说明区域指定处理的细节的流程图；

图41是说明区域指定单元103的再一个配置的方框图；

图42是说明加强处理部分361的配置的方框图；

图43图示说明了由一个运动补偿器381执行的运动补偿；

图44图示说明了由一个运动补偿器381执行的运动补偿；

图45是说明区域指定处理的流程图；

图46是说明加强处理的细节的流程图；

图47是说明混合比计算器104的配置的实例的方框图；

图48图示说明了理想混合比α的一个实例；

图49图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；

图50图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；

图51图示说明了使用前景分量的相关的近似；

图52图示说明了C、N和P之中的关系；

图53是说明估算混合比处理器401的配置的方框图；

图54是说明了估算混合比的实例；

图55是说明混合比计算器104另一配置的方框图；

图56是说明计算混合比的处理的流程图；

图57是说明计算估算混合比的处理的流程图；

图58图示说明了逼近混合比α的直线；

图59图示说明了逼近混合比α的一个平面；

图60图示说明了当计算混合比α时多个帧中诸多像素的关系；

图61是说明混合比估算处理器401的另一个配置的方框图；

图62图示说明了估算混合比的一个例子；

图63是说明计算混合比计算处理的流程图；

图64是说明通过使用对应于覆盖的背景区域的模型估算混合比的处理的流程图；

图65是说明背景/前景分离器105的配置的一个实例的方框图；

图66A图示说明了一个输入图像、一个前景分量图像和一个背景分量图像；

图66B图示说明了通过在时间方向上扩展一条直线上的像素所获得的模型；

图67图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；

图68图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；

图69图示说明了在时间方向上扩展像素值以及分割对应于快门时间的周期的一个模型；

图70是说明分离部分601的配置的一个实例的方框图；

图71A图示说明了一个已分离前景分量图像的一个实例；

图71B图示说明了一个已分离背景分量图像的一个实例；

图72是图示说明分离一个前景和一个背景的处理的流程图；

图73是说明运动模糊调整单元106的配置的一个实例的方框图；

图74是说明运动模糊消除单元108的配置的一个实例的方框图；

图75图示说明了在时间方向上扩展像素值并且分割对应于快门时间的周期的一个模型；

图76图示说明了在时间方向上扩展像素值并且分割对应于快门时间的周期的一个模型；

图77图示说明了在时间方向上扩展像素值并且分割对应于快门时间的周期的一个模型；

图78图示说明了消除运动模糊的像素的一个实例；

图79图示说明了消除运动模糊的像素的一个实例；

图80图示说明了增加运动模糊的像素的一个实例；

图81图示说明了调整背景分量的处理；

图82图示说明了通过捕获静止黑色四边形块而获得的图像；

图83图示说明了通过捕获运动黑色四边形块而获得的图像；

图84图示说明了由运动模糊调整单元执行处理而获得的结果的一个实例；

图85是说明调整运动模糊量的处理的流程图；

图86是说明消除前景分量图像的运动模糊的处理的流程图；

图87是说明信号处理设备的功能的另一配置的方框图；

图88图示说明了合成器1001的配置；

图89是说明信号处理设备的功能的另一配置的方框图；

图90是说明混合比计算器1101的配置的方框图；

图91是说明前景/背景分离器1102的配置的方框图；

图92是说明信号处理设备功能的再一配置的方框图；

图93图示说明了合成器1201的配置；

图94是说明信号处理设备再一配置的方框图；

图95是说明分离/模糊消除单元1503的配置的方框图；

图96图示说明了处理单位和对应于处理单位的一个模型；

图97图示说明了处理单位和对应于处理单位的一个模型；

图98图示说明了处理单位和对应于处理单位的一个模型；

图99图示说明了处理单位和对应于处理单位的一个模型；

图100图示说明了像素值的计算；

图101图示说明了输入图像的一个实例；

图102图示说明了处理结果的一个实例；

图103是说明消除运动模糊的处理的流程图；

图104是说明同时处理分离前景和背景以及消除运动模糊的流程图

图105是说明信号处理设备的再一配置的方框图；

图106是说明运动模糊消除单元106的配置的方框图；

图107图示说明了供应给方程生成器1622的一个模型；

图108图示说明了供应给方程生成器1622的一个模型；

图109图示说明了像素值的计算；

图110是说明消除运动模糊的处理的流程图；

图111是说明消除前景分量图像的运动模糊的处理的流程图。

具体实施方式

图1是说明本发明的信号处理设备一个实施例的配置的方框图。CPU(中央处理单元)21根据存储在ROM(只读存储器)22或者存储单元28中的程序执行各种处理。CPU 21执行的程序以及数据按照需要被存储在RAM(随机存取存储器)23中。CPU 21、ROM 22和RAM 23通过总线24彼此连接。

输入/输出接口25还经由总线24连接CPU 21。由摄像机键盘、鼠标、麦克风等构成的输入单元26和由显示器、扬声器等构成的输出单元27连接输入/输出接口25。CPU 21响应从输入单元26输入的命令执行各种处理。CPU21随后输出作为对输出单元27处理的结果而获得的图像或者声音。

连接输入/输出接口25的存储单元28由(例如)一个硬盘构成，并且存储由CPU 21执行的程序和各种数据。通信单元29经由互联网或者其它网络与外部装置通信。在该实例中，通信单元29用作一个获取传感器输出的获取单元。

作为选择，程序可以经由通信单元29获得，并存储到存储单元28中。

当磁盘51、光盘52、磁光盘53、半导体存储器54或者类似物连接到输入/输出接口25的驱动器30时，驱动器30驱动这些存储媒介，并获得相应媒介上的程序和数据。驱动器30获得存储在对应的媒体重的程序或者数据。如果需要，则将获得的程序或者数据传递给存储单元28并存储在其中。

下面通过一个更具体的实例对信号处理设备进行说明，该信号设备指定一个在其中插入有效信息的区域，或者提取插入的有效信息，该有效信息来自传感器获得的数据。在随后的实例中，CCD行传感器或者CCD区域传感器相当于该传感器，区域信息或者混合比相当于有效信息，混合区域中的前景和背景的混合相当于运动模糊或者失真。

图2是说明信号处理设备的方框图。

在这里，信号处理设备的各个功能是由硬件还是由软件实施并不重要。也就是本说明书的方框图可以是硬件方框图或者软件功能方框图。

运动模糊是对应于运动对象的一个图像中含有的失真，该运动对象由现实捕获的对象的运动和传感器的图像捕获特征造成的。

在该说明书中，对应于现实对象的要捕获的图像被称作图像对象。

供应给信号处理设备的输入图像被提供给对象提取单元101、区域指定单元103、混合比计算器104和前景/背景分离器105。

对象提取单元101提取对应于包含在输入图像中的前景对象的粗图像对象，并把提取的图像对象供应给运动检测器102。对象提取单元101例如检测包含在输入图像中的前景图像的轮廓，以便提取对应于前景对象的粗图像对象。

对象提取单元101提取对应于包含在输入图像中的背景对象的粗图像对象，并且把提取的图像对象供应给运动检测器102。对象提取单元101依据例如输入图像与对应于前景对象的已提取图像对象之间的差异提取对应于背景对象的粗图像对象。

作为选择，例如，对象提取单元101可以依据内置背景存储器中存储的背景图像与输入图像之间的差异提取对应于前景对象的粗图像对象和对应于背景对象的粗图像对象。

运动检测器102根据诸如块匹配、梯度、相位相关的技术，或者像素递归技术计算对应于前景对象的粗提取的图像对象的运动向量，并且把所计算的运动向量和运动向量位置信息(是用于指定对应于运动向量的像素的位置的信息)供应给区域指定单元103和运动模糊提取单元106。

运动检测器102输出的运动向量包含对应于运动量v的信息。

运动检测器102可以将每个图像对象的运动向量与指定图像对象的像素的像素位置信息一同输出给运动模糊调整单元106。

运动量v是以像素间距单位指示在对应于运动对象的图像中的位置变化的值。例如，如果对应于前景的对象图像正在运动，使该对象图像位于后续帧时被显示为在一个位置上有四个像素远离基准帧，则对应于前景的对象图像的运动量v是4。

当调整对应于运动对象的运动模糊量时，需要对象提取单元101和运动检测器102。

区域指定单元103确定输入图像的每个像素属于前景区域、背景区域或者混合区域的哪一个，并且把指示每个像素属于哪个区域的信息(以下称之为“区域信息”)供应给混合比计算器104、前景/背景分离器105以及运动模糊调整单元106。

混合比计算器104根据输入图像、从运动检测器102供应的运动向量及其位置信息以及从区域指定单元103供应的区域信息，计算对应于混合区域63中含有的像素的混合比(以下称之为“混合比α”)，并且将混合比α供应给前景/背景分离器105。

混合比α是指示对应于背景对象的图像分量(以下称之为“背景分量”)与如下所示方程(3)所表示的像素值的比值的一个值。

前景/背景分离器105根据从区域指定单元103供应的区域信息和从混合比计算器104供应的混合比α，将输入图像分离成一个仅仅由对应于前景对象的图像分量构成的前景分量图像(以下称之为“前景分量”)和一个仅仅由背景分量构成的一个背景分量图像，并且将前景分量图像供应给运动模糊调整单元106和选择器107。已分离的前景分量图像可以被设置为最终输出。与仅仅指定一个前景和一个背景而不考虑混合区域的已知方法比较，本发明可以获得更精确的前景和背景。

运动模糊调整单元106根据从运动向量获得的运动量v并根据区域信息，确定指示包含在前景分量图像中的至少一个像素的处理单位。该处理单位是数据，用于指定一组将要处于运动模糊调整的像素。

根据输入到信号处理设备中的运动模糊将被调整的量、从前景/背景分离器105供应的前景分量图像、从运动检测器102供应的运动向量及其位置信息以及处理单位，运动模糊调整单元106通过消除、减少或者增加包含在前景分量图像中的运动模糊来调整包含在前景分量图像中的运动模糊量。运动模糊调整单元106随后向选择器107输出调整了运动模糊量的前景分量图像。但是，使用运动向量及其位置信息并不是必需的。

选择器107根据例如反映用户选择的选择信号，选择从前景/背景分离器105供应的前景分量图像和从运动模糊调整单元106供应的调整了运动模糊量的前景分量图像之一，并且输出所选择的前景分量图像。

下面参考图3至图18讨论供应给信号处理设备的输入图像。

图3图示说明了由传感器执行的图像捕获。传感器由例如装备了CCD(电荷耦合器件)区域传感器的一个CCD摄像机构成，它是一个固态成像器件。对应于现实前景的对象111(例如)在对应于背景的对象112与传感器之间水平地从左向右运动。

传感器捕获对应于前景的对象111的图像和对应于背景的对象112的图像。传感器按帧的单位输出已捕获的图像。例如，传感器输出具有每秒30帧的一个图像。传感器的曝光时间可以是1/30秒。曝光时间是传感器开始把输入光转换成电荷时直至完成从输入光转换成电荷时的一个周期。曝光时间还被称之为“快门时间”。

图4图示说明了像素的安排。在图4中，A至I指示各个像素。这些像素被布置在对应的图像的平面上。对应于每个像素的一个检测装置被设置在传感器上。当传感器执行图像捕获时，每个检测装置输出形成图像的对应像素的像素值。例如，X方向的检测装置的位置对应于图像的水平方向，而Y方向的检测装置的位置对应于图像的垂直方向。

如图5所示，检测装置(例如是一个CCD)在对应于快门时间的一个期间把输入光转换成电荷，并且存储已变换的电荷。电荷量几乎与输入光的光强以及输入该光的周期成比例。在对应于快门时间的周期期间检测装置顺序地把从输入光转换的电荷添加到已存储的电荷上。也就是，检测装置在对应于快门时间的期间积分输入光，并且存储对应于被积分光的光量的电荷。可以认为检测装置具有关于时间的积分功能。

检测装置中存储的电荷由电路(未示出)转换成电压值，该电压值被进一步转换成像素值，比如数字数据，然后输出。因此，传感器输出的每个像素值是一个投射到线性空间上的值，它是关于快门时间积分对应于前景或者背景的对象的某一三维部分的结果。

信号处理设备通过传感器的存储操作提取插入到输出信号中的有效信息，例如混合比α。信号处理设备调整失真量，例如调整由于前景图像对象本身的混合造成的运动模糊量。信号处理设备还调整由于前景图像对象和背景图像对象的混合造成的失真量。

图6A是说明通过捕获对应于前景的一个运动对象111和对应于背景的静止对象112而获得的图像。在图6A所示的实例中，对应于前景的对象正在从屏幕左端水平地移动到屏幕右端。

图6B图示说明了通过在时间方向扩展对应于图6A中所示一行图像的像素值而获得的模型。图6B所示的水平方向对应于图6A中的空间方向X。

背景区域中像素的值仅仅由背景分量构成，也就是由对应于背景对象的图像分量构成。前景区域中像素的值仅仅由前景分量构成，也就是由对应于前景对象的图像分量构成。

混合区域的像素的值由背景分量和前景分量构成。由于混合区域中像素的值由背景分量和前景分量构成，因此它被称之为“失真区域”。混合区域还被进一步分成覆盖的背景区域和未覆盖的背景区域。

覆盖的背景区域是对应于前景对象正在运动的方向上的前端的位置上的混合区域，其中背景分量随时间流逝而被前景逐渐覆盖的。

相反，未覆盖的背景区域是对应于前景对象正在运动方向上的尾端的混合区域，其中背景分量随时间流逝而逐渐出现。

按照以上讨论，包含前景区域、背景区域、或者覆盖的背景区域或者未覆盖的背景区域的图像作为输入图像输入到区域指定单元103、混合比计算单元104和前景/背景分离器105。

图7图示说明了以上讨论的背景区域、前景区域、混合区域、覆盖的背景区域和未覆盖的背景区域。在对应于图6A所示的图像的区域中，背景区域是静止部分，前景区域是运动部分，混合区域的覆盖的背景区域是从背景区域到前景区域变化的部分，混合区域的未覆盖的背景区域是从前景到背景变化的部分。

图8图示说明了通过在时间方向上扩展图像的并排排列的诸多像素的像素值而获得的一个模型，其中，所述图像是通过捕获对应于静止前景的对象图像和对应于静止背景的对象图像获得的。例如，可以把屏幕上一行中排列的像素选作并排排列的像素。

图8所示的F01至F04所指的像素值是对应于静止前景对象的像素值。图8所示的B01至B04所指的像素值是对应于静止背景对象的像素值。

时间以图8的垂直方向从图8的顶部流逝到底部。图8中矩形的顶端上的位置对应于传感器开始把输入光变换成电荷的时间，图8中矩形的底端上的位置对应于传感器完成从输入光变换成电荷的时间。也就是，从图8中矩形的顶端至底端的距离对应于快门时间。

下面说明图8所示的像素，假定例如快门时间等于帧长。

图8的水平方向对应于图6中空间方向X。更具体说，在图8所示的实例中，从图8的“F01”指示的矩形的左端到“B04”指示的矩形的右端是像素间距的八倍，即，八个连续像素。

当前景对象和背景对象都是静止的时，进入传感器的光输入在对应于快门时间的周期期间不变化。

对应于快门时间的时段被分成两个和多个相等时段的部分。例如，如果虚拟分割部分的数量是4，则图8所示的模型可以由图11所示的模型代表。可以在快门时间内根据对应于前景的对象的运动量v设置虚拟分割部分的数量。例如，当运动量v是4时，虚拟分割部分的数量被设置为4，并且把对应于快门时间的时段分成四个部分。

图11的最上行对应于快门打开时的第一分割时段。图11的第二行对应于快门打开时的第二分割时段。图11的第三行对应于快门打开时的第三分割时段。图11的第四行对应于快门打开时的第四分割时段。

根据运动量v分割的快门时间在下文中还被称之为“快门时间/v”。

当对应于前景的对象是静止的，进入传感器的光输入不变化，因而前景分量F01/v等于通过用虚拟分割部分数目除像素值F01获得的值。同样，当对应于前景的对象是静止的时，前景分量F02/v等于通过用虚拟分割部分数目除像素值F02获得的值，前景分量F03/v等于通过用虚拟分割部分数目除像素值F03获得的值，前景分量F04/v等于通过用虚拟分割部分数目除像素值F04获得的值。

当对应于背景的对象是静止的时，进入传感器的光输入不变化，因而背景分量B01/v等于通过用虚拟分割部分数目除像素值B01获得的值。同样，当对应于背景的对象是静止的时，背景分量B02/v等于通过用虚拟分割部分数目除像素值B02获得的值，背景分量B03/v等于通过用虚拟分割部分数目除像素值B03获得的值，背景分量B04/v等于通过用虚拟分割部分数目除像素值B04获得的值。

更具体说，当对应于前景的对象是静止不动时，对应于进入传感器的前景对象的光输入在对应于快门时间的周期期间不变化。所以，对应于快门打开时快门时间/v的第一部分的前景分量F01/v、对应于快门打开时快门时间/v的第二部分的前景分量F01/v、对应于快门打开时快门时间/v的第三部分的前景分量F01/v、对应于快门打开时快门时间/v的第四部分的前景分量F01/v成为相同的值。如F01/v的情况，它同样适用于F02/v至F04/v。

当对应于背景的对象静止不动时，对应于进入传感器的背景对象输入的光在对应于快门时间的时段期间不变化。所以，对应于快门打开时快门时间/v的第一部分的背景分量B01/v、对应于快门打开时快门时间/v的第二部分的背景分量B01/v、对应于快门打开时快门时间/v的第三部分的背景分量F01/v、对应于快门打开时快门时间/v的第四部分的背景分量F01/v成为相同的值。上述情况同样适用于B02/v至B04/v。

这里给出了这样一种情况的说明：对应于前景的对象正在运动，而对应于背景的对象静止不动。

图10图示说明了当对应于前景的对象正在向图10的右端运动时，通过在时间方向对包括一个覆盖的背景区域的一行中像素的像素值进行扩展而获得的一个模型。在图10中，运动量v是4。由于一帧是一个短时段，因此可以假定对应于前景的对象是一个以恒等速度运动的刚体。在图10中，对应于前景的对象图像正在运动，这样当在后续帧显示它时，它被定位为四个像素到基准帧的右边。

在图10中，从最左边像素到第四像素的像素属于前景区域。在图10中，从左数第五像素到第七像素的像素属于混合区域，即，覆盖的背景区域。在图10中，最右边像素属于背景区域。

对应于前景的对象正在运动，使它随时间变化逐渐覆盖的对应于背景的对象。因此，属于覆盖的背景区域的这些像素的像素值中含有的分量在对应于快门时间的时段期间的某一时刻从背景分量变化到前景分量。

例如，由图10中粗体帧包围的像素值M由以下方程(1)表示。

M＝B02/v+B02/v+F07/v+F06/v          (1)

例如，左数第五像素包含一个对应于快门时间/v的一个部分的背景分量和对应于快门时间/v的三个部分的前景分量，因而左数第五像素的混合比α是1/4。左数第六像素包含对应于快门时间/v的两个部分的背景分量和对应于快门时间/v的两个部分的前景分量，因此，左数第六像素的混合比α是1/2。左数第七像素包含对应于快门时间/v的三个部分的背景分量和对应于快门时间/v的一个部分的前景分量，因此，左数第七像素的混合比α是3/4。

可以假定对应于前景的对象是刚体，该前景对象正在以恒等速度运动，使它被显示为四个像素到后续帧的右边。因此，例如，当快门打开时对应于快门时间/v的第一部分的图10从左数第四像素的前景分量F07/v等于当快门打开时对应于快门时间/v的第二部分的图10从左数第五像素的前景分量。同样，前景分量F07/v等于当快门打开时对应于快门时间/v的第三部分的图10从左数第六像素的前景分量，以及等于当快门打开时对应于快门时间/v的第四部分的图10从左数第七像素的前景分量。

可以假定对应于前景的对象是刚体，该前景对象正在以恒等速度运动，使它被显示为四个像素到后续帧的右边。因此，例如，当快门打开时对应于快门时间/v的第一部分的图10从左数第三像素的前景分量F06/v等于当快门打开时对应于快门时间/v的第二部分的图10从左数第四像素的前景分量。同样，前景分量F06/v等于当快门打开时对应于快门时间/v的第三部分的图10从左数第五像素的前景分量，以及等于当快门打开时对应于快门时间/v的第四部分的图10从左数第六像素的前景分量。

可以假定对应于前景的对象是刚体，该前景对象正在以恒等速度运动，使它被显示为四个像素到后续帧的右边。因此，例如，当快门打开时对应于快门时间/v的第一部分的图10从左数第二像素的前景分量F05/v等于当快门打开时对应于快门时间/v的第二部分的图10从左数第三像素的前景分量。同样，前景分量F05/v等于当快门打开时对应于快门时间/v的第三部分的图10从左数第四像素的前景分量，以及等于当快门打开时对应于快门时间/v的第四部分的图10从左数第五像素的前景分量。

可以假定对应于前景的对象是刚体，该前景对象正在以恒等速度运动，使它被显示为四个像素到后续帧的右边。因此，例如，当快门打开时对应于快门时间/v的第一部分的图10最左边像素的前景分量F04/v等于当快门打开时对应于快门时间/v的第二部分的图10从左数第二像素的前景分量。同样，前景分量F04/v等于当快门打开时对应于快门时间/v的第三部分的图10从左数第三像素的前景分量，以及等于当快门打开时对应于快门时间/v的第四部分的图10从左数第四像素的前景分量。

由于对应于运动对象的前景区域包含如上述讨论的运动模糊，因此它还可以称之为“失真区域”。

图11图示说明了当对应于前景的对象正在向图11的右端运动时，通过在时间方向对包括一个未覆盖的背景区域的一行中像素的像素值进行扩展而获得的一个模型。在图11中，运动量v是4。由于一帧是一个短时段，因此可以假定对应于前景的对象是一个以恒等速度运动的刚体。在图11中，对应于前景的对象图像正在运动到右边，这样当在后续帧显示它时，它被定位为四个像素到基准帧的右边。

在图11中，从最左边像素到第四像素的诸多像素属于背景区域。在图11中，从左数第五像素到第七像素的像素属于混合区域，即，未覆盖的背景区域。在图11中，最右边像素属于前景区域。

对应于前景的对象正在运动，使它随时间变化逐渐从对应于背景的对象中移出，其中，所述前景覆盖的对应于背景的对象。因此，属于未覆盖的背景区域的这些像素的像素值中含有的分量在对应于快门时间的时段的某一时刻从前景分量变化到背景分量。

例如，由图11中粗体框包围的像素值M由以下方程(2)表示。

M′＝F02/v+F01/v+B26/v+B26/v    (2)

例如，左数第五像素包含对应于快门时间/v的三个部分的背景分量和对应于快门时间/v的一个快门部分的前景分量，因而左数第五像素的混合比α是3/4。左数第六像素包含对应于快门时间/v的两个部分的背景分量和对应于快门时间/v的两个部分的前景分量，因此，左数第六像素的混合比α是1/2。左数第七像素包含对应于快门时间/v的一个部分的背景分量和对应于快门时间/v的三个部分的前景分量，因此，左数第七像素的混合比α是1/4。

当归纳方程(1)和(2)时，像素值M可以由方程(3)表达：

$M=\mathrm{\α}\·B+\underset{i}{\mathrm{\Σ}}\mathrm{Fi}/v---\left(3\right)$

其中α是混合比，B指示背景的像素值，以及Fi/v指定前景分量。

可以假定对应于前景的对象是正在以恒等速度运动的刚体，并且运动量是4。因此，例如，当快门打开时对应于快门时间/v的第一部分的图11从左数第五像素的前景分量F01/v等于当快门打开时对应于快门时间/v的第二部分的图11从左数第六像素的前景分量。同样，前景分量F01/v等于当快门打开时对应于快门时间/v的第三部分的图11从左数第七像素的前景分量，以及等于当快门打开时对应于快门时间/v的第四部分的图11从左数第八像素的前景分量。

可以假定对应于前景的对象是正在以恒等速度运动的刚体，并且运动量v是4。因此，例如，当快门打开时对应于快门时间/v的第一部分的图11从左数第六像素的前景分量F02/v等于当快门打开时对应于快门时间/v的第二部分的图11从左数第七像素的前景分量。同样，前景分量F02/v等于当快门打开时对应于快门时间/v的第三部分的图11从左数第八像素的前景分量。

可以假定对应于前景的对象是正在以恒等速度运动的刚体，并且运动量v是4。因此，例如，当快门打开时对应于快门时间/v第一部分的图11从左数第七像素的前景分量F03/v等于当快门打开时对应于快门时间/v的第二部分的图11从左数第八像素的前景分量。

上面已经结合图9至图11说明了虚拟分割部分的数量是4的情况。虚拟分割部分的数量相当于运动量v。通常，运动量v相当于对应于前景的对象的运动速度。例如，如果对应于前景的对象正在运动，使它被显示为当它定位于后续帧时四个像素到达某一帧的右边，则运动量v被设置为4。根据该运动量v，将虚拟分割部分的数量设置为4。同样，当对应于前景的对象正在运动，使它被显示为当它定位于后续帧时六个像素到达某一帧的右边，运动量v被设置为6，并且将虚拟分割部分的数量设置为6。

图12和图13图示说明了关于与快门时间的分割周期对应的前景分量和背景分量与前景区域、背景区域和混合区域的关系，该混合区域由以上讨论的覆盖的背景或者未覆盖的背景组成。

图12图示说明了从图像中提取前景区域、背景区域和混合区域中的像素的一个实例，所述图像包含对应于在静止背景的前方运动的对象的前景。在图12的实例中，对应于前景的对象正在相对于屏幕水平运动。

帧#n+1是帧#n之后的帧，#n+2是帧#n+1之后的帧。

前景区域、背景区域和混合区域中的像素从帧#n至#n+2之一中提取，并且运动量v被设置为4。图13显示了通过在时间方向扩展所提取的像素的像素值而获得的一个模型。

由于对应于前景的对象正在运动，因此前景区域中的像素值由对应于快门时间/v的四个不同前景分量构成。例如，图13所示的前景区域中像素的最左边像素由F01/v、F02/v、F03/v和F04/v组成。也就是，前景中的像素包含运动模糊。

由于对应于背景的对象是静止的，在快门时间期间进入对应于背景的传感器的光输入不改变。在该情况下，背景区域中的像素值不包含运动模糊。

由一个覆盖的背景区域或者一个未覆盖的背景区域组成的混合区域中的像素值由前景分量和背景分量构成。

下面给出了通过在时间方向扩展诸多像素的像素值而获得的一个模型的说明，所述的诸多像素在多个帧中被并排排列，并且当对应于对象的图像正在运动而导致这些帧重叠的时候这些像素位于同一位置。例如，当对应于对象的图像正在相对于屏幕水平运动时，排列在屏幕上的像素可以被选择为并排排列的像素。

图14图示说明了通过在时间方向扩展诸多像素而获得的一个模型，所述诸多像素被并排排列在通过捕获对应于静止背景的一个对象而获得的图像的三个帧中，并且当这些帧重叠时这些像素位于同一位置上。帧#n是帧#n-1之后的帧，帧#n+1是帧#n之后的帧。上述说明适用于其它帧。

图14中所示像素值B01至B12是对应于静止背景对象的像素值。由于对应于背景的对象静止不动，因此帧#n-1至#n+1中对应像素的像素值不改变。例如，帧#n的像素和位于具有帧#n-1中像素值B05的像素的对应位置的#n+1中的像素具有像素值B05。

图15图示说明了通过在时间方向扩展诸多像素而获得的一个模型，所述诸多像素被并排排列在通过捕获与一个正在向图15的右边运动的前景相对应的一个对象和对应于静止背景的一个对象而获得的一个图像的三个帧中，并且当这些帧重叠时这些像素位于同一位置上。图15所示的模型包含一个覆盖的背景区域。

在图15中，可以假定对应于前景的对象是一个以恒等速度运动的刚体，并且正在运动，使它被显示为四个像素到达后续帧的右边。所以运动量v是4，并且虚拟分割部分的数量是4。

例如，当快门打开时对应于快门时间/v的第一部分的图15中帧#n-1的最左边像素的前景分量是F12/v，并且当快门打开时对应于快门时间/v的第二部分的图15中从左数第二像素的前景分量也是F12/v。当快门打开时对应于快门时间/v的第三部分的图15中从左数第三像素的前景分量和当快门打开时对应于快门时间/v的第四部分的图15中从左数第四像素的前景分量也是F12/v。

当快门打开时对应于快门时间/v的第二部分的图15中帧#n-1的最左边像素的前景分量是F11/v。当快门打开时对应于快门时间/v的第三部分的图15中从左数第二像素的前景分量也是F11/v。当快门打开时对应于快门时间/v的第四部分的图15中从左数第三像素的前景分量是F11/v。

当快门打开时对应于快门时间/v的第三部分的图15中帧#n-1的最左边像素的前景分量是F10/v。当快门打开时对应于快门时间/v的第四部分的图15中从左数第二像素的前景分量也是F10/v。当快门打开时对应于快门时间/v的第四部分的图15中帧#n-1的最左像素的前景分量是F09/v。

由于对应于背景的对象是静止的，因此当快门打开时对应于快门时间/v的第一部分的图15中帧#n-1的从左数第二像素的背景分量是B01/v。当快门打开时对应于快门时间/v的第一和第二部分的图15中帧#n-1的从左数第三像素的背景分量是B02/v。当快门打开时对应于快门时间/v的第一至第三部分的图15中帧#n-1的从左数第四像素的背景分量是B03/v。

在图15的帧#n-1中，最左端像素属于背景区域，以及左数第二至第四像素属于是覆盖的背景区域的混合区域。

从图15中帧#n-1左数第五至第十二像素属于背景区域，其像素值分别是B04至B11。

从图15中帧#n左数第一至五像素属于前景区域。帧#n的前景区域中快门时间/v中前景分量是F05/v至F12/v的任何一个。

可以假定对应于前景的对象是以恒等速度运动的刚体，并且正在运动，使前景图像被显示为四个像素到后续帧右边。所以，当快门打开时对应于快门时间/v的第一部分的图15中帧#n左数第五像素的前景分量是F12/v，并且当快门打开时对应于快门时间/v的第二部分的图15中左数第六像素的前景分量也是F12/v。当快门打开时对应于快门时间/v的第三部分的图15中左数第七像素的前景分量，以及当快门打开时对应于快门时间/v的第四部分的图15中左数第八像素的前景分量也是F12/v。

当快门打开时对应于快门时间/v的第二部分的图15中帧#n左数第五像素的前景分量是F11/v。当快门打开时对应于快门时间/v的第三部分的图15中左数第六像素的前景分量也是F11/v。当快门打开时对应于快门时间/v的第四部分的图15中左数第七像素的前景分量是F11/v。

当快门打开时对应于快门时间/v的第三部分的图15中帧#n左数第五像素的前景分量是F10/v。当快门打开时对应于快门时间/v的第四部分的图15中左数第六像素的前景分量也是F10/v。当快门打开时对应于快门时间/v的第四部分的图15中帧#n左数第五像素的前景分量是F09/v。

由于对应于背景的对象是静止的，因此当快门打开时对应于快门时间/v的第一部分的图15中帧#n左数第六像素的背景分量是B05/v。当快门打开时对应于快门时间/v的第一和第二部分的图15中帧#n左数第七像素的背景分量是B06/v。当快门打开时对应于快门时间/v的第一至第三部分的图15中帧#n左数第八像素的背景分量是B07/v。

在图15中的帧#n中，左数第六至第八像素属于混合区域，即属于覆盖的背景区域。

图15中帧#n左数第九至第十二像素属于背景区域，并且其像素值分别是B08至B11。

图15中帧#n+1左数第一至第九像素属于前景区域，帧#n+1的前景区域中的快门时间/v的前景分量是F01/v至F12/v的任一个。

可以假定对应于前景的对象是以恒等速度运动的刚体，并且正在运动，使前景图像被显示为四个像素到达后续帧的右边。所以，当快门打开时对应于快门时间/v的第一部分的图15中帧#n+1左数第九像素的前景分量是F12/v。当快门打开时对应于快门时间/v的第二部分的图15左数第十像素的前景分量是F12/v。当快门打开时对应于快门时间/v的第三部分的图15左数第十一像素的前景分量和当快门打开时对应于快门时间/v的第四部分的图15左数第十二像素的前景分量是F12/v。

当快门打开时对应于快门时间/v的第二部分的图15帧#n+1左数第九像素的前景分量是F11/v。当快门打开时对应于快门时间/v的第三部分的图15左数第十像素的前景分量是F11/v。当快门打开时对应于快门时间/v的第四部分的图15左数第十一像素的前景分量是F11/v。

当快门打开时对应于快门时间/v的第三部分的图15中帧#n+1左数第九像素的前景分量是F10/v。当快门打开时对应于快门时间/v的第四部分的图15左数第十像素的前景分量也是F10/v。当快门打开时对应于快门时间/v的第四部分的图15帧#n+1左数第九像素的前景分量是F09/v。

由于对应于背景的对象是静止的，因此当快门打开时对应于快门时间/v的第一部分的图15左数第十像素的背景分量是B09/v。当快门打开时对应于快门时间/v的第一和第二部分的图15中帧#n+1左数第十一像素的背景分量是B10/v。当快门打开时对应于快门时间/v的第一和第三部分的图15中帧#n+1左数第十二像素的背景分量是B11/v。

在图15中的帧#n+1中，左数第十至第十二像素属于混合区域，它是覆盖的背景区域。

图16是从图15所示的像素中提取前景分量而获得的像素的一个模型。

图17图示说明了通过在时间方向上扩展诸多像素而获得的一个模型，这些像素在一个图像的三个帧中并排排列，并且当这些帧重叠时位于相同位置上，所述的一个图像是通过捕获对应于正在向图17右边运动的一个前景的对象和对应于静止背景的对象而获得的。图17所示的模型包含一个未覆盖的背景区域。

在图17中，可以假定对应于前景的对象是一个以恒等速度运动的刚体，并且正在运动，使它被显示为四个像素到后续帧的右边。所以，运动量v是4。

例如，当快门打开时对应于快门时间/v的第一部分的图17中帧#n-1最左边像素的前景分量是F13/v，以及当快门打开时对应于快门时间/v的第二部分的图17左数第二像素的前景分量也是F13/v。当快门打开时对应于快门时间/v的第三部分的图17左数第三像素的前景分量和当快门打开时对应于快门时间/v的第四部分的图17左数第四像素的前景分量是F13/v。

当快门打开时对应于快门时间/v的第一部分的图17中帧#n-1左数第二像素前景分量是F14/v。当快门打开时对应于快门时间/v的第二部分的图17左数第三像素的前景分量也是F14/v。当快门打开时对应于快门时间/v的第三部分的图17左数第三像素的前景分量是F15/v。

由于对应于背景的对象是静止的，因此当快门打开时对应于快门时间/v的第二至第四部分的图17中帧#n-1的最左边像素的背景分量是B25/v。当快门打开时对应于快门时间/v的第三和第四部分的图17中帧#n-1左数第二像素的背景分量是B26/v。当快门打开时对应于快门时间/v的第四部分的图17中#n-1左数第三像素的背景分量是B27/v。

在图17的帧#n-1中，最左边像素至第三像素属于混合区域，是未覆盖的背景区域。

图17中帧#n-1左数第四至第十二像素属于前景区域。该帧的前景分量是F13/v至F24/v的任何一个。

图17中帧#n左数最左边像素至第三像素属于背景区域，并且其像素值分别是B25至B28。

可以假定对应于前景的对象是以恒等速度运动的刚体，并且正在运动，使前景图像被显示为四个像素到达后续帧右边。所以，当快门打开时对应于快门时间/v的第一部分的图17中帧#n左数第五像素的前景分量是F13/v，并且当快门打开时对应于快门时间/v的第二部分的图17中左数第六像素的前景分量也是F13/v。当快门打开时对应于快门时间/v的第三部分的图17中左数第七像素的前景分量，以及当快门打开时对应于快门时间/v的第四部分的图17中左数第八像素的前景分量是F13/v。

当快门打开时对应于快门时间/v的第一部分的图17中帧#n左数第六像素的前景分量是F14/v。当快门打开时对应于快门时间/v的第二部分的图17中左数第七像素的前景分量也是F14/v。当快门打开时对应于快门时间/v的第一部分的图17中左数第八像素的前景分量是F15/v。

由于对应于背景的对象是静止的，因此当快门打开时对应于快门时间/v的第二至第四部分的图17中帧#n左数第五像素的背景分量是B29/v。当快门打开时对应于快门时间/v的第三和第四部分的图17中帧#n左数第六像素的背景分量是B30/v。当快门打开时对应于快门时间/v的第四部分的图17中帧#n左数第七像素的背景分量是B31/v。

在图17中的帧#n中，左数第五至第七像素属于混合区域，它是未覆盖的背景区域。

图17中帧#n左数第八至第十二像素属于前景区域。对应于快门时间/v周期的帧#n的前景区域中的前景分量值是F13/v至F20/v的任一个。

图17中帧#n+1最左端像素至左数第八像素属于背景区域，并且其像素值分别是B25至B32。

可以假定对应于前景的对象是以恒等速度运动的刚体，并且正在运动，使前景图像被显示为四个像素到达后续帧的右边。所以，当快门打开时对应于快门时间/v的第一部分的图17中帧#n+1左数第九像素的前景分量是F13/v。当快门打开时对应于快门时间/v的第二部分的图17左数第十像素的前景分量是F13/v。当快门打开时对应于快门时间/v的第三部分的图17左数第十一像素的前景分量和当快门打开时对应于快门时间/v的第四部分的图17左数第十二像素的前景分量是F13/v。

当快门打开时对应于快门时间/v的第一部分的图17中帧#n+1左数第十像素的前景分量是F14/v。当快门打开时对应于快门时间/v的第二部分的图17左数第十一像素的前景分量是F14/v。当快门打开时对应于快门时间/v的第三部分的图17左数第十二像素的前景分量是F15/v。

由于对应于背景的对象是静止的，因此当快门打开时对应于快门时间/v的第二至第四部分的图17帧#n+1左数第九像素的背景分量是B33/v。当快门打开时对应于快门时间/v的第三和第四部分的图17中帧#n+1左数第十像素的背景分量是B34/v。当快门打开时对应于快门时间/v的第四部分的图17中帧#n+1左数第十一像素的背景分量是B35/v。

在图17中的帧#n+1中，从图17左数第九至第十一像素属于混合区域，它是未覆盖的背景区域。

图17中帧#n+1左数第十二像素属于前景区域。帧#n+1的前景区域中快门时间/v中的前景分量分别是F13至F16的任一个。

图18图示说明了通过从图17所指的像素值中提取前景分量获得的图像的一个模型。

再参见图2，区域指定单元103通过使用多个帧的像素值指定多个标记，以指示输入帧的各个像素属于前景区域、背景区域、覆盖的背景区域或者未覆盖的背景区域之中的哪一个，并且将这些标记作为区域信息供应给混合比计算器104和运动模糊调整单元106。

混合比计算器104根据多个帧的像素值和区域信息计算包含在混合区域中的每个像素的混合比α，并把所计算的混合比α供应给前景/背景分离器105。

前景/背景分离器105根据多个帧的像素值、区域信息和混合比α提取仅仅由前景分量组成的前景分量图像，并且把前景分量图像供应给运动模糊调整单元106。

运动模糊调整单元106根据从前景/背景分离器105供应的前景分量图像、从运动检测器102供应的运动向量和从区域指定单元103供应的区域信息来调整前景分量图像中包含的运动模糊量，然后输出调整了运动模糊的前景分量图像。

下面参考图19的流程图说明由信号处理设备执行调整运动模糊量的处理。在步骤S11中，区域指定单元103根据输入图像执行区域指定处理，用于生成区域信息，该区域信息指示输入图像的每个像素属于前景区域、背景区域、覆盖的背景区域或者未覆盖的背景区域之中的哪一个。下面说明区域指定处理的细节。区域指定单元103向混合比计算器104供应所生成的区域信息。

在步骤S11中，区域指定单元103根据输入图像生成区域信息，以指示输入图像的每个像素属于前景区域、背景区域或者混合区域(不考虑每个像素是属于覆盖的背景区域还是属于未覆盖的背景区域)中的哪一个。在此情况下，前景/背景分离器105和运动模糊调整单元106根据运动向量的方向确定混合区域是覆盖的背景区域还是未覆盖的背景区域。如果输入图像在运动矢量方向上以前景区域、混合区域和背景区域的次序设置，则确定混合区域是未覆盖的背景区域。

在步骤S12中，混合比计算器104根据输入图像和区域信息计算混合区域中包含的每个像素的混合比α。下面给出混合比计算处理的细节。混合比计算处理器104将计算的混合比α供应给前景/背景分离器105。

在步骤S13中，前景/背景分离器105根据区域信息和混合比α从输入图像中提取前景分量，并且把前景分量作为前景分量图像供应给运动模糊调整单元106。

在步骤S14中，运动模糊调整单元106根据运动矢量和区域信息生成处理单位，并调整对应于该处理单位的前景分量中包含的运动模糊量，其中，所述处理单位指示在运动方向上布置的连续像素的位置，并且这些连续像素属于未覆盖的背景区域、前景区域和覆盖的背景区域的任一个。下面给出调整运动模糊量的处理细节。

在步骤S15中，信号处理设备确定是否完成用于整个屏幕的处理。如果确定没有完成用于整个屏幕的处理，则处理前进到步骤S14，并且重复调整对应于处理单位的前景分量的运动模糊量的处理。

如果在步骤S15中确定用于整个屏幕的处理已经完成，则结束该处理。

在此方式中，信号处理设备能够通过分离前景和背景来调整前景中包含的运动模糊量。也就是，信号处理设备能够调整被包含在指示前景像素的像素值的抽样数据中的运动模糊量。

下面说明区域指定单元103、混合比计算器104、前景/背景分离器105和运动模糊调整单元106之每个的配置。

图20是图示说明区域指定单元103的配置的一个实例的方框图。图20中显示的区域指定单元103不使用运动向量。帧存储器201按帧的单位存储输入图像。当待处理的图像是#n时，帧存储器201存储帧#n-2(是帧#n前两个帧的帧)、帧#n-1(是帧#n前一个帧的帧)、帧#n、帧#n+1(是帧#n后一个帧的帧)、帧#n+2(是帧#n后二个帧的帧)。

静止/运动确定部分202-1从帧存储器201中读取位于与帧#n的一个指定像素相同位置上的帧#n+2的像素的像素值，在#n帧中确定该像素属于的区域，并且从帧存储器201中读取位于与帧#n的该指定像素相同位置上的帧#n+1像素的像素值，并计算所读出的像素值之间差值的绝对值。静止/运动确定部分202-1确定帧#n+2的像素值与帧#n+1的像素值之间差值的绝对值是否大于预置的阈值Th。如果确定该差值大于阈值Th，则把表示“运动”的静止/运动确定供应给区域确定部分203-1。如果确定帧#n+2的像素的像素值与帧#n+1的像素的像素值之间差值的绝对值小于或者等于阈值Th，则静止/运动确定部分202-1把表示“静止”的静止/运动确定供应给区域确定部分203-1。

静止/运动确定部分202-2从帧存储器201中读取帧#n的一个指定像素的像素值，在#n中确定该特定像素属于的区域，并且从帧存储器201中读取位于与帧#n的该指定像素相同位置上的帧#n+1像素的像素值，并计算这些像素值之间差值的绝对值。静止/运动确定部分202-2确定帧#n+1的像素值与帧#n的像素值之差的绝对值是否大于阈值Th。如果确定这些像素之差的绝对值大于阈值Th，则把表示“运动”的静止/运动确定供应给区域确定部分203-1和区域确定部分203-2。如果确定帧#n+1的像素的像素值与帧#n的像素的像素值之差的绝对值小于或者等于阈值Th，则静止/运动确定部分202-2把表示“静止”的静止/运动确定供应给区域确定部分203-1和区域确定部分203-2。

静止/运动确定部分202-3从帧存储器201中读取帧#n的一个指定像素的像素值，在帧#n中确定该指定像素属于的区域，并且从帧存储器201中读取位于与帧#n的该指定像素相同位置上的帧#n-1像素的像素值，并计算这些像素值之间差值的绝对值。静止/运动确定部分202-3确定帧#n的像素值与帧#n-1的像素值之间差值的绝对值是否大于阈值Th。如果确定这些像素之间差值的绝对值大于阈值Th，则把表示“运动”的静止/运动确定供应给区域确定部分203-2和区域确定部分203-3。如果确定帧#n的像素的像素值与帧#n-1的像素的像素值之间差值的绝对值小于或者等于阈值Th，则静止/运动确定部分202-3把表示“静止”的静止/运动确定供应给区域确定部分203-2和区域确定部分203-3。

静止/运动确定部分202-4从帧存储器201中读取位于与帧#n的一个指定像素相同位置上的帧#n-1像素的像素值，在帧#n中确定该像素属于的区域，并且从帧存储器201中读取位于与帧#n的该指定像素相同位置上的帧#n-2像素的像素值，并计算这些像素值之间差值的绝对值。静止/运动确定部分202-4确定帧#n-1的像素值与帧#n-2的像素值之差的绝对值是否大于预置的阈值Th。如果确定这些像素之差的绝对值大于阈值Th，则把表示“运动”的静止/运动确定供应给区域确定部分203-3。如果确定帧#n-1的像素的像素值与帧#n-2的像素的像素值之间差值的绝对值小于或者等于阈值Th，则静止/运动确定部分202-4把表示“静止”的静止/运动确定供应给区域确定部分203-3。

当从静止/运动确定部分202-1供应的静止/运动确定指示为“静止”以及当从静止/运动确定部分202-2供应的静止/运动确定指示为“运动”时，区域确定部分203-1确定帧#n的指定像素属于未覆盖的背景区域，并把指示该被指定像素属于未覆盖的背景区域的“1”设置为与该指定像素关联的未覆盖的背景区域确定标志中。

当从静止/运动确定部分202-1供应的静止/运动确定表示“运动”以及当从静止/运动确定部分202-2供应的静止/运动确定表示“静止”时，区域指定单元203-1确定帧#n的指定像素不属于未覆盖的背景区域，并把指示该被指定像素不属于未覆盖的背景区域的“0”设置为与该被指定像素关联的未覆盖的背景区域确定标志中。

区域确定部分203-1向存储确定标志的帧存储器204供应按照以上讨论设置“1”或“0”的未覆盖的背景区域确定标志。

当从静止/运动确定部分202-2供应的静止/运动确定表示“静止”以及当从静止/运动确定部分202-3供应的静止/运动确定表示“静止”时，区域确定部分203-2确定帧#n的被指定像素属于静止区域，并把指示该像素属于静止区域的“1”设置为与该被指定像素关联的静止区域确定标志中。

当从静止/运动确定部分202-2供应的静止/运动确定表示“运动”或者当从静止/运动确定部分202-3供应的静止/运动确定表示“运动”时，区域确定单元203-2确定帧#n的特定像素不属于静止区域，并把指示该像素不属于静止区域的“0”设置为与该特定像素关联的静止区域确定标志中。

区域确定部分203-2向存储确定标志的帧存储器204供应按照以上讨论设置“1”或“0”的静止区域确定标志。

当从静止/运动确定部分202-2供应的静止/运动确定表示“运动”以及当从静止/运动确定部分202-3供应的静止/运动确定表示“运动”时，区域确定部分203-2确定帧#n的被指定像素属于运动区域，并把指示该被指定像素属于运动区域的“1”设置为与该被指定像素关联的运动区域确定标志中。

当从静止/运动确定部分202-2供应的静止/运动确定表示“静止”或者当从静止/运动确定部分202-3供应的静止/运动确定表示“静止”时，区域确定部分203-2确定帧#n的被指定像素不属于运动区域，并把指示该被指定像素不属于运动区域的“0”设置为与该被指定像素关联的运动区域确定标志中。

区域确定部分203-2向存储确定标志的帧存储器204供应按照以上讨论设置“1”或“0”的运动区域确定标志。

当从静止/运动确定部分202-3供应的静止/运动确定表示“运动”以及当从静止/运动确定部分202-4供应的静止/运动确定表示“静止”时，区域确定部分203-3确定帧#n的指定像素属于覆盖的背景区域，并把指示该指定像素属于覆盖的背景区域的“1”设置为与该特定像素关联的覆盖的背景区域确定标志中。

当从静止/运动确定部分202-3供应的静止/运动确定表示“静止”或者当从静止/运动确定部分202-4供应的静止/运动确定表示“运动”时，区域确定部分203-3确定帧#n的指定像素不属于覆盖的背景区域，并把指示该被指定像素不属覆盖的背景区域的“0”设置为与该指定像素关联的覆盖的背景区域确定标志中。

区域确定部分203-3向存储确定标志的帧存储器204供应按照以上讨论设置“1”或“0”的覆盖的背景区域确定标志。

存储确定标志帧存储器204存储从区域确定部分203-1供应的未覆盖的背景区域确定标志、从区域确定部分203-2供应的静止区域确定标志、从区域确定部分203-2供应的运动区域确定标志、以及从区域确定部分203-3供应的覆盖的背景区域确定标志。

存储确定标志帧存储器204把所存储的未覆盖的背景区域确定标志、静止区域确定标志、运动区域确定标志、以及覆盖的背景区域确定标志供应给合成器205。合成器205根据从存储确定标志帧存储器204供应的未覆盖的背景区域确定标志、静止区域确定标志、运动区域确定标志和覆盖的背景区域确定标志来生成区域信息，以指示每个像素属于未覆盖的背景区域、静止区域、运动区域或者覆盖的背景区域中的哪一个，并且把区域信息供应给存储确定标志帧存储器206。

存储确定标志帧存储器206存储从合成器205供应的区域信息，并且还输出所存储的区域信息。

下面参考图21至25说明由区域指定单元103执行的处理的一个实例。

当对应于前景的对象正在运动时，对应于屏幕上对象的图像的位置在每帧中变化。如图21所示，与位于由帧#n中Yn(x，y)所指示的位置上的对象相对应的图像被定位在在帧#n之后的帧#n+1的Yn+1(x，y)上。

图24示出了通过在时间方向上扩展沿对应于前景对象的图像的运动方向并排排列的像素的像素值而获得的一个模型。例如，如果对应于前景对象的图像的运动方向是关于屏幕水平的，则图22中所示的模型是通过在时间方向扩展在一行上并排排列的多个像素的像素值而获得的一个模型。

在图22中，帧#n中的行等于帧#n+1中的行。

对应于包含在帧#n左数第二像素至第十三像素中的对象的前景分量被包含在帧#n+1左数第六像素至第十七像素中。

在帧#n中，属于覆盖的背景区域的多个像素是从左数第七至第十三像素，属于未覆盖的背景区域的多个像素是从左数第二至第四像素。在帧#n+1中，属于覆盖的背景区域的多个像素是从左数第十五至第十七像素，属于未覆盖的背景区域的多个像素是从左数第六至第八像素。

在图22所显示的实例中，由于帧#n中包含的前景分量被帧#n+1中四个像素移动，因此运动量v是4。虚拟分割部分的数量是与运动量v相应的4。

下面给出在一个被指定帧前后的多个帧中属于混合区域的像素的像素值的变化的说明。

在图23中，属于帧#n中覆盖的背景区域的像素是左数第十五至第十七像素，在帧#n中背景是静止的并且前景中的运动量v是4。由于运动量v是4，因此从前帧#n-1左数第十五至第十七帧仅仅包含背景分量并且属于背景区域。从帧#n-2(帧#n-1之前的帧)左数第十五至第十七像素仅包含背景分量，并且属于背景区域。

由于对应于背景的对象是静止的，因此帧#n-1左数第十五像素的像素值不会改变帧#n-2左数第十五像素的像素值。同样，帧#n-1左数的第十六像素的像素值不会改变帧#n-2左数第十六像素的像素值，并且帧#n-1左数的第十七像素的像素值不会改变帧#n-2左数第十七像素的像素值。

也就是，与属于帧#n中覆盖的背景区域的多个像素相对应的帧#n-1和帧#n-2中的像素仅仅由背景分量组成，其像素值不改变。因此，这些像素值的差值的绝对值几乎等于0。因而由静止/运动确定部分202-4作出的关于对应于属于帧#n中混合区域的多个像素的帧#n-1和帧#n-2中诸多像素的静止/运动确定是“静止”。

由于属于帧#n中覆盖的背景区域的诸多像素包含前景分量，因此其像素值不同于仅由背景分量组成的帧#n-1的像素的像素值。因此，由静止/运动确定部分202-3作出的关于属于帧#n中混合区域的诸多像素和帧#n-1中对应的诸多像素的静止/运动确定是“运动”。

当静止/运动确定部分202-3供应表示“运动”的静止/运动确定结果时，以及当静止/运动确定部分202-4供应表示“静止”的静止/运动确定结果时，按照以上讨论，区域确定部分203-3确定该对应的诸多像素属于覆盖的背景区域。

在图24中，在背景静止不动和前景的运动量v是4的帧#n中，包含在一个未覆盖的背景区域中的诸多像素是左数第二至第四像素。由于运动量v是4，因此后续帧#n+1中左数第二至第四像素仅包含背景分量，并且属于背景区域。在帧#n+1之后的帧#n+2中，左数第二至第四像素仅包含背景分量并且属于背景区域。

由于对应于背景的对象静止不动，因此帧#n+2中左数第二像素的像素值不改变帧#n+1左数第二像素的像素值。同样，帧#n+2中左数第三像素的像素值不改变帧#n+1左数第三像素的像素值，帧#n+2中左数第四像素的像素值不改变帧#n+1左数第四像素的像素值。

也就是，与属于帧#n中未覆盖的背景区域的诸多像素相对应的帧#n+1和帧#n+2中诸多像素仅仅由背景分量组成，并且其像素值不变化。因此，这些像素值的差值的绝对值几乎等于0。这样，由静止/运动确定部分202-1作出的关于与属于帧#n中混合区域的诸多像素相对应的帧#n+1和帧#n+2中诸多像素的静止/运动确定是“静止”。

由于属于帧#n中未覆盖的背景区域的像素包含前景分量，因此其像素值不同于仅仅由背景分量组成的帧#n+1的像素值。所以，由静止/运动确定部分202-2作出的关于属于帧#n中混合区域的诸多像素和帧#n+1中对应的诸多像素的静止/运动确定是“运动”。

当静止/运动确定部分202-2供应表示“运动”的静止/运动确定结果时，以及当静止/运动确定部分202-1供应表示“静止”的静止/运动确定结果时，按照以上讨论，区域确定部分203-1确定该对应的诸多像素属于未覆盖的背景区域。

图25图示说明了由区域指定单元103作出的帧#n的确定条件。当位于与待处理的帧#n的被指定像素相同图像位置上的帧#n-2的像素的确定结果和位于与帧#n的被指定像素相同图像位置上的帧#n-1的像素的确定结果是静止时，以及当帧#n的被指定像素和位于与帧#n的被指定像素相同图像位置上的帧#n-1的像素的确定结果是运动时，区域指定单元103确定帧#n+1中的像素属于覆盖的背景区域。

当帧#n中像素和位于与帧#n的被指定像素相同图像位置上的帧#n-1的像素的确定结果是静止时，以及当帧#n的像素确定结果以及位于与帧#n的指定像素相同图像位置上的帧#n+1的像素的确定结果是静止时，区域指定单元103确定帧#n中的被指定像素属于静止区域。

当帧#n中像素的确定结果和位于与帧#n的被指定像素相同图像位置上的帧#n-1的像素的确定结果是运动时，以及当帧#n的像素的确定结果和当位于与帧#n的指定像素相同图像位置上的帧#n+1的像素的确定结果是运动时，区域指定单元103确定帧#n中的被指定像素属于运动区域。

当帧#n中像素的确定结果和位于与帧#n的被指定像素相同图像位置上的帧#n+1的像素的确定结果是运动时，以及当位于与帧#n的被指定像素的相同位置上的帧#n+1的像素的确定结果和位于与帧#n的指定像素相同图像位置上的帧#n+2的像素的确定结果是静止时，区域指定单元103确定帧#n中的被指定像素属于未覆盖的背景区域。

图26A至26D图示说明了区域指定单元103获得的确定结果的实例。在图26A中，用白颜色指示了被确定为属于覆盖的背景区域的像素。在图26B中，用白颜色指示了被确定为属于未覆盖的背景区域的像素。

在图26C中，用白颜色指示了被确定为属于运动区域的像素。在图26D中，用白颜色指示了被确定为属于静止区域的像素。

图27图示说明了区域信息，该区域信息指示从存储确定标志帧存储器输出的区域信息中选择的一个图像形式的混合区域。在图27中，用白颜色指示被确定为属于覆盖的背景区域或者未覆盖的背景区域的像素，即，被确定为属于混合区域的像素。指示从存储确定标志帧存储器206输出的混合区域的区域信息指定混合区域和具有一个纹理(texture)的部分，该纹理由前景区域中没有纹理的部分环绕。

下面结合图28的流程图说明区域指定单元103执行的区域指定处理。在步骤S201中，帧存储器201获得包括#n的帧#n-2至#n+2的图像。

在步骤S202中，静止/运动确定部分202-3确定位于相同位置上的帧#n-1中的像素和帧#n中的像素的确定结果是否是静止的。如果确定该确定结果是静止的，则处理前进到步骤S203，由静止/运动确定部分202-2确定位于同一位置上的帧#n中像素和#n+1中像素的确定结果是否为静止的。

如果在步骤S203中确定位于同一位置上的帧#n中像素和#n+1中像素的确定结果是静止的，则处理前进到步骤S204。在步骤S204，区域确定部分203-2将指示待处理的像素属于静止区域的“1”设置为与待处理的像素关联的静止区域确定标志中。区域确定部分203-2向存储确定标志帧存储器204供应静止区域确定标志，并前进到步骤S205。

如果在步骤S202中确定位于同一位置上的帧#n-1中像素和#n中像素的确定结果是运动的，或者如果在步骤S203中确定位于同一位置的帧#n的像素和#n+1中像素的确定结果是运动的，则待处理的像素不属于静止区域。因此，步骤S204的处理被跳过，处理前进到步骤S205。

在步骤S205，静止/运动确定部分202-3确定位于同一位置的帧#n-1的像素和#n的像素的确定结果是运动的。如果确定该确定结果是运动的，则处理前进到步骤S206，在此步骤中，静止/运动确定部分202-2确定位于同一位置的帧#n中的像素和帧#n+1中的像素的确定结果是否是运动的。

如果在步骤S206中确定位于同一位置上的帧#n中像素和#n+1中像素的确定结果是运动的，则处理前进到步骤S207。在步骤S207中，区域确定部分203-2将指示待处理的像素属于运动区域的“1”设置为与该待处理的像素关联的运动区域确定标志中。区域确定部分203-2向存储确定标志帧存储器204供应运动区域确定标志，然后处理前进到步骤S208。

如果在步骤S205中确定位于同一位置上的帧#n-1中像素和#n中像素的确定结果是静止的，或者如果在步骤S203中确定位于同一位置的帧#n的像素和#n+1中像素的确定结果是静止的，则帧#n中像素不属于运动区域。因此，步骤S207的处理被跳过，以及处理前进到步骤S208。

在步骤S208，静止/运动确定部分202-4确定位于同一位置的帧#n-2的像素和#n-1的像素的确定结果是静止的。如果确定该确定结果是静止的，则处理前进到步骤S209，在此步骤中，静止/运动确定部分202-3确定位于同一位置的帧#n-1中的像素和帧#n中的像素是运动的。

如果在步骤S209中确定位于同一位置上的帧#n-1中像素和#n中像素的确定结果是运动的，则处理前进到步骤S210。在步骤S210中，区域确定部分203-3将指示待处理的像素属于覆盖的背景区域的“1”设置为与该待处理的像素关联的覆盖的背景区域确定标志中。区域确定部分203-3向存储确定标志帧存储器204供应覆盖的背景区域确定标志，并前进到步骤S211。

如果在步骤S208中确定位于同一位置上的帧#n-2中像素和#n-1中像素的确定结果是运动的，或者如果在步骤S209中确定位于同一位置的帧#n-1的像素和#n中的像素的确定结果是静止的，则帧#n中像素不属于覆盖的背景区域。因此，步骤S210的处理被跳过，于是处理前进到步骤S211。

在步骤S211，静止/运动确定部分202-2确定位于同一位置的帧#n的像素和#n+1的像素的确定结果是运动的。如果在步骤S211中确定该确定结果是运动的，则处理前进到步骤S212，在此步骤中，静止/运动确定部分202-1确定位于同一位置的帧#n+1中的像素和帧#n+2中的像素的确定结果是否为静止的。

如果在步骤S212中确定位于同一位置上的帧#n+1中像素和#n+2中像素的确定结果是静止的，则处理前进到步骤S213。在步骤S213中，区域确定部分203-2将指示待处理的像素属于未覆盖的背景区域的“1”设置为与该待处理的像素关联的未覆盖的背景区域确定标志中。区域确定部分203-1向存储确定标志帧存储器204供应未覆盖的背景区域确定标志，并前进到步骤S214。

如果在步骤S211中确定位于同一位置上的帧#n中像素和#n+1中像素的确定结果是静止的，或者如果在步骤S212中确定帧#n+1的像素和帧#n+2中像素的确定结果是运动的，则帧#n中像素不属于未覆盖的背景区域。因此，步骤S213的处理被跳过，于是处理前进到步骤S214。

在步骤S214中，区域指定单元103确定帧#n的所有像素的区域是否被指定。如果确定帧#n的所有像素的区域还未被指定，则处理返回到步骤S202，并且对于剩余像素重复区域指定处理。

如果在步骤S214中确定帧#n中所有像素都被指定，则处理前进到步骤S215。在步骤S215中，合成器215根据存储在存储确定标志帧存储器204中的未覆盖的背景区域确定标志和覆盖的背景区域确定标志，生成指示混合区域的区域信息，还生成指示每个像素属于未覆盖的背景区域、静止区域、运动区域、或者覆盖的背景区域之中的哪一个的区域信息，并且在确定标志存储帧存储器206中设置所生成的区域信息。然后结束该处理。

如上讨论，区域指定单元103能够生成指示包含在一个帧中每个像素属于运动区域、静止区域、未覆盖的背景区域、或者覆盖的背景区域之中的哪一个的区域信息。

区域指定单元103可以把逻辑OR应用于对应于未覆盖的背景区域的区域信息和对应于覆盖的背景区域的区域信息，以便生成对应于混合区域的区域信息，然后可以生成由诸多标志组成的区域信息，以指示包含在帧中的各个像素属于运动区域、静止区域或者混合区域之中的哪一个。

当对应于前景的对象具有纹理时，区域指定单元103能够更精确指定运动区域。

区域指定单元103能够输出指示运动区域的区域信息，以作为指示前景区域的区域信息，并且输出指示静止区域的区域信息，以作为指示背景区域的区域信息。

上面已经描述了假定对应于背景的对象是静止的实施例。此外，即使对应于背景区域的图像包括运动，也可以应用上述的区域指定处理。例如，如果对应于背景区域的图像正在均匀运动，则区域指定单元103根据该运动位移整个图像，并且按照类似于对应于背景的对象是静止的情况的方式执行处理。如果对应于背景区域的图像包含局部不同的运动，则区域指定单元103选择对应于该运动的像素，并且执行上述的处理。

图29是说明区域指定单元103的配置的一个实例。图29所示的区域指定单元103不使用一个运动向量。背景图像生成器301生成对应于输入图像的背景图像，并且向二进制对象图像提取部分302供应所生成的背景图像。背景图像生成器301提取例如对应于包含在输入图像中的背景对象的一个图像对象，并且生成背景图像。

图30示出了通过在时间方向扩展沿着对应于前景对象的图像的运动方向并排排列的多个像素的像素值而获得的一个模型的实例。例如，如果对应于前景对象的图像的运动方向是关于屏幕水平的，则图30所示的模型是通过在时域中对单行上并排排列的像素的像素值进行扩展而获得的一个模型。

在图30中，帧#n中行与帧#n-1中的行以及帧#n+1中的行是相同的。

在帧#n中，对应于包含在左数第六至第十七像素中的对象的前景分量被包含在帧#n-1左数第二至第十三像素中，并且还包含在帧#n+1左数第十至第二十一像素中。

在帧#n-1中，属于覆盖的背景区域的多个像素是左数第十一至第十三像素，属于未覆盖的背景区域的像素是左数第二至第四像素。在帧#n中，属于覆盖的背景区域的像素是左数第十五至第十七像素，并且属于未覆盖的背景区域的像素是左数第六至第八像素。在帧#n+1中，属于覆盖的背景区域的像素是左数第十九至第二十一像素，并且属于未覆盖的背景区域的像素是左数第十至第十二像素。

在帧#n-1中，属于背景区域的多个像素是左数第一像素，并且是左数第十四至第二十一像素。在帧#n中，属于背景区域的像素是左数第一至第五像素，并且是左数第十八至第二十一像素。在帧#n+1中，属于背景区域的像素是左数第一至第九像素。

图31示出了由背景图像生成器301生成的对应于图30所示的实例的背景图像的一个例子。背景图像由对应于背景对象的多个像素组成，但是不包括对应于前景对象的图像分量。

二进制对象图像提取部分302根据背景图像与输入图像之间的相关生成二进制对象图像，并且向时间变化检测器303供应所生成的二进制对象图像。

图32是图示说明二进制对象图像提取部分302的配置的方框图。相关值计算器321计算从背景图像生成器301供应的背景图像与输入图像之间的相关，以便生成相关值，并且将所生成的相关值供应给阈值处理器322。

相关值计算器321将方程(4)运用于例如中心具有X₄的3×3背景图像块(如图33A所示)，并且运用于例如对应于背景图像块的中心具有Y₄的3×3背景图像块(如图33B所示)，从而计算对应于Y₄的相关值。

$\stackrel{\‾}{X}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Xi}}{9}---\left(5\right)$

$\stackrel{\‾}{Y}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Yi}}{9}---\left(6\right)$

相关值计算器321向阈值处理器322供应以上讨论的为每个像素计算的相关值。

作为选择，相关值计算器321可以将方程(7)运用于例如中心具有X₄的3×3背景图像块(如图34A所示)，并且运用于例如对应于背景图像块的中心具有Y₄的3×3背景图像块(如图34B所示)，从而计算对应于Y₄的差值的绝对值之和。

相关值计算器321向阈值处理器322供应作为相关值的以上计算的差值的绝对值之和。

阈值处理器322将相关图像的像素值与阈值th0进行比较。如果该相关值小于或等于阈值th0，则把1设置为二进制对象图像的像素值中。如果相关值大于阈值th0，则把0设置为二进制对象图像的像素值中。阈值处理器322随后输出其像素值被设置为0或者1的二进制对象图像。阈值处理器322可以预先存储阈值th0，或者可以使用从外部源输入的阈值th0。

图35说明了对应于图30所示的输入图像的模型的二进制对象图像。在二进制对象图像中，0被设置在具有一个与背景图像图像较高相关的像素的像素值中。

图36是说明时间变换检测器303配置的方框图。当确定帧#n的像素区域时，帧存储器341存储从二进制对象图像提取部分302供应的帧#n-1、帧#n和帧#n+1的二进制对象图像。

区域确定部分342根据帧#n-1、帧#n和帧#n+1的二进制对象图像确定帧#n的每个像素的区域，以便生成区域信息，并且输出所生成的区域信息。

图37图示说明了由区域确定部分342作出的确定。当帧#n中二进制对象图像的指定像素是0时，区域确定部分342确定帧#n的指定像素属于背景区域。

当帧#n中二进制对象图像的指定像素为1时，和当帧#n-1中二进制对象图像的对应像素为1时，以及当帧#n+1中二进制对象图像的对应像素为1时，区域确定部分342确定帧#n中的指定像素属于前景区域。

当帧#n中二进制对象图像的指定像素为1时，以及当帧#n-1中二进制对象图像的对应像素为0时，区域确定部分342确定帧#n中的指定像素属于覆盖的背景区域。

当帧#n中二进制对象图像的指定像素为1时，以及当帧#n+1中二进制对象图像的对应像素为0时，区域确定部分342确定帧#n中的指定像素属于未覆盖的背景区域。

图38图示说明了由时间变化检测器303作出的关于对应于图30所示的输入图像的模型的二进制对象图像的确定的一个实例。时间变化检测器303确定帧#n左数第一至第五像素属于背景区域，因为帧#n的二进制对象图像的对应像素为0。

时间变化检测器303确定左数第六至第九像素属于未覆盖的背景区域，因为帧#n中二进制对象图像的像素为1，以及帧#n+1中的对应像素为0。

时间变化检测器303确定左数第十至第十三像素属于前景区域，因为帧#n中二进制对象图像的像素为1，帧#n-1中的对应像素为1，以及帧#n+1中的对应像素为1。

时间变化检测器303确定左数第十四至第十七像素属于覆盖的背景区域，因为帧#n中二进制对象图像的像素为1，帧#n-1中对应像素为0。

时间变化检测器303确定左数第十八至第二十一像素属于背景区域，因为帧#n中二进制对象图像的对应像素为0。

下面参考图39的流程图说明由区域指定单元103执行的区域指定处理。在步骤S301中，区域指定单元103的背景图像生成器301例如根据输入图像提取与包含在输入图像中的背景对象相对应的图像对象，以便生成背景图像，并且向二进制图像提取部分302供应所生成的背景图像。

在步骤S302中，二进制对象图像提取部分302根据例如参考图33所讨论的计算来计算输入图像与背景图像生成器301供应的背景图像之间的相关值。在步骤S303中，二进制对象图像提取部分302通过例如比较相关值与阈值th0，从该相关值和阈值th0中算出二进制对象图像。

在步骤S304中，时间变化检测器303执行区域确定处理，并且结束该处理。

下面参考图40的流程图说明步骤S304中的区域确定处理的细节。在步骤S321中，时间变化检测器303的区域确定部分342确定帧存储器341中存储的帧#n中的指定像素是否为0。如果确定帧#n中指定像素为0，则处理前进到步骤S322。在步骤S322中，确定帧#n中指定像素属于背景区域，然后结束该处理。

如果在步骤S321中确定帧#n中指定像素为1，则处理前进到步骤S323。在步骤S323中，时间变化检测器303的区域确定部分342确定帧存储器341中存储的帧#n的指定像素是否为1，并确定帧#n-1中的对应像素是否为0。如果确定帧#n中指定像素为1，以及帧#n-1中对应像素为0，则处理前进到步骤S324。在步骤S324中，确定帧#n中指定像素属于覆盖的背景区域，然后结束该处理。

如果在步骤S323中确定帧#n中的指定像素为0，或者帧#n-1的对应像素为1，则处理前进到步骤S325。在步骤S325中，时间变化检测器303的区域确定部分342确定帧存储器341中存储的帧#n的指定像素是否为1，并确定帧#n+1中的对应像素是否为0。如果确定帧#n中指定像素为1，以及帧#n+1中对应像素为0，则处理前进到步骤S326。在步骤S326中，确定帧#n中指定像素属于未覆盖的背景区域，并结束该处理。

如果在步骤S325中确定帧#n中的指定像素为0，或者帧#n+1的对应像素为1，则处理前进到步骤S327。在步骤S327中，时间变化检测器303的区域确定部分342确定帧#n的指定像素属于前景区域，并结束该处理。

如上所述，区域指定单元103能够根据输入图像与对应的背景图像之间的相关值指定输入图像的每个像素属于前景区域、背景区域、覆盖的背景区域或者未覆盖的背景区域之中的哪一个，并生成对应于特定结果的区域信息。

图41是图示说明区域指定单元103的另一个配置的方框图。图41所示的区域指定单元103使用从运动检测器102供应的运动向量及其位置信息。图41中与图29所示部件相同的部件由相似参考标号表示，并省略其说明。

加强处理(robust processing)部分361根据从二进制对象图像提取部分302供应的N个帧的二进制对象图像生成一个加强二进制对象图像，并且向时间变化检测器303输出加强(robust)二进制对象图像。

图42是说明加强处理部分361配置的方框图。运动补偿器381根据从运动检测器102供应的运动向量及其位置信息补偿N个帧的二进制对象图像的运动，并且把运动补偿二进制对象图像输出给一个开关382。

下面结合图43和图44所示的实例讨论由运动补偿器381执行的运动补偿。例如，假定帧#n中的区域是将要处理的。当输入图43所示的帧#n-1、帧#n和帧#n+1的二进制对象图像时，运动补偿器381根据从运动检测器102供应的运动向量补偿帧#n-1的二进制对象图像和帧#n+1的二进制对象图像的运动，如图44的实例所示，并且把运动补偿二进制对象图像供应给开关382。

开关382把第一帧的运动补偿二进制对象图像输出给帧存储器383-1，并且把第二帧的运动补偿二进制对象图像输出给帧存储器383-2。同样，开关382把第三帧至第(N-1)帧的运动补偿二进制对象图像输出给帧存储器393-3至383-(N-1)，并且把第N帧的运动补偿二进制对象图像输出给帧存储器383-N。

帧存储器381-1存储第一帧的运动补偿二进制对象图像，并且把所存储的二进制对象图像输出给加权部分384-1。帧存储器383-2存储第二帧的运动补偿二进制对象图像，并且把所存储的二进制对象图像输出给加权部分384-2。

同样，帧存储器381-3至383-(N-1)存储第三至第(N-1)帧的运动补偿二进制对象图像，并且把所存储的二进制对象图像输出给加权部分384-3至384-(N-1)。帧存储器383-N存储第N帧的运动补偿二进制对象图像，并且把所存储的二进制对象图像输出给加权部分384-N。

加权部分384-1用一个预定权重(weigh)w1乘帧存储器383-1供应的第一帧的运动补偿二进制对象图像的像素值，并且向一个累积器385供应加权的二进制对象图像。加权部分384-2用一个预定权重w2乘帧存储器383-2供应的第二帧的运动补偿二进制对象图像的像素值，并且向累积器385供应加权的二进制对象图像。

同样，加权部分384-3至384-(N-1)用预定权重w3至w(N-1)乘帧存储器383-3至383-(N-1)供应的第三至第(N-1)帧的运动补偿二进制对象图像的像素值，并且向累积器385供应加权的二进制对象图像。加权部分384-N用一个预定权重wN乘帧存储器383-N供应的第N帧的运动补偿二进制对象图像的像素值，并且向累积器385供应加权的二进制对象图像。

累积器385累积被第一至第N帧的权重w1至wN相乘的运动补偿二进制对象图像的像素值，并且比较所累积的像素值与预定的阈值th0，从而生成二进制对象图像。

如上所述，加强处理部分361从N个二进制对象图像中生成一个加强二进制对象图像，并且供应给时间变化检测器303。所以，按图41配置的区域指定单元103能够比图29更精确地指定区域，即使在输入图像中含有噪声。

下面参考图45的流程图说明按照图41配置的区域指定单元103执行的区域指定处理。步骤S341至步骤S343的处理类似于结合图39的流程图讨论的步骤S301至步骤S303的处理，因而省略其说明。

在步骤S344中，加强处理部分361执行加强处理。

在步骤S345中，时间变化检测器303执行区域确定处理，并结束该处理。步骤S345的处理细节类似于结合图40的流程图所讨论的处理，因此省略其说明。

下面参考图46的流程图给出对应于图45中的步骤S344的处理的加强处理的细节。在步骤S361中，运动补偿器381根据从运动检测器102供应的运动向量以及位置信息执行输入二进制对象图像的运动补偿。在步骤S362中，帧存储器383-1至383-N之一存储经由开关382供应的对应的运动补偿二进制对象图像。

在步骤S363中，加强处理部分361确定是否存储了N个二进制对象图像。如果确定未存储N个二进制对象图像，则处理返回到步骤S361，并且重复补偿二进制对象图像运动的处理以及存储二进制对象图像的处理。

如果在步骤S363中确定存储了N个二进制对象图像，则处理前进到执行加权的步骤S364。在步骤S364中，加权部分384-1至384-N用权重w1至wN乘对应的N个二进制对象图像。

在步骤S365中，累积器385累积N个加权二进制对象图像。

在步骤S366中，累积器385例如通过比较所累积的值与预定阈值th1，从累积的图像中生成二进制对象图像，然后结束该处理。

如上所述，按照图41配置的区域指定单元103能够根据加强二进制对象图像生成区域信息。

正如从上述说明所看到的，区域指定单元103能够生成区域信息，以指示包含在一个帧中的每个像素属于运动区域、静止区域、未覆盖的背景区域或者覆盖的背景区域之中的哪一个。

图47是说明混合比计算器104配置的一个实例的方框图。估算混合比处理器401通过根据输入图像计算覆盖的背景区域的模型，来计算每个像素的估算混合比，并且把计算的估算混合比供应给混合比确定部分403。

估算混合比处理器402通过根据输入图像计算未覆盖的背景区域的一个模型，来计算每个像素的估算混合比，并且把计算的估算混合比供应给混合比确定部分403。

由于可以假定对应于前景的对象在快门时间正在以恒等速度运动，因此属于一个混合区域的像素的混合比α展现以下特征。也就是，混合比α根据像素的位置变化而线性变化。如果像素的位置变化是一维的，可以线性地表示混合比α的变化。如果像素的位置变化是二维的，可以在平面上表示混合比α的变化。

由于一帧的时段很短，因此可以假定对应于前景的对象是恒等速度运动的刚体。

混合比α的梯度与前景的快门时间内的运动量v成反比。

图48示出了理想的混合比α的一个实例。混合区域中的理想混合比α的梯度1可以由运动量v的倒数表示。

如图48所示，理想混合比α在背景区域具有1的值，在前景区域具有0的值，在混合区域具有大于0小于1的值。

在图49所示的实例中，帧#n左数第七像素的像素值C06可以由使用帧#n-1左数第七像素的像素值P06的方程(8)表示。

$C06=B06/v+B06/v+F01/v+F02/v$

$=P06/v+P06/v+F01/v+F02/v---\left(8\right)$

$=2/v\·P06+\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}/v$

在方程(8)中，像素值C06由混合区域中的像素的像素值M表示，而像素值P06由背景区域的像素的像素值B表示。也就是，混合区域的像素的像素值M和背景区域的像素的像素值B可以分别由方程(9)和方程(10)表示。

M＝C06                                      (9)

B＝P06                                      (10)

在方程(8)中，2/v相当于混合比α。由于运动量v是4，因此帧#n左数第七像素的混合比α是0.5。

如上所述，指定帧#n中的像素值C被认为是混合区域的像素值，而帧#n之前的帧#n-1的像素值P被认为是背景区域中的像素值。所以，指示混合比α的方程(3)可以由方程(11)表示：

C＝α·P+f                               (11)

其中，方程(11)中的f指示包含在指定像素中的前景分量∑_iFi/v之和。方程(11)中含有的变量是两个因数，即，混合比α和前景分量之和f。

同样，图50示出了通过在时间方向上扩展像素值而获得的一个模型，在该像素值中运动量v是4，因而虚拟分割部分的数量在未覆盖的背景区域中是4。

如覆盖的背景区域的表示那样，在未覆盖的背景区域中，指定帧#n的像素值C被认为是混合区域中的像素值，而帧#n之后的帧#n+1的像素值N被认为是背景区域。因此，指示混合比α的方程(3)可以由方程(12)表示。

C＝α·N+f                                (12)

上面已经说明了假定背景对象是静止的实施例。此外，通过使用对应于背景的运动量v定位的像素的像素值，可以将方程(8)至方程(12)应用于背景对象正在运动的情况。例如，现在假定在图49中，对应于背景的对象的运动量v是2，以及虚拟分割部分数量是2。在此情况下，当对应于背景的对象正在向图49的右端运动时，方程(10)中的背景区域中的像素的像素值B由像素值P04表示。

由于方程(11)和(12)每一个包含两个变量，因此不修改方程就不能确定混合比α。一般来说，图像具有强空间相关，所以彼此非常接近的像素几乎具有相同的像素值。

由于前景分量在空间上强相关，所以修改所述方程，使前景分量之和f可以从在前或者在后帧中演绎出来，从而确定混合比α。

图51中帧#n左数第七像素的像素值Mc可以由方程(13)表达。

$\mathrm{Mc}=\frac{2}{v}\·B06+\underset{i=11}{\overset{12}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(13\right)$

方程(13)右侧的第一项2/v对应于混合比α。方程(13)右侧的第二项可以由利用后续帧#n+1中像素值的方程(14)表达。

$\underset{i=11}{\overset{12}{\mathrm{\Σ}}}\mathrm{Fi}/v=\mathrm{\β}\·\underset{i=7}{\overset{10}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(14\right)$

现在假定方程(15)是通过利用前景分量的空间相关而有效的。

F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12    (15)

利用方程(15)可以将方程(14)修改成方程(16)。

$\underset{i=11}{\overset{12}{\mathrm{\Σ}}}\mathrm{Fi}/v=\frac{2}{v}\·F$

$=\mathrm{\β}\·\frac{4}{v}\·F---\left(16\right)$

结果，可以用方程(17)表达β

β＝2/4                                     (17)

如果假定混合区域中的诸多前景分量相等，如图方程(15)所示，由于内比，方程(18)可以对混合区域中的所有像素有效。

β＝1-α                                    (18)

如果方程(18)有效，则方程(11)被演化成方程(19)。

$C=\mathrm{\α}\·P+f$

$=\mathrm{\α}\·P+(1-\mathrm{\α})\·\underset{i=\mathrm{\γ}}{\overset{\mathrm{\γ}+v-1}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(19\right)$

$=\mathrm{\α}\·P+(1-\mathrm{\α})\·N$

同样，如果方程(18)有效，则方程(12)可以被演化成方程(20)。

$C=\mathrm{\α}\·N+f$

$=\mathrm{\α}\·N+(1-\mathrm{\α})\·\underset{i=\mathrm{\γ}}{\overset{\mathrm{\γ}+v-1}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(20\right)$

$=\mathrm{\α}\·N+(1-\mathrm{\α})\·P$

在方程(19)和(20)中，由于C、N和P是已知像素值，因此包含在方程(19)和(20)中的变量仅仅是混合比α。图52示出了方程(19)和(20)中的C、N和P之间的关系。C是用于计算混合比α的帧#n中指定像素的像素值。N是定位在对应于指定像素的空间位置上的帧#n+1中像素的像素值。P是定位在对应于指定像素的空间位置上的帧#n-1中像素的像素值。

由于方程(19)和(20)的每个中包含一个变量，因此利用三个帧中的像素计算混合比α。下面说明通过解方程(19)和(20)求解正确混合比α的条件。在混合区域中具有相同前景分量的图像对象中，即，在前景对象静止时捕获的前景的图像对象中，在对应于前景对象的运动方向的图像对象的边界上定位的连续像素的像素值、是运动量v两倍的像素数量必须是一致的。

如上所述，属于覆盖的背景区域的像素的混合比α通过方程(21)计算，属于未覆盖的背景区域的像素的混合比α通过方程(22)计算。

α＝(C-N)/(P-N)                         (21)

α＝(C-P)/(N-P)                         (22)

图53是说明估算混合比处理器401配置的方框图。帧存储器421按诸多帧单位存储一个输入图像，并且把作为输入图像输入的帧之后的帧供应给一个帧存储器422和一个混合比计算器423。

帧存储器422按诸多帧单位存储输入图像，并且把帧存储器421供应的帧之后的帧供应给混合比计算器423。

因此，当帧#n+1作为输入图像输入给混合比计算器423时，帧存储器423把帧#n供应给混合比计算器423，并且帧存储器422把帧#n-1供应给混合比计算器423。

混合比计算器423根据帧#n中指定像素的像素值C、定位于与指定像素的位置相对应位置上的帧#n+1的像素的像素值N以及定位于与指定像素的位置相对应位置上的帧#n-1的像素的像素值P，通过解方程(21)来计算估算混合比，输出所计算的估算混合比。例如，当背景静止时，混合比计算器423根据帧#n中指定像素的像素值C、位于与指定像素相同位置上的帧#n+1中像素的像素值N和位于与指定像素相同位置上的像素的像素值P，计算指定像素的估算混合比，并输出所计算的估算混合比。

这样，估算混合比计算器401根据输入图像计算估算混合比，并且将此供应给混合比确定部分403。

估算混合比计算器401通过解方程(21)计算指定像素的估算混合比。估算混合比计算器402的操作类似于估算混合比计算器401的操作，只不过估算混合比计算器402通过解方程(22)计算指定像素的不同的估算混合比。因此，省略对估算混合比计算器402的解释。

图54图示说明了由估算混合比处理器401计算的估算混合比。图54所示的估算混合比是当恒等速度运动的前景对象的运动量是11时由一行表示的结果。

如图48所示，可以看出估算混合比在混合区域几乎是线性变化的。

参见图47，混合比确定部分403根据从区域指定单元103供应的区域信息设置混合比α，该区域信息指示将要计算混合比α的像素属于背景区域、覆盖的背景区域或者未覆盖的背景区域之中的哪一个。当对应像素属于背景区域时混合比确定部分403将混合比α设置为0，并且当对应像素属于背景区域时将混合比设置为1。当对应像素属于未覆盖的背景区域时，混合比确定部分403将混合比α设置为估算混合比401所供应的估算混合比。当对应像素属于未覆盖的背景区域时，混合比确定部分403将混合比α设置为估算混合比处理器402所供应的估算混合比。混合比确定部分403输出根据区域信息设置的混合比α。

图55是说明估算混合比处理器401另一个配置的方框图。选择器441根据从区域指定单元103供应的区域信息向估算混合比处理器442供应属于覆盖的背景区域的像素以及在前和在后帧中的对应像素。选择器441根据从区域指定单元103供应的区域信息向估算混合比处理器443供应属于未覆盖的背景区域的像素以及在前和在后帧中的对应像素。

估算混合比处理器442根据从选择器441输入的像素值，通过方程(21)表示的计算来计算属于覆盖的背景区域的指定像素的估算混合比，并且向选择器444供应所计算的估算混合比。

估算混合比处理器443根据从选择器441输入的像素值，通过方程(22)表示的计算来计算属于未覆盖的背景区域的指定像素的估算混合比，并且向选择器444供应所计算的估算混合比。

根据区域指定单元103所指定的区域信息，选择器444选择估算混合比0，将其设置为当指定像素属于前景区域时的混合比α，并且选择估算混合比1，将其设置为指定像素属于背景区域时的混合比α。当指定像素属于属于覆盖的背景区域时，选择器444选择从估算混合比处理器443供应的估算混合比，将其设置为混合比α。然后，选择器444输出根据区域信息选择和设置的混合比α。

如上所述，按图55配置的混合比计算器104能够为图像中含有的每个像素计算混合比α，并且输出所计算的混合比α。

下面参考图56讨论由图47所示的混合比计算器104所执行的混合比α的计算处理。在步骤S401中，混合比计算器104获得从区域指定单元103供应的区域信息。在步骤S402中，估算混合比处理器401通过使用对应于覆盖的背景区域的模型进行对混合比的估算处理，并且将所估算的混合比供应给混合比确定部分403。下面参考图57讨论对混合比进行估算处理的细节。

在步骤S403中，估算混合比处理器402使用对应于未覆盖的背景区域的模型对混合比进行估算处理，并且将估算混合比供应给混合比确定部分403。

在步骤S404中，混合比计算器104确定是否已经为整个帧估算了混合比。如果确定还没有为整个帧估算混合比，则处理返回到步骤S402，并且为后续像素进行混合比的估算处理。

如果在步骤S404中确定已经为整个帧估算了混合比，则处理前进到步骤S405。在步骤S405中，混合比确定部分403根据从区域指定单元103供应的区域信息设置混合比，该区域信息指示将要计算混合比α的像素属于前景区域、背景区域、覆盖的背景区域或者未覆盖的背景区域之中的哪一个。当对应像素属于前景区域时，混合比确定部分403将混合比α设置为0；当对应像素属于背景区域时，混合比确定部分403将混合比α设置为1。当对应像素属于属于覆盖的背景区域时，混合比确定部分403将估算混合比处理器401供应的估算混合比设置为混合比α。当对应像素属于属于未覆盖的背景区域时，混合比确定部分403将估算混合比处理器402供应的估算混合比设置为混合比α，然后结束该处理。

如上所述，混合比计算器104能够根据从区域指定单元103供应的区域信息、输入图像计算指示对应于每个像素的特征量的混合比α。

计算由图55所示的混合比计算器104执行的混合比α的处理类似于结合图56所讨论的情况，因此省略其对说明。

下面结合图57的流程图说明在图56的步骤S402中使用对应于覆盖的背景区域的模型进行的混合比估算处理。

在步骤S421中，混合比计算器423从帧存储器421中获得帧#n中的指定像素的像素值C。

在步骤S422中，混合比计算器423从帧存储器422中获得对应于包含在输入图像中的指定像素的帧#n-1中像素的像素值P。

在步骤S423中，混合比计算器423获得对应于包含在输入图像中的指定像素的帧#n+1中像素的像素值N。

在步骤S424中，混合比计算器423根据帧#n中指定像素的像素值C、帧#n-1中像素的像素值P和帧#n+1中像素的像素值N计算估算混合比。

在步骤S425中，混合比计算器423确定是否完成用于整个帧的估算混合比。如果确定还未完成用于整个帧的计算混合比的处理，则处理返回到步骤S421，重复用于后续像素的计算估算混合比的处理。

如果在步骤S425中确定用于整个帧的计算估算混合比的处理已经完成，则结束该处理。

如上所述，估算混合比处理器401能够根据输入图像计算估算混合比。

在图56的步骤S403中使用对应于未覆盖的背景区域的模型执行的混合比估算处理类似于使用对应于未覆盖的背景区域的模型执行的由图57的流程图指示的处理，因而省略对其解释。

图55所示的估算混合比处理器442和估算混合比处理器443通过执行类似于图57的流程图的处理来计算估算混合比，因此省略对其解释。

已经说明的实施例假定对应于背景的对象是静止的。但是即使对应于背景区域的图像包含运动也可以应用上述的确定混合比α的处理。例如，如果对应于背景区域的图像正在匀速运动，则估算混合比处理器401根据背景的运动移位整个图像，并且以类似于对应于背景的对象是静止情形的方式执行处理。如果对应于背景区域的图像包含局部不同的运动，则估算混合比处理器401把对应于该运动的像素选作属于混合区域的对应像素，并且执行上述处理。

估算混合比计算器104通过使用对应于覆盖的背景区域的模型可以仅仅执行用于所有像素的混合比估算处理，以便把计算的估算混合比作为混合比α输出。在此情况下，混合比α指示用于属于覆盖的背景区域的像素的背景分量比，并且指示用于属于未覆盖的背景区域的像素的背景分量比。对于属于未覆盖的背景区域的像素，计算混合比α与l之差的绝对值，并且将所计算的绝对值设置为混合比α。然后，信号处理设备能够确定指示属于未覆盖的背景区域的像素的背景分量比。

同样，混合比计算器104通过使用对应于未覆盖的背景区域的模型可以仅仅执行用于所有像素的混合比估算处理，以便把计算的估算混合比作为混合比α输出。

下面讨论由混合比计算器104执行的另一种处理。

混合比α根据像素的位置变化而线性变化，因为对应于前景的对象正在恒等速度运动。通过利用此特征，可以使在空间方向接近混合比α以及前景分量之和f的方程有效。通过利用多组属于混合区域的像素的像素值和属于背景区域的像素的像素值，可以求解接近混合比α以及前景分量之和f的方程，从而计算混合比α。

当混合比α的变化接近为直线时，混合比α可以由方程(23)表示。

α＝il+p                                      (23)

在方程(23)中，i表示当指定像素的位置被设置为0时的空间索引，l是指混合比α的直线的梯度，p是指混合比α的直线的截距并且表示指定像素的混合比α。在方程(23)中，索引i是已知的，梯度l和截距p是未知的。

图58示出了索引i、梯度l和截距P之间的关系。

通过依据方程(23)近似混合比α，可以用两个变量表示多个像素的多个不同混合比α。在图58所示的实例中，五个像素的五个混合比由两个变量，即梯度l和截距p表示。

当在图59所示的平面中近似混合比α时，通过将运动量v考虑成对应于两个方向，即图像的水平方向和垂直方向，把方程(23)扩展到该平面中，并且可以用方程(24)表示混合比α。

α＝jm+kq+p                        (24)

在方程(24)中，j是水平方向的索引(index)，k是指定像素的位置为0时的垂直方向的索引。在方程(24)中，m指在该平面中混合比α的水平梯度，q指在该平面中混合比α的垂直梯度。在方程(24)中，p指该平面中混合比α的截距。

例如，在图49所示的帧#n中，方程(25)至(27)分别对C05至C07有效。

C05＝α05·B05/v+F05                        (25)

C06＝α06·B06/v+F06                        (26)

C07＝α07·B07/v+F07                        (27)

假定定位在彼此接近的位置上的前景分量是彼此相等的，即F01至F03相等，则通过用fc替代F01至F03使方程(equation)(28)成立。

f(x)＝(1-α(x))·Fc                         (28)

在方程(28)中，x指示空间方向的位置。

当α(x)由方程(24)替代时，方程(28)可以用方程(29)表示。

f(x)＝(1-(jm+kq+p)·Fc

    ＝j·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)

    ＝js+kt+u                           (29)

在方程(29)中，(-m·Fc)、(-q·Fc)和(1-p)·Fc分别被方程(30)至(32)所示的s、t、u替代。

s＝-m·Fc                               (30)

t＝-q·Fc                               (31)

u＝(1-p)·Fc                            (32)

在方程(29)中，j是水平方向的索引，k是指定像素的位置为0时的垂直方向的索引。

如上所述，由于可以假定对应于前景的对象在快门时间内正以恒等速度(constant velocity)运动，并且彼此接近定位的前景分量是一致的，则可以通过方程(29)近似前景分量之和。

当混合比α被直线近似时，可以由方程(33)表示前景分量。

f(x)＝is+u                              (33)

通过使用方程(24)和(29)替代方程(13)中的混合比α和前景分量之和，可以用方程(34)表示像素值M。

M＝(jm+kq+p)·B+js+kt+u

 ＝jB·m+kB·q+B·p+j·s+k·t+u         (34)

在方程(34)中，未知变量是六个因子，比如该平面中的混合比α的水平梯度(horizontal gradient)m，该平面内的混合比α的垂直梯度q，该平面内的混合比α的截距、p、s、t和u。

像素值M和像素值B被设置在与接近于指定像素的诸多像素相符的方程(34)中，然后以最小二乘法求解设置了像素值M和像素值B的多个方程，从而计算混合比α。

现在假定，例如指定像素的水平索引j被设置为0，指定像素的垂直索引k被设置为0。在此情况下，当像素值M或者像素值B被设置在由方程(34)表示的法方程中，用于定位于接近指定像素的3×3像素时，可以得到方程(35)至(43)。

M_-1，-1＝(-1)·B_-1，-1·m+(-1)·B_-1，-1·q+B_-1，-1·p+(-1)·s+(-1)·t+u  (35)

M_0，-1＝(0)·B_0，-1·m+(-1)·B_0，-1·q+B_0，-1·p+(0)·s+(-1)·t+u      (36)

M_+1，-1＝(+1)·B_+1，-1·m+(-1)·B_+1，-1·q+B_+1，-1·p+(+1)·s+(-1)·t+u    (37)

M_-1，0＝(-1)·B_-1，0·m+(0)·B_-1，0·q+B_-1，0·p+(-1)·s+(0)·t+u         (38)

M_0，0＝(0)·B_0，0·m+(0)·B_0，0·q+B_0，0·p+(0)·s+(0)·t+u              (39)

M_+1，0＝(+1)·B_+1，0·m+(0)·B_+1，0·q+B_+1，0·p+(+1)·s+(0)·t+u          (40)

M_-1，+1＝(-1)·B_-1，+1·m+(+1)·B_-1，+1·q+B_-1，+1·p+(-1)·s+(+1)·t+u     (41)

M_0，+1＝(0)·B_0，+1·m+(+1)·B_0，-1·q+B_0，+1·p+(0)·s+(+1)·t+u          (42)

M_+1，+1＝(+1)·B_+1，+1·m+(+1)·B_+1，+1·q+B_+1，+1·p+(+1)·s+(+1)·t+u     (43)

由于指定像素的水平索引j是0，指定像素的垂直索引k是0，指定像素的混合比α等于当方程(24)中j为0和k为0时的值，即混合比α等于方程(24)中的截距p。

所以，根据九个方程，即方程(35)至(43)，通过最小二乘法计算水平梯度q和截距p、s、t、u，并且把截距p输出为混合比α。

下面说明通过应用最小二乘法计算混合比α的具体处理。

当索引i和索引k被单一索引x表示时，可以用方程(44)表示索引i、索引k和索引x之间的关系。

x＝(j+1)·3+(k+1)                               (44)

现在假定水平梯度m、垂直梯度q和截距p、s、t、u分别由变量w0、w1、w2、w3、w4、w5表示，以及jB、kB、B、j、k和l分别由a0、a1、a2、a3、a4和a5表示。在考虑误差ex的情况下，方程(35)至(43)可以被修改成方程(45)。

$\mathrm{Mx}=\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy}+\mathrm{ex}---\left(45\right)$

在方程(45)中，x是整数0至8的任何一个。

可以从方程(45)得到方程(46)。

$\mathrm{ex}=\mathrm{Mx}-\underset{y=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy}---\left(46\right)$

由于应用了最小二乘法，因此可以按方程(47)定义误差的平方和E。

$E=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}e{x}^2---\left(47\right)$

为了最小化误差，关于误差的平方和E的变量Wv的偏微分值应当为0。v是整数0至5的任何一个。因而确定wy以满足方程(48)。

$\frac{\∂E}{\∂\mathrm{Wv}}=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ex}\·\frac{\∂\mathrm{ex}}{\∂\mathrm{Wv}}---\left(48\right)$

$=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ex}\·\mathrm{av}=0$

通过把方程(46)代入方程(48)，可以获得方程(49)。

$\underset{x=0}{\overset{8}{\mathrm{\Σ}}}(\mathrm{av}\·\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{Wy})=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{av}\·\mathrm{Mx}---\left(49\right)$

例如，将消去法(高斯-若当消去法)应用于由六个方程组成的法方程，该六个方程是通过将整数0至5之任一个代入方程(49)中的v而获得的，从而得到wy。如上所述，w0是水平梯度m，w1是垂直梯度q，w2是截距m，w3是s，w4是t，w5是u。

如上所述，通过将最小二乘法应用到其中设置了像素M和像素B的方程，可以确定水平梯度m、垂直梯度q和截距p、s、t和u。

由于截距p被定位在索引i和k为0(即中心位置上的混合比α)的点上，因此它被输出。

通过假设包含在混合区域中的像素的像素值是M，和包含在背景区域中的像素的像素值是B，结合方程(35)至(43)给出一说明。在此情况下，必须为在覆盖的背景区域中包含指定像素或者在未覆盖的背景区域中包含指定像素的每一种情形，设置法方程。

例如，如果在图49所示帧#n的覆盖的背景区域中包含的像素的混合比α被确定，则在法方程中设置帧#n的像素的C04至C08以及帧#n-1的像素的像素值P04至P08。

如果在图50所示帧#n的未覆盖的背景区域中包含的像素的混合比α被确定，则在法方程中设置帧#n的像素的C28至C32以及帧#n+1的像素的像素值N28至N32。

此外，如果图60所示覆盖的背景区域中包含在像素的混合比α被计算，则设置下列方程(50)至(58)。用于计算混合比α的像素的像素值是Mc5。

Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u    (50)

Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u      (51)

Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u    (52)

Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u      (53)

Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u        (54)

Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u      (55)

Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u    (56)

Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u      (57)

Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u    (58)

当计算帧#n的覆盖的背景区域中包含的像素的混合比α时，使用分别对应于帧#n的像素的方程(50)至(58)内的帧#n-1中背景区域的像素的像素值Bc1至Bc9。

如果例如在图60所示的未覆盖的背景区域中包含的像素的混合比α被计算，则设置下列方程(59)-(67)。计算出混合比α的像素的像素值是Mu5。

Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u    (59)

Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u      (60)

Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u    (61)

Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u      (62)

Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u        (63)

Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u      (64)

Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u    (65)

Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u      (66)

Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u    (67)

当帧#n的未覆盖的背景区域中包含的像素的混合比α被计算时，使用分别对应于帧#n的像素的方程(59)至(67)内的帧#n+1中背景区域的像素的像素值Bu1至Bu9。

图61是说明估算混合比处理器401配置的方框图。输入到估算混合比处理器中的图像被供应给延迟部分501和加法器502。

延迟电路221延迟一帧的输入图像，并把该图像供应给加法器502。当帧#n作为输入图像供应给加法器502时，延迟电路221将帧#n-1供应给加法器502。

加法器502设置邻近于计算出混合比α的像素的像素的像素值，并且设置法方程中的帧#n-1的像素值。例如，加法器502分别根据方程(50)至(58)设置法方程中的像素值Mc1至Mc9以及像素值Bc1至Bc9。加法器502将在其内设置了像素值的法方程供应给一个计算器503。

计算器503通过采用例如消去法(sweep out)求解从加法器502供应的法方程来确定估算混合比(estimated mixture ratio)，并输出所确定的估算混合比。

这样，估算混合比处理器401能够根据输入图像计算估算混合比，并且将其供应给混合比确定部分403。

估算混合比处理器402的配置类似于估算混合比处理器401的配置，因而省略对其说明。

图62图示说明了由估算混合比处理器401计算的估算混合比的一个实例。当对应于恒等速度运动的对象的前景运动v是11时，图62所示的估算混合比是由一行所表示的结果，并且是以7×7像素块的单位由生成的方程执行计算而获得的。

在混合区域中，估算混合比几乎线性地变化，如图48所示。

混合比确定部分403根据从区域指定单元101供应的区域信息设置混合比，所述的区域信息指示将要计算混合比α的像素属于前景区域、背景区域、覆盖的背景区域或者未覆盖的背景区域之中的哪一个。混合比确定部分403在对应像素属于前景区域时，将混合比设置为0；在对应像素属于背景区域时，将混合比设置为1。当对应像素属于覆盖的背景区域时，混合比确定部分403将混合比设置为从估算混合比处理器401供应的估算混合比。当对应像素属于未覆盖的背景区域时，混合比确定部分403将混合比设置为从估算混合比处理器402供应的估算混合比。混合比确定部分403输出根据区域信息设置的混合比。

下面参考图63的流程图讨论当估算混合比处理器按图61所示进行配置时，由混合比计算器102执行的混合比的计算处理。在步骤S501中，混合比计算器102获得从区域指定单元101供应的区域信息。在步骤S502中，估算混合比处理器401通过使用对应于覆盖的背景区域的模型执行对混合比进行估算的处理，并且把估算混合比供应给混合比确定部分403。下面结合图64的流程图讨论对混合比进行估算的处理细节。

在步骤S503中，估算混合比处理器402通过使用对应于未覆盖的背景区域的模型执行对混合比进行估算的处理，并且将估算混合比供应给混合比确定部分403。

在步骤S504中，混合比计算器102确定是否已经对整个帧估算了混合比。如果确定还没有对整个帧估算混合比，则处理返回到步骤S502，并且执行对后续像素估算混合比的处理。

如果在步骤S504中确定已经为整个帧估算了混合比，则处理前进到步骤S505。在步骤S505，混合比确定部分403根据从区域指定单元101供应的区域信息设置混合比，所述的区域信息指示将要计算混合比α的像素属于前景区域、背景区域、覆盖的背景区域或者未覆盖的背景区域之中的哪一个。混合比确定部分403在对应像素属于前景区域时，把混合比α设置为0；并且当对应像素属于背景区域时，把混合比α设置为1。当对应像素属于覆盖的背景区域时，混合比确定部分403把从估算混合比处理器401供应的估算混合比设置为混合比。当对应像素属于未覆盖的背景区域时，混合比确定部分403把从估算混合比处理器402供应的估算混合比设置为混合比α。然后结束该处理。

如上所述，混合比计算器102能够根据从区域指定单元101供应的区域信息计算指示对应于每个像素的特征量的混合比α。

通过利用该混合比α，能够分离包含在像素值中的前景分量和背景分量，同时保持包含在对应于运动对象的图像中的运动模糊的信息。

如果根据混合比α合成图像，则能够建立匹配了真实地反映现实的运动对象的速度的包含运动模糊的图像。

下面参考图64的流程图说明在图63的步骤S502中使用对应于覆盖的背景区域的模型进行的混合比估算处理。

在步骤S521中，加法器502在对应于覆盖的背景区域的模型的法方程中设置包含在输入图像中的像素值以及包含在从延迟电路221供应的图像中的像素值。

在步骤S522中，估算混合比处理器401确定是否完成了目标像素的设置。如果确定没有完成目标像素的设置，则处理返回到步骤S521，并且重复在法方程中设置像素值的处理。

如果在步骤S522中确定完成目标像素的设置，则处理前进到步骤S523。在步骤S523中，计算器173根据设置了像素值的法方程计算估算混合比。

如上所述，估算混合比处理器401能够根据输入图像计算估算混合比。

在图63的步骤S153中使用对应于未覆盖的背景区域的模型进行的混合比估算处理类似于由图64的流程图指示的利用对应于未覆盖的背景区域的模型的处理，因此省略对其说明。

对该实施例的说明是在假定对应于背景的对象是静止的情况下进行的。此外，即便对应于背景区域的图像包含运动，也可以应用上述的混合比计算处理。例如，如果对应于背景区域的图像正在均匀运动，则估算混合比处理器401根据该运动移位整个图像，并且以类似于对应于背景的对象是静止的情况的方式执行处理。如果对应于背景区域的图像包含局部不同的运动，则估算混合比处理器401将对应于运动的像素选择为属于混合区域的像素，并且执行上述处理。

下面讨论前景/背景分离器105。图65是说明前景/背景分离器105的配置的一个实例的方框图。供应给前景/背景分离器105的输入图像被供应到分离部分601、开关602和开关604。从区域指定单元103供应的指示覆盖的背景区域和未覆盖的背景区域的信息的区域信息被供应给分离部分601。指示前景区域的区域信息被供应给开关602。指示背景区域的区域信息被供应给开关604。

从混合比计算器104供应的混合比α被供应给分离部分601。

分离部分601根据指示覆盖的背景区域的区域信息、指示未覆盖的背景区域的区域信息以及混合比α从输入图像中分离出前景分量，并且将所分离的前景分离供应给合成器603。分离部分601也从输入图像中分离背景分量，并将所分离的背景分量供应给合成器605

当根据指示前景区域的区域信息输入对应于前景的像素时，开关602闭合，并且仅仅把对应于包含在输入图像中的前景的像素供应给合成器603。

当根据指示背景区域的区域信息输入对应于背景的像素时，开关604闭合，并且仅仅把对应于包含在输入图像中的背景的像素供应给合成器605。

合成器603根据从分离部分601供应的前景分量和对应于从开关602供应的前景的像素合成前景分量图像，并且输出所合成的前景分量图像。由于前景区域和混合区域不重叠，因此，合成器603把例如逻辑OR应用于前景分量和前景像素，从而合成前景分量图像。

在前景分量图像的合成处理开始时执行的初始化处理中，合成器603在内置帧存储器中存储其像素值都为0的图像。然后，在前景分量图像的合成处理中，合成器603存储该前景分量图像(用该前景分量图像改写在前的图像)。因此，将0存储在与合成器603输入的前景分量图像的背景区域相对应的诸多像素中。

合成器605根据从分离部分601供应的背景分量和对应于从开关604供应的背景的像素合成背景分量图像，并且输出所合成的背景分量图像。由于背景区域和混合区域不重叠，因此，合成器605把例如逻辑OR应用于背景分量和背景像素，从而合成背景分量图像。

在背景分量图像的合成处理开始时执行的初始化处理中，合成器605在内置帧存储器中存储其像素值都为0的图像。然后，在背景分量图像的合成处理中，合成器605存储背景分量图像(用该背景分量图像改写在前图像)。因此，将0存储在与合成器605输入的背景分量图像的前景区域相对应的诸多像素中。

图66A和图66B图示说明了输入前景/背景分离器105的输入图像和从前景/背景分离器105输出的前景分量图像和背景分量图像。

图66A是将要显示的一个图像的示意图，图66B是一个模型，在该模型中按时间方向扩展对应于图66A所示的一行的像素，这些像素包括属于前景区域的像素、属于背景区域的像素和属于混合区域的像素。

如图66A和图66B所示，从前景/背景分离器105输出的背景分量图像包括属于背景区域的像素和包含在混合区域的像素中的背景分量。

如图66A和图66B所示，从前景/背景分离器105输出的前景分量图像包括属于前景区域的像素和包含在混合区域的像素中的前景分量。

前景/背景分离器105将混合区域中的像素的像素值分离成背景分量和前景分量。所分离的背景分量形成背景分量图像和属于背景区域的像素。所分离的前景分量形成前景分量图像和属于前景区域的像素。

如上所述，在前景分量图像中，将对应于背景区域的像素的像素值设置为0，并且在对应于前景区域的像素和对应于混合区域的像素中设置效像素值。同样，在背景分量图像中，将对应于背景区域的像素的像素值设置为0，并且在对应于背景区域的像素和对应于混合区域的像素中设置有效像素值。

下面对分离部分601执行的处理进行说明，该分离部分601从属于混合区域的像素中分离出前景分量和背景分量。

图67图示说明了指示两个帧中前景分量和背景分量的图像的模型，这两个帧包含在图67中从左向右运动的前景对象。在图67所示的图像的模型中，运动量v是4，虚拟分割部分的数量是4。

在帧#n中，最左端像素和左数第十四至第十八像素仅仅由背景分量组成，并且属于背景区域。在帧#n中，左数第二至第四像素包含背景分量和前景分量，并且属于未覆盖的背景区域。在帧#n中，左数第十一至第十三像素包含背景分量和前景分量，并且属于覆盖的背景区域。在帧#n中，左数第五至第十像素仅仅包含前景分量，并且属于前景区域。

在帧#n+1中，左数第一至第五像素仅仅由背景分量组成，并且属于背景区域。在帧#n+1中，左数第六至第八像素包含背景分量和前景分量，并且属于未覆盖的背景区域。在帧#n+1中，左数第十五至第十七像素包含背景分量和前景分量，并且属于覆盖的背景区域。在帧#n+1中，左数第九至第十四像素仅仅由前景分量组成，并且属于前景区域。

图68图示说明了从属于覆盖的背景区域的像素中分离前景分量的处理。在图68中，α1至α18表示帧#n的各个像素的混合比。在图68中，左数第十四至第十七像素属于覆盖的背景区域。

帧#n中左数第十五像素的像素值C15可以由方程(68)表示：

C15＝B15/v+F09/v+F08/v+F07/v

   ＝α15·B15+F09/v+F08/v+F07/v

   ＝α15·P15+F09/v+F08/v+F07/v            (68)

其中α15表示帧#n左数第十四像素的混合比，P15表示帧#n-1中左数第十五像素的像素值。

帧#n左数第十五像素的前景分量之和f15可以由基于方程(68)的方程(69)表达。

f15＝F09/v+F08/v+F07/v

   ＝C15-α15·P15                          (69)

同样，帧#n左数第十六像素的前景分量之和f16可以由方程(70)表达，帧#n左数第十七像素的前景分量之和f17可以由方程(71)表达。

f16＝C16-α16·P16                          (70)

f17＝C17-α17·P17                          (71)

这样，包含在属于覆盖的背景区域的像素的像素值C中的前景分量fc可以由方程(72)表达：

fc＝C-α·P                                 (72)

其中P表示对应于在前帧中像素的像素值。

图69图示说明了从属于未覆盖的背景区域的像素中分离前景分量的处理。在图69中，α1至α18表示帧#n的各像素的混合比。在图69中，左数第二至第四像素属于未覆盖的背景区域。

帧#n中左数第二像素的像素值C02可以由方程(73)表示：

C02＝B02/v+B02/v+B02/v+F01/v

   ＝α2·B02+F01/v

   ＝α2·N02+F01/v                    (73)

其中α2表示帧#n左数第二像素的混合比，N02表示帧#n+1中左数第二像素的像素值。

帧#n左数第二像素的前景分量之和F02可以由基于方程(73)的方程(74)表达。

F02＝F01/v

   ＝C02-α2·N02                      (74)

同样，帧#n左数第三像素的前景分量之和F03可以由方程(75)表达，帧#n左数第四像素的前景分量之和F04可以由方程(76)表达。

F03＝C03-α3·N03                      (75)

F04＝C04-α4·N04                      (76)

这样，包含在属于未覆盖的背景区域的像素的像素值C中的前景分量fu可以由方程(77)表达：

fu＝C-α·N                            (77)

其中N表示对应于后续帧中像素的像素值。

如上所述，分离部分601能够根据包含在区域信息中的指示覆盖的背景区域的信息和指示未覆盖的背景区域的信息以及每个像素的混合比α，从属于混合区域的像素中分离前景分量，以及从属于混合区域的像素中分离背景分量。

图70是说明执行上述处理的分离部分601配置的一个实例的方框图。输入到分离部分601中的图像被供应给帧存储器621，从混合比计算器104供应的指示覆盖的背景区域和未覆盖的背景区域的区域信息以及混合比α被供应给分离处理单元622。

帧存储器621以帧单位存储输入图像。当待处理的一帧是帧#n时，帧存储器621存储帧#n-1(是帧#n的前一帧)、帧#n和帧#n+1(是帧#n的后一帧)。

帧存储器621把帧#n-1、帧#n和帧#n+1中的对应像素供应给分离处理单元622。

分离处理单元622根据指示覆盖的背景区域和未覆盖的背景区域的区域信息以及混合比α，把参考图68和图69讨论的计算应用于从帧存储器621供应的帧#n-1、帧#n和帧#n+1中的对应像素的像素值，以便从属于帧#n中混合区域的像素中分离前景分量和背景分量，并且将它们供应给帧存储器623。

分离处理单元622由未覆盖的区域处理器631、覆盖的区域处理器632、合成器633和合成器634构成。

未覆盖的区域处理器631的乘法器641用混合比α乘帧存储器621所供应的帧#n+1中像素的像素值，并且把所得到的像素值输出给开关642。当从帧存储器621供应的帧#n的像素(相当于帧#n+1中的像素)属于未覆盖的区域时，闭合开关642，并且把乘法器641供应的被混合比α相乘的像素值供应给计算器643和合成器634。通过由开关624输出的混合比α乘帧#n+1中像素的像素值而获得的值相当于帧#n中对应像素的像素值的背景分量。

计算器643从帧存储器621供应的帧#n中像素的像素值中减去从开关642供应的背景分量，以便获得前景分量。计算器643向合成器633供应属于未覆盖的背景区域的帧#n中像素的前景分量。

覆盖的区域处理器632的乘法器651用混合比α乘帧存储器621所供应的帧#n-1中像素的像素值，并且把所得到的像素值输出给开关652。当从帧存储器621供应的帧#n的像素(相当于帧#n-1中的像素)属于覆盖的背景区域时，闭合开关652，并且把乘法器651供应的被混合比α相乘的像素值供应给计算器653和合成器634。通过由开关652输出的混合比α乘帧#n-1中像素的像素值而获得的值相当于帧#n中对应像素的像素值的背景分量。

计算器653从帧存储器621供应的帧#n中像素的像素值中减去从开关652供应的背景分量，以便获得前景分量。计算器653向合成器633供应属于覆盖的背景区域的帧#n中像素的前景分量。

合成器633将计算器643所供应的属于未覆盖的背景区域的像素的前景分量与计算器653所供应的属于覆盖的背景区域的像素的前景分量相合并，并且把合成的前景分量供应给帧存储器623。

合成器634将计算器642所供应的属于未覆盖的背景区域的像素的背景分量与开关652所供应的属于覆盖的背景区域的像素的背景分量相合并，并且把合成的背景分量供应给帧存储器623。

帧存储器623存储从分离处理单元622供应的帧#n的混合区域中像素的前景分量和背景分量。

帧存储器623输出所存储的帧#n中混合区域的像素的前景分量和所存储的帧#n中混合区域的像素的背景分量。

通过利用表示特征量的混合比α，可以完全分离包含在像素中的前景分量和背景分量。

合成器603将分离部分601输出的帧#n中混合区域的像素的前景分量与属于前景区域的像素相合并，以便生成前景分量图像。合成器605将分离部分601输出的帧#n中混合区域的像素的背景分量与属于背景区域的像素相合并，以便生成背景分量图像。

图71A是说明对应于图67中帧#n的前景分量图像的一个实例的示意图。在分离前景和背景之前，最左像素和左数第十四像素仅仅由背景分量组成，因此像素值被设置为0。

在分离前景和背景之前，左数第二至第四像素属于未覆盖的背景区域。因此，背景分量被设置为0，并且维持前景分量。在分离前景和背景之前，左数第十一至第十三像素属于覆盖的背景区域。因此，背景分量被设置为0，并且维持前景分量。左数第五至第十像素仅仅由如此维持的前景分量组成。

图71B是说明对应于图67中帧#n的背景分量的一个实例的示意图。在分离前景和背景之前，最左像素和左数第十四像素仅仅由背景分量组成，从而维持背景分量。

在分离前景和背景之前，左数第二至第四像素属于未覆盖的背景区域。因此，前景分量被设置为0，并且维持背景分量。在分离前景和背景之前，左数第十一至第十三像素属于覆盖的背景区域。因此，前景分量被设置为0，并且维持背景分量。左数第五至第十像素仅仅由前景分量组成，因而像素值被设置为0。

下面参考图72的流程图说明由前景/背景分离器105执行的分离前景和背景的处理。在步骤S601中，分离部分601的帧存储器621获得输入图像，并且存储用于分离前景和背景的帧#n以及在前帧#n-1和后续帧#n+1。

在步骤S602中，分离部分601的分离处理单元622获取从混合比计算器104供应的区域信息。在步骤S603中，分离部分601的分离处理单元622获取从混合比计算器104供应的混合比α。

在步骤S604中，未覆盖的区域处理器631根据区域信息和混合比α从帧存储器621供应的属于未覆盖的背景区域的像素的像素值中提取背景分量。

在步骤S605中，未覆盖的区域处理器631根据区域信息和混合比α从帧存储器621供应的属于未覆盖的背景区域的像素的像素值中提取前景分量。

在步骤S606中，覆盖的区域处理器632根据区域信息和混合比α从帧存储器621供应的属于覆盖的背景区域的像素的像素值中提取背景分量。

在步骤S607中，覆盖的区域处理器632根据区域信息和混合比α从帧存储器621供应的属于覆盖的背景区域的像素的像素值中提取前景分量。

在步骤S608中，合成器633将步骤S605的处理中提取的属于未覆盖的背景区域的像素的前景分量与在步骤S607处理中提取的属于覆盖的背景区域的像素的前景分量相合并。所合成的前景分量被供应给合成器603。合成器603进一步将经由开关602供应的属于前景区域的像素与从分离部分601供应的前景分量相合并，以便生成前景分量图像。

在步骤S609中，合成器634将在步骤S604处理中提取的属于未覆盖的背景区域的像素的背景分量与在步骤S606处理中提取的属于覆盖的背景区域的像素的背景分量相合并。合成的背景分量被供应给合成器605。合成器605进一步将经由开关604供应的属于背景区域的像素与从分离部分601供应的背景分量相合并，以便生成背景分量图像。

在步骤S610中，合成器603输出前景分量图像。在步骤S611中，合成器605输出背景分量图像。然后结束该处理。

如上所述，前景/背景分离器105能够根据区域信息和混合比α从输入图像中分离出前景分量和背景分量，并且输出仅仅由前景分量组成的前景分量图像和仅仅由背景分量组成的背景分量图像。

图73是说明运动模糊调整单元106配置的方框图。

平坦部分提取单元801根据从区域分离单元103供应的区域信息，从前景/背景分离器105供应的前景分量中提取一个平坦部分。在该平坦部分中，邻近像素的像素值变化量是很小的。平坦部分提取单元901所提取的平坦部分由具有相等像素值的像素组成。平坦部分还被称之为“相等部分”。

例如，平坦部分提取单元801根据从区域指定单元103供应的区域信息从前景/背景分离器105供应的前景分量中提取一个平坦部分，在该平坦部分中，邻近像素的像素值小于预存的阈值Thf。

平坦部分提取单元801还提取例如一个平坦部分，在该平坦部分中，前景分量图像的邻近像素的像素值变化量在1％以内。像素值变化量的比值是提取平坦部分的一个基准，它可以被设置为一个预期值。

平坦部分提取单元801还可以提取一个平坦部分，在该平坦部分中，前景分量图像的相邻像素的像素值的标准偏移小于预存的阈值Thf。

此外，平坦部分提取单元801例如根据对应于前景分量图像的邻近像素的像素值的回归线，提取平坦部分，在平坦部分中，该回归线的误差和各像素值之和小于预存的阈值Thf。

提取平坦部分的基准值，比如阈值或者像素值变化量的比值可以被设置为一个预期值。本发明不受提取平坦部分的基准值的限制。提取平坦部分的基准值可以自适应地变化。

对于属于所提取的平坦部分的像素，平坦部分提取单元801设置一个指示像素属于平坦部分的平坦部分标志，并且向处理单位确定单元802供应前景分量图像和平坦部分标志。平坦部分提取单元801还生成仅仅由属于平坦部分的像素组成的平坦部分图像，并且将其供应给运动模糊消除单元803。

处理单位确定单元802根据前景分量图像和从平坦部分提取单元801供应的平坦部分标志以及从区域指定单元103供应的区域信息生成处理单位，并且将所生成的处理单位和平坦部分标志一同供应给运动模糊消除单元803，其中，所述处理单位是指示没有平坦部分的前景分量图像的像素的数据。

运动模糊消除单元803根据从处理单位确定单元802供应的平坦部分标志从前景/背景分离器105供应的前景分量图像中计算包含在属于平坦部分的像素中的前景分量。

运动模糊消除单元803根据从区域指定单元103供应的区域信息和从处理单位确定单元802供应的处理单位，从前景/背景分离器105供应的前景分量图像中消除对应于平坦部分前景分量。运动模糊消除单元803根据从区域指定单元103供应的区域信息和从处理单位确定单元802供应的处理单位，计算包含在由处理单位指定的像素中的剩余前景分量。

运动模糊消除单元803组合根据所计算的包含在由处理单位指定的像素中的前景分量而生成的像素与从平坦部分提取单元801供应的平坦部分图像的像素，从而生成从中消除运动模糊的前景分量图像。

运动模糊消除单元803将没有运动模糊的前景分量图像供应给运动模糊加法器804和选择器805。

图74是说明运动模糊消除单元803配置的方框图。从前景/背景分离器105供应的前景分量图像、从处理单位确定单元802供应的处理单位以及从运动检测器102供应的运动向量及其位置信息被供应给模型形成部分821。

模型形成部分821根据运动量v和处理单位执行模型形成。具体地说，模型形成部分821根据运动量v和处理单位确定每个像素的时间方向上的像素值的被分割部分的数量以及前景分量的数量，并且生成指定像素值与前景分量之间相关的一个模型。模型形成部分821可以从多个预存模型之中选择对应于运动量v和处理单位的一个模型。模型形成部分821将所生成的模型和前景分量图像一起供应给方程生成器822。

方程生成器822根据从模型形成部分821供应的模型生成一个方程，并且将所生成的方程与前景分量图像一起供应给加法器823。

加法器823将方程生成器822供应的方程加到最小二乘法的方程上。加法器823将所得到的法方程供应给计算器824。处理单位指定的像素不包含对应于平坦部分的像素。

计算器824求解由加法器823设置了像素值的方程，以便计算前景分量。计算器824根据所计算的前景分量生成对应于处理单位的消除了运动模糊的诸多像素，并且向合成器825输出对应于处理单位已生成像素。

合成器825根据从计算器824供应的对应于处理单位的像素以及从平坦部分提取单元801供应的平坦部分图像的像素生成消除了运动模糊的前景分量图像，并输出所生成的前景分量图像。

下面参考图75至图80说明运动模糊调整单元106的操作。

图75图示说明了通过在时间方向上扩展直线上的像素的像素值而获得的一个模型，它对应于从前景/背景分离器105输出并输入到平坦部分提取单元801的前景分量的运动向量。C01′至C23′指示前景分量图像的各个像素的像素值。前景分量图像仅仅由前景分量组成。

平坦部分提取单元801根据阈值从前景/背景分离器105供应的前景分量图像中含有的诸多像素之中，提取像素值变化量小于阈值Thf的连续像素。阈值Thf是一个足够小的值。平坦部分提取单元801提取的连续像素的数量必须大于一帧内的前景对象的运动量v。例如，如果前景对象的运动量在一帧内是5，则平坦部分提取单元801提取五个或五个以上的连续像素，在该连续像素中像素值几乎不变化，即是平坦部分。

例如，在图76所示的实例中，当方程(78)有效时，从方程(79)至(83)的关系中可以发现前景分量F06/v至F14/v是相等的。

C10′＝C11′＝C12′＝C13′＝C14′           (78)

C10′＝F06/v+F07/v+F08/v+F09/v+F10/v        (79)

C11′＝F07/v+F08/v+F09/v+F10/v+F11/v        (80)

C12′＝F08/v+F09/v+F10/v+F11/v+F12/v        (81)

C13′＝F09/v+F10/v+F11/v+F12/v+F13/v        (82)

C14′＝F10/v+F11/v+F12/v+F13/v+F14/v        (83)

也就是，由方程(84)指示的前景分量F06/v至F14/v的关系有效。

F06/v＝F07/v＝F08/v＝F09/v＝F10/v＝F11/v＝F12/v＝F13/v＝F14/v    (84)

所以，在计算前景分量的后续处理中，如图77所示，只需要计算前景分量F01/v至F05/v和前景分量F15/v至F19/v，而不需要计算前景分量F06/v至F14/v。

平坦部分提取单元801提取具有所述处理所需的相等像素值的平坦部分，根据提取的该平坦部分的生成指示像素是否属于平坦部分的平坦部分标志，并且将该标志供应给处理单位确定单元802。平坦部分提取单元801也将仅由属于平坦部分的多个像素组成的平坦部分图像供应给运动模糊消除单元803。

处理单位确定单元802生成处理单位，并且将处理单位和平坦部分标志一起供应给运动模糊消除单元803，所述处理单位是指示通过从包含在前景分量图像中的直线上的像素中消除平坦部分而获得的像素的数据。

运动模糊消除单元803根据由处理单位确定单元802供应的平坦部分标志，计算在属于平坦部分的像素中所含有的前景分量。运动模糊消除单元803根据平坦部分标志从前景分量图像中消除属于平坦部分的像素中所含有的该前景分量。

运动模糊消除单元803根据从处理单位确定单元802供应的处理单位生成一个方程，用于从消除了平坦部分的像素的像素值中算出剩余前景分量，所述平坦部分是从前景分量图像中含有的直线上的像素中消除的。

例如，如图76所示，在前景分量图像的直线上的23个像素之中，当左数第十至第十四像素属于平坦部分时，属于左数第十至第十四像素的前景分量可以从前景分量图像中消除。因此，为剩余前景分量即前景分量F01/v至F05/v和前景分量F15/v至F19/v，生成方程(85)至(102)。

C01″＝F01/v                            (85)

C02″＝F01/v+F02/v                      (86)

C03″＝F01/v+F02/v+F03/v                (87)

C04″＝F01/v+F02/v+F03/v+F04/v          (88)

C05″＝F01/v+F02/v+F03/v+F04/v+F05/v    (89)

C06″＝F02/v+F03/v+F04/v+F05/v          (90)

C07″＝F03/v+F04/v+F05/v                (91)

C08″＝F04/v+F05/v                      (92)

C09″＝F05/v                            (93)

C15″＝F15/v                            (94)

C16″＝F15/v+F16/v                      (95)

C17″＝F15/v+F16/v+F17/v                (96)

C18″＝F15/v+F16/v+F17/v+F18/v          (97)

C19″＝F15/v+F16/v+F17/v+F18/v+F19/v    (98)

C20″＝F16/v+F17/v+F18/v+F19/v          (99)

C21″＝F17/v+F18/v+F19/v                (100)

C22″＝F18/v+F19/v                      (101)

C23″＝F19/v                            (102)

通过将上述的最小二乘法应用于方程(85)至(102)，可以得到方程(103)和(104)。

$\left[\begin{array}{ccccc}5& 4& 3& 2& 1\\ 4& 5& 4& 3& 2\\ 3& 4& 5& 4& 3\\ 2& 3& 4& 5& 4\\ 1& 2& 3& 4& 5\end{array}\right]\left[\begin{array}{c}F01\\ F02\\ F03\\ F04\\ F05\end{array}\right]=V\·\left[\begin{array}{c}{C01}^{\′\′}+C02^{\′\′}+{C03}^{\′\′}+C04^{\′\′}+C05^{\′\′}\\ {C02}^{\′\′}+C03^{\′\′}+{C04}^{\′\′}+C05^{\′\′}+C06^{\′\′}\\ {C03}^{\′\′}+C04^{\′\′}+{C05}^{\′\′}+C06^{\′\′}+C07^{\′\′}\\ {C04}^{\′\′}+C05^{\′\′}+{C06}^{\′\′}+C07^{\′\′}+C08^{\′\′}\\ {C05}^{\′\′}+C06^{\′\′}+{C07}^{\′\′}+C08^{\′\′}+C09^{\′\′}\end{array}\right]---\left(103\right)$

$\left[\begin{array}{ccccc}5& 4& 3& 2& 1\\ 4& 5& 4& 3& 2\\ 3& 4& 5& 4& 3\\ 2& 3& 4& 5& 4\\ 1& 2& 3& 4& 5\end{array}\right]\left[\begin{array}{c}F15\\ F16\\ F17\\ F18\\ F19\end{array}\right]=V\·\left[\begin{array}{c}{C15}^{\′\′}+{C16}^{\′\′}+C17^{\′\′}+C{18}^{\′\′}+C{19}^{\′\′}\\ {C16}^{\′\′}+{C17}^{\′\′}+C18^{\′\′}+C{19}^{\′\′}+C{20}^{\′\′}\\ {C17}^{\′\′}+{C18}^{\′\′}+C19^{\′\′}+C{20}^{\′\′}+C{21}^{\′\′}\\ {C18}^{\′\′}+{C19}^{\′\′}+C{20}^{\′\′}+C{21}^{\′\′}+C{22}^{\′\′}\\ {C19}^{\′\′}+{C20}^{\′\′}+C{21}^{\′\′}+C{22}^{\′\′}+C{23}^{\′\′}\end{array}\right]---\left(104\right)$

消除单元803的方程生成器822生成例如，由方程(103)和(104)所示的对应于处理单位的方程。运动模糊消除单元803的加法器823在方程生成器822所生成的方程中设置包含在前景分量图像中的像素值，其中，所述前景分量图像消除了包含在属于平坦部分的像素中的前景分量。运动模糊消除单元803的计算器824通过应用解法(比如，Cholesky分解)于设置了像素值的方程，计算包含在前景分量图像中的前景分量，而不是计算包含在属于平坦部分的像素中的前景分量。

计算器824生成一个没有运动模糊的前景分量图像，如图78的实例所示，该前景分量图像由消除了运动模糊的像素值Fi组成。

在图78所示的消除了运动模糊的前景分量图像中，F01至F05被设置在C04″和C05″中，F15至F19被设置在C18″和C19″中。其原因是，对于屏幕来说，前景分量图像的位置不变化。前景分量图像可以被设置在预期位置上。

计算器824根据从平坦部分提取单元801供应的平坦部分图像，生成与由处理单位消除的前景分量相对应的像素，并且组合所生成的像素与图78所示的没有运动模糊的前景分量，从而生成诸如图79所示的前景分量图像。

运动模糊消除单元803可以根据通过方程(84)计算的前景分量F06/v至F14/v，生成对应于平坦部分的像素。

运动模糊加法器804能够通过增加调整运动模糊的量v′来调整运动模糊量。该运动量v′不同于运动量v，例如调整运动模糊的量v′是运动量v数值的一半，或者调整运动模糊的量v′与运动量v无关。例如，如图80所示，运动模糊加法器804用调整运动模糊的量v′除没有运动模糊的前景像素值Fi，以便获得前景分量Fi/v′。然后，运动模糊加法器804计算前景分量Fi/v′之和，从而生成调整了运动模糊量的像素值。例如，当调整运动模糊的量v′是3时，像素值C02″被设置为(F01)/v′，像素值C3″被设置为(F01+F02)/v′，像素值C04″被设置为(F01+F02+F03)/v′，以及像素值C05″被设置为(F02+F03+F04)/v′。

运动模糊加法器804向选择器805供应调整了运动模糊量的前景分量图像。

选择器805根据例如反映用户选择的选择信号，选择从计算器805供应的没有运动模糊的前景分量图像和从运动模糊加法器804供应的调整了运动模糊量的前景分量图像之一，并且输出所选择的前景分量图像。

如上所述，运动模糊调整单元106能够根据选择信号和调整运动模糊的量v′来调整运动模糊量。

运动模糊调整单元106可以从前景/背景分离器105中获得背景分量图像，以便调整对应于属于混合区域的像素的背景分量。

图81图示说明了校正由运动模糊调整单元106执行的背景分量的处理。在包含在背景分量图像中的像素之中，对于分离前属于混合区域的像素，由前景/背景分离器105消除前景分量。

运动模糊调整单元106根据区域信息和运动量v进行随后的校正。在包含在背景分量图像中的像素之中，对于属于混合区域的像素，增加对应的背景分量。

例如，当像素值C02包含四个背景分量B02/v时，运动模糊调整单元106将一个背景分量(B02/v)′(与背景分量B02/v相同的值)加到像素值C02上。当像素值C02包含三个背景分量B03/v时，运动模糊调整单元106将两个背景分量(B03/v)′(与背景分量B03/v相同的值)加到像素值C03上。

当像素值C23包含三个背景分量B23/v时，运动模糊调整单元106将两个背景分量(B23/v)′(与背景分量B23/v相同的值)加到像素值C23上。当像素值C24包含四个背景分量B24/v时，运动模糊调整单元106将一个背景分量(B24/v)′(与背景分量B24/v相同的值)加到像素值C24上。

下面给出由具有图73所示配置的运动模糊调整单元106执行的处理结果的一个实例。

图82图示说明了通过捕获静止的黑色四边形而获得的图像。相反，图83图示说明了通过捕获图82所示的运动黑色四边形而获得的图像。在图83所示的图像中，黑色四边形被运动模糊相互干扰。

图84示出了由具有图73所示配置的运动模糊调整单元106对图83虚线所示的直线上的像素执行处理的结果的一个实例。

在图84中，实线指示通过由具有图73所示配置的运动模糊调整单元106执行该处理而获得的像素值，虚线指示图83所示的直线上的像素值，点划线指示图82所示直线上的像素值。

在图84的虚线中，由于位于图84两端的像素值几乎是平坦的(相等的)，因此运动模糊调整单元106通过假定它们是平坦部分而消除这些像素值，并且执行关于剩余像素值的上述处理。

图84所示结果显示，运动模糊调整单元106从由于运动黑色四边形造成的干扰而导致的具有不正确的像素值的图像中，生成几乎等于静止黑色四边形的像素值的像素值。

图84所示的结果是通过将本发明应用于由CCD捕获的图像而获得的，具有入射光与像素值之间的线性关系，尽管该图像不需要进行亮度校正。同样，通过试验业已证明经历亮度校正的图像的本发明的效果。

下面结合图85说明由具有图73所示配置的运动模糊调整单元106执行的调整运动模糊量的处理。

在步骤S801中，平坦部分提取单元801从前景/背景分离器105供应的前景分量图像中提取邻近像素的像素值相等的平坦部分。然后平坦部分提取单元801将对应于所提取的平坦部分的平坦部分标志供应给处理单位确定单元802，并且把仅仅由属于平坦部分的像素组成的平坦部分图像供应给运动模糊消除单元803。

在步骤S802中，处理单位确定单元802根据平坦部分标志生成处理单位，该处理单位指示包含在前景分量图像中的直线上的邻近像素的位置，但不指示属于平坦部分的像素的位置，然后将处理单位供应给运动模糊消除单元803。

在步骤S803中，运动模糊消除单元803根据从前景/背景分离器105供应的前景分量图像和从处理单位确定单元802供应的处理单位计算对应于平坦部分像素的前景分量，并且还计算对应于处理单位的前景分量，从而从前景分量中消除运动模糊。运动模糊消除单元803向运动模糊加法器804和选择器805输出没有运动模糊的前景分量。下面结合图86的流程图说明在步骤S803中消除运动模糊的处理细节。

在步骤S804中，运动模糊调整单元806确定是否已经完成对于整个前景分量图像的处理。如果确定还没有完成对整个前景分量图像的处理，则处理返回到步骤S803，重复对应于后续处理单位的对前景分量的运动模糊消除处理。

如果在步骤S804中确定已经完成了对于整个前景分量图像的处理，则处理前进到步骤S805。在步骤S805中，运动模糊调整单元106的运动模糊加法器804合选择器805计算调整了运动模糊量的背景分量图像，选择消除了运动模糊的前景分量图像或者增加了运动模糊的前景分量图像，并输出所选择的图像。然后结束所述处理。

如上所述，运动模糊调整单元106能够调整输入的前景分量图像的运动模糊量。

下面参照图86的流程图说明在图85的步骤S803中由运动模糊消除单元803执行的处理，该处理用于消除对应于处理单位的前景分量图像的运动模糊。

在步骤S821中，运动模糊消除单元803的模型形成部分821生成对应于运动量v和处理单位的模型。在步骤S822中，方程生成器822根据所生成的模型生成方程。

在步骤S823中，加法器823将消除了对应于平坦部分的前景分量的前景分量图像的像素值设置为所生成的方程中。在步骤824中，加法器823确定是否已经设置对应于处理单位的所有像素的像素值。如果确定还未在所有方程中设置像素值，则处理返回到步骤S823，并且重复在方程中设置像素值的处理。

如果在步骤S824中确定已经在所有方程中设置了像素值，则处理前进到步骤S825。计算器824根据从加法器823供应的设置了像素值的方程来计算没有运动模糊的前景的像素值。

在步骤S826中，计算器824组合供应给平坦部分提取单元801的平坦部分图像与设置了在步骤S825处理中计算的没有运动模糊的前景像素值的像素，从而生成没有运动模糊的前景分量图像。

这样，运动模糊消除单元803能够根据运动量v和处理单位从包含运动模糊的前景分量图像中消除运动模糊。

如上所述，具有图73配置的运动模糊调整单元106能够调整包含在输入前景分量图像中的运动模糊量。

部分消除运动模糊的已知技术，比如维纳滤波器，在理想状态使用时是有效的，但是对于量化的包含噪声的实际图像是无效的。相反，业已证明，按图73配置的运动模糊调整单元106对量化的包含噪声的实际图像是充分有效的。这样，能够高精度消除运动模糊。

此外，平坦部分是从前景分量图像中移出的，并且对于剩余像素计算前景分量。因此，可以抑制量化或者噪声的影响，并且具有图73所示配置的运动模糊调整单元106能够获得以较高精度调整运动模糊量的图像。

图87是说明信号处理设备功能的另一配置的方框图。

该信号处理设备与图2类似的部件由类似的标号表示，因此省略对其的说明。

区域指定单元103将区域指定信息供应给混合比计算器104和合成器1001。

混合比计算器104将混合比α供应给前景/背景分离器105和合成器1001。

前景/背景分离器105将前景分量供应给合成器1001。

合成器1001根据从混合比计算器104供应的混合比α以及从区域指定单元103供应的区域信息，组合确定的背景图像与从前景/背景分离器105供应的前景分量图像，并且输出组合了确定的背景图像和前景分量图像的被合成图像。

图88图示说明了合成器1001的配置。背景分量生成器1021根据混合比α和确定的背景图像生成一背景分量图像，并且向混合区域图像合成部分1022供应背景分量图像。

混合区域合成器1022组合从背景分量生成器1021供应的背景分量图像与前景分量图像，以便生成混合区域合成图像，并且将所生成的混合区域合成图像供应给图像合成部分1023。

图像合成部分1023根据区域信息，组合前景分量图像、从混合区域图像合成部1022供应的混合区域合成图像以及确定的背景图像，以便生成合成图像并输出该图像。

如上所述，合成器1001能够组合前景分量图像与确定的背景图像。

通过根据混合比α(是特征量)组合前景分量与确定的背景图像而获得的图像，比简单组合像素而获得的图像更加自然。

图89是说明调整运动模糊量的信号处理设备功能的另一配置的方框图。图2所示的信号处理设备顺序地执行区域制定操作和混合比α的计算。相反，图89所示的信号处理设备同时执行区域指定处理和混合比α的计算。

图89中与图2的方框图类似的功能部件由类似的参考标号表示，因此省略对其说明。

输入图像被供应给混合比计算器1101、前景/背景分离器1102、区域指定单元103和对象提取单元101。

混合比计算器1101根据输入图像计算，当假定输入图像中包含的每一像素属于覆盖的背景区域时的估算混合比α、当假定包含在输入图像中的每一像素属于未覆盖的背景区域时的估算混合比，并且将以上述方式计算的估算混合比供应给前景/背景分离器1102。

图90是说明混合比计算器1101配置的一个实例的方框图。

图90所示的估算混合比处理器401与图47所示的估算混合比处理器401相同。图90所示的估算混合比处理器402与图47所示的估算混合比处理器402相同。

估算混合比处理器401根据输入图像通过对应于覆盖的背景区域的计算算出用于每个像素的估算混合比，并且输出算出的估算混合比。

估算混合比处理器402根据输入图像通过对应于未覆盖的背景区域的计算算出用于每个像素的估算混合比，并且输出算出的估算混合比。

前景/背景分离器1102根据当假定像素属于从混合比计算器1101供应的覆盖的背景区域时计算的估算混合比、当假定像素属于从混合比计算器1101供应的未覆盖的背景区域时计算的估算混合比、以及从区域指定单元103供应的区域信息，从输入图像中生成前景分量图像，并且将所生成的前景分量图像供应给运动模糊调整单元106和选择器107。

图91是说明前景/背景分离器1102配置的一个实例的方框图。

图91中与图65所示前景/背景分离器105类似的部件由类似的参考标号表示，因此省略对其说明。

选择器1121根据从区域指定单元103供应的区域信息，选择当假定像素属于从混合比计算器1101供应的覆盖的背景区域时计算的估算混合比，或者选择当假定像素属于从混合比计算器1101供应的未覆盖的背景区域时计算的估算混合比，并且将所选择的估算混合比作为混合比α供应给分离部分601。

分离部分601根据从选择器1121供应的混合比α和区域信息，从属于混合区域的像素的像素值中提取前景分量和背景分量，并且把所提取的前景分量供应给合成器603，以及把所提取的背景供应给合成器605。

分离部分601可以备配置为类似图70所示的对应物。

合成器603合成前景分量图像并输出它。合成器605合成背景分量图像并输出它。

图89所示的运动模糊调整单元106可以被配为类似于图2所示的对应物。运动模糊调整单元106根据区域信息和运动向量，调整包含在从前景/背景分离器1102供应的前景分量图像中的运动模糊量，并且输出调整了运动模糊量前景分量图像。

图89所示的选择器107根据例如反映用户选择德的选择信号，选择从前景/背景分离器1102供应的前景分量图像，或者选择从运动模糊调整单元106供应的调整了运动模糊量的前景分量图像，并输出所选择的前景分量图像。

如上所述，图89所示的信号处理设备能够调整包含在对应于输入图像的前景对象的图像中的运动模糊，并输出所得到的前景对象图像。如第一实施例，图89所示的信号处理设备能够计算是被嵌入信息的混合比α，并且输出所计算的混合比α。

图92是说明用于组合前景分量图像与确定背景图像的信号处理设备的另一功能配置的方框图。图87所示的信号处理设备串行地执行区域指定操作和混合比α的计算。相反，图92所示的信号处理设备并行地执行区域指定操作和混合比α的计算。

图92中与图89方框所示部件类似的功能部件由类似的参考标号表示，因此省略对其说明。

图92所示的混合比计算器1101根据输入图像计算，当假定输入图像中包含的每一像素属于覆盖的背景区域时的估算混合比、当假定包含在输入图像中的每一像素属于未覆盖的背景区域时的估算混合比，并且将以上述方式计算的估算混合比供应给前景/背景分离器1102和合成器1201。

图92所示的前景/背景分离器1102根据当假定像素属于从混合比计算器1101供应的覆盖的背景区域时计算的估算混合比、当假定像素属于从混合比计算器1101供应的未覆盖的背景区域时计算的估算混合比、以及从区域指定单元103供应的区域信息，从输入图像中生成前景分量图像，并且将所生成的前景分量图像供应给合成器1201。

合成器1201根据当假定像素属于从混合比计算器1101供应的覆盖的背景区域时计算的估算混合比、当假定像素属于从混合比计算器1101供应的未覆盖的背景区域时计算的估算混合比、以及从区域指定单元103供应的区域信息，组合确定的背景图像与从前景/背景分离器1102供应的前景分量图像，并且输出组合了背景图像与前景分量图像的合成图像。

图93图示说明了合成器1202的配置，该合成器1202与图88的方框图类似的功能部件用类似参考标号表示，因此省略对其说明。

选择器1221根据从区域指定单元103供应的区域信息，选择当假定像素属于从混合比计算器1101供应的覆盖的背景区域时计算的估算混合比，或者选择当假定像素属于从混合比计算器1101供应的未覆盖的背景区域时计算的估算混合比，并且将所选择的估算混合比作为混合比α供应给背景分量生成器1021。

图93所示的背景分量生成器1021根据从选择器1221供应的混合比α和某一背景图像，生成背景分量图像，并且把背景分量图像供应给混合区域图像合成部分1022。

图93所示的混合区域图像合成部分1022组合从背景分量生成器1021供应的背景分量图像与前景分量图像，以便生成混合区域合成图像，并且把所生成的混合区域合成图像供应给图像合成部分1023。

图像合成部分1023根据区域信息，组合前景分量图像、从混合区域图像合成部1022供应的混合区域合成图像以及背景图像，以便生成合成图像并输出该图像。

这样，合成部分1201能够组合前景分量图像与某一背景图像。

图94是说明信号处理设备另一配置的方框图。

图94中类似于图2的元件用相同标号表示，因此省略其说明。

供应给信号处理设备的输入图像被供应给对象提取单元101、区域指定单元103、平坦部分提取单元1501、分离/模糊消除单元1503以及合成器1504。

对象提取单元101提取对应于包含在输入图像中的前景对象的粗图像对象，并且向运动检测器102供应所提取的图像对象。对象提取单元101提取对应于包含在输入图像中的背景对象的粗图像对象，并且向运动检测器102供应所提取的图像对象。

运动检测器102计算对应于前景对象的粗图像对象的运动向量，并且把所计算的运动向量和该运动向量的位置信息供应给区域指定单元103、平坦部分提取单元105、处理单位确定单元1502以及分离/模糊消除单元1503。

区域指定单元103向把输入图像的每个像素指定到前景区域、背景区域或者混合区域之一，并且向平坦部分提取单元1501、处理单位确定单元1502和合成器1504供应指示信息，以指示每个像素属于前景区域、背景区域或者混合区域之中的哪一个。

平坦部分提取单元1501根据输入图像、从运动检测器102供应的运动向量及其位置信息、从区域指定单元103供应的区域信息，提取一个平坦部分；在该平坦部分中，属于前景区域的邻近像素的像素值变化的量是很小的，该平坦部分是从按照以下运动方向排列的连续像素之中选择的：从属于未覆盖的背景区域的像素到属于覆盖的背景区域的像素。平坦部分提取单元1501提取的平坦部分由具有相等像素值的像素组成。

例如，平坦部分提取单元1501根据输入图像、从运动检测器102供应的运动向量及其位置信息、从区域指定单元103供应的区域信息，提取一个平坦部分；在该平坦部分中，属于前景区域的邻近像素的像素值变化的量小于一个预存的阈值Tfh1，该平坦部分是从按照以下运动方向排列的连续像素之中选择的：从属于未覆盖的背景区域的像素到属于覆盖的背景区域的像素。

平坦部分提取单元1501还提取例如一个平坦部分，在该平坦部分中，前景分量图像的邻近像素的像素值变化的量在1％以内。可以把像素值变化量的比值设置为一个理想值，该比值是提取平坦部分的基准值。

平坦部分提取单元1501还提取一个平坦部分，在该平坦部分中，前景分量图像的邻近像素的像素值的标准偏移小于预存的阈值Thf1。

此外，平坦部分提取单元1501例如根据对应于前景分量图像的邻近像素的像素值的回归线(regression line)提取回归线和各像素值的误差之和小于预存阈值Thf1的一个平坦部分。

提取平坦部分的基准值，比如阈值Thf1或者像素值变化量的比值，可以被设置为一个预期值，但是本发明不受提取平坦部分的基准值的限制。可以自适应地改变提取平坦部分的基准值。

平坦部分提取单元1501生成前景平坦部分位置信息(它是指示所提取的平坦部分位置的信息)，并且把所生成的前景平坦部分位置信息供应给处理单位确定单元1502。

处理单位确定单元1502根据从平坦部分提取单元1501供应的前景平坦部分位置信息、从运动检测器102供应的运动向量及其位置信息、区域指定单元103供应的区域信息，确定至少指示属于前景区域或者混合区域的一个像素的处理单位。

处理单位确定单元1502向分离/模糊消除单元1503供应所生成的处理单位。

分离/模糊消除单元1503根据从处理单位确定单元1502供应的处理单位以及从运动检测器102供应的运动向量及其位置信息，从输入图像的像素值之中的处理单位指定的像素中生成没有运动模糊的前景分量图像以及已分离的背景分量图像，并且把所生成的前景分量图像和背景分量图像供应给合成器1504。

合成器1504根据从区域指定单元103供应的区域信息，合成来自没有运动模糊的前景分量图像的消除了前景对象运动模糊的图像、已分离的背景分量图像、从分离/模糊消除单元1503供应的输入图像，并且输出所合成的没有运动模糊的图像。

图95是说明分离/模糊消除单元1503配置的方框图。从运动检测器102供应的运动向量及其位置信息和从处理单位确定单元1502供应的处理单位被供应给模型形成部分1521。

模型形成部分1521根据从运动检测器102供应的运动向量及其位置信息和从处理单位确定单元1502供应的处理单位生成一个模型，并且将所生成的模型供应给方程生成器1522。

下面参照图96至图99说明处理单位和对应于处理单位的模型。

图96图示说明了通过增加足够的传感器的快门速度来抑制运动模糊发生时的像素的一个实例。F01至F20是对应于前景对象的图像分量。

对应于前景对象的像素值C04是F01，对应于前景对象的像素值C05是F02，对应于前景对象的像素值C06是F03。每个像素值由对应于前景对象的图像的分量组成。同样，像素值C07至C23分别对应于F04至F20。

在图96所示的实例中，由于背景对象是静止的，因此运动模糊不出现在背景中。

对应于背景对象的像素值C01是B01，对应于背景对象的像素值C02是B02，对应于背景对象的像素值C03是B03。同样，对应于背景对象的像素值C24是F24，对应于背景对象的像素值C25是B25，对应于背景对象的像素值C26是B26。

图97图示说明了当运动模糊出现时在时间方向扩展像素值而获得的一个模型。

在图97所示的实例中，运动量v是5，并且前景对象在图97中正在从左向右运动。

在图97所示的实例中，左数第二至第五像素属于混合区域，左数第二十二至第二十五像素属于混合区域。

左数第六至第二十一像素属于背景区域。

根据预存的阈值Thf1，平坦部分提取单元1501从沿着向属于覆盖的背景区域的像素的运动方向排列连续像素之中，提取属于前景区域的其变化量小于阈值Thf1的连续像素，

阈值Thf1是足够小的值。平坦部分提取单元1501提取的连续像素的数量必须大于前景对象的运动量v。例如，当一帧内的运动量v是5时，平坦部分提取单元1501提取五个或者五个以上像素，在这些像素中，像素值几乎没有变化(即，是平坦部分)。

例如，在图98所示的实例中，当方程(105)有效时，依据方程(106)至(110)的关系式，前景分量F06/v至F04/v是相等的。

C11＝C12＝C13＝C14＝C15                (105)

C11＝F06/v+F07/v+F08/v+F09/v+F10/v     (106)

C12＝F07/v+F08/v+F09/v+F10/v+F11/v     (107)

C13＝F08/v+F09/v+F10/v+F11/v+F12/v     (108)

C14＝F09/v+F10/v+F11/v+F12/v+F13/v     (109)

C15＝F10/v+F11/v+F12/v+F13/v+F14/v     (110)

也就是，由方程(111)指示的前景分量F06/v至F14/v可以有效。

F06/v＝F07/v＝F08/v＝F09/v＝F10/v＝F11/v＝F12/v＝F13/v＝F14/v  (111)

所以，如图99所示，在计算前景分量和背景分量的后续处理中，仅仅需要计算背景分量F01/v至F20/v和背景分量B02/v至B05/v以及背景分量B22/v至B25/v，而不需要计算前景分量F06/v至F14/v。

例如，如图98所示，在24个像素之中，即图98直线上左数第二至第二十五像素(它们在从属于未覆盖的背景区域的像素到属于覆盖的背景区域的像素的运动方向连续排列)，如果左数第十一至第十五像素属于一个平坦部分，则包含在第十一至第十五像素中的前景分量可以被移出。所以，如图99所示，生成方程(112)至(120)，以用于对应于剩余连续像素的前景分量和背景分量，即前景分量F01/v至F05/v和背景分量B02/v至B05/v。

C02′＝4×B02/v+F01/v                      (112)

C03′＝3×B03/v+F01/v+F02/v                (113)

C04′＝2×B04/v+F01/v+F02/v+F03/v          (114)

C05′＝B05/v+F01/v+F02/v+F03/v+F04v+F05/v  (115)

C06′＝F01/v+F02/v+F03/v+F04/v+F05/v       (116)

C07′＝F02/v+F03/v+F04/v+F05/v             (117)

C08′＝F03/v+F04/v+F05/v                   (118)

C09′＝F04/v+F05/v                         (119)

C10′＝F05/v                               (120)

这里有九个变量，即前景分量F01/v至F05/v和背景分量B02/v至B05/v，用于九个方程(112)至(120)。因此，通过求解方程(112)至(120)，可以获得前景分量F01/v至F05/v和背景分量B02/v至B05/v。

同样，可以产生用于前景分量F15/v至F20/v和背景分量B22/v至B25/v的方程(121)至(130)。

C16′＝F15/v                               (121)

C17′＝F15/v+F16/v                         (122)

C18′＝F15/v+F16/v+F17/v                   (123)

C19′＝F15/v+F16/v+F17/v+F18/v             (124)

C20′＝F15/v+F16/v+F17/v+F18/v+F19/v       (125)

C21′＝F16/v+F17/v+F18/v+F19/v+F20/v       (126)

C22′＝F17/v+F18/v+F19/v+F20/v+F22/v       (127)

C23′＝F18/v+F19/v+F20/v+2×B23/v          (128)

C24′＝F019/v+F20/v+3×B24/v               (129)

C25′＝F20/v+4×B25/v                      (130)

这里有十个变量，即前景分量F15/v至F20/v和背景分量B22/v至B25/v，用于十个方程(121)至(130)。因此，通过求解方程(121)至(130)，可以获得前景分量F15/v至F20/v和背景分量B22/v至B25/v。

再参见图95，模型形成部分1522根据从运动检测器102供应的运动向量及其位置信息和从处理单位确定单元1502供应的处理单位，确定时间方向上的像素值分割部分、每个像素的前景分量的数量、每个像素的背景分量的数量。模型形成部分1522随后形成一个模型，用于生成计算上述前景分量和背景分量的方程，并且把所生成的方程供应给方程生成器1522。

方程生成器1522根据从模型形成部分1521供应的模型生成方程。方程生成器1522把属于对应的前景或者背景的像素值设置为所生成的方程中，然后向计算器1523供应设置了像素值的方程。

计算器1523求解从方程生成器1522供应的方程，以便计算前景分量和背景分量。

例如，当供应对应于方程(112)至(120)的方程时，计算器1523由方程(131)表示的方程左边矩阵的逆矩阵，并且计算前景分量F01/v至F05/v和背景分量B02/v至B05/v。

$\left[\begin{array}{ccccccccc}1& 0& 0& 0& 0& 4& 0& 0& 0\\ 1& 1& 0& 0& 0& 0& 3& 0& 0\\ 1& 1& 1& 0& 0& 0& 0& 2& 0\\ 1& 1& 1& 1& 0& 0& 0& 0& 1\\ 1& 1& 1& 1& 1& 0& 0& 0& 0\\ 0& 1& 1& 1& 1& 0& 0& 0& 0\\ 0& 0& 1& 1& 1& 0& 0& 0& 0\\ 0& 0& 0& 1& 1& 0& 0& 0& 0\\ 0& 0& 0& 0& 1& 0& 0& 0& 0\end{array}\right]\left[\begin{array}{c}F01/v\\ F02/v\\ F03/v\\ F04/v\\ F05/v\\ B02/v\\ B03/v\\ B04/v\\ B05/v\end{array}\right]=\left[\begin{array}{c}C02^{\′}\\ C03^{\′}\\ C04^{\′}\\ C05^{\′}\\ C06^{\′}\\ C07^{\′}\\ C08^{\′}\\ C09^{\′}\\ C10^{\′}\end{array}\right]---\left(131\right)$

此外，当供应对应于方程(121)至(130)的方程时，计算器1523确定由方程(132)表示的方程的左边矩阵的逆矩阵，并且计算前景分量F15/v至F20/v和背景分量B22/v至B25/v。

$\left[\begin{array}{cccccccccc}1& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 1& 1& 0& 0& 0& 0& 0& 0& 0& 0\\ 1& 1& 1& 0& 0& 0& 0& 0& 0& 0\\ 1& 1& 1& 1& 0& 0& 0& 0& 0& 0\\ 1& 1& 1& 1& 1& 0& 0& 0& 0& 0\\ 0& 1& 1& 1& 1& 1& 0& 0& 0& 0\\ 0& 0& 1& 1& 1& 1& 1& 0& 0& 0\\ 0& 0& 0& 1& 1& 1& 0& 2& 0& 0\\ 0& 0& 0& 0& 1& 1& 0& 0& 3& 0\\ 0& 0& 0& 0& 0& 1& 0& 0& 0& 4\end{array}\right]\left[\begin{array}{c}F15/v\\ F16/v\\ F17/v\\ F18/v\\ F19/v\\ F20/v\\ B22/v\\ B23/v\\ B24/v\\ B25/v\end{array}\right]=\left[\begin{array}{c}{C16}^{\′}\\ C17^{\′}\\ C18^{\′}\\ C19^{\′}\\ C20^{\′}\\ C21^{\′}\\ C22^{\′}\\ C23^{\′}\\ C24^{\′}\\ C25^{\′}\end{array}\right]---\left(132\right)$

计算器1523根据前景分量和背景分量，生成消除了运动模糊的前景分量图像和背景分量图像，并且输出没有运动模糊的前景分量图像和已分离的背景图像分量。

例如，当求解该方程以确定前景分量F01/v至F05/v和背景分量B02/v至B05/v以及前景分量F15/v至F20/v和背景分量B22/v至B25/v时，如图100所示，计算器1523用运动量v乘前景分量F01/v至F05/v、背景分量B02/v、背景分量B03/v、前景分量F15/v至F20/v、背景分量B24/v和背景分量B25/v，以便分别算出像素值F01至F05、像素值B02、像素值B03、像素值F15至F20、像素值B24、像素值B25。

计算器1523生成例如没有运动模糊的前景分量图像和已分离背景分量图像，其中，所述前景分量图像由像素值F01至F05和像素值F15至F20组成，所述已分离背景分量图像由像素值B02、像素值B03、像素值B24和像素值B25组成。

下面参照图101和图102说明由分离/模糊消除单元1503执行的实际处理结果的实例。

图101图示说明了前景对象和背景对象被混合的输入图像的实例。图101右上端的图像对应于背景对象，图101左下端的图像对应于前景对象。前景对象正在从左向右运动。左上端与左下端之间的带状部分是混合区域。

图102示出了对于图101的中心线上的像素执行上述处理而获得的结果。图102中的细虚线指示输入图像的像素值。

图102中的粗虚线指示没有运动模糊的前景对象的像素值，图中的点划线(one-dot-chain line)代表没有前景对象的背景对象的像素值。

图102的实线代表消除了运动模糊的前景分量图像的像素值，以及执行对输入图像的上述处理之后的已分离背景分量图像。

正如从上述结果所看到的那样，具有图94所示配置的信息处理设备能够输出接近于没有运动模糊的前景对象的像素值的像素值和不包含前景对象的背景对象的像素值。

下面参照图103说明由具有图94所示配置的信号处理设备执行的消除运动模糊的处理。在步骤S1001中，区域指定单元103通过根据输入图像生成指示输入图像属于前景区域、背景区域、覆盖的区域或者未覆盖的背景区域之中的哪一个的区域信息，来执行区域指定处理。区域指定单元103向平坦部分提取单元1501供应所生成的区域信息。

在步骤S1002中，平坦部分提取单元1501根据运动向量及其位置信息和区域信息，从属于未覆盖的背景区域的像素到属于覆盖的背景区域的像素的运动方向连续定位的像素之中，提取一个平坦部分；在该平坦部分中，属于前景区域的像素的像素值变化的量小于阈值Thf1。平坦部分提取单元1501生成指示提取的平坦部分的位置的前景平坦部分位置信息，并且将所生成的前景平坦部分位置信息供应给处理单位确定单元1502。

在步骤S1003中，处理单位确定单元1502确定根据运动向量及其位置信息和区域信息确定处理单位，以指示包含在对应于前景的对象中的至少一个像素，并且将处理单位供应给分离/模糊消除单元1503。

在步骤S1004中，分离/模糊消除单元1503根据从处理单位确定单元1502供应的处理单位、从运动检测器102供应的运动向量及其位置信息，对输入图像的像素之中的由处理单位指定的像素同时执行分离前景和背景的处理和消除运动模糊的处理，从而计算对应于由处理单位指定的像素的前景分量和背景分量。下面参照图104的流程图说明同时进行分离前景和背景以及消除运动模糊的处理的细节。

在步骤S1005中，分离/模糊消除单元1503计算平坦部分的前景分量。

在步骤S1006中，分离/模糊消除单元1503根据在步骤S1004处理中计算的前景分量和在步骤S1005处理中计算的平坦部分的前景分量，计算没有运动模糊的前景分量图像的像素值以及背景分量图像的像素值。分离/模糊消除单元1503向合成器1504供应没有运动模糊的前景分量图像和背景分量图像。

在步骤S1007中，信号处理设备确定是否已经完成了对于整个屏幕的处理。如果还没有完成对于整个屏幕的处理，则处理返回到步骤S1004，重复分离前景和背景以及消除运动模糊的处理。

如果在步骤S1007中确定已经完成对于整个屏幕的处理，则处理前进到步骤S1008，在该步骤中，合成器1504组合背景、没有运动模糊的前景分量图像、背景图像分量。然后结束该处理。

如上所述，信号处理设备分离前景和背景，以便消除包含在前景中运动模糊。

下面参照图104说明由分离/模糊消除单元1503执行的分离前景和背景以及消除运动模糊的联立(simultanous)处理。

在步骤S1201中，模型形成部分1521根据从处理单位确定单元1502供应的处理单位以及从运动检测器102供应的运动向量及其位置信息，形成一个模型。模型形成部分1521将所生成的模型供应给方程生成器1522。

在步骤S1022，方程生成器1522根据从模型生成部分1521供应的模型生成对应于像素值、前景分量和背景分量之间的关系式的联立方程。

在步骤S1023中，方程生成器1522将对应于输入图像的像素值设置为所生成的联立方程中。

在步骤S1024中，方程生成器1522确定是否已经在连理方程中设置了所有像素值。如果确定还没有设置所有像素值，则处理返回到步骤S1023，并重复设置像素值的处理。

如果在步骤S1024中确定已经设置了所有像素值，则方程生成器1522向计算器1523供应设置了像素值的联立方程，计算器1523计算设置了像素值的联立方程，以便计算前景分量和背景分量。然后结束该处理。

如上所述，分离/模糊消除单元1503能够根据所计算的前景分量和背景分量生成没有运动模糊的前景分量图像和已分离背景分量图像。

图105是说明信号处理再一设备配置的方框图。图中类似于图94的部件由类似标号表示，因而省略其说明。

处理单位确定/分类单元1601根据从运动检测器102供应的运动向量及其位置信息、从区域指定单元103供应的区域信息、从平坦部分提取单元1501供应的前景平坦部分提取单元1501供应的前景平坦部分位置信息，生成处理单位。处理单位确定/分类单元1601还分类输入图像的像素，并把已分类的像素供应给分离/模糊消除单元1503、运动模糊消除单元1602、前景分量图像重现单元1603、背景分量模糊重现单元1604之一。

处理单位确定/分类单元1601从属于未覆盖的背景区域的像素到属于覆盖的背景区域的像素的运动方向上连续排列的像素之中，消除前景分量，该前景分量对应于来自属于前景区域的像素的平坦部分。处理单位确定/分类单元1601向分离/消除单元1503，供应属于混合区域的像素(在该混合区域中消除了对应于前景区域平坦部分的前景分量)、属于前景区域的像素以及对应的处理单位。

处理单位确定/分类单元1601将前景分量图像重现单元1603供应给前景区域的平坦部分图像。

处理单位确定/分类单元1601向运动模糊消除单元1602供应属于前景区域的被平坦部分相夹的像素(消除了对应于平坦部分的前景分量)以及对应的处理单位。

分离/模糊消除单元1503以类似于参考图104的流程图讨论的处理方式，生成没有运动模糊的前景分量图像和已分离的背景分量图像，其中该前景分量图像对应于属于前景区域的像素和属于混合区域的像素。分离/模糊消除单元1503把没有运动模糊的前景分量图像供应给前景分量图像重现单元1603，并且把已分离背景分量图像供应给背景分量图像重现单元1604。

运动模糊消除单元1602根据从处理单位确定/分类单元1601供应的处理单位，计算与属于前景区域的被平坦部分相夹的像素相对应的前景分量，以便生成对应于所计算的前景分量的没有运动模糊的前景分量图像。运动模糊单元1602向前景分量图像重现单元1603供应所生成的前景分量图像。

图106是说明运动模糊消除单元1602配置的方框图。

运动检测器102供应的运动向量及其位置信息和处理单位确定/分类单元1601所供应的处理单位被供应给模型形成部分1621。

模型形成部分1621根据从运动检测器102供应的运动向量及其位置信息和处理单位确定/分类单元1601供应的处理单位，生成一个模型，并且将所生成的模型供应给方程生成器1622。

下面结合图107和图108说明供应给方程生成器1622的模型。

图107图示说明了通过在时间方向上扩展属于前景区域的像素的像素值而获得的模型。

处理单位确定/分离部分601以类似于参照图98讨论的处理的方式，从属于前景区域的像素中消除对应于平坦部分的前景分量。

例如，在图107所示的实例中，当方程(133)有效时，可以发现依据方程(134)至(138)的关系，前景分量F106/v至F114/v是相等的。因此，如图108所示，从属于前景区域的像素中消除前景分量F106/v至F114/v。

C110＝C111＝C112＝C113＝C114              (133)

C110＝F106/v+F107/v+F108/v+F109/v+F110v   (134)

C111＝F107/v+F108/v+F109/v+F110/v+F110/v  (135)

C112＝F108/v+F109/v+F110/v+F111/v+F112/v  (136)

C113＝F109/v+F110/v+F111/v+F112/v+F113/v  (137)

C114＝F110/v+F111/v+F112/v+F113/v+F114/v  (138)

同样，从属于前景区域的像素中消除前景分量F96/v至F100/v和对应于另一平坦部分前景分量F120/v至F124/v。

这样，从处理单位确定/分类单元1601向运动模糊消除单元1602供应属于前景区域的被平坦部分相夹的像素(在这些像素中消除了对应于平坦部分的前景分量)以及对应的处理单位。

运动模糊消除单元1602的模型形成部分1621根据处理单位形成一个用于生成诸多方程的模型，这些方程对应于属于前景区域的被平坦部分相夹的像素(消除了对应于平坦部分的前景分量)与剩余的前景分量之间的关系式。

模型形成部分1621将所生成的模型供应给方程生成器1622。

方程生成器1622根据从模型形成部分1621供应的模型，生成对应于属于前景区域的被平坦部分相夹的像素(消除了对应于平坦部分的前景分量)与剩余的前景分量之间的关系式的方程。

例如，前景分量F101/v至F105/v与像素值之间的关系由方程(139)至(147)表示。

C101′＝F101/v                                (139)

C102′＝F101/v+F102/v                         (140)

C103′＝F101/v+F102/v+F103/v                  (141)

C104′＝F101/v+F102/v+F103/v+F104/v           (142)

C105′＝F101/v+F102/v+F103/v+F104/v+F105/v    (143)

C106′＝F102/v+F103/v+F104/v+F105/v           (144)

C107″＝F103/v+F104/v+F105/v                  (145)

C108″＝F104/v+F105/v                         (146)

C109″＝F105/v                                (147)

前景分量F101/v至F105/v与像素值之间的关系由方程(148)至(156)表示。

C115′＝F115/v                                (148)

C116′＝F115/v+F116/v                         (149)

C117′＝F115/v+F116/v+F117/v                  (150)

C118′＝F115/v+F116/v+F117/v+F118/v           (151)

C119′＝F115/v+F116/v+F117/v+F118/v+F119/v    (152)

C120′＝F116/v+F117/v+F118/v+F119/v           (153)

C121″＝F117/v+F118/v+F119/v                  (154)

C122″＝F118/v+F119/v                         (155)

C123″＝F119/v                                (156)

方程生成器1622根据最小二乘法求解设置了像素值的方程(139)至(147)和方程(148)至(156)，以便获得法方程，例如方程(157)和(158)。

$\left[\begin{array}{ccccc}5& 4& 3& 2& 1\\ 4& 5& 4& 3& 2\\ 3& 4& 5& 4& 3\\ 2& 3& 4& 5& 4\\ 1& 2& 3& 4& 5\end{array}\right]\left[\begin{array}{c}F101\\ F102\\ F103\\ F104\\ F105\end{array}\right]=v\·\left[\begin{array}{c}C{101}^{\′}+{C102}^{\′}+C103^{\′}+C{104}^{\′}+{C105}^{\′}\\ C{102}^{\′}+{C103}^{\′}+C104^{\′}+C{105}^{\′}+{C106}^{\′}\\ C{103}^{\′}+{C104}^{\′}+C105^{\′}+C{106}^{\′}+{C107}^{\′}\\ C{104}^{\′}+{C105}^{\′}+C106^{\′}+C{107}^{\′}+{C108}^{\′}\\ C{105}^{\′}+{C106}^{\′}+C107^{\′}+C{108}^{\′}+{C109}^{\′}\end{array}\right]---\left(157\right)$

$\left[\begin{array}{ccccc}5& 4& 3& 2& 1\\ 4& 5& 4& 3& 2\\ 3& 4& 5& 4& 3\\ 2& 3& 4& 5& 4\\ 1& 2& 3& 4& 5\end{array}\right]\left[\begin{array}{c}F115\\ F116\\ F117\\ F118\\ F119\end{array}\right]=v\·\left[\begin{array}{c}{C115}^{\′}+{C116}^{\′}+{C117}^{\′}+{C118}^{\′}+{C119}^{\′}\\ {C116}^{\′}+{C117}^{\′}+{C118}^{\′}+{C119}^{\′}+{C120}^{\′}\\ {C117}^{\′}+{C118}^{\′}+{C119}^{\′}+{C120}^{\′}+{C121}^{\′}\\ {C118}^{\′}+{C119}^{\′}+{C120}^{\′}+{C121}^{\′}+{C122}^{\′}\\ {C119}^{\′}+{C120}^{\′}+{C121}^{\′}+{C122}^{\′}+{C123}^{\′}\end{array}\right]---\left(158\right)$

方程生成器1622根据从模型形成部分1621供应的模型生成方程，并且把所生成的方程和前景分量图像一起供应给加法器1623。

加法器1623把方程生成器1622供应的方程加到通过最小二乘法获得的法方程上。加法器1623将所得到的法方程供应给计算器1624。

计算器1624通过将一种解法，比如Cholesky分解应用于设置了像素值的法方程，来计算包含在前景分量图像中的前景分量，而不是计算包含在属于平坦部分的像素中的前景分量。计算器1624根据所计算的前景分量生成没有运动模糊的前景分量图像，并输出没有运动模糊的前景分量图像。

例如，当前景分量F101/v至F105/v和前景分量F115/v至F119/v被确定时，计算器1624用运动量v乘前景分量F101/v至F105/v以及前景分量F115/v至F119/v，如图109所示，从而分别计算像素值F101至F105和像素值F115至F119。

计算器1624生成由例如像素值F101至F105和像素值F115至F119组成的没有运动模糊的前景分量图像。

下面结合图110说明具有图94所示配置的信号处理设备所执行的消除运动模糊的处理。

步骤S1101至步骤S1103的处理类似于图103的步骤S1001至步骤S1003，因而省略对其说明。

在步骤S1104中，处理单位确定/分类单元1601根据从运动检测器102供应的运动向量及其位置信息、从趋于制定单元103供应的区域信息以及从平坦部分提取单元1501供应的前景平坦部分位置信息，对输入图像的像素分类，并所分类的像素供应给分离/模糊消除单元1503、运动模糊消除单元1602、前景分量图像重现单元1603和背景分量图像重现单元1604之一。

在步骤S1105中，分离/模糊消除单元1503同时执行对于属于混合区域的像素的分离前景和背景的处理和消除运动模糊的处理，在该混合区域中消除了对应于前景区域的平坦部分的前景分量；并且从属于未覆盖的背景区域的像素到属于覆盖的背景区域的像素的运动方向连续排列的诸多像素中选择属于前景区域的像素。步骤S1105的处理细节类似于图103的步骤S1004的处理，因此省略对其说明。

在步骤S1106中，分离/模糊消除单元1503根据所计算的前景分量和背景分量，计算没有运动模糊的前景分量图像的像素值以及背景分量的像素值。分离/模糊消除单元1503把没有运动模糊的前景分量图像供应给前景分量图像重现单元1603，并且还把背景分量图像供应给背景分量图像重现单元1604。

在步骤S1107中，信号处理设备确定是否已经完成混合区域和前景区域的处理。如果确定用于混合区域和前景区域的处理还未完成，则处理返回到步骤S1105，并重复分离前景和背景和消除运动模糊的处理。

如果，在步骤S1107中确定已经完成用于混合区域和前景区域的处理，则处理前景到步骤S1108。在步骤S1108中，运动模糊消除单元1602执行属于前景区域的被平坦部分相夹的像素的运动模糊的处理；该像素中没有对应于平坦部分的前景分量，该平坦部分是从运动方向连续排列的像素中选出的。下面结合图111的流程图说明运动模糊消除处理的细节。

在步骤S1109中，运动模糊消除单元1602根据所计算的前景分量计算没有运动模糊的前景分量图像。运动模糊消除单元1602将没有运动模糊的前景分量图像供应给前景分量图像重现单元1603。

在步骤S1110中，信号处理设备确定是否已经完成前景区域的处理。如果确定还没有完成前景区域的处理，则步骤返回到步骤S1108，并且重复运动模糊消除的处理。

如果在步骤S1110中确定已经完成用于前景区域的处理，则处理前进到步骤S1111。

应当注意的是，步骤S1108至步骤S1101的处理与步骤S1105至步骤S1107的处理同时进行。

在步骤S1111中，前景分量图像重现单元1603根据从处理单位确定/分类单元1601供应的平坦部分图像、从分离/模糊消除单元1503供应的没有运动模糊的前景分量图像、从运动模糊消除单元1602供应的没有运动模糊的前景分量图像，重现所有的没有运动模糊的前景分量图像。背景分量图像重放单元1604根据从处理单位确定/分类单元1601供应的背景区域图像和从分离/模糊消除单元1503分离的背景分量图像重现所有背景分量图像。然后结束该处理。

如上所述，具有如图105所示配置的信息处理设备能够从前景对象中消除运动模糊。

下面结合图111的流程图说明在图110的步骤S1108中由运动模糊单元1602执行的消除对应于处理单位的前景分量图像的运动模糊的处理。

在步骤S1121中，运动模糊消除单元1602的模型形成部分1621形成对应于运动量v和处理单位的一个模型。在步骤S1122中，方程生成器1622根据所生成的模型生成方程。

在步骤S1123中，加法器1623将消除了对应于平坦部分的前景分量的前景分量图像的像素值设置为所生成的方程中。在步骤S1124中，加法器1123确定是否已经设置对应于处理单位的所有像素的像素值。如果确定还没有在所有方程中设置像素值，则处理返回到步骤S1123，并重复在方程中设置像素值的处理。

如果在步骤S1124中确定已经在所有方程中设置了所有像素值，则处理前进到步骤S1125。在步骤S1125中，计算器1624根据从加法器1623供应的设置了像素值的方程，计算没有运动模糊的前景的像素值。

如上所述，运动模糊消除单元1602能够根据运动量v和处理单位，从包含运动模糊的前景分量中消除运动模糊。

上面，通过将混合比α调整到像素值中包含的背景分量的比值讨论了本发明。此外，也可以将混合比α调整到像素值中包含的前景分量的比值。

上面，通过把前景对象的运动方向设置为从左到右的方向讨论了本发明。此外，运动方向不限于上述的方向。

非混合区域或者混合区域被特别说明；其中，非混合区域由形成图像数据的前景对象的前景对象分量组成的前景区域和由形成图像数据的背景对象的背景对象组成的背景区域构成，而混合区域则是混合了前景对象分量和背景对象分量的区域。根据指定区域而获得的结果，可以同时执行从混合区域的像素数据中分离前景对象分量和背景对象分量的处理以及从前景对象分量中消除运动模糊的处理。在此情况下，可以消除包含在模糊的图像中的运动模糊。

由其数值基本上彼此相等的前景区域的邻近像素数据组成的相等部分被检测到。可以根据所检测的相等部分和通过指定区域获得的结果，至少同时执行从混合区域的像素数据中分离前景对象分量和背景对象分量的处理以及从已分离前景对象分量中消除运动模糊的处理。

由多个前景对象分量和背景对象分量组成的处理单位根据相等部分的位置来检测。可以为每个处理单位同时执行分离前景对象分量和背景对象分量的处理以及从已分离前景对象分量中消除运动模糊的处理。

对应于属于混合区域或者前景区域的像素数据的处理单位可以被确定，其中，所述的像素数据位于一条直线上并且不同于相等部分的像素数据。

通过比较像素数据之差与阈值，可以检测相等部分。

相等部分由邻近像素数据组成，其像素数量等于或大于对应于前景对象运动量的像素数量，该相等部分可以被检测。

通过应用对应于运动向量的计算，可以同时执行分离前景对象分量和背景对象分量的处理以及从已分离前景对象分量中消除运动模糊的处理。

对应于处理单位和运动向量的模型可以被获得。根据所获得的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量及背景对象分量之间的关系。处理单位内包含的前景对象分量和背景对象分量可以根据所生成的方程来计算。

图像数据被输入，该图像数据具有由形成对象的对象分量组成的对象区域。通过假定输入的图像数据的对象区域中像素数据部分的值基本相等，来消除出现在对象区域中的运动模糊。在此情况下，可以消除包含在模糊图像中的运动模糊。

输入这样一个图像数据，该图像数据具有：一个由形成对象的前景对象分量组成的前景区域，一个由形成背景对象的背景对象分量组成的背景区域，和一个混合了前景对象分量和背景对象分量的混合区域。通过假定输入图像数据的前景区域中像素数据部分的值基本相等，可以消除出现在前景区域中的运动模糊。

在图像数据的前景区域中像素数据的值基本相等的相等部分被检测。根据所检测的相等部分可以消除出现在前景区域中的运动模糊。

由多个前景对象分量组成的处理单位根据相等部分的位置来确定。可以为每个处理单位消除前景区域的运动模糊。

对应于属于混合区域或者前景区域的位于一条直线上的像素数据(它不同于相等部分的像素数据)的处理单位可以被确定。

可以指定前景区域。背景区域或者混合区域。

通过比较像素数据之差与阈值，可以检测相等部分。

可以检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或者等于对应于前景对象的运动量的像素数量。

通过应用对应于运动向量的计算可以消除出现在前景区域中的运动模糊。

可以获得对应于处理单位和运动向量的一个模型。根据所获得的模型，生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位中的前景对象分量之间的关系式。包含在处理单位内的前景对象分量可以根据所生成的方程来计算。

将混合区域的像素数据分成前景对象分量和背景对象分量的处理以及从已分离的前景对象分量中消除运动模糊的处理可以根据区域信息和相等部分来同时执行，该区域信息指示由前景区域和背景区域组成的非混合区域或者指示混合区域。

由多个前景对象分量和背景对象分量组成的处理单位根据相等部分的位置来确定。可以为每个处理单位同时执行分离前景对象分量和背景对象分量的处理以及从已分离前景对象分量消除运动模糊的处理。

对应于像素数据的处理单位可以被确定，该像素数据属于混合区域或者前景区域，并位于一条直线上而且不同于相等部分的像素数据。

可以指定前景区域、背景区域或者混合区域。

通过比较像素数据之差与阈值，可以检测相等部分。

可以检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或者等于对应于前景对象的运动量的像素数量。

通过应用对应于运动向量的计算，可以同时执行分离前景对象分量和背景对象分量的处理以及从已分离前景对象分量中消除运动模糊的处理。

可以获得对应于处理单位和运动向量的一个模型。根据所获得的模型，生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位中的前景对象分量及背景对象分量之间的关系式。包含在处理单位内的前景对象分量和背景对象分量可以根据所生成的方程来计算。

由包含预定数量的像素并具有时间积分功能的图像捕获装置捕获的主体图像被输出，以作为由预定数量的像素数据组成的图像数据。可以指定由一个前景区域和一个背景区域构成的混合区域，或者指定混合了前景对象分量和背景对象分量的混合区域，所述的前景区域由形成图像数据的前景对象的前景对象分量组成，所述背景区域由形成图像数据的背景对象的背景对象分量组成。根据通过指定区域获得的结果，可以同时执行从混合区域的像素数据中分离前景对象分量和背景对象分量的处理以及从已分离的前景对象分量中消除运动模糊的处理。在此情况下，可以捕获没有运动模糊的图像。

由其数值彼此基本相等的邻近像素数据组成的相等部分被检测。至少可以根据所检测的相等部分和通过指定区域获得的结果，同时执行从混合区域的像素数据中分离前景对象分量和背景对象分量的处理以及从已分离前景对象分量中消除运动模糊的处理。

由多个前景对象分量和背景对象分量组成的处理单位根据相等部分的位置来确定。对于每个每个处理单位，可以同时执行分离前景对象分量和背景对象分量的处理以及从已分离前景对象分量消除运动模糊的处理。

对应于像素数据的处理单位可以被确定，该像素数据属于混合区域或者前景区域，并位于一条直线上而且不同于相等部分的像素数据。

通过比较像素数据之差与阈值，可以检测相等部分。

可以检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或者等于对应于前景对象的运动量的像素数量。

通过应用对应于运动向量的计算，可以同时执行分离前景对象分量和背景对象分量的处理以及从已分离前景对象分量中消除运动模糊的处理。

可以获得对应于处理单位和运动向量的一个模型。根据所获得的模型，生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位中的前景对象分量及背景对象分量之间的关系式。包含在处理单位内的前景对象分量和背景对象分量可以根据所生成的方程来计算。

由包括预定数量的像素并具有时间积分功能的图像捕获装置捕获的主体图像作为由预定数量的像素数据形成并且具有由形成对象的对象分量组成的对象区域的图像数据输出。通过假定图像数据的对象区域中像素数据部分的值基本相等，来消除出现在对象区域中的运动模糊。在此情况下，可以捕获没有运动模糊的图像。

输入这样一个图像数据，该图像数据具有：由形成对象的前景对象分量组成的前景区域，由形成背景对象的背景对象分量组成的背景区域，和混合了前景对象分量和背景对象分量的混合区域。

通过假定输入图像数据的前景区域中像素数据部分的值基本相等，可以消除出现在前景区域中的运动模糊。

图像数据的前景区域中像素数据的值基本相等的相等部分被检测。可以根据检测的相等部分消除前景区域中出现的运动模糊。

由多个前景对象分量和背景对象分量组成的处理单位根据所检测的相等部分的位置来确定。对于每个每个处理单位，可以消除前景区域的运动模糊。

对应于像素数据的处理单位可以被确定，该像素数据属于混合区域或者前景区域，并位于一条直线上而且不同于相等部分的像素数据。

前景区域、背景区域或者混合区域可以被指定。

通过比较像素数据之差与阈值，可以检测相等部分。

相等部分由邻近像素数据组成，其像素数量大于或等于对应于前景对象运动量的像素数量，该相等部分可以被检测。

通过应用对应于运动向量的计算可以消除前景区域中出现的运动模糊。

可以获得对应于处理单位和运动向量的一个模型。根据所获得的模型，生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位中的前景对象分量之间的关系式。包含在处理单位内的前景对象分量可以根据所生成的方程来计算。

将混合区域的像素数据分成前景对象分量和背景对象分量的处理以及从已分离的前景对象分量中消除运动模糊的处理可以根据区域信息和相等部分来同时执行，该区域信息指示由前景区域和背景区域组成的非混合区域或者指示混合区域。

由多个前景对象分量和背景对象分量组成的处理单位根据相等部分的位置来确定。对于每个处理单位，可以同时执行分离前景对象分量和背景对象分量的处理以及从已分离前景对象分量消除运动模糊的处理。

对应于像素数据的处理单位可以被确定，该像素数据属于混合区域或者前景区域，并位于一条直线上而且不同于相等部分的像素数据。

可以指定前景区域、背景区域或者混合区域。

通过比较像素数据之差与阈值，可以检测相等部分。

可以检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或者等于对应于前景对象的运动量的像素数量。

通过应用对应于运动向量的计算，可以同时执行分离前景对象分量和背景对象分量的处理以及从已分离前景对象分量中消除运动模糊的处理。

可以获得对应于处理单位和运动向量的一个模型。根据所获得的模型，生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位中的前景对象分量及背景对象分量之间的关系式。包含在处理单位内的前景对象分量和背景对象分量可以根据所生成的方程来计算。

在上面的说明中，通过使用摄像机将具有三维空间和时间轴信息的实空间图像投影到具有二维空间和时间轴信息的时间空间上。此外，本发明不限于此实例，本发明也可以适用于下述情形。当一维空间中较大的第一信息量被投影到二维空间中较小的第二信息量时，可以校正由于投影生成的失真，可以提取有效信息，或者可以合成更多的自然图像。

传感器不限于CCD，它可以是其它类型的传感器，比如固态成像装置，如CMOS(互补金属氧化物半导体)图像传感器、BBD(半链器件)、CID((ChargeInjection Device，电荷注入器件)或者CPD(Charge Prining Device)。此外，传感器不一定是以矩阵方式安排检测装置的传感器，它可以是按一行安排检测装置的传感器。

记录执行本发明的图像处理的程序的记录媒体可以由记录程序的软件包媒体构成，该软件包媒体被配置为与计算机分离地向用户提供程序，如图1所示，该媒体可以是，比如磁盘51(包括软盘)、光盘52(CD-ROM(光盘只读存储器)和DVD(数字通用光盘)，磁光盘53(包括MD(袖珍盘)、或者半导体存储器54。记录媒体还可以由ROM 22或者包含在记录程序的存储单元28中硬盘构成，这种记录媒体在计算机中预存后被提供给用户。

形成在记录媒体中记录的程序的步骤可以根据说明书所述的顺序按时间顺序运行。然而它们不一定按照时间顺序方式运行，也可以同时或者单独地运行。

工业应用性

根据第一发明，它能够消除包含在模糊图像中的运动模糊。

根据第二发明，它能够消除包含在模糊图像中的运动模糊。

根据第三发明，它能够捕获消除了运动模糊的图像。

根据第四发明，它能够捕获消除了运动模糊的图像。

Claims (130)

1、一种图像处理设备，用于对由图像捕获装置获得的预定数量的像素数据所构成的图像数据执行处理，所述图像捕获装置包括预定数量的像素并具有时间积分功能，所述图像处理设备包括：

区域指定装置，用于指定由前景区域和背景区域构成的非混合区域，或者指定混合了前景对象分量与背景对象分量的混合区域，这里，所述前景区域由构成图像数据的前景对象的前景对象分量组成，所述背景区域由构成图像数据的背景对象的背景对象分量组成；和

处理执行装置，根据通过由所述区域指定装置指定区域所获得的结果，同时执行从混合区域的像素数据中分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

2、根据权利要求1所述的图像处理设备，还包括相等部分检测装置，用于检测由其数值彼此基本相等的前景区域的邻近像素数据组成的相等部分，其中，所述处理执行装置根据所检测的相等部分和通过由区域指定装置指定区域所获得的结果，至少可以同时执行从混合区域的像素数据中分离前景对象分量和背景分量对象的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

3、根据权利要求2所述的图像处理设备，还包括：处理单位确定装置，用于根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位，其中，所述处理执行装置对于每个处理单位同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

4、根据权利要求3所述的图像处理设备，其中，所述处理单位确定装置确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

5、根据权利要求2所述的图像处理设备，其中，所述相等部分检测装置通过比较像素数据的差值与一阈值来检测相等部分。

6、根据权利要求2所述的图像处理设备，其中，所述相等部分检测装置检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

7、根据权利要求1所述的图像处理设备，其中，所述处理执行装置通过施行对应于运动向量的计算，同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

8、根据权利要求1所述的图像处理设备，其中，所述处理执行装置包括：

模型获取装置，用于获取对应于处理单位和运动向量的模型；

方程生成装置，用于根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量及背景对象分量之间的关系式；以及

计算装置，用于根据所生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

9、一种图像处理方法，用于对由图像捕获装置所获得的预定数量的像素数据所构成的图像数据执行处理，所述图像捕获装置包括预定数量的像素并具有时间积分功能，所述图像处理方法包括：

区域指定步骤，用于指定由前景区域和背景区域构成的非混合区域，或者指定混合了前景对象分量与背景对象分量的混合区域，这里，所述前景区域由构成图像数据的前景对象的前景对象分量组成，所述背景区域由构成图像数据的背景对象的背景对象分量组成；和

处理执行步骤，根据通过由所述区域指定步骤的处理指定区域所获得的结果，同时执行从混合区域的像素数据中分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

10、根据权利要求9所述的图像处理方法，还包括相等部分检测步骤，检测由其数值彼此基本相等的前景区域的邻近像素数据组成的相等部分，其中，在所述处理执行步骤的处理中，根据所检测的相等部分和通过由区域指定步骤指定区域所获得的结果，至少同时执行从混合区域的像素数据中分离前景对象分量和背景分量对象的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

11、根据权利要求10所述的图像处理方法，还包括：处理单位确定步骤，用于根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位，其中，在所述处理执行步骤的处理中，对于每个处理单位同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

12、根据权利要求11所述的图像处理方法，其中，在处理单位确定步骤的处理中，确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

13、根据权利要求10所述的图像处理方法，其中，在相等部分检测步骤的处理中，通过比较像素数据的差值与一阈值来检测相等部分。

14、根据权利要求10所述的图像处理方法，其中，在相等部分检测步骤的处理中，检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

15、根据权利要求9所述的图像处理方法，其中，在处理执行步骤的处理中，通过施行对应于运动向量的计算，同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

16、根据权利要求9所述的图像处理方法，其中，所述处理执行步骤的处理包括：

模型获取步骤，用于获取对应于处理单位和运动向量的模型；

方程生成步骤，根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量及背景对象分量之间的关系式；以及

计算步骤，用于根据所生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

17、一种存储媒介，在该存储媒介中存储用于对图像数据执行处理的计算机可读程序，所述图像数据由图像捕获装置捕获的预定数量的像素数据构成，所述图像捕获装置包括预定数量的像素并具有时间积分功能，所述计算机可读程序包括：

区域指定步骤，用于指定由前景区域和背景区域构成的非混合区域，或者指定混合了前景对象分量与背景对象分量的混合区域，这里，所述前景区域由构成图像数据的前景对象的前景对象分量组成，所述背景区域由构成图像数据的背景对象的背景对象分量组成；和

处理执行步骤，用于根据通过由所述区域指定步骤的处理指定区域所获得的结果，同时执行从混合区域的像素数据中分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

18、根据权利要求17所述的存储媒介，其中，所述程序还包括相等部分检测步骤，检测由其数值彼此基本相等的前景区域的邻近像素数据组成的相等部分，其中，在所述处理执行步骤的处理中，根据所检测的相等部分和通过由所述区域指定步骤指定区域所获得的结果，至少同时执行从混合区域的像素数据中分离前景对象分量和背景分量对象的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

19、根据权利要求17所述的存储媒介，其中，所述程序还包括：处理单位确定步骤，用于根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位，其中，在所述处理执行步骤的处理中，对于每个处理单位同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

20、根据权利要求19所述的存储媒介，其中，在所述处理单位确定步骤的处理中，确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

21、根据权利要求18所述的存储媒介，其中，在所述相等部分检测步骤的处理中，通过比较像素数据的差值与一阈值来检测相等部分。

22、根据权利要求18所述的存储媒介，其中，在所述相等部分检测步骤的处理中，检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

23、根据权利要求17所述的存储媒介，其中，在所述处理执行步骤的处理中，通过施行对应于运动向量的计算，同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

24、根据权利要求17所述的存储媒介，其中，所述处理执行步骤的处理包括：

模型获取步骤，用于获取对应于处理单位和运动向量的模型；

方程生成步骤，根据所获取得的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量及背景对象分量之间的关系式；以及

计算步骤，用于根据所生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

25、一种允许执行图像数据处理的计算机执行以下步骤的程序，所述图像数据由图像捕获装置捕获的预定数量的像素数据构成，所述图像捕获装置包括预定数量的像素并具有时间积分功能：

区域指定步骤，用于指定由前景区域和背景区域构成的非混合区域，或者指定混合了前景对象分量与背景对象分量的混合区域，这里，所述前景区域由构成图像数据的前景对象的前景对象分量组成，所述背景区域由构成图像数据的背景对象的背景对象分量组成；和

处理执行步骤，根据通过由所述区域指定处理步骤的处理指定区域所获得的结果，同时执行从混合区域的像素数据中分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

26、根据权利要求25所述的程序，还包括相等部分检测步骤，检测由其数值彼此基本相等的前景区域的邻近像素数据组成的相等部分，其中，在处理执行步骤的处理中，根据所检测的相等部分和通过由区域指定处理步骤的处理指定区域所获得的结果，至少同时执行从混合区域的像素数据中分离前景对象分量和背景分量对象的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

27、根据权利要求26所述的程序，还包括处理单位确定步骤，用于根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位，其中，在所述处理执行步骤的处理中，对于每个处理单位同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

28、根据权利要求27所述的程序，其中，在所述处理单位确定步骤的处理中，确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

29、根据权利要求26所述的程序，其中，在所述相等部分检测步骤的处理中，通过比较像素数据的差值与一阈值来检测相等部分。

30、根据权利要求26所述的程序，其中，在所述相等部分检测步骤的处理中，检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

31、根据权利要求25所述的程序，其中，在所述处理执行步骤的处理中，通过施行对应于运动向量的计算，同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

32、根据权利要求25所述的程序，其中，所述处理执行步骤的处理包括：

模型获取步骤，用于获取对应于处理单位和运动向量的模型；

方程生成步骤，根据所获取得的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量及背景对象分量之间的关系式；以及

计算步骤，用于根据所生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

33、一种图像处理设备，用于对由图像捕获装置获得的预定数量的像素数据所构成的图像数据执行处理，所述图像捕获装置包括预定数量的像素并具有时间积分功能，所述图像处理设备包括：

输入装置，输入具有对象区域的图像数据，该对象区域由形成对象的对象分量组成；以及

运动模糊消除装置，通过假定在所述输入装置所输入的图像数据的对象区域中像素数据部分的值基本相等，来消除出现在对象区域中的运动模糊。

34、根据权利要求33所述的图像处理设备，其中：

所述输入装置输入具有前景区域、背景区域和混合区域的图像数据，所述前景区域由形成对象的前景对象分量组成，所述背景区域由形成背景对象的背景对象分量组成，所述混合区域是混合了前景对象分量和背景对象分量的区域；以及

所述运动模糊消除装置通过假定在所述输入装置所输入的图像数据的前景区域中像素数据部分的值基本相等，消除出现在前景区域中的运动模糊。

35、根据权利要求34所述的图像处理设备，还包括相等部分检测装置，用于检测在图像数据的前景区域中像素数据的值基本相等的相等部分，其中，所述运动模糊消除装置根据相等部分检测装置所检测的相等部分来消除出现在前景区域中运动模糊。

36、根据权利要求35所述的图像处理设备，还包括处理单位确定装置，用于根据相等部分的位置确定由多个前景对象分量组成的处理单位，其中，所述运动模糊消除装置消除每个处理单位的前景区域中的运动模糊。

37、根据权利要求36所述的图像处理设备，其中，所述处理单位确定装置确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

38、根据权利要求35所述的图像处理设备，还包括区域指定装置，用于指定前景区域、背景区域或者混合区域。

39、根据权利要求35所述的图像处理设备，其中，所述相等部分检测装置通过比较像素数据的差值与一阈值来检测相等部分。

40、根据权利要求35所述的图像处理设备，其中，所述相等部分检测装置检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

41、根据权利要求35所述的图像处理设备，其中，所述运动模糊消除装置通过施行对应于运动向量的计算，消除出现在前景区域中的运动模糊。

42、根据权利要求35所述的图像处理设备，其中，所述运动模糊消除装置包括：

模型获取装置，用于获取对应于处理单位和运动向量的模型；

方程生成装置，根据所获取得的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量之间的关系式；以及

计算装置，用于根据所生成的方程计算包含在处理单位内的前景对象分量。

43、根据权利要求35所述的图像处理设备，其中，所述运动模糊消除装置根据区域信息和根据相等部分，同时执行将混合区域的像素数据分离成前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理，所述的区域信息指示由前景区域和背景区域组成的非混合区域或者指示混合区域。

44、根据权利要求43所述的图像处理设备，还包括处理单位确定装置，根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位，其中，所述处理执行装置对于每个处理单位同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

45、根据权利要求44所述的图像处理设备，其中，所述处理单位确定装置确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一直线上并且不同于相等部分的像素数据。

46、根据权利要求43所述的图像处理设备，还包括指定前景区域、背景区域或者混合区域的区域指定装置。

47、根据权利要求43所述的图像处理设备，其中，所述相等部分检测装置通过比较像素数据的差值与阈值检测相等部分。

48、根据权利要求43所述的图像处理设备，其中，所述相等部分检测装置检测由邻近像素数据组成的相等部分，所述邻近像素数据的像素数量大于或者等于相对于前景对象运动量的像素数量。

49、根据权利要求43所述的图像处理设备，其中，所述处理单位确定装置通过施行一个对应于运动向量的计算，同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

50、根据权利要求43所述的图像处理设备，其中，所述处理单位确定装置包括：

模型获取装置，用于获取对应于处理单位和运动向量的模型；

方程生成装置，用于根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量和背景对象分量之间的关系式；以及

计算装置，根据生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

51、一种图像处理方法，用于对由图像捕获装置获得的预定数量的像素数据所构成的图像数据执行处理，所述图像捕获装置包括预定数量的像素并具有时间积分功能，所述图像处理方法包括：

输入步骤，输入具有对象区域的图像数据，该对象区域由形成对象的对象分量组成；以及

运动模糊消除步骤，通过假定在由输入步骤的处理所输入的图像数据的对象区域中的像素数据部分的值基本相等，来消除出现在对象区域中的运动模糊。

52、根据权利要求51所述的图象处理方法，其中：

在所述输入步骤的处理中，输入具有前景区域、背景区域和混合区域的图像数据，所述前景区域由形成对象的前景对象分量组成，所述背景区域由形成背景对象的背景对象分量组成，所述混合区域是混合了前景对象分量和背景对象分量的区域；

在所述运动模糊消除步骤的处理中，通过假定在由所述输入步骤处理所输入的图像数据的前景区域中像素数据部分的值基本相等，消除出现在前景区域中的运动模糊。

53、根据权利要求52所述的图像处理方法，还包括相等部分检测步骤，检测在图像数据的前景区域中像素数据的值基本相等的相等部分，其中，在运动模糊消除步骤的处理中，根据通过相等部分检测步骤处理所检测的相等部分来消除出现在前景区域中运动模糊。

54、根据权利要求53所述的图像处理方法，还包括一个处理单位确定步骤，用于根据相等部分的位置确定由多个前景对象分量组成的处理单位，其中，在所述的运动模糊消除步骤处理中，消除每个处理单位的前景区域的运动模糊。

55、根据权利要求54所述的图像处理方法，其中，在所述处理单位确定步骤的处理中，确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

56、根据权利要求53所述的图像处理方法，还包括区域指定步骤，用于指定前景区域、背景区域或者混合区域。

57、根据权利要求53所述的图像处理方法，其中，在相等部分检测步骤的处理中，通过比较像素数据的差值与一阈值来检测相等部分。

58、根据权利要求53所述的图像处理方法，其中，在所述相等部分检测步骤的处理中，检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

59、根据权利要求53所述的图像处理方法，其中，在所述运动模糊消除步骤的处理中，通过施行对应于运动向量的计算，消除出现在前景区域中的运动模糊。

60、根据权利要求53所述的图像处理方法，其中，所述运动模糊消除步骤的处理包括：

模型获取步骤，用于获取对应于处理单位和运动向量的模型；

方程生成步骤，根据所获取得的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量之间的关系式；以及

计算步骤，用于根据所生成的方程计算包含在处理单位内的前景对象分量。

61、根据权利要求53所述的图像处理方法，其中，在运动模糊消除步骤的处理中，根据区域信息和相等部分，同时执行将混合区域的像素数据分离成前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理，所述的区域信息指示由前景区域和背景区域组成的非混合区域或者指示混合区域。

62、根据权利要求61所述的图像处理方法，还包括处理单位确定步骤，根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位，其中，在所述处理执行步骤的处理中，对于每个处理单位同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

63、根据权利要求62所述的图像处理方法，其中，在处理单位确定步骤的处理中，确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一直线上并且不同于相等部分的像素数据。

64、根据权利要求61所述的图像处理方法，还包括一个指定前景区域、背景区域或者混合区域的区域指定步骤。

65、根据权利要求61所述的图像处理方法，其中，在所述相等部分检测步骤的处理中，通过比较像素数据的差值与一阈值来检测相等部分。

66、根据权利要求61所述的图像处理方法，其中，在所述相等部分检测步骤的处理中，检测由邻近像素数据组成的相等部分，所述邻近像素数据的像素数量大于或者等于相对于前景对象运动量的像素数量。

67、根据权利要求61所述的图像处理方法，其中，在所述处理单位确定步骤的处理中，通过施行一个对应于运动向量的计算，同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

68、根据权利要求61所述的图像处理方法，其中，所述处理单位确定步骤的处理包括：

模型获取步骤，用于获取对应于处理单位和运动向量的模型；

方程生成步骤，用于根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量和背景对象分量之间的关系式；以及

计算步骤，根据生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

69、一种存储媒介，在该媒介中存储了执行图象数据处理的计算机可读程序，所述图像数据由图像捕获装置捕获的预定数量的像素数据构成，所述图像捕获装置包括预定数量的像素并具有时间积分功能，计算机可读程序包括：

输入步骤，输入具有对象区域的图像数据，该对象区域由形成对象的对象分量组成；以及

运动模糊消除步骤，通过假定在由所述输入步骤处理所输入的图像数据对象区域中像素数据部分的值基本相等，来消除出现在对象区域中的运动模糊。

70、根据权利要求69所述的存储媒介，其中：

在所述输入步骤的处理中，输入具有前景区域、背景区域和混合区域的图像数据，所述前景区域由形成对象的前景对象分量组成，所述背景区域由形成背景对象的背景对象分量组成，所述混合区域是混合了前景对象分量和背景对象分量的区域；

在所述运动模糊消除步骤的处理中，通过假定在由所述输入步骤的处理所输入的图像数据的前景区域中像素数据部分的值基本相等，消除出现在前景区域中的运动模糊。

71、根据权利要求70所述的存储媒介，还包括相等部分检测步骤，用于检测在图像数据的前景区域中像素数据的值基本相等的相等部分，其中，在运动模糊消除步骤的处理中，根据由所述相等部分检测步骤处理所检测的相等部分来消除出现在前景区域中运动模糊。

72、根据权利要求71所述的存储媒介，还包括：一个处理单位确定步骤，用于根据相等部分的位置确定由多个前景对象分量组成的处理单位，其中，在所述运动模糊消除步骤处理中，消除每个处理单位的前景区域的运动模糊。

73、根据权利要求72所述的存储媒介，其中，在所述处理单位确定步骤的处理中，确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

74、根据权利要求71所述的存储媒介，还包括区域指定步骤，用于指定前景区域、背景区域或者混合区域。

75、根据权利要求71所述的存储媒介，其中，在所述相等部分检测步骤的处理中，通过比较像素数据的差值与一阈值来检测相等部分。

76、根据权利要求71所述的存储媒介，其中，在所述相等部分检测步骤的处理中，检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

77、根据权利要求71所述的存储媒介，其中，在所述运动模糊消除步骤的处理中，通过施行对应于运动向量的计算，消除出现在前景区域中的运动模糊。

78、根据权利要求71所述的存储媒介，其中运动模糊消除步骤的处理包括：

模型获取步骤，用于获取对应于处理单位和运动向量的模型；

方程生成步骤，根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量之间的关系式；以及

计算步骤，用于根据所生成的方程计算包含在处理单位内的前景对象分量。

79、根据权利要求71所述的存储媒介，其中，在所述运动模糊消除步骤的处理中，根据区域信息和根据相等部分，同时执行将混合区域的像素数据分离成前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理，所述的区域信息指示由前景区域和背景区域组成的非混合区域或者指示混合区域。

80、根据权利要求79所述的存储媒介，还包括一个处理单位确定步骤，用于根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位，其中，在所述处理执行步骤的处理中，对于每个处理单位同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

81、根据权利要求80所述的存储媒介，其中，在所述处理单位确定步骤的处理中，确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一直线上并且不同于相等部分的像素数据。

82、根据权利要求79所述的存储媒介，还包括指定前景区域、背景区域或者混合区域的区域指定步骤。

83、根据权利要求79所述的存储媒介，其中，在所述相等部分检测步骤的处理中，通过比较像素数据的差值与一阈值来检测相等部分。

84、根据权利要求79所述的存储媒介，其中，在所述相等部分检测步骤的处理中，检测由邻近像素数据组成的相等部分，所述邻近像素数据的像素数量大于或者等于相对于前景对象运动量的像素数量。

85、根据权利要求79所述的存储媒介，其中，在所述处理单位确定步骤的处理中，通过施行一个对应于运动向量的计算，同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

86、根据权利要求79所述的存储媒介，其中，所述处理单位确定步骤的处理包括：

模型获取步骤，用于获取对应于处理单位和运动向量的模型；

方程生成步骤，用于根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量和背景对象分量之间的关系式；以及

计算步骤，根据所生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

87、一种允许执行图像数据处理的计算机运行以下步骤的程序，所述图像数据由图像捕获装置捕获的预定数量的像素数据构成，所述图像捕获装置包括预定数量的像素并具有时间积分功能：

输入步骤，输入具有对象区域的图像数据，该对象区域由形成对象的对象分量组成；以及

运动模糊消除步骤，通过假定在由所述输入步骤的处理所输入的图像数据的对象区域中像素数据部分的值基本相等，来消除出现在对象区域中的运动模糊。

88、根据权利要求87所述的程序，其中：

在所述输入步骤的处理中，输入具有前景区域、背景区域和混合区域的图像数据，所述前景区域由形成对象的前景对象分量组成，所述背景区域由形成背景对象的背景对象分量组成，所述混合区域是混合了前景对象分量和背景对象分量的区域；以及

在所述运动模糊消除步骤的处理中，通过假定在由输入步骤的处理所输入的图像数据的前景区域中像素数据部分的值基本相等，消除出现在前景区域中的运动模糊。

89、根据权利要求88所述的程序，还包括相等部分检测步骤，用于检测在图像数据的前景区域中像素数据的值基本相等的相等部分，其中，在所述运动模糊消除步骤的处理中，根据由所述相等部分检测步骤处理所检测的相等部分来消除出现在前景区域中运动模糊。

90、根据权利要求89所述的程序，还包括一个处理单位确定步骤，用于根据相等部分的位置确定由多个前景对象分量组成的处理单位，其中，在所述运动模糊消除步骤处理中，消除每个处理单位的前景区域的运动模糊。

91、根据权利要求90所述的程序，其中，在所述处理单位确定步骤的处理中，确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

92、根据权利要求89所述的程序，还包括区域指定步骤，用于指定前景区域、背景区域或者混合区域。

93、根据权利要求89所述的程序，其中，在所述相等部分检测步骤的处理中，通过比较像素数据的差值与一阈值来检测相等部分。

94、根据权利要求89所述的程序，其中，在所述相等部分检测步骤的处理中，检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

95、根据权利要求89所述的程序，其中，在所述运动模糊消除步骤的处理中，通过施行对应于运动向量的计算，消除出现在前景区域中的运动模糊。

96、根据权利要求89所述的程序，其中，所述运动模糊消除步骤的处理包括：

模型获取步骤，用于获取对应于处理单位和运动向量的模型；

方程生成步骤，根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量之间的关系式；以及

计算步骤，用于根据所生成的方程计算包含在处理单位内的前景对象分量。

97、根据权利要求89所述的程序，其中，在所述运动模糊消除步骤的处理中，根据区域信息和根据相等部分，同时执行将混合区域的像素数据分离成前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理，所述的区域信息指示由前景区域和背景区域组成的非混合区域或者指示混合区域。

98、根据权利要求97所述的程序，还包括处理单位确定步骤，根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位，其中，在所述处理执行步骤的处理中，对于每个处理单位同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

99、根据权利要求98所述的程序，其中，在所述处理单位确定步骤的处理中，确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

100、根据权利要求97所述的程序，还包括一个指定前景区域、背景区域或者混合区域的区域指定步骤。

101、根据权利要求97所述的程序，其中，在所述相等部分检测步骤的处理中，通过比较像素数据的差值与一阈值来检测相等部分。

102、根据权利要求97所述的程序，其中，在所述相等部分检测步骤的处理中，检测由邻近像素数据组成的相等部分，所述邻近像素数据的像素数量大于或者等于相对于前景对象运动量的像素数量。

103、根据权利要求97所述的程序，其中，在所述处理单位确定步骤的处理中，通过施行一个对应于运动向量的计算，同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

104、根据权利要求97所述的程序，其中，所述处理单位确定步骤的处理包括：

模型获取步骤，用于获取对应于处理单位和运动向量的模型；

方程生成步骤，用于根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量和背景对象分量之间的关系式；以及

计算步骤，根据所生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

105、一种图像捕获设备，包括：

图像捕获装置，用于输出由图像捕获器件捕获的对象图像，该图像捕获器件包括预定数量的像素并具有对预定量像素数据所形成的图像数据的时间积分功能；

区域指定装置，用于指定由前景区域和背景区域构成的非混合区域，或者指定混合前景对象分量与背景对象分量的混合区域，这里，所述前景区域由构成图像数据的前景对象的前景对象分量组成，所述背景区域由构成图像数据的背景对象的背景对象分量组成；

处理执行装置，根据由区域指定装置通过指定区域所获得的结果，同时执行从混合区域的像素数据中分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

106、根据权利要求105所述的图像捕获设备，还包括相等部分检测装置，检测由其数值彼此基本相等的前景区域的邻近像素数据组成的相等部分，其中，所述处理执行装置根据所检测的相等部分和区域指定装置通过指定区域所获得的结果，至少同时执行从混合区域的像素数据中分离前景对象分量和背景分量对象的处理以及从分离的前景对象分量中消除运动模糊的处理。

107、根据权利要求106所述的图像捕获装置，还包括处理单位确定装置，用于根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位，其中，所述处理执行装置对于每个处理单位同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

108、根据权利要求107所述的图像捕获装置，其中，所述处理单位确定装置确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

109、根据权利要求106所述的图像捕获装置，其中，所述相等部分检测装置通过比较像素数据的差值与一阈值来检测相等部分。

110、根据权利要求106所述的图像捕获设备，其中，所述相等部分检测装置检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

111、根据权利要求105所述的图像捕获装置，其中，所述处理执行装置通过施行对应于运动向量的计算，同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

112、根据权利要求105所述的图像捕获装置，其中，所述处理执行装置包括：

模型获取装置，用于获取对应于处理单位和运动向量的模型；

方程生成装置，根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量及背景对象分量之间的关系式；以及

计算装置，用于根据所生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

113、一种图像捕获设备，包括：

图像捕获装置，用于输出由图像捕获器件捕获的对象图像，该图像捕获器件包括预定数量的像素并具有对预定量的像素数据形成的图像数据的时间积分功能，和具有由形成对象的对象分量组成的对象区域；以及

运动模糊消除装置，通过假定在图像数据的对象区域中像素数据部分的值基本相等，来消除出现在对象区域中的运动模糊。

114、根据权利要求113所述的图像捕获设备，其中：

所述输入装置输入具有前景区域、背景区域和混合区域的图像数据，所述前景区域由形成对象的前景对象分量组成，所述背景区域由形成背景对象的背景对象分量组成，所述混合区域是混合了前景对象分量和背景对象分量的区域；以及

所述运动模糊消除装置通过假定在输入装置所输入的图像数据的前景区域中像素数据部分的值基本相等，消除出现在前景区域中的运动模糊。

115、根据权利要求114所述的图像捕获设备，还包括相等部分检测装置，用于检测在图像数据的前景区域中像素数据的值基本相等的相等部分，其中，所述运动模糊消除装置根据由相等部分检测装置所检测的相等部分来消除出现在前景区域中运动模糊。

116、根据权利要求115所述的图像捕获设备，还包括处理单位确定装置，用于根据相等部分的位置确定由多个前景对象分量组成的处理单位，其中，所述运动模糊消除装置消除每个处理单位的前景区域的运动模糊。

117、根据权利要求116所述的图像捕获设备，其中，所述处理单位确定装置确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一条直线上并且不同于相等部分的像素数据。

118、根据权利要求115所述的图像捕获设备，还包括一个区域指定装置，用于指定前景区域、背景区域或者混合区域。

119、根据权利要求115所述的图像捕获设备，其中，所述相等部分检测装置通过比较像素数据的差值与一阈值来检测相等部分。

120、根据权利要求115所述的图像捕获设备，其中，所述相等部分检测装置检测由邻近像素数据组成的相等部分，该邻近像素数据的像素数量大于或等于对应于前景对象运动量的像素数量。

121、根据权利要求115所述的图像捕获设备，其中，所述运动模糊消除装置通过施行对应于运动向量的计算，消除出现在前景区域中的运动模糊。

122、根据权利要求115所述的图像捕获设备，其中，所述运动模糊消除装置包括：

模型获取装置，用于获取对应于处理单位和运动向量的模型；

方程生成装置，根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量之间的关系式；以及

计算装置，用于根据所生成的方程计算包含在处理单位内的前景对象分量。

123、根据权利要求115所述的图像捕获设备，其中，所述运动模糊消除装置根据区域信息和相等部分，同时执行将混合区域的像素数据分离成前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理，所述的区域信息指示由前景区域和背景区域组成的非混合区域或者指示混合区域。

124、根据权利要求123所述的图像捕获设备，还包括处理单位确定装置，用于根据相等部分的位置确定由多个前景对象分量和背景对象分量组成的处理单位，其中，所述处理执行装置对于每个处理单位同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

125、根据权利要求124所述的图像捕获设备，其中，所述处理单位确定装置确定对应于属于混合区域或者前景区域的像素数据的处理单位，该像素数据位于一直线上并且不同于相等部分的像素数据。

126、根据权利要求123所述的图像捕获设备，还包括指定前景区域、背景区域或者混合区域的区域指定装置

127、根据权利要求123所述的图像捕获设备，其中，所述相等部分检测装置通过比较像素数据的差值与一阈值来检测所述相等部分。

128、根据权利要求123所述的图像捕获设备，其中，所述相等部分检测装置检测由邻近像素数据组成的相等部分，所述邻近像素数据的像素数量大于或者等于相对于前景对象运动量的像素数量。

129、根据权利要求123所述的图像捕获设备，其中，所述处理单位确定装置通过施行一个对应于运动向量的计算，同时执行分离前景对象分量和背景对象分量的处理，以及从所分离的前景对象分量中消除运动模糊的处理。

130、根据权利要求123所述的图像捕获设备，其中，所述处理单位确定装置包括：

模型获取装置，用于获取对应于处理单位和运动向量的模型；

方程生成装置，用于根据所获取的模型生成一个方程，该方程对应于处理单位的像素数据与包含在处理单位内的前景对象分量和背景对象分量之间的关系式；以及

计算装置，根据生成的方程计算包含在处理单位内的前景对象分量和背景对象分量。

Images