CN1241147C - 图像处理设备和方法,以及图像拾取设备 - Google Patents

Abstract

可以知道图像中的混合状态。参照图像数据，区域识别单元(103)识别其中构成前景对象的前景对象分量与构成背景对象的背景对象分量相混合的混合区域和由前景区域和背景区域构成的非混合区域，其中前景区域仅由前景对象分量构成，而背景区域仅由背景对象分量构成。混合比计算单元(104)根据由区域信息所规定的在基于前景对象运动方向的预定方向上的混合区域宽度与在该预定方向上从目标像素的位置到混合区域边缘的距离之间的比来估算表示目标像素的前景对象分量和背景对象分量的混合比的混合比。

Description

图像处理设备和方法，以及图像拾取设备

技术领域

本发明涉及一种图像处理设备和方法，以及图像捕捉设备，并尤其涉及其中对传感器检测到的信号与真实世界之间的差异加以考虑的图像处理设备和方法以及图像捕捉设备。

背景技术

用于由传感器检测真实世界中发生的入射以及用于处理从图像传感器输出的采样数据的技术已经得以广泛使用。

例如，在通过用摄像机捕捉预定静止背景之前移动的对象所获得的图像内，如果移动速度较高，则发生运动模糊(motion blur)。

然而，当对象在静止背景之前移动时，不仅发生移动对象本身混合而造成的运动模糊，而且也发生背景图像和对象图像的混合。迄今，还没有考虑到处理背景图像与移动对象的混合状态的方法。

发明内容

本发明已经鉴于上述背景技术而作出。因此，本发明的目的是使检测到图像中的混合状态成为可能。

本发明的第一图像处理设备包括：区域规定装置，用于对应于图像数据规定其中形成前景对象的前景对象分量和形成背景对象的背景对象分量混合的混合区域以及由前景区域和背景区域形成的非混合区域，其中前景区域仅由前景对象分量构成，而背景区域仅由背景对象分量构成；以及混合比估算装置，用于基于混合区域在相对于前景对象分量移动方向的预定方向上的宽度与在所述预定方向上从指定像素的位置到混合区域的边缘的距离的比，来估算表示所述指定像素的前景对象分量与背景对象分量之间的比的混合比，其中该混合区域的宽度是由区域信息指定的。

图像处理设备还包括运动矢量检测装置，用于检测前景对象的运动矢量。混合比估算装置可以检测混合区域的宽度以及在运动矢量的移动方向上从指定像素位置到混合区域边缘的距离，并可以基于混合区域的宽度与从指定像素的位置到混合区域边缘的距离的比来估算混合比。

图像处理设备还可以包括移动方向检测装置，用于检测前景对象的移动方向。混合比估算装置可以检测混合区域的宽度以及在移动方向上从指定像素的位置到混合区域边缘的距离，并可以基于混合区域的宽度与从指定像素的位置到混合区域的边缘的距离的比估算混合比。

移动方向检测装置可以包括运动矢量产生装置，用于基于区域信息和混合区域在指定帧中的位置及混合区域在指定帧附近的帧中的位置产生运动矢量，由此可以基于所产生的运动矢量检测移动方向。

本发明的第一图像处理方法包括：区域规定步骤，用于对应于图像数据规定由形成前景对象的前景对象分量和形成背景对象的背景对象分量混合而成的混合区域，以及由前景区域和背景区域形成的非混合区域，其中前景区域仅由前景对象分量构成，而背景区域仅由背景对象分量构成；以及混合比估算步骤，用于基于混合区域在相对于前景对象分量移动方向的预定方向上的宽度与预定方向上从指定像素的位置到混合区域边缘的距离的比来估算表示指定像素的前景对象分量和背景对象分量之间的比的混合比，其中该混合区域的宽度是由区域信息指定的。

图像处理方法还可以包括检测前景对象的运动矢量的运动矢量检测步骤。在混合比估算步骤中，可以在运动矢量的移动方向上检测混合区域的宽度和从指定像素的位置到混合区域边缘的距离，并且可以基于混合区域的宽度与从指定像素的位置到混合区域边缘的比来估算混合比。

图像处理方法还可以包括检测前景对象的移动方向的移动方向检测步骤。在混合比估算步骤中，可以在移动方向上检测混合区域的宽度和从指定像素的位置到混合区域边缘的距离，并且可以基于混合区域的宽度与从指定像素的位置到混合区域边缘的比来估算混合比。

移动方向检测步骤可以包括运动矢量产生步骤，用于基于区域信息和混合区域在指定帧中的位置以及混合区域在指定帧附近的帧中的位置产生运动矢量，由此可以基于所产生的运动矢量检测移动方向。

本发明的第一记录介质的程序包括：区域规定步骤，用于对应于图像数据规定由形成前景对象的前景对象分量和形成背景对象的背景对象分量混合而成的混合区域，以及由前景区域和背景区域形成的非混合区域，其中前景区域仅由前景对象分量构成，而背景区域仅由背景对象分量构成；以及混合比估算步骤，用于基于混合区域在相对于前景对象分量移动方向的预定方向上的宽度与预定方向上从指定像素的位置到混合区域边缘的距离的比来估算表示指定像素的前景对象分量和背景对象分量之间的比的混合比，其中该混合区域的宽度是由区域信息指定的。

该程序还可以包括检测前景对象的运动矢量的运动矢量检测步骤。在混合比估算步骤中，可以在运动矢量的移动方向上检测混合区域的宽度和从指定像素的位置到混合区域边缘的距离，并且可以基于混合区域的宽度与从指定像素的位置到混合区域边缘的比来估算混合比。

该程序还可以包括检测前景对象的移动方向的移动方向检测步骤。在混合比估算步骤中，可以在移动方向上检测混合区域的宽度和从指定像素的位置到混合区域边缘的距离，并且可以基于混合区域的宽度与从指定像素的位置到混合区域边缘的比来估算混合比。

移动方向检测步骤可以包括运动矢量产生步骤，用于基于区域信息和混合区域在指定帧中的位置以及混合区域在指定帧附近的帧中的位置产生运动矢量，由此可以基于所产生的运动矢量检测移动方向。

本发明的第一程序允许计算机执行如下步骤：区域规定步骤，用于对应于图像数据规定由形成前景对象的前景对象分量和形成背景对象的背景对象分量混合而成的混合区域，以及由前景区域和背景区域形成的非混合区域，其中前景区域仅由前景对象分量构成，而背景区域仅由背景对象分量构成；以及混合比估算步骤，用于基于混合区域在相对于前景对象分量移动方向的预定方向上的宽度与预定方向上从指定像素的位置到混合区域边缘的距离的比来估算表示指定像素的前景对象分量和背景对象分量之间的比的混合比，其中该混合区域的宽度是由区域信息指定的。

该程序还包括检测前景对象的运动矢量的运动矢量检测步骤，在混合比估算步骤中，可以在运动矢量的移动方向上检测混合区域的宽度和从指定像素的位置到混合区域边缘的距离，并且可以基于混合区域的宽度与从指定像素的位置到混合区域边缘的比来估算混合比。

该程序还可以包括检测前景对象的移动方向的移动方向检测步骤。在混合比估算步骤中，可以在移动方向上检测混合区域的宽度和从指定像素的位置到混合区域边缘的距离，并且可以基于混合区域的宽度与从指定像素的位置到混合区域边缘的比来估算混合比。

移动方向检测步骤可以包括运动矢量产生步骤，用于基于区域信息和混合区域在指定帧中的位置以及混合区域在指定帧附近的帧中的位置产生运动矢量，由此可以基于所产生的运动矢量检测移动方向。

本发明的第一图像捕捉设备包括：图像捕捉装置，用于输出作为由预定数量像素数据形成的图像数据的主体图像，该主体图像由图像捕捉器件捕捉该图像捕捉装置包括预定数量的像素，各像素具有的时积(timeintegrating)功能；区域规定装置，用于对应于图像数据规定由形成前景对象的前景对象分量和形成背景对象的背景对象分量混合而成的混合区域，以及由前景区域和背景区域形成的非混合区域，其中前景区域仅由前景对象分量构成，而背景区域仅由背景对象分量构成；以及混合比估算装置，用以基于混合区域在相对于前景对象分量移动方向的预定方向上的宽度与预定方向上从指定像素的位置到混合区域边缘的距离的比来估算表示指定像素的前景对象分量和背景对象分量之间的比的混合比，其中该混合区域的宽度是由区域信息指定的。

图像捕捉设备还包括用于检测前景对象的运动矢量的运动矢量检测装置，混合比估算装置可以检测混合区域的宽度以及在运动矢量的移动方向上从指定像素位置到混合区域边缘的距离，并可以基于混合区域的宽度与从指定像素的位置到混合区域边缘的距离的比来估算混合比。

图像捕捉设备还可以包括移动方向检测装置，用于检测前景对象的移动方向。混合比估算装置可以检测混合区域的宽度以及在移动方向上从指定像素的位置到混合区域边缘的距离，并可以基于混合区域的宽度与从指定像素的位置到混合区域的边缘的距离的比估算混合比。

移动方向检测装置可以包括运动矢量产生装置，用于基于区域信息和混合区域在指定帧中的位置及混合区域在指定帧附近的帧中的位置产生运动矢量，由此可以基于所产生的运动矢量检测移动方向。

本发明的第二图像处理设备包括：用于输出区域信息的区域规定装置，用来对应于图像数据规定由形成前景对象的前景对象分量和形成背景对象的背景对象分量混合而成的混合区域；以及混合比估算装置，用于基于区域信息和前景对象的移动方向，通过假设混合比相对于像素位置基本线性地变化来估算表示混合区域内前景对象分量和背景对象分量的比的混合比。

混合比估算装置可以基于在一片段上的位置估算对应于在该片段上的位置的像素的混合比，其中所述片段一端位于仅由前景对象分量构成的前景区域，而另一端位于仅由背景对象分量构成的背景区域，该片段横截混合区域。

混合比估算装置可以基于在平行于前景对象移动方向的片段上的位置来估算与该片段上的位置相对应的像素的混合比。

混合比估算装置可以基于在与前景对象移动方向斜交的片段上的位置来估算与该片段上的位置相对应的像素的混合比。

本发明的第二图像处理方法包括：输出区域信息的区域规定步骤，该区域信息用于对应于图像数据规定由形成前景对象的前景对象分量和形成背景对象的背景对象分量混合而成的混合区域；以及混合比估算步骤，用于基于区域信息和前景对象的移动方向，通过假设混合比相对于像素位置基本线性地变化来估算表示混合区域内前景对象分量和背景对象分量的比的混合比。

在混合比估算步骤中，基于在一片段上的位置估算对应于在该片段上的位置的像素的混合比，其中所述片段一端位于仅由前景对象分量构成的前景区域，而另一端位于仅由背景对象分量构成的背景区域，该片段横截混合区域。

在混合比估算步骤中，可以基于在平行于前景对象移动方向的片段上的位置估算与该片段上的位置相对应的像素的混合比。

在混合比估算步骤中，可以基于在与前景对象移动方向斜交的片段上的位置来估算与该片段上的位置相对应的像素的混合比。

本发明的第二记录介质的程序包括：输出区域信息的区域规定步骤，该区域信息用于对应于图像数据规定由形成前景对象的前景对象分量和形成背景对象的背景对象分量混合而成的混合区域；以及混合比估算步骤，用于基于区域信息和前景对象的移动方向，通过假设混合比相对于像素位置基本线性地变化来估算表示混合区域内前景对象分量和背景对象分量的比的混合比。

在混合比估算步骤中，基于在一片段上的位置估算对应于在该片段上的位置的像素的混合比，其中所述片段一端位于仅由前景对象分量构成的前景区域，而另一端位于仅由背景对象分量构成的背景区域，该片段横截混合区域。

在混合比估算步骤中，可以基于在平行于前景对象移动方向的片段上的位置估算与该片段上的位置相对应的像素的混合比。

在混合比估算步骤中，可以基于在与前景对象移动方向斜交的片段上的位置来估算与该片段上的位置相对应的像素的混合比。

本发明的第二程序允许计算机执行以下步骤：输出区域信息的区域规定步骤，该区域信息用于对应于图像数据规定由形成前景对象的前景对象分量和形成背景对象的背景对象分量混合而成的混合区域；以及混合比估算步骤，用于基于区域信息和前景对象的移动方向，通过假设混合比相对于像素位置基本线性地变化来估算表示混合区域内前景对象分量和背景对象分量的比的混合比。

在混合比估算步骤中，基于在一片段上的位置估算对应于在该片段上的位置的像素的混合比，其中所述片段一端位于仅由前景对象分量构成的前景区域，而另一端位于仅由背景对象分量构成的背景区域，该片段横截混合区域。

在混合比估算步骤中，可以基于在平行于前景对象移动方向的片段上的位置估算与该片段上的位置相对应的像素的混合比。

在混合比估算步骤中，可以基于在与前景对象移动方向斜交的片段上的位置来估算与该片段上的位置相对应的像素的混合比。

本发明的第二图像捕捉设备包括：图像捕捉装置，用于输出图像捕捉器件所捕捉的主体图像作为预定数量像素数据形成的图像数据，该图像捕捉器件包括预定数量像素，该像素具有时积功能；用于输出区域信息的规定装置，用于对应于图像数据规定由形成前景对象的前景对象分量和形成背景对象的背景对象分量混合而成的混合区域；以及混合比估算装置，用以基于区域信息和前景对象的移动方向，通过假设混合比相对于像素位置基本线性地变化来估算表示混合区域内前景对象分量和背景对象分量的比的混合比。

混合比估算装置可以基于在一片段上的位置估算对应于在该片段上的位置的像素的混合比，其中所述片段一端位于仅由前景对象分量构成的前景区域，而另一端位于仅由背景对象分量构成的背景区域，该片段横截混合区域。

混合比估算装置可以基于在平行于前景对象移动方向的片段上的位置估算与该片段上的位置相对应的像素的混合比。

混合比估算装置可以基于在与前景对象移动方向斜交的片段上的位置来估算与该片段上的位置相对应的像素的混合比。

对应于图像数据，规定由形成前景对象的前景对象分量和形成背景对象的背景对象分量混合而成的混合区域，以及由前景区域和背景区域形成的非混合区域，其中前景区域仅由前景对象分量构成，而背景区域仅由背景对象分量构成。基于混合区域在相对于前景对象分量移动方向的预定方向上的宽度与预定方向上从指定像素的位置到混合区域边缘的距离的比，估算表示指定像素的前景对象分量和背景对象分量之间的比的混合比，其中该混合区域的宽度是由区域信息指定的。

输出用于对应于图像数据规定由形成前景对象的前景对象分量和形成背景对象的背景对象分量混合而成的混合区域的区域信息。基于区域信息和前景对象的移动方向通过假设混合比相对于像素位置基本线性地变化来估算表示前景对象分量和背景对象分量的比的混合比。

通过这种配置，可以检测图像中的混合状态。

附图说明

图1示出根据本发明的图像处理设备的实施例；

图2是示出图像处理设备的方块图；

图3示出传感器所执行的图像捕捉(image-capturing)；

图4示出像素的排列；

图5示出检测器件的工作原理；

图6A示出通过对对应于移动前景的对象和对应于静止背景的对象进行图像捕捉所获得的图像；

图6B示出通过对对应于移动前景的对象和对应于静止背景的对象进行图像捕捉所获得的图像的模型；

图7示出背景区域、前景区域、混合区域、覆盖的背景区域以及未覆盖的背景区域；

图8示出通过在时间方向上扩展图像中并排排列成一行的各像素的像素值所获得的模型，其中图像是通过图像捕捉对应于静止前景的对象和对应于静止背景的对象而获得的；

图9示出一模型，其中像素值在时间方向上扩展且对应于快门时间的时段被分割；

图10示出一模型，其中像素值在时间方向上扩展且对应于快门时间的时段被分割；

图11示出一模型，其中像素值在时间方向上扩展且对应于快门时间的时段被分割；

图12示出在前景区域、背景区域和混合区域内提取像素的示例；

图13示出各像素与通过在时间方向上扩展像素值而获得的模型之间的关系；

图14示出一模型，其中像素值在时间方向上扩展且对应于快门时间的时段被分割；

图15示出一模型，其中像素值在时间方向上扩展且对应于快门时间的时段被分割；

图16示出一模型，其中像素值在时间方向上扩展且对应于快门时间的时段被分割；

图17示出一模型，其中像素值在时间方向上扩展且对应于快门时间的时段被分割；

图18示出一模型，其中像素值在时间方向上扩展且对应于快门时间的时段被分割；

图19是说明用于调节运动模糊量的过程的方块图；

图20是示出区域规定单元103的结构示例的方块图；

图21示出对应于前景的对象移动时的图像；

图22示出一模型，其中像素值在时间方向上扩展且对应于快门时间的时段被分割；

图23示出一模型，其中像素值在时间方向上扩展且对应于快门时间的时段被分割；

图24示出一模型，其中像素值在时间方向上扩展且对应于快门时间的时段被分割；

图25示出用于确定区域的条件；

图26A示出通过区域规定单元103规定区域而获得的结果的示例；

图26B示出通过区域规定单元103规定区域而获得的结果的示例；

图26C示出通过区域规定单元103规定区域而获得的结果的示例；

图26D示出通过区域规定单元103规定区域而获得的结果的示例；

图27示出通过区域规定单元103规定区域而获得的结果的示例；

图28是说明区域规定过程的流程图；

图29是示出区域规定单元103的结构的另一示例的方块图；

图30示出一模型，其中像素值在时间方向上扩展且对应于快门时间的时段被分割；

图31示出背景图像的示例；

图32是示出二元对象图像提取部分302的结构的方块图；

图33A示出相关性值计算；

图33B示出相关性值计算；

图34A示出相关性值计算；

图34B示出相关性值计算；

图35示出二元对象图像的示例；

图36是示出时变检测器303的结构的方块图；

图37示出区域确定部分342作出的判定；

图38示出由时变检测器303作出的判定的示例；

图39是示出区域规定单元103执行的区域规定过程的流程图；

图40是示出区域判定过程的细节的流程图；

图41是示出区域规定单元103的另一结构的方块图；

图42是示出加强处理部分361的结构的方块图；

图43示出运动补偿器381所执行的运动补偿；

图44示出运动补偿器381所执行的运动补偿；

图45是示出区域规定过程的流程图；

图46是示出加强处理的细节的流程图；

图47是示出混合比计算器104的结构的方块图；

图48示出理想混合比α的示例；

图49示出一模型，其中像素值在时间方向上扩展且对应于快门时间的时段被分割；

图50示出一模型，其中像素值在时间方向上扩展且对应于快门时间的时段被分割；

图52示出一模型，其中像素值在时间方向上扩展且对应于快门时间的时段被分割；

图53示出用于计算混合比α的过程；

图54是示出用于计算混合比α的过程的流程图；

图55是示出用于计算属于混合区域的像素的混合比α的过程的流程图；

图56是示出前景/背景分离器105的结构示例的方块图；

图57A示出输入图像、前景分量图像和背景分量图像；

图57B示出输入图像、前景分量图像和背景分量图像的模型；

图58示出一模型，其中像素值在时间方向上扩展且对应于快门时间的时段被分割；

图59示出一模型，其中像素值在时间方向上扩展且对应于快门时间的时段被分割；

图60示出一模型，其中像素值在时间方向上扩展且对应于快门时间的时段被分割；

图61是示出分离部分601的结构示例的方块图；

图62A示出被分离的前景分量图像的示例；

图62B示出被分离的背景分量图像的示例；

图63是示出用于分离前景和背景的过程的流程图；

图64是示出根据本发明的图像处理设备的另一种结构的方块图；

图65是示出移动(moving)方向估算单元701的结构的方块图；

图66示出运动(motion)矢量检测器721的区段匹配；

图67A示出评价区段；

图67B示出评价区段；

图67C示出评价区段；

图67D示出评价区段；

图68是示出混合比计算器702的结构的方块图；

图69是示出前景/背景分离过程的流程图；

图70是示出移动方向获取过程的流程图；

图71是示出用于计算混合比α的过程的流程图；

图72是示出用于计算属于混合区域的像素的混合比α的过程的流程图；

图73是示出根据本发明的图像处理设备的再一种结构的方块图；

图74是示出前景/背景分离过程的流程图。

具体实施方式

图1示出根据本发明的图像处理设备的实施例。CPU(中央处理单元)21根据存储在ROM(只读存储器)22和在存储单元28内的程序执行各种类型的进程。由CPU21执行的程序和数据按需要存储在RAM(随机存取存储器)23中。CPU21、ROM22和RAM23彼此通过总线24连接。

输入/输出接口25也经由总线24连接到CPU21上。由键盘、鼠标、麦克风等形成的输入单元26和由显示器、扬声器等形成的输出单元27连接到输入/输出接口25上。CPU21响应从输入单元26输入的命令执行各种类型的进程。CPU21然后将作为进程结果所获得的图像和声音输出到输出单元27。

连接到输入/输出接口25上的存储单元28例如由硬盘形成，并存储CPU21所执行的程序和各种数据。通信单元29经由互联网或其他网络与外设通信。在这个示例中，通信单元29作用为获取传感器输出的获取单元。

另外，程序可以经由通信单元29获得并存储在存储单元28内。

连接到输入/输出接口25上的驱动器30在磁盘51、光盘52、磁光盘53、半导体存储器54等连接到驱动器30上时驱动上述记录介质，并获取在相应介质内存储的程序或数据。所获得的程序或数据传送到存储单元28，并按需要存储在其中。

图2是示出图像处理设备的方块图。

图像处理设备的各个功能是由硬件还是由软件来实现并不重要。即，这个说明书中的方块图可以是硬件方块图，或软件功能性方块图。

在这个说明书中，与真实世界中的对象相对应的要捕捉的图像称为图像目标。

供给到图像处理设备的输入图像被提供给目标提取单元101、区域规定单元103和前景/背景分离器105。

目标提取单元101提取与输入图像中所包含的前景对象相对应的粗略图像目标，并将所提取的图像目标供给到运动检测器102。目标提取单元101例如检测输入图像中所包含的前景图像目标的轮廓，以便提取与前景对象相对应的粗略图像目标。

目标提取单元101提取与输入图像中所包含的背景对象相对应的粗略图像目标，并将所提取的图像目标供给到运动检测器102。目标提取单元101例如根据输入图像和所提取的与前景对象相对应的图像目标之间的差中提取与背景对象相对应的粗略图像目标。

另外，例如，目标提取单元101可以根据存储在内置背景存储器内的背景图像与输入图像的差中提取与前景对象相对应的粗略图像目标和与背景对象相对应的粗略图像目标。

运动检测器102根据诸如区段匹配、梯度、相位对比的技术或像素回归(pel-recursive)技术计算粗略提取的与前景对象相对应的图像目标的运动矢量，并将所计算的运动矢量和运动矢量位置信息(该信息未用于规定与运动矢量相对应的像素的位置的信息)提供到区域规定单元103和混合比计算器104。

从运动检测器102输出的运动矢量包含对应于移动量v的信息。

运动检测器102可以与用于规定图像目标的像素的像素位置信息一起将每个图像目标的运动矢量提供给区域规定单元103和混合比计算器104。

移动量v是以像素间距为单位的表示对应于移动对象的图像的位置变化的值。例如，如果对应于前景的对象图像移动成使得在其位于随后的帧中时，它显示在远离基准帧四个像素的位置处，则对应于前景的对象图像的运动量v为4。

区域规定单元103确定输入图像的每个像素输入前景区域、背景区域或混合区域，并将表示每个像素所属区域的信息(以下称为区域信息)提供给混合比计算器104和前景/背景分离器105。

混合比计算器104基于自运动检测器102提供的像素运动矢量和位置信息以及自区域规定单元103提供的区域信息计算与混合区域内包含的像素相对应的混合比(以下称为混合比α)，并将所计算的混合比提供给前景/背景分离器105。

混合比α是表示对应于背景对象的图像分量(以下也称为背景分量)与公式(3)所表示的像素值的比的数值，其中公式(3)在下面示出。

前景/背景分离器105基于从区域规定单元103提供的区域信息和从混合比计算器104提供的混合比α将输入图像分离成仅由与前景对象相对应的图像分量(以下也称为前景分量)形成的前景分量图像和仅由背景分量形成的背景分量图像，并输出前景分量图像和背景分量图像。

与其中仅仅规定前景和背景而没有考虑混合区域的已知方法相比，可以获得更精确的前景和背景。

下面参照图3到18讨论提供到图像处理设备上的输入图像。

图3示出由传感器执行的图像捕捉。该传感器例如由设置有CCD区域传感器的CCD(电荷耦合器件)摄像机形成，这是一种固态图像捕捉器件。与真实世界内的前景相对应的对象111例如水平从左向右在对应于背景的对象112和传感器之间移动。

传感器与对应于背景的对象112的图像一起捕捉与前景相对应的对象111的图像，传感器以帧为单位输出所捕捉的图像，例如，传感器输出每秒30帧的图像。传感器的曝光时间可以为1/30秒。曝光时间是从传感器开始将光转变为电荷时起直到从输入光到电荷的转变结束时为止的时段。曝光时间也称为快门时间。

图4示出像素的排列。在图4中，A到I表示单个像素。像素设置在相应图像的平面上。与像素一一对应的检测器件设置在传感器上。当传感器进行图像捕捉时，每个检测器件输出构成图像的相应像素的像素值，例如，检测器件在X方向上的位置对应于图像的水平方向，而检测器件在Y方向上的位置对应于图像上的垂直方向。

如图5所示，例如为CCD的检测器件在对应于快门时间的时段内将输入光转变为电荷，并存储所转变的电荷。电荷量几乎正比于输入光的强度和光输入的时段。在对应于快门时间的时段内，检测装置依次将自输入光转变的电荷添加到存储的电荷上。即，检测装置在对应于快门时间的时段内累积输入光，并存储与所累积的光量相对应的电荷。可以考虑到检测器件具有相对于时间的积分功能。

存储在检测器件内的电荷由电路(未示出)转变为电压值，而电压值进一步转变为如数字数据的像素值并输出。于是，从传感器输出的每个像素值为在线性空间上突出的值，这是对应于前景或背景的对象的特定三维部分相对于快门时间积分的结果。

通过传感器的存储操作，图像处理设备提取输出信号中包含的有意义的信息，例如混合比α。图像处理设备调节前景图像目标自身混合所造成的失真量，例如运动模糊量。图像处理设备也调节由前景图像目标和背景图像目标混合而造成的失真量。

图6A示出通过捕捉对应于前景的移动对象和对应于背景的静止对象而获得的图像，图6B示出通过捕捉对应于前景的移动对象和对应于背景的静止对象所获得的图像。

图6A示出通过捕捉对应于前景的移动对象和对应于背景的静止对象而获得的图像，在图6A所示的示例中，对应于前景的对象相对于屏幕从左向右水平移动。

图6B示出通过在时间方向上扩展对应于图6A所示的图像的一行的像素值所获得的模型。图6B所示的水平方向对应于图6A中的空间方向X。

在背景区域内的像素值仅由背景分量，即对应于背景对象的图像分量形成。在前景区域内的像素值仅由前景分量，即对应于前景对象的图像分量形成。

混合区域的像素值由背景分量和前景分量形成。由于混合区域内的像素值由背景分量和前景分量形成，因此它可以称为失真区域。混合区域还分成覆盖的背景区域和未覆盖的背景区域。

覆盖的背景区域为在与前景对象移动的方向的前端相对应的位置处的混合区域，在此，随着时间流逝，背景分量逐渐被前景覆盖。

相反，未覆盖区域时对应于前景对象移动方向的后端的混合区域，在此，背景分量随着时间逐渐显现。

如上所述，包含前景区域、背景区域或覆盖的背景区域或未覆盖的背景区域的图像作为输入图像输入到区域规定单元103、混合比计算器104和前景/背景分离器105内。

图7示出如上所述的背景区域、前景区域、混合区域、覆盖的背景区域和未覆盖的背景区域。在对应于图6A所示的图像的区域内，背景区域为静止部分，前景区域为移动部分，混合区域的覆盖背景区域为从背景向前景变化的部分，而混合区域的未覆盖的背景区域为从前景向背景变化的部分。

图8示出通过在时间方向上扩展图像中并排排列成一行的像素的像素值而获得的模型，其中图像是通过捕捉与静止前景相对应的对象的图像和与静止背景相对应的对象的图像来获得的。例如，作为并排排列成一行的像素，可以选择屏幕上一行内排列的各像素。

由图8中所示的F01到F04所表示的像素值是对应于静止前景的对象的像素的值，由图8中所示的B01到B04所表示的像素值是对应于静止背景的对象的像素的值。

时间在图8的垂直方向上从顶部向顶部流逝，在图8中矩形顶边处的位置对应于传感器开始将输入光转变为电荷的时刻，而在图8中矩形底边处的位置对应于从输入光向电荷在转变完成的时刻。即，从图8中矩形的顶边到底边的距离对应于快门时间。

假设例如快门时间等于帧长，下面描述图8中所示的像素。

图8中水平方向对应于图6A中的空间方向X，更具体地说，在图8所示的示例中，从图8中F01表示的矩形的左边到B04表示的矩形的右边的距离为像素间距的八倍，即八个相继的像素。

当前景对象和背景对象是静止的时，输入到传感器内的光在对应于快门时间的时段内不会改变。

对应于快门时间的时段被分成两或多部分的相等时段。例如，如果虚拟(virtual)分隔部分的数量为4，则图8中所示的模型可以由图9中所示的模型代表。虚拟分隔的部分的数量可以根据快门时间内与前景相对应的对象的移动量v来设定。例如，当移动量v为4时，虚拟分隔部分的数量设定为4，而对应于快门时间的时段分隔成四个部分。

图9中最上部的行对应于自快门开启起的第一分隔时段。图9中第二行对应于自快门开启起的第二分隔时段。图9中第三行对应于自快门开启起的第三分隔时段，图9中第四行对应于自快门开启起的第四分隔时段。

下面，根据移动量v分隔的快门时间也称为“快门时间/v”。

当对应于前景的对象是静止的时，输入到传感器内的时间不会变化，由此，前景分量F01/v等于将像素值F01除以虚拟分隔的部分的数量所得到的值。类似地，当对应于前景的对象是静止的时，前景分量F02/v等于通过将像素值F02除以虚拟分隔的部分的数量所获得的值，前景分量F03/v等于通过将像素值F03除以虚拟分隔的部分的数量所获得的值，而前景分量F04/v等于通过将像素值F04除以虚拟分隔的部分的数量所获得的值。

当对应于背景的对象是静止的时，输入到传感器内的光不会变化，因此，背景分量B01/v等于通过将背景分量B01除以虚拟分隔的部分的数量所获得的值，类似地，当对应于背景的对象时静止的时，背景分量B02/v等于通过将像素值B02除以虚拟分隔的部分的数量所获得的值，背景分量B03/v等于通过将像素值B03除以虚拟分隔的部分的数量所获得的值，而背景分量B04/v等于通过将像素值B04除以虚拟分隔的部分的数量所获得的值。

更具体地说，当对应于前景的对象是静止的时，输入传感器中的对应于前景对象的光在与快门时间相对应的时段内不会变化，于是，对应于自快门开启时起的快门时间/v的第一部分的前景分量F01/v、对应于自快门开始时起的快门时间/v的第二部分的前景分量F01/v、对应于自快门开始时起的快门时间/v的第三部分的前景分量F03/v以及对应于自快门开启时起的快门时间/v的第四部分的前景分量F04/v变成相同的值，与F01/v的情况相同的情况应用于F02/v到F04/v上。

当对应于背景的对象是静止的时，输入到传感器中的对应于背景对象的光在与快门时间相对应的时段内不变，于是，对应于自快门开启时起的快门时间/v的第一部分的背景分量B01/v、对应于自快门开始时起的快门时间/v的第二部分的背景分量B01/v、对应于自快门开始时起的快门时间/v的第三部分的背景分量B03/v以及对应于自快门开启时起的快门时间/v的第四部分的背景分量B04/v变成相同的值，相同的情况应用于B02/v到B04/v上。

下面给出对应于前景的对象时移动的而对应于背景的对象是静止的情况的描述。

图10示出在对应于前景的对象向图10中的右侧移动时，通过沿时间方向在包括覆盖的背景区域的一行上展开像素值所获得的模型。在图10中，移动量v为4。由于一个帧是很短的时间段，因此可以假设对应于前景的对象为以恒定速度移动的刚体。在图10中，对应于前景的对象图像移动，以至于当它显示在随后的帧中时，它定位于相对基准帧向右四个像素。

在图10中，从最左侧的像素到第四像素属于前景区域，在图10中，从自左边起第五像素到第七像素属于混合区域，其为覆盖的背景区域，在图10中最右侧的像素属于背景区域。

对应于前景的对象移动，以至于它随着时间流逝逐渐覆盖对应于背景的对象。于是，在对应于快门时间的时段内，包含在属于覆盖背景区域的像素的像素值之内的分量在特定时刻从背景分量向前景分量变化。

例如，图10中粗线框所围绕的像素值M由下面的公式(1)表示：

M＝B02/v+B02/v+F07/v+F06/v

例如，左起第五像素包含对应于快门时间/v的一个部分的背景分量和对应于快门时间/v的三个部分的前景分量，从而左起第五像素的混合比α为1/4。左起第六像素包含对应于快门时间/v的两个部分的背景分量和对应于快门时间/v的两个部分的前景分量，从而左起第六像素的混合比α为1/2。左起第七像素包含对应于快门时间/v的三个部分的背景分量和对应于快门时间/v的一个部分的前景分量，从而左起第五像素的混合比α为3/4。

可以假设对应于前景的对象是刚体，且前景对象以恒定速度移动，以至于它在随后的帧中显示成向右四个像素。于是，例如，从图10中左起第四像素的与自快门开启时的起快门时间/v的第一部分相对应的前景分量F07/v等于从图10中左起第五像素的与自快门开启时的起快门时间/v的第二部分相对应的前景分量，类似地，前景分量F07/v等于从图10中左起第六像素的与自快门开启时的起快门时间/v的第三部分相对应的前景分量，以及从图10中左起第七像素的与自快门开启时的起快门时间/v的第四部分相对应的前景分量。

可以假设对应于前景的对象是刚体，且前景对象以恒定速度移动，以至于它在随后的帧中显示成向右四个像素，于是，例如，从图10中左起第三像素的与自快门开启时的起快门时间/v的第一部分相对应的前景分量F06/v等于从图10中左起第四像素的与自快门开启时的起快门时间/v的第二部分相对应的前景分量，类似地，前景分量F06/v等于从图10中左起第五像素的与自快门开启时的起快门时间/v的第三部分相对应的前景分量，以及从图10中左起第六像素的与自快门开启时的起快门时间/v的第四部分相对应的前景分量。

可以假设对应于前景的对象是刚体，且前景对象以恒定速度移动，以至于它在随后的帧中显示成向右四个像素。于是，例如，从图10中左起第二像素的与自快门开启时的起快门时间/v的第一部分相对应的前景分量F05/v等于从图10中左起第三像素的与自快门开启时的起快门时间/v的第二部分相对应的前景分量，类似地，前景分量F05/v等于从图10中左起第四像素的与自快门开启时的起快门时间/v的第三部分相对应的前景分量，以及从图10中左起第五像素的与自快门开启时的起快门时间/v的第四部分相对应的前景分量。

可以假设对应于前景的对象是刚体，且前景对象以恒定速度移动，以至于它在随后的帧中显示成向右四个像素。于是，例如，图10中最左侧像素的与自快门开启时的起快门时间/v的第一部分相对应的前景分量F04/v等于从图10中左起第二像素的与自快门开启时的起快门时间/v的第二部分相对应的前景分量，类似地，前景分量F04/v等于从图10中左起第三像素的与自快门开启时的起快门时间/v的第三部分相对应的前景分量，以及从图10中左起第四像素的与自快门开启时的起快门时间/v的第四部分相对应的前景分量。

由于对应于移动对象的前景区域如上所述包含运动模糊，也可以将其称为失真区域。

图11示出在对应于前景的对象向图11中右侧移动时通过沿时间方向在包括未覆盖背景区域的一行上展开像素的像素值所获得的模型。在图11中，运动量v为4。由于一个帧是较短的时间段，因此可以假设对应于前景的对象是以恒定速度移动的刚体。在图11中，对应于前景的对象图像向右移动，以至于在它于随后的帧中显示时，它定位于相对于基准帧向右四个像素。

在图11中，从最左侧像素到第四像素的像素属于背景区域，在图11中，左起第五像素到第七像素属于混合区域，该区域为未覆盖背景区域。在图11中，最右侧像素属于前景区域。

覆盖对应于背景的对象的对应于前景的对象移动，以至于随着时间流逝它逐渐从对应于背景的对象上移开。于是，包含在属于未覆盖背景区域的像素的像素值内的分量在对应于快门时间的时段内的特定时刻从前景分量向背景分量变化。

例如，由图11中较深帧所围绕的像素值M′由公式(2)表示。

M′＝F02/v+F01/v+B26/v+B26/v

例如，左起第五像素包含对应于快门时间/v的三个部分的背景分量和对应于快门时间/v的一个部分的前景分量，从而左起第五像素的混合比α为3/4，左起第六像素包含对应于快门时间/v的两个部分的背景分量和对应于快门时间/v的两个部分的前景分量，从而左起第六像素的混合比α为1/2。左起第七像素包含对应于快门时间/v的一个部分的背景分量和对应于快门时间/v的三个部分的前景分量，从而左起第七像素的混合比α为1/4。

概括公式(1)和(2)，像素值M可以由公式(3)表示：

$M=\mathrm{\α}\·B+\underset{i}{\mathrm{\Σ}}\mathrm{Fi}/v---\left(3\right)$

其中，α是混合比，B表示背景的像素值，而Fi/v指代前景分量。

可以假设对应于前景的对象是刚性的，其以恒定速度移动，且移动量为4。于是，例如，图11中左起第五像素的与从快门开启时起快门时间/v的第一部分相对应的前景分量F01/v等于图11中左起第六像素的与从快门开启时起快门时间/v的第二部分相对应的前景分量。类似地，前景分量F01/v等于图11中左起第七像素的与从快门开启时起快门时间/v的第三部分相对应的前景分量，和图11中左起第八像素的与从快门开启时起快门时间/v的第四部分相对应的前景分量。

可以假设对应于前景的对象是刚性的，其以恒定速度移动，且移动量为4。于是，例如，图11中左起第六像素的与从快门开启时起快门时间/v的第一部分相对应的前景分量F02/v等于图11中左起第七像素的与从快门开启时起快门时间/v的第二部分相对应的前景分量。类似地，前景分量F02/v等于图11中左起第八像素的与从快门开启时起快门时间/v的第三部分相对应的前景分量。

可以假设对应于前景的对象是刚性的，其以恒定速度移动，且移动量为4。于是，例如，图11中左起第七像素的与从快门开启时起快门时间/v的第一部分相对应的前景分量F03/v等于图11中左起第八像素的与从快门开启时起快门时间/v的第二部分相对应的前景分量。

已经参照图9到图11描述了虚拟分隔部分的数量为4的情况。虚拟分隔部分的数量与移动量v一致。通常，移动量v与对应于前景的对象的移动速度一致。例如，如果对应于前景的对象移动使得它在随后的帧中定位时，它显示为相对于特定帧向右四个像素，则移动量v设定为4。虚拟分隔部分的数量根据移动量v而设定为4。类似地，当对应于前景的对象移动使得它在随后的帧中定位时它显示为相对于特定帧向右六个像素，则移动量v设定为6，并且虚拟分隔部分的数量设定为6。

图12和13示出如上所述的前景区域、背景区域和覆盖背景或未覆盖背景构成的混合区域与与快门时间所分隔的各时间段相对应的前景分量和背景分量的关系。

图12示出从包含前景的图像中提取前景区域、背景区域和混合区域内的像素的示例，其中该前景对应于在静止背景之前移动的对象。在图12所示的示例中，A所标示的对应于前景的对象相对于屏幕水平移动。

帧#n+1是帧#n随后的帧，而帧#n+2是帧#n+1随后的帧。

前景区域、背景区域和混合区域内的像素从帧#n到帧#n+2之一中提取，且移动量v设定为4。通过在时间方向上扩展所提取像素的像素值而获得的模型在图13中示出。

由于对应于前景的对象移动，因此在前景区域内的像素值由对应于快门时间/v的四个不同前景分量形成。例如，图13所示的前景区域内的各像素中的最左侧像素由F01/v、F02/v、F03/v和F04/v构成，即，前景中的像素包含运动模糊。

由于对应于背景的对象是静止的，因此输入到传感器内的与背景相对应的光在快门时间内不会变化。在这种情况下，背景区域内的像素值不包含运动模糊。

在覆盖背景区域或未覆盖背景区域构成的混合区域内的像素值由前景分量和背景分量形成。

下面给出对通过在时间方向上扩展各像素的像素值而获得的模型的描述，其中各像素在多个帧中并排排列成一行，且在对应于对象的图像移动时位于各帧中的相同位置处。例如，当对应于对象的图像相对于屏幕水平移动时，在屏幕上成一行的像素可以被选为并排排列成一行的像素。

图14示出通过在时间方向上扩展各像素所获得的模型，其中个像素在图像的三个帧中并排排列成一行且在各帧中位于相同位置处，而该图像是通过捕捉与静止背景相对应的对象获得的。帧#n是帧#n-1随后的帧，而帧#n+1是帧#n随后的帧，相同的情况适用于其他各帧上。

图14所示的像素值B01到B12是对应于静止背景对象的像素值。由于对应于背景的对象是静止的，在帧#n-1到帧#n+1内的相应像素的像素值不变。例如，位于与帧#n-1中像素值为B05的帧相应位置处的帧#n内的像素和帧#n+1内的像素像素值为B05。

图15示出通过在时间方向上扩展像素而获得的模型，各像素在图像的三个帧中并排排列成一行并在各帧中位于相同位置处，其中图像是通过与对应于静止背景的对象一起捕捉对应于前景的对象而获得的，而前景向图15中的右侧移动。图15所示的模型包含覆盖背景区域。

在图15中，可以假设对应于前景的对象是以恒定速度移动的刚体，且它移动成使得在随后的帧中它显示成向右四个像素。于是，移动量v为4，且虚拟分隔部分是4。

例如，图15中帧#n-1的最左侧像素中的、与自快门开启时的起快门时间/v的第一部分相对应的前景分量为F12/v，而自图15中左起第二像素中的、与自快门开启时的起快门时间/v的第二部分相对应的前景分量为F12/v。自图15中左起第三像素中的、与自快门开启时的起快门时间/v的第三部分相对应的前景分量以及自图15中左起第四像素中的、与自快门开启时的起快门时间/v的第四部分相对应的前景分量为F12/v。

图15中帧#n-1的最左侧像素中的、与自快门开启时的起快门时间/v的第二部分相对应的前景分量为F11/v，而自图15中左起第二像素中的、与自快门开启时的起快门时间/v的第三部分相对应的前景分量为F11/v。自图15中左起第三像素中的、与自快门开启时的起快门时间/v的第四部分相对应的前景分量为F11/v。

图15中帧#n-1的最左侧像素中的、与自快门开启时的起快门时间/v的第三部分相对应的前景分量为F10/v。自图15中左起第二像素中的、与自快门开启时的起快门时间/v的第四部分相对应的前景分量为F10/v。图15中帧#n-1的最左侧像素中的、与自快门开启时的起快门时间/v的第四部分相对应的前景分量为F09/v。

由于对应于背景的对象是静止的，因此，从图15中帧#n-1左起第二像素中的、与自快门开启时的起快门时间/v的第一部分相对应的背景分量为B01/v。从图15中帧#n-1的左起第三像素中的、与自快门开启时起的快门时间/v的第一部分和第二部分相对应的背景分量为B02/v。从图15中帧#n-1左起第四像素中的、与自快门开启时的起快门时间/v的第一到第三部分相对应的背景分量为B03/v。

在图15的帧#n-1中，最左侧像素属于前景区域，而从左起第二到第四像素属于混合区域，该混合区域为覆盖背景区域。

从图15中帧#n-1的左起第五到第十二像素属于背景区域，而它们的像素值分别为B01到B11。

从图15中帧#n的左起第一到第五像素属于前景区域，帧#n前景区域内快门时间/v中的前景分量为F05/v到F12/v中的任一个。

可以假设对应于前景的对象是以恒定速度移动的刚体，且它移动成使得前景图像在随后的帧中显示成向右四个像素。于是，从图15中帧#n左起第五像素的与自快门开启时起的快门时间/v的第一部分相对应的前景分量为F12/v，而自图15的左起第六像素的与从快门开启时起快门时间/v的第二部分相对应的前景分量也为F12/v。自图15的左起第七像素的与从快门开启时起快门时间/v的第三部分相对应的前景分量以及自图15的左起第八像素的与从快门开启时起快门时间/v的第四部分相对应的前景分量都为F12/v。

自图15的帧#n左起第五像素的与从快门开启时起快门时间/v的第二部分相对应的前景分量为F11/v，自图15左起第六像素的与从快门开启时起快门时间/v的第三部分相对应的前景分量也为F11/v，自图15左起第七像素的与从快门开启时起快门时间/v的第四部分相对应的前景分量为F11/v。

自图15的帧#n左起第五像素的与从快门开启时起快门时间/v的第三部分相对应的前景分量为F10/v，自图15左起第六像素的与从快门开启时起快门时间/v的第四部分相对应的前景分量也为F10/v。自图15的帧#n左起第五像素的与从快门开启时起快门时间/v的第四部分相对应的前景分量为F09/v。

由于对应于背景的对象是静止的，从图15中帧#n的左起第六像素的对应于自快门开启时起的快门时间/v的第一部分的背景分量为B05/v。从图15中帧#n的左起第七像素的对应于自快门开启时起的快门时间/v的第一和第二部分的背景分量为B06/v。从图15中帧#n的左起第七像素的对应于自快门开启时起的快门时间/v的第一到第三部分的背景分量为B07/v。

在图15中的帧#n中，从左起第六到第八像素属于混合区域，该混合区域为覆盖背景区域。

从图15中帧#n的左起第九到第十二像素属于背景区域，而其像素值分别为B08到B11。

从图15中帧#n-1左起第一到第九像素属于前景区域，在帧#n-1前景区域内的快门时间/v的前景分量为F01/v到F12/v中任一个。

可以假设对应于前景的对象是以恒定速度移动的刚体，且它移动成使得前景图像在随后的帧中显示成向右四个像素。于是，自图15中帧#n+1的左起第九像素的与从快门开启时起快门时间/v的第一部分相对应的前景分量是F12/v，而从图15左起第十像素的与自快门开启时的起快门时间/v的第二部分相对应的前景分量也是F12/v。从图15左起第十一像素的与自快门开启时的起快门时间/v的第三部分相对应的前景分量以及从图15左起第十二像素的与自快门开启时的起快门时间/v的第四部分相对应的前景分量都是F12/v。

自图15中帧#n+1的左起第九像素的与从快门开启时起快门时间/v的第二部分相对应的前景分量是F11/v。从图15左起第十像素的与自快门开启时的起快门时间/v的第三部分相对应的前景分量也是F11/v。从图15左起第十一像素的与自快门开启时的起快门时间/v的第四部分相对应的前景分量是F11/v。

自图15中帧#n+1的左起第九像素的与从快门开启时起快门时间/v的第三部分相对应的前景分量是F10/v。从图15左起第十像素的与自快门开启时的起快门时间/v的第四部分相对应的前景分量也是F10/v。从图15中帧#n+1左起第九像素的与自快门开启时的起快门时间/v的第四部分相对应的前景分量是F09/v。

由于对应于背景的对象是静止的，从图15中帧#n+1的左起第十像素的与快门开启时起快门时间/v的第一部分相对应的背景分量为B09/v。从图15中帧#n+1的左起第十一像素的与快门开启时起快门时间/v的第一和第二部分相对应的背景分量为B10/v。从图15中帧#n+1的左起第十二像素的与快门开启时起快门时间/v的第一到第三部分相对应的背景分量为B11/v。

在图15的帧#n+1中，左起第十到第十二像素属于混合区域，该混合区域是覆盖的背景区域。

图16是通过从图15所示的像素值中提取前景分量而获得的图像的模型。

图17示出通过在时间方向上扩展像素而获得的模型，该像素在图像的三个帧中并排排列成一行并在各帧中位于相同位置处，其中图像是通过与对应于静止背景的对象一起捕捉对应于在图17中向右移动的前景的对象而获得的。图17所示的模型包含未覆盖背景区域。

在图17中，可以假设对应于前景的对象是以恒定速度移动的刚体，且它移动成在随后的帧中它显示成向右四个像素。于是，移动量v为4。

例如，图17中帧#n-1的最左侧像素的与自快门开启时的起快门时间/v的第一部分相对应的前景分量为F13/v，且从图17中左起第二像素的与自快门开启时起快门时间的第二部分相对应的前景分量也为F13/v。从图17中左起第三像素的与自快门开启时起快门时间的第三部分相对应的前景分量和从图17中左起第四像素的与自快门开启时起快门时间的第四部分相对应的前景分量都为F13/v。

从图17中帧#n-1的左起第二像素的与从快门开启时起快门时间/v的第一部分相对应的前景分量为F14/v。从图17中左起第三像素的与自快门开启时起快门时间的第二部分相对应的前景分量也为F14/v。从图17中左起第三像素的与自快门开启时起快门时间的第一部分相对应的前景分量为F15/v。

由于对应于背景的对象是静止的，图17中帧#n-1最左侧的像素的与从快门开启时起快门时间/v的第二到第四部分相对应的背景分量为B25/v。从图17中帧#n-1左起第二像素的与从快门开启时起快门时间/v的第三和第四部分相对应的背景分量是B26/v。从图17中帧#n-1左起第三像素的与从快门开启时起快门时间/v的第四部分相对应的背景分量为B27/v。

在图17的帧#n-1中，最左侧像素到第三像素属于混合区域，该混合区域是未覆盖背景区域。

从图17的帧#n-1的左起第四到第十二像素属于前景区域。这个帧的前景分量为F13/v到F24/v中任一个。

从图17的帧#n的左起最左侧像素到第四像素属于背景区域，且其像素值分别为B25到B28。

可以假设对应于前景的对象是以恒定速度移动的刚体，且它移动成使得它在随后的帧中显示成向右四个像素。于是，从图17的帧#n的左侧其第五像素的与自快门开启时的起快门时间/v的第一部分相对应的前景分量为F13/v，而从图17左起第六像素的与自快门开启时的起快门时间/v的第二部分相对应的前景分量也是F13/v。从图17左起第七像素的与自快门开启时的起快门时间/v的第三部分相对应的前景分量和从图17左起第八像素的与自快门开启时的起快门时间/v的第四部分相对应的前景分量都是F13/v。

从图17的帧#n的左侧其第六像素的与自快门开启时的起快门时间/v的第一部分相对应的前景分量为F14/v。从图17左起第七像素的与自快门开启时的起快门时间/v的第二部分相对应的前景分量也是F14/v。从图17左起第八像素的与自快门开启时的起快门时间/v的第一部分相对应的前景分量为F15/v。

由于对应于背景的对象是静止的，因此，从图17的帧#n的左起第五像素的与自快门开启时的起快门时间/v的第二到第四部分相对应的背景分量为B29/v。从图17的帧#n的左起第六像素的与自快门开启时的起快门时间/v的第三和第四部分相对应的背景分量为B30/v。从图17的帧#n的左起第七像素的与自快门开启时的起快门时间/v的第四部分相对应的背景分量为B31/v。

在图17的帧#n中，从左起第五像素到第七像素属于混合区域，该混合区域为未覆盖背景区域。

从图17的帧#n的左起第八到第十二像素属于前景区域，在帧#n前景区域中与快门时间/v的时间段相对应的值为F13/v到F20/v中任一个。

从图17的帧#n+1的左起最左侧像素到第八像素属于背景区域，且其像素值分别为B25到B32。

可以假设对应于前景的对象是以恒定速度移动的刚体，且它移动成使得它在随后的帧中显示成向右四个像素。于是，从图17中帧#n+1的左起第九像素的与自快门开启时的起快门时间/v的第一部分相对应的前景分量为F13/v，而从图17中左起第十像素的自快门开启时起快门时间/v的第二部分相对应的前景分量也为F13/v。从图17中左起第十一像素的自快门开启时起快门时间/v的第三部分相对应的前景分量和从图17中左起第十二像素的自快门开启时起快门时间/v的第四部分相对应的前景分量为F13/v。

从图17中帧#n+1的左起第十像素的与自快门开启时的起快门时间/v的第一部分相对应的前景分量为F14/v。从图17中左起第十一像素的自快门开启时起快门时间/v的第二部分相对应的前景分量也为F14/v。从图17中左起第十二像素的自快门开启时起快门时间/v的第一部分相对应的前景分量为F15/v。

由于对应于背景的对象是静止的，因此，从图17的帧#n+1的左起第九像素的与自快门开启时的起快门时间/v的第二到第四部分相对应的背景分量为B33/v。从图17的帧#n+1的左起第十像素的与自快门开启时的起快门时间/v的第三和第四部分相对应的背景分量为B34/v。从图17的帧#n+1的左起第十一像素的与自快门开启时的起快门时间/v的第四部分相对应的背景分量为B35/v。

在图17的帧#n+1中，从图17左起第九到第十一像素属于混合区域，这个混合区域是未覆盖背景区域。

从图17中帧#n+1左起第十二像素属于前景区域，在帧#n+1的前景区域中快门时间/v内的前景分量分别是F13到F16中任一个。

图18示出通过从图17所示的像素值中提取前景分量而获得的图像的模型。

返回参照图2，区域规定单元103利用多个帧的像素值规定表示输入图像中各个像素属于前景区域、背景区域、覆盖背景区域或未覆盖背景区域中那个区域的标志，并将该标志作为区域信息供给混合比计算器104。

混合比计算器104基于多个帧的像素值和区域信息对混合区域内包含的每个像素计算混合比α，并将所计算的混合比α提供给前景/背景分离器105。

前景/背景分离器105基于多个像素的像素值、区域信息和混合比α提取仅由前景分量构成的前景分量图像和仅由背景分量构成的背景分量图像，并输出前景分量图像和背景分量图像。

下面参照图19的流程图描述图像处理设备所执行的前景/背景分离过程。在步骤S11，运动检测器102根据诸如区段匹配、梯度、相位相关技术或像素回归技术计算与前景对象相对应的图像目标的运动矢量，并将所计算的运动矢量和运动矢量位置信息提供给区域规定单元103和混合比计算器104。

在步骤S12，区域规定单元103基于输入图像执行区域规定过程，用以产生表示输入图像的每个像素属于前景区域、背景区域、覆盖背景区域、未覆盖背景区域中那个区域的区域信息。下面给出区域规定过程的细节。区域规定单元103将所产生的区域信息提供给混合比计算器104。

在步骤S12，区域规定单元103可以基于输入图像产生表示输入图像的每个像素属于前景区域、背景区域或混合区域(无论每个图像属于覆盖背景区域或未覆盖背景区域)的区域信息。在这种情况下，前景/背景分离器105基于运动矢量的方向确定混合区域是覆盖背景区域还是未覆盖背景区域。例如，如果输入图像在运动矢量方向上以前景区域、混合区域和背景区域的顺序设置，可以确定混合区域是覆盖背景区域。如果输入图像在运动矢量方向上以背景区域、混合区域和前景区域的顺序设置，则可以确定混合区域是未覆盖背景区域。

在步骤S13中，混合比计算器104基于运动矢量及其位置信息为包含在混合区域内的每个像素计算混合比α。下面给出混合比计算过程的细节。混合比计算器104将所计算的混合比α提供到前景/背景分离器105。

在步骤S14中，前景/背景分离器105基于区域信息和混合比α从输入图像中提取前景分量和背景分量，并基于所提取的前景分量合成前景分量图像，也基于所提取的背景分量合成背景分量图像。前景/背景分离器105输出前景分量图像和背景分量图像，然后该过程结束。下面讨论前景/背景分离过程的细节。

如上所述，图像处理设备能够计算混合比α，并能够基于所计算的混合比α分离前景和背景。

区域规定单元103、混合比计算器104和前景/背景分离器105中每一个的结构描述如下：

图20是示出区域规定单元103的结构示例的方块图。图20所示的区域规定单元103不使用运动矢量。帧存储器201以帧为单位存储输入图像。当要处理的图像为帧#n时，帧存储器201存储作为帧#n之前两帧的帧#n-2、作为帧#n之前一帧的帧#n-1、帧#n、帧#n之后一帧的帧#n+1、帧#n之后两帧的帧#n+2。

静止/移动确定部分202-1从帧存储器201中读取帧#n+2的位于与帧#n的指定像素相同位置处的像素的像素值，其中已经确定了该像素属于哪个区域，并读取帧#n+1中的位于与帧#n的指定像素相同位置处的像素的像素值，并且计算所读取的像素值之间差的绝对值。静止/移动确定部分202-1确定帧#n+2的像素值和帧#n+1的像素值之间的差的绝对值是否大于预设阈值Th，如果确定出该差值大于阈值Th，则向区域确定部分203-1提供表示“移动”的静止/移动判定。如果帧#n+2的像素的像素值和帧#n+1的像素的像素值之间的差值小于或等于阈值Th，则静止/移动确定部分202-1向区域确定部分203-1提供表示“静止”的静止/移动判定。

静止/移动确定部分202-2从帧存储器201读取帧#n的指定像素的像素值，其中已经确定了该像素属于哪个区域，并读取帧#n+1中的位于与帧#n的指定像素相同位置处的像素的像素值，且计算各像素值之间的差值的绝对值。静止/移动确定部分202-2确定帧#n+1的像素值和帧#n的像素值之间的差值的绝对值是否大于预设阈值Th，如果确定出像素值之间的差值的绝对值大于阈值Th，则向区域确定部分203-1和区域确定部分203-2提供表示“移动”的静止/移动判定。如果确定出帧#n+1的像素的像素值和帧#n的像素的像素值之间的差值的绝对值小于或等于阈值Th，则静止/移动确定部分202-2将表示“静止”的静止/移动判定提供给区域确定部分203-1和区域确定部分203-2。

静止/移动确定部分202-3从帧存储器201中读取帧#n的指定像素的像素值，其中已经确定了该像素属于哪个区域，并读取帧#n-1中的位于与帧#n的指定像素相同位置处的像素的像素值，且计算各像素值之间的差值的绝对值。静止/移动确定部分202-3确定帧#n-1的像素值和帧#n的像素值之间的差值的绝对值是否大于预设阈值Th，如果确定出像素值之间的差值的绝对值大于阈值Th，则向区域确定部分203-2和区域确定部分203-3提供表示“移动”的静止/移动判定。如果确定出帧#n的像素的像素值和帧#n-1的像素的像素值之间的差值的绝对值小于或等于阈值Th，则静止/移动确定部分202-3将表示“静止”的静止/移动判定提供给区域确定部分203-2和区域确定部分203-3。

静止/移动确定部分202-4从帧存储器201中读取帧#n-1中的位于与帧#n的指定像素相同位置处的像素的像素值，其中已经确定了该像素属于哪个区域，并读取帧#n-2中的位于与帧#n的指定像素相同位置处的像素的像素值，并且计算各像素值之间差的绝对值。静止/移动确定部分202-4确定帧#n-1的像素值和帧#n-2的像素值之间的差的绝对值是否大于预设阈值Th，如果确定出各像素值之间的差值的绝对值大于阈值Th，则向区域确定部分203-3提供表示“移动”的静止/移动判定。如果确定出帧#n-1的像素的像素值和帧#n-2的像素的像素值之间的差值的绝对值小于或等于阈值Th，则静止/移动确定部分202-4向区域确定部分203-3提供表示“静止”的静止/移动判定。

在从静止/移动确定部分202-1提供的静止/移动判定表示“静止”时，且在从静止/移动确定部分202-1提供的静止/移动判定表示“移动”时，区域确定部分203-1确定帧#n的指定像素属于未覆盖背景区域，并在与指定像素相关的未覆盖背景区域确定标志中设定“1”，这表示指定像素属于未覆盖背景区域。

在从静止/移动确定部分202-1提供的静止/移动判定表示“移动”时，且在从静止/移动确定部分202-1提供的静止/移动判定表示“静止”时，则区域规定单元203-1确定帧#n的指定像素不属于未覆盖背景区域，并在与指定像素相关的未覆盖背景区域确定标志中设定“0”，这表示指定像素不属于未覆盖背景区域。

区域确定部分203-1向确定标志存储帧存储器204提供如上所述设定“1”或“0”的未覆盖背景区域确定标志。

当从静止/移动确定部分202-2提供的静止/移动判定表示“静止”时，且在从静止/移动确定部分202-3提供的静止/移动判定表示“静止”时，区域确定部分203-2确定到帧#n的指定像素属于静止区域，并在与指定像素相关的静止区域确定标志中设定“1”，这表示该像素属于静止区域。

当从静止/移动确定部分202-2提供的静止/移动判定表示“移动”时，且在从静止/移动确定部分202-3提供的静止/移动判定表示“移动”时，区域确定部分203-2确定到帧#n的指定像素不属于静止区域，并在与指定像素相关的静止区域确定标志中设定“0”，这表示该像素不属于静止区域。

像素确定部分203-2向确定标志存储帧存储器204供给如上所述设定“1”或“0”的静止区域确定标志。

当从静止/移动确定部分202-2提供的静止/移动判定表示“移动”时，且在从静止/移动确定部分202-3提供的静止/移动判定表示“移动”时，区域确定部分203-2确定到帧#n的指定像素属于移动区域，并在与指定像素相关的移动区域确定标志中设定“1”，这表示该像素属于移动区域。

当从静止/移动确定部分202-2提供的静止/移动判定表示“静止”时，或在从静止/移动确定部分202-3提供的静止/移动判定表示“静止”时，区域确定部分203-2确定到帧#n的指定像素不属于移动区域，并在与指定像素相关的移动区域确定标志中设定“0”，这表示该像素不属于移动区域。

像素确定部分203-2向确定标志存储帧存储器204供给如上所述设定“1”或“0”的移动区域确定标志。

当从静止/移动确定部分202-3提供的静止/移动判定表示“移动”时，且在从静止/移动确定部分202-4提供的静止/移动判定表示“静止”时，区域确定部分203-3确定到帧#n的指定像素属于覆盖背景区域，并在与指定像素相关的覆盖背景区域确定标志中设定“1”，这表示该像素属于覆盖背景区域。

当从静止/移动确定部分202-3提供的静止/移动判定表示“静止”时，或在从静止/移动确定部分202-4提供的静止/移动判定表示“移动”时，区域确定部分203-3确定到帧#n的指定像素不属于覆盖背景区域，并在与指定像素相关的覆盖背景区域确定标志中设定“0”，这表示该像素不属于覆盖背景区域。

像素确定部分203-3向确定标志存储帧存储器204供给如上所述设定“1”或“0”的覆盖背景区域确定标志。

从而，确定标志存储帧存储器204存储从区域确定部分203-1提供的未覆盖背景区域确定标志、从区域确定部分203-2提供的静止区域确定标志、从区域确定部分203-2提供的移动区域确定标志和从区域确定部分203-3提供的覆盖背景区域确定标志。

确定标志存储帧存储器204将其中存储的未覆盖背景区域确定标志、静止区域确定标志、移动区域确定标志和覆盖背景区域确定标志提供给合成器205。合成器205基于从确定标志存储帧存储器204提供的未覆盖背景区域确定标志、静止区域确定标志、移动区域确定标志和覆盖背景区域确定标志产生表示每个像素属于未覆盖背景区域、静止区域、移动区域或覆盖背景区域中哪一个的区域区域信息，并将区域信息提供给确定标志存储帧存储器206。

确定标志存储帧存储器206存储从合成器205提供的区域信息，并输出其中存储的区域信息。

下面参照图21到25描述区域规定单元103执行的过程的示例。

当对应于前景的对象移动时，对应于对象的图像在屏幕上的位置每帧都变化，如图21所示，位于帧#n中Yn(x，y)表示的位置处的对应于对象的图像在帧#n+1中的位于Yn+1(x，y)处，帧#n+1是帧#n的随后的帧。

图22中示出通过在时间方向上扩展沿对应于前景对象的图像的移动方向并排排列成一行的像素的像素值而获得的模型。例如，如果对应于前景对象的图像的移动方向相对于屏幕是水平的，在图22中所示的模型是通过在时间方向上扩展并排设置在行上的像素的像素值而获得的模型。

在图22中，帧#n中的行等于帧#n+1中的行。

帧#n中从左起第二像素到第十三像素中包含的对应于对象的前景分量包含在帧#n+1中从左起第六到第十七像素中。

在帧#n中，属于覆盖背景区域的像素为从左起第十一到第十三像素，而属于未覆盖背景区域的像素为从左起第二到第四像素。在帧#n+1中，属于覆盖背景区域的像素为从左起第十五到第十七像素，而属于未覆盖背景区域的像素为从左起第六到第八像素。

在图22所示的示例中，由于包含在帧#n中的前景分量在帧#n+1中移动四个像素，因此移动量v为4。虚拟分隔部分的数量根据移动量v也为4。

现在，给出在指定帧之前和之后的帧中属于混合区域的像素的像素值的变化的描述。

在图23中，帧#n中属于覆盖背景区域的像素为从左起第十五到第十七像素，在帧#n中，背景是静止的，而前景的移动量v为4。由于移动量v为4，在先前像素#n-1中从左起第十五到第十七像素仅包含背景分量，并属于背景区域。而在帧#n-1之前一个的帧#n-2中，从左起第十五到第十七像素仅包含背景分量，并属于背景区域。

由于对应于背景的对象是静止的，因此帧#n-1中从左起第十五像素的像素值不变地来自帧#n-2中从左起第十五帧的像素值。类似地，在帧#n-1中从左起第十六像素的像素值不变地来自从帧#n-2中从左起第十六像素的像素值，且帧#n-1中从左起第十七像素的像素值不变地来自从帧#n-2中从左起第十七像素的像素值。

即，帧#n-1和帧#n-2中对应于帧#n中属于覆盖背景区域的像素的像素仅由背景分量构成，且其像素值不会变化。于是，各像素值之间差值的绝对值几乎为0。从而，由静止/移动确定部分202-4对帧#n-1和帧#n-2中与帧#n中属于混合区域的像素相对应的像素作出的静止/移动判定为“静止”。

由于帧#n中属于覆盖背景区域的像素包含前景分量，其像素值与仅由背景分量构成的帧#n-1中的不同。于是，由静止/移动确定部分202-3对帧#n中属于混合区域的像素以及对帧#n-1中相应像素作出的静止/移动判定为“移动”。

当从静止/移动确定部分202-3提供表示“移动”的静止/移动判定结果时，并当从静止/移动确定部分202-4提供表示“静止”的静止/移动判定结果时，如上所述，区域确定部分203-3确定相应的像素属于覆盖背景区域。

在图24中，在背景是静止的而前景的运动量v为4的帧#n中，包含在未覆盖背景区域内的像素是从左起第二到第四像素。由于移动量v为4，在随后的帧#n+1中从左起第二到第四像素仅包含背景分量并属于背景区域。在帧#n+1随后的帧#n+2中，从左起第二到第四像素仅包含背景分量并属于背景区域。

由于对应于背景的对象是静止的，因此帧#n+2中从左起第二像素的像素值不会自帧#n+1中从左起第二像素的像素值发生变化。类似的，帧#n+2中从左起第三像素的像素值不会从帧#n+1中从左起第三像素的像素值发生变化，且帧#n+2中从左起第四像素的像素值不会从帧#n+1中从左起第四像素的像素值发生变化。

即，帧#n+1和帧#n+2中对应于帧#n中属于未覆盖背景区域的像素的像素仅由背景分量构成，且其像素值不变化。于是，各像素值之间的差值的绝对值几乎为0。从而，由静止/移动确定部分202-1对帧#n+1和帧#n+2中与帧#n中属于混合区域的像素相对应的像素所作出的静止/移动判定为“静止”。

由于帧#n中属于未覆盖背景区域的像素包含前景分量，因此其像素值与仅由背景分量构成的帧#n+1中的有所不同。于是，由静止/移动确定部分202-2对帧#n中属于混合区域的像素和帧#n+1中相应像素作出的静止/移动判定为“移动”。

当从静止/移动确定部分202-2提供表示“移动”的静止/移动判定结果时，并当从静止/移动确定部分202-1提供表示“移动”的静止/移动判定结果时，如上所述，区域确定部分203-1确定相应的像素属于未覆盖背景区域。

图25示出区域规定单元103对帧#n作出的确定条件。当对于帧#n-2中的与待处理的帧#n中像素位于相同图像位置处的像素和帧#n-1中的与帧#n中的像素位于相同位置处的像素作出的判定结果为静止，且当对于帧#n中的像素和帧#n-1中的与帧#n中的像素位于相同位置处的像素作出的判定结果为移动时，区域规定单元103确定帧#n中的像素属于覆盖背景区域。

当对于帧#n中的像素和帧#n-1中的与帧#n中的像素位于相同位置处的像素作出的判定结果为静止时，且当对于帧#n中的像素和帧#n+1中的与帧#n中的像素位于相同位置处的像素作出的判定结果为静止时，区域规定单元103确定帧#n中的像素属于静止区域。

当对于帧#n中的像素和帧#n-1中的与帧#n中的像素位于相同位置处的像素作出的判定结果为移动时，且当对于帧#n中的像素和帧#n+1中的与帧#n中的像素位于相同位置处的像素作出的判定结果为移动时，区域规定单元103确定帧#n中的像素属于移动区域。

当对于帧#n中的像素和帧#n+1中的与帧#n中的像素位于相同位置处的像素作出的判定结果为移动时，且当对于帧#n+1中的与帧#n的像素位于相同位置处的像素和帧#n+2中的与帧#n的像素位于相同位置处的像素作出的判定结果为静止时，区域规定单元103确定帧#n中的像素属于未覆盖背景区域。

图26A到26D示出由区域规定单元103所获得的区域判定结果的示例。在图26A中，被确定为属于覆盖背景区域的像素以白色表示，在图26B中，被确定为属于未覆盖背景区域的像素以白色表示。

在图26C中，被确定为属于移动区域的像素以白色表示，在图26D中被确定为属于静止区域的像素以白色表示。

图27示出自确定标志存储帧存储器206输出的区域信息中选出的以图像形式表示混合区域的区域信息。在图27中，被确定为属于覆盖背景区域或未覆盖背景区域的像素，即确定为属于混合区域的像素以白色表示。从确定标志存储帧存储器206中输出的表示混合区域的区域信息指定混合区域和前景区域中由不带纹理的部分所围绕的具有纹理的部分。

下面，参照图28的流程图描述区域规定单元103所执行的区域规定过程。在步骤S201中，帧存储器201获取包括帧#n在内的帧#n-2到帧#n+2的图像。

在步骤S202中，静止/移动确定部分202-3确定针对位于相同位置处的帧#n-1中的像素和帧#n中的像素的判定结果是否为静止，如果确定为判定结果为静止，则过程前进到步骤S203，在该步骤S203中，静止/移动确定部分202-2确定针对位于相同位置处的帧#n中的像素和帧#n+1中的像素的判定结果是否为静止。

如果在步骤S203中确定出针对位于相同位置处的帧#n中的像素和帧#n+1中的像素的判定结果为静止，过程前进到步骤S204。在步骤S204中，区域确定部分203-2在与待处理像素相关的静止区域确定标志内设定“1”，这表示待处理的像素属于静止区域。区域确定部分203-2将静止区域确定标志提供给确定标志存储帧存储器204，且过程前进到步骤S205。

如果步骤S202中确定出针对位于相同位置处的帧#n-1中的像素和帧#n中的像素的判定结果为移动，或如果在步骤S203中确定出针对位于相同位置处的帧#n中的像素和帧#n+1中的像素的判定结果为移动，则待处理的像素不属于静止区域，于是步骤S204的过程被跳过，而过程前进到步骤S205。

在步骤S205中，静止/移动确定部分202-3确定针对位于相同位置处的帧#n-1中的像素和帧#n中的像素的判定结果是否为移动，如果确定出该判定结果为移动，则过程前进到步骤S206，在步骤S206中，静止/移动确定部分202-2确定针对位于相同位置处的帧#n中的像素和帧#n+1中的像素的判定结果是否为移动。

如果在步骤S206中确定出针对位于相同位置处的帧#n中的像素和帧#n+1中的像素的判定结果为移动，则过程前进到步骤S207。在步骤S207中，区域确定部分203-2在与待处理像素相关的移动区域确定标志中设定“1”，这表示待处理的像素属于移动区域。区域确定部分203-2将移动区域确定表示提供给确定标志存储帧存储器204，而过程前进到步骤S208。

如果在步骤S205中确定出针对位于相同位置处的帧#n-1中的像素和帧#n中的像素的判定结果为静止，或如果在步骤S206中确定出针对位于相同位置处的帧#n中的像素和帧#n+1中的像素的判定结果为静止，则帧#n中的像素不属于移动区域。于是，步骤S207的过程被跳过，而过程前进到步骤S208。

在步骤S208中，静止/移动确定部分202-4确定针对位于相同位置处的帧#n-2中的像素和帧#n-1中的像素的判定结果是否为静止，如果确定出该判定结果为静止，则过程前进到步骤S209，在步骤S209中，静止/移动确定部分202-3确定针对位于相同位置处的帧#n-1中的像素和帧#n中的像素的判定结果是否为移动。

如果在步骤S209中确定出针对位于相同位置处的帧#n-1中的像素和帧#n中的像素的判定结果为移动，则过程前进到步骤S210。在步骤S210中，区域确定部分203-3在与待处理像素相关的覆盖背景区域确定标志中设定“1”，这表示待处理像素属于覆盖背景区域。区域确定部分203-3将覆盖背景区域确定表示提供给确定标志存储帧存储器204，而过程前进到步骤S211。

如果在步骤S208中确定出针对位于相同位置处的帧#n-2中的像素和帧#n-1中的像素的判定结果为移动，或如果在步骤S209中确定出针对位于相同位置处的帧#n-1中的像素和帧#n中的像素的判定结果为静止，则帧#n中的像素不属于覆盖背景区域。于是，步骤S210的过程被跳过，而过程前进到步骤S211。

在步骤S211中，静止/移动确定部分202-2确定针对位于相同位置处的帧#n中的像素和帧#n+1中的像素的判定结果是否为移动，如果在步骤S211中确定出该判定结果为移动，则过程前进到步骤S212，在步骤S212中，静止/移动确定部分202-1确定针对位于相同位置处的帧#n+1中的像素和帧#n+2中的像素的判定结果是否为静止。

如果在步骤S212中确定出针对位于相同位置处的帧#n+1中的像素和帧#n+2中的像素的判定结果为静止，则过程前进到步骤S213。在步骤S213中，区域确定单元203-1在与待处理像素相关的未覆盖背景区域确定标志中设定“1”，这表示待处理像素属于未覆盖背景区域。区域确定部分203-1将未覆盖背景区域确定标志提供给确定标记存储帧存储器204，而过程前进到步骤S214。

如果在步骤S211中确定出针对位于相同位置处的帧#n中的像素和帧#n+1中的像素的判定结果是静止的，或如果在步骤S212中确定出针对位于相同位置处的帧#n+1中的像素和帧#n+2中的像素的判定结果是移动，帧#n中的像素不属于未覆盖背景区域，于是，步骤S213被跳过，而过程前进到步骤S214。

在步骤S214，区域规定单元103确定是否帧#n中所有像素的区域已经规定。如果确定出帧#n中所有像素的区域还未规定，则过程返回到步骤S202，且对剩余的像素进行区域规定过程。

如果在步骤S214确定出帧#n中所有像素的区域已经规定，则过程前进到步骤S215。在步骤S215，合成器205基于确定标志存储帧存储器204中存储的未覆盖背景区域确定标志和覆盖背景区域确定表示产生表示混合区域的区域信息，并产生表示每个像素属于未覆盖背景区域、静止区域、移动区域或覆盖背景区域中哪一个的区域信息，且在确定标志存储帧存储器206中设定所产生的区域信息。然后该结束该过程。

如上所述，区域规定单元103能够产生表示帧中所包含的每个像素属于移动区域、静止区域、未覆盖背景区域或覆盖背景区域中哪一个的区域区域信息。

区域规定单元103可以对与覆盖背景区域相对应的区域信息和与未覆盖背景区域相对应的区域信息采用逻辑OR，以便产生与混合区域相对应的区域信息，并然后可以产生区域信息，该区域信息由表示帧中所包含的各个像素属于移动区域、静止区域或混合区域中哪一个的区域标志。

当对应于前景的对象具有纹理时，区域规定单元103能够更精确地规定移动区域。

区域规定单元103能够输出表示一动区域的区域信息作为表示前景区域的区域信息，并输出表示静止区域的区域信息作为表示背景区域的区域信息。

已经在假设对应于背景的对象是静止的情况下描述了实施例。然而，即使对应于背景区域的图像包含运动，仍可以应用上述区域规定过程。例如，如果对应于背景区域的图像均匀移动，区域规定单元103根据这个移动平移整个图像，并以类似于对应于背景的对象为静止的情况中的方式进行处理。如果对应于背景区域的图像包含局部不同的运动，则区域规定单元103选择对应于该运动的像素，并执行上述过程。

图29是示出区域规定单元103的另一结构示例的方块图。图29所示的区域规定单元103未使用运动矢量。背景图像发生器301产生对应于输入图像的背景图像，并将所产生的背景图像提供到二元对象图像提取部分302。背景图像发生器301例如提取输入图像中所包含的对应于背景对象的图像目标，并产生背景图像。

图30示出了通过在时间方向上扩展沿对应于前景对象的图像的运动方向并排排列成一行的像素的像素值所获得的模型。例如，如果对应于前景对象的图像的移动方向相对于屏幕是水平的，则图30所示的模型未通过在时域内展开并排设置在单行上的像素的像素值而获得的模型。

在图30中，帧#n中的行与帧#n-1中的行及帧#n+1中的行相同。

在帧#n中，左起第六到第十七像素中包含的对应于对象的前景分量包含在帧#n-1中左起第二到第十三像素中，并包含在帧#n+1中左起第十到第二十像素中。

在帧#n-1中，属于覆盖背景区域的像素为左起第十一到第十三像素，而属于未覆盖背景区域的像素是左起第二到第四像素。在帧#n中，属于覆盖背景区域的像素是左起第十五到第十七像素，而属于未覆盖背景区域的像素是左起第六到第八像素。在帧#+1中，属于覆盖背景区域的像素是左起第十九到第二十一像素，而属于未覆盖背景区域的像素是左起的是到第十二像素。

在帧#n-1中，属于背景区域的像素是左起第一像素和左起第十四到第二十一像素。在帧#n中，属于背景区域的像素是左起第一到第五像素和左起第十八到第二十一像素。在帧#n+1中，属于背景区域的像素是左起第一到第九像素。

图31示出了由背景图像发生器301产生的对应于图30所示的示例的背景图像的示例。背景图像由对应于背景对象的像素构成，且不包含对应于前景对象的图像分量。

二元对象图像(binary object image)提取部分302基于背景图像和输入图像之间的相关性产生二元对象图像，并将所产生的二元对象图像提供给时变检测器303。

图32是示出二元对象图像提取部分302的结构的方块图。相关性值计算器321计算从背景图像发生器301提供的背景图像和输入图像之间的相关性，以便产生相关性值，并将所产生的相关性值提供给阈值处理器322。

相关性值计算器321例如将公式(4)应用到以X₄为中心的3×3背景图像区段上，如图33A所示，并例如应用到与上述背景图像区段一致的以Y₄为中心的3×3背景图像区段上，如图33B所示，由此计算对应于Y₄的相关性值。

$\stackrel{\‾}{X}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Xi}}{9}---\left(5\right)$

$\stackrel{\‾}{Y}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Yi}}{9}---\left(6\right)$

相关性值计算器321将如上所述针对每个像素计算的相关性值提供到阈值处理器322上。

另外，相关性值计算器321可以例如将公式(7)应用到以X₄为中心的3×3背景图像区段上，如图34A所示，并例如应用到与上述背景图像区域一致的以Y₄为中心的3×3背景图像区段上，如图34B所示，从而计算对应于Y4的差的绝对值的和。

相关性值计算器321将如上所述计算的差的绝对值的和作为相关性值提供给阈值处理器322。

阈值处理器322将相关图像的像素值与阈值th0相比较。如果相关性值小于或等于阈值th0，则在二元对象图像的像素中设定1。如果相关性值大于阈值th0，则在二元对象图像的像素值中设定0。阈值处理器322然后输出像素被设定为0或1的二元对象图像。阈值处理器322可以事先在其中存储阈值th0，也可以利用从外部数据源输入的阈值th0。

图35示出与图30所示的输入图像的模型相对应的二元对象图像。在二元对象图像中，在与背景图像具有较高相关性的像素的像素值内设定0。

图36是示出时变检测器303的结构的方块图。在确定帧#n中像素的区域时，帧存储器341存储自二元对象图像提取部分302提供的帧n-1、帧#n和帧#n+1的二元对象图像。

区域确定部分342基于帧#n-1、帧#n和帧#n+1的二元对象图像确定帧#n的每个像素的区域，从而产生区域信息，并输出所产生的区域信息。

图37示出由区域确定部分342作出的判定。当帧#n中二元对象图像指定像素为0时，区域确定部分342判定帧#n中该指定像素属于背景区域。

当帧#n中二元对象图像的指定像素为1时，并当帧#n-1中二元对象图像的相应像素为1时，且当帧#n+1中二元对象图像的相应像素为1时，区域确定部分342判定帧#n中的该指定像素属于前景区域。

当帧#n中二元对象图像的指定像素为0时，区域确定部分342判定帧#n中该指定像素属于覆盖背景区域。

当帧#n中二元对象图像的指定像素为1时，且当帧#n+1中二元对象图像的相应像素为0时，区域确定部分342判定帧#n中该指定像素属于未覆盖背景区域。

图38示出由时变检测器303在对应于图30所示输入图像的模型的二元对象图像上所作出的判定的示例。时变检测器303确定帧#n中左起第一到第五像素属于背景区域，这是由于在帧#n中二元对象图像的相应像素为0。

时变检测器303判定左起第六到第九像素属于未覆盖背景区域，这是由于帧#n中二元对象图像的像素为1，而帧#n+1中相应像素为0。

时变检测器303判定左起第十到第十三像素属于前景区域，这是由于帧#n中二元对象图像的像素为1，帧#n-1中相应像素为1，而帧#n+1中相应像素为1。

时变检测器303判定左起第十四到第十七像素属于覆盖背景区域，这是由于帧#n中二元对象图像的像素为1，而帧#n-1中相应像素为0。

时变检测器303判定左起第十八到第二十一像素属于背景区域，这是由于帧#n中二元对象图像的相应像素为0。

下面参照图39描述由区域规定单元103执行的区域规定过程。在步骤S301中，区域规定单元103的背景图像发生器301基于输入图像例如提取输入图像中所包含的与背景对象相对应的图像目标，从而产生背景图像，并将所产生的背景图像提供到二元对象图像提取部分302。

在步骤S302，二元对象图像提取部分302例如根据参照图33A和33B所讨论的计算方法计算输入图像和从背景图像发生器301提供的背景图像之间的相关性值。在步骤S303中，二元对象图像提取部分302例如通过将相关性值与阈值th0相比较而从相关性值和阈值th0中计算二元对象图像。

在步骤S304，时变检测器303执行区域确定过程，并结束该过程。

下面参照图30的流程图描述步骤S304中的区域确定过程的细节。在步骤S321中，时变检测器303的区域确定部分342确定帧存储器341中存储的帧#n内的指定像素是否为0，如果判定帧#n中的该指定像素为0，则过程前进到步骤S322，在步骤S322，判定帧#n中的该指定像素属于背景区域，并结束该过程。

如果在步骤S321中判定帧#n中的该指定像素为1，则过程前进到步骤S323。在步骤S323中，时变检测器303的区域确定部分342判定帧存储器341中存储的帧#n内的指定像素是否为1，以及帧#n-1中相应像素是否为0。如果判定帧#n中指定像素为1且帧#n-1中相应像素为0，则过程前进到步骤S324，在步骤S324中，判定到帧#n中的指定像素属于覆盖背景区域，并结束该过程。

如果在步骤S323中判定帧#n中指定像素为0，或帧#n-1中相应像素为1，则过程前进到步骤S325。在步骤S325，时变检测器303的区域确定部分342判定帧存储器341中存储的帧#n内的指定像素是否为1，且帧#n+1内的相应像素是否为0，如果判定到帧#n内的指定像素为1，且帧#n+1内的相应像素为0，则过程前进到步骤S326，在步骤S326，判定帧#n中的指定像素属于未覆盖背景区域，并结束该过程。

如果在步骤S325中判定到帧#n中的指定像素为0，或帧#n+1中相应像素为1，则过程前进到步骤S327。在步骤S327，时变检测器303的区域确定部分342判定帧#n中的指定像素属于前景区域，并结束该过程。

如上所述，区域规定单元103能够基于输入图像和相应的背景图像之间的相关性值规定输入图像的每个像素属于前景区域、背景区域、覆盖背景区域或未覆盖背景区域中哪个区域，并产生与规定结果相对应的区域信息。

图41时示出区域规定单元103的另一结构的方块图。图41所示的区域规定单元103利用运动检测器102提供的运动矢量及其位置信息。与图29所示的相同的元件以相同附图标记标示，并因此省略了对其的描述。

加强处理部分361基于从二元对象图像提取部分302提供的N帧二元对象图像产生加强二元对象图像，并将加强二元对象图像输出到时变检测器303。

图42时示出加强处理部分361的结构的方块图。运动补偿器381基于从运动检测器102提供的运动矢量及其位置信息补偿N帧二元对象图像的运动，并将经运动补偿的二元对象图像输出到开关382。

下面参照图43和44描述运动补偿器381所执行的运动补偿。例如假设帧#n中的区域要处理。当输入如图43所示的帧#n-1、帧#n和帧#n+1的二元对象图像时，运动补偿器381基于从运动检测器102提供的运动矢量补偿帧#n-1的二元对象图像和帧#n+1的二元对象图像的运动，并将经运动补偿的二元对象图像提供给开关382。

开关382将第一帧的经运动补偿的二元对象图像输出到帧存储器383-1，并将第二帧的经运动补偿的二元对象图像输出到帧存储器383-2。类似地，开关382将第三到第(N-1)帧的经运动补偿的二元对象图像输出到帧存储器383-3到383-(N-1)，并将第N帧的经运动补偿的二元对象图像输出到帧存储器383-N。

帧存储器383-1存储第一帧的经运动补偿的二元对象图像，并将所存储的二元对象图像输出到加权部分384-1。帧存储器383-2存储第二帧的经运动补偿的二元对象图像，并将所存储的二元图像输出到加权部分384-2。

类似地，帧存储器383-3到383-(N-1)存储第三到第(N-1)帧的经运动补偿的二元对象图像，并将所存储的二元对象图像输出到加权部分384-3到384-(N-1)。帧存储器383-N存储第N帧的经运动补偿的二元对象图像，并将所存储的二元对象图像输出到加权部分384-N。

加权部分384-1将自帧存储器383-1提供的第一帧的经运动补偿的二元对象图像的像素值被预定加权值w1乘，并将加权的二元对象图像提供到累加器385。加权部分384-2将从帧存储器383-2提供的第二帧的经运动补偿的二元对象图像的像素值被预定加权值w2乘，并将加权的二元对象图像输出到累加器385。

同样，加权部分384-3到384-(N-1)将从帧存储器383-3到383-(N-1)提供的第三到第(N-1)帧的经运动补偿的二元对象图像的像素值被预定加权值w3到w(N-1)乘，并将加权的二元对象图像提供到累加器385。加权部分384-N将从帧存储器383-N提供的第N帧的经运动补偿的二元对象图像的像素值被预定加权值wN乘，并将加权的二元对象图像提供到累加器385。

累加器累加第一到第N帧的由加权值w1到wN倍乘的经运动补偿的二元对象图像的像素值，并将累加的像素值与预定阈值th0相比较，由此产生二元对象图像。

如上所述，加强处理部分361从N个二元对象图像中产生加强(robust)二元图像，并将其提供到时变检测器303。于是，如图41所示构造的区域规定单元103能够比图29所示的更精确地规定区域，即使在输入图像中含有噪声。

下面，参照图45的流程图描述由如图41所示构造的区域规定单元103所执行的区域规定过程。步骤S341到步骤S343的过程与参照图39的流程图所描述的步骤S301到步骤S303中的类似，从而省略对其的描述。

在步骤S344中，加强处理部分361执行加强处理。

在步骤S345中，时变检测器303执行区域确定过程，并结束该过程。步骤S345的过程细节与参照图40的流程图所讨论的过程类似，因此省略了对其的描述。

下面参照图46的流程图给出与图45中步骤S344的过程相对应的加强处理的细节。在步骤S361中，运动补偿器381基于从运动检测器102提供的运动矢量及其位置信息进行输入二元对象图像的运动补偿。在步骤S362中，帧存储器383-1到383-N之一存储经开关382提供的相应的经运动补偿的二元对象图像。

在步骤S363中，加强处理部分361判定是否存储了N个二元对象图像。如果判定出未存储N个二元对象图像，则过程返回到步骤S361，并且重复补偿二元对象图像的运动的过程和存储二元对象图像的过程。

如果在步骤S363中确定存储了N个二元对象图像，则过程前进到步骤S364，在步骤S364中进行加权。在步骤S364中，加权部分384-1到384-N将相应的N个二元对象图像被加权值w1到wN乘。

在步骤S365，累加器385累加N个加权的二元对象图像。

在步骤S366中，累加器385通过例如将累加值与预定阈值th0相比较而从累加的图像中产生二元对象图像，并结束该过程。

如上所述，如图41所示构造的区域规定单元103能够基于加强二元对象图像产生区域信息。

从前面描述可以看出，区域规定单元103能够产生表示帧中所含的每个像素属于移动区域、静止区域、未覆盖背景区域或覆盖背景区域中哪一个的区域区域信息。

图47是示出混合比计算器104的结构的方块图。混合区域宽度检测器401基于从区域规定单元103提供的区域信息和从运动检测器102所提供的运动矢量及其位置信息，利用像素间隔为单位来检测指定像素所属的混合区域的宽度，混合区域宽度检测器401将检测到的宽度作为混合区域宽度信息提供给直线应用部分(straight-line applying portion)402。

直线应用部分402基于从混合区域宽度检测器401提供的混合区域宽度信息和从运动检测器102提供的运动矢量及其位置信息，计算混合区域的宽度与从指定像素到位于混合区域边缘的像素的距离的比。直线应用部分102基于混合区域宽度与从指定像素到位于混合区域边缘的像素的距离的比计算指定像素的混合比α。

由于可以假设对应于前景的对象以恒定速度在快门时间内移动，属于混合区域的像素的混合比呈现以下特性。即，混合比α根据像素的位置变化而线性变化，如果像素的位置变化是一维的，混合比α的变化可以线性表示。如果像素的位置变化是二维的，混合比α的变化可以在平面上表示。

由于一个帧的时间段很短，因此可以假设对应于前景的对象为以恒定速度移动的刚体。

混合比α的梯度反比于前景快门时间内的移动量v。

图48中示出理想混合比α的示例。理想混合比α在混合区域内的梯度1可以由移动量v的倒数表示。

如图48所示，理想混合比α在背景区域内值为1，在前景区域内值为0，在混合区域内的值大于0小于1。

下面，参照图49到53描述混合比计算器104的过程。

图49示出一模型，其中对应于包括覆盖背景区域且移动量v为4的图像的像素值在时间方向上扩展，且对应于快门时间的时段被分隔。

属于帧#n的覆盖背景区域的指定像素的像素值Mx、与帧#n的指定像素相对应的属于帧#n-1的背景区域的像素的像素值Bx以及指定像素的混合比α之间的关系可以由公式(8)表示：

Mx＝αx·Bx+fx                        (8)

其中，x表示在移动方向上坐标轴x上位置，而fx指代包含在指定像素的像素值中的前景分量的和。

图50示出一模型，其中对应于包括未覆盖背景区域且移动量v为4的图像的像素值在时间方向上扩展，且对应于快门时间的时间段被分隔。

类似地，属于帧#n的未覆盖背景区域的指定像素的像素值Mx、与帧#n的指定像素相对应的属于帧#n-1的背景区域的像素的像素值Bx以及指定像素的混合比α之间的关系可以由公式(8)表示。

如图49和50所示，当移动量由v表示时，混合区域在前景对象移动方向上的宽度可以通过从移动量v中减一而确定。

例如，在图49中，属于帧#n的覆盖背景区域的像素为左起第六到第八像素，而通过将像素间隔用作单位，得到覆盖背景区域的宽度为3。在图49中，移动量v为4，而覆盖背景区域的宽度等于通过从移动量v中减一而得到的结果。

在图50中，属于帧#n的未覆盖背景区域的像素为左起第五到第七像素，通过将像素间隔用作单位，得到未覆盖背景区域的宽度为3。在图50中，移动量v为4，而未覆盖背景区域的宽度等于通过从移动量v中减一所得到的结果。

当移动量由v表示时，如下的像素的混合比可以由公式(9)表示，其中该像素位于沿运动矢量方向的直线上、属于帧#n的覆盖背景区域并位于属于背景区域的像素(在运动矢量前端的像素)附近。

α＝(v-1)/v                   (9)

例如，当移动量v为4时，如图51所示的帧#n的从左起第四像素的混合比为3/4。

当移动量由v表示时，从属于背景区域的像素起的第二像素(该像素位于沿运动矢量方向的直线上，并属于帧#n的覆盖背景区域)的混合比α可以通过从位于沿运动矢量方向的直线上、属于帧#n的覆盖背景区域且位于属于背景区域的像素附近的像素的混合比α中减去1/v而确定。

例如，当移动量为4时，从图51中所示的帧#n的左起第三像素的混合比α为1/2，这等于从自帧#n的左起第四像素的混合比α中减去1/4所得到的值。

类似地，当移动量由v表示，自属于背景区域的像素起第三像素(该像素位于沿运动矢量方向的直线上，且属于帧#n的覆盖背景区域)的混合比α可以通过从位于沿运动矢量方向的直线上、属于帧#n的覆盖背景区域并位于属于背景区域的像素附近的像素的混合比α中减去2/v而确定。

例如，当移动量v为4时，从图51中所示的帧#n的左起第二像素的混合比α等于从帧#n的左起第四像素的混合比α减去1/2而得到的值。

于是，属于覆盖背景区域的像素的混合比α在从这个像素到属于背景区域的像素附近的像素的距离为x时，可以基于距离x通过公式(10)计算：

αx＝(v-1)/v-x·(1/v)             (10)

类似地，当移动量由v表示时，位于沿运动矢量方向的直线上的、属于帧#n的未覆盖背景区域的、且位于属于背景区域的像素(在运动矢量后端的像素)附近的像素的混合比α可以由公式(11)确定。

α＝(v-1)/v                       (11)

例如，当移动量为4时，从帧#n左起第二像素的混合比α为3/4。

当移动量由v表示时，从属于背景区域的像素起第二像素(该像素位于沿运动矢量方向的直线上、且属于帧#n的未覆盖背景区域)的混合比α可以通过从位于沿运动矢量方向的直线上的、属于帧#n的未覆盖背景区域、且位于属于背景区域的像素附近的像素的混合比α中减去1/v而确定。

例如，当移动量v为4时，从图52所示的帧#n的左起第三像素的混合比α为1/2，这等于通过从自帧#n左起第二像素的混合比α中减去1/4而得到的值。

同样，当移动量由v表示时，从属于背景区域的像素起第三像素(该像素位于沿运动矢量方向的直线上、并属于帧#n的未覆盖背景区域)的混合比可以通过从位于沿运动矢量方向的直线上的、属于帧#n的未覆盖背景区域的、且位于属于背景区域的像素附近的像素的混合比α中减去2/v而确定。

例如，当移动量v为4时，从图52所示的帧#n的左起第四像素的混合比α为1/4，这等于通过从自帧#n左起第二像素的混合比α中减去1/2所得到的值。

于是，属于未覆盖背景区域的像素的混合比αx在从这个像素到靠近属于背景区域的像素的像素的距离为x时，可以基于距离x通过公式(12)计算：

αx＝(v-1)/v-x·(1/v)                       (12)

通常，由于快门时间足够短，可以假设对应于前景的对象为在快门时间内以恒定速度移动的刚体。于是，也可以假设混合区域内的混合比在沿移动方向的直线上线性变化。

从而，根据上述对于混合比α的计算方法，混合比可以以足够高的精度算出。

图53示出对于图像中混合比α的计算过程。

当移动量由v表示时，且当指定像素为属于覆盖背景区域的像素时，位于沿移动方向的直线上并位于移动方向后端出的像素的混合比α由1/v表示，而位于沿移动方向的直线上且位于移动方向前端处的像素的混合比α由(v-1)/v表示。在移动方向前端的像素和移动方向后端的像素之间的位于移动方向的直线上的像素的混合比α可以用1/v的梯度线性算出(通过正比计算)。

例如，当移动量v为6时，且当指定像素是属于覆盖背景区域的像素时，位于移动方向的直线上在移动方向前端处的像素的混合比α被确定为5/6，而位于沿移动方向的直线上、在移动方向后端处的像素的混合比α1被确定为1/6。

移动方向前端处的像素和移动方向后端处的像素之间的像素的混合比α2、α3和α4可以根据像素位置以1/v的梯度线性计算，并分别确定为2/6、3/6和4/6。

当移动量由v表示时，且当指定像素是属于未覆盖背景区域的像素时，位于沿移动方向的直线上、在移动方向前端的像素的混合比α被确定为1/v，而位于沿移动方向的直线上、在移动方向后端处的像素的混合比α被确定为(v-1)/v。在移动方向前端的像素和移动方向后端的像素之间的位于沿移动方向的直线上的像素的混合比α可以线性计算(通过正比计算)。

下面，参照图54的流程图描述混合比计算器104所执行的混合比α计算过程。

在步骤S401中，混合比宽度检测器401获取从区域规定单元103提供的区域信息。在步骤S402，混合比宽度检测器401和直线应用部分402获取从运动检测器102提供的运动矢量及其位置信息。

在步骤S403中，直线应用部分402指定像素。在步骤S404中，直线应用部分402基于区域信息确定指定像素是否属于前景区域，如果确定出指定像素属于前景区域，则过程前进到步骤S405，在步骤S405中，混合比中设定0，而过程前进到步骤S409。

如果在步骤S404中确定到指定像素不属于前景区域，则过程前进到步骤S406，在步骤S406中，直线应用部分402基于区域信息确定指定像素是否属于背景区域。如果确定到指定像素属于背景区域，则过程前进到步骤S407，在步骤S407中，混合比α中设定1。然后过程前进到步骤S409。

如果在步骤S406中确定到指定像素不属于背景区域，则过程前进到步骤S408。在步骤S408中，直线应用部分402执行用于计算属于混合区域的像素的混合比α的过程，且过程前进到步骤S409。下面将给出用于计算属于混合区域的像素的混合比α的过程的细节。

在步骤S409，直线应用部分402存储与指定像素相对应的计算出的混合比α。

在步骤S410中，直线应用部分402确定混合比α是否已经对于整个帧计算。如果确定出混合比α还未对于整个帧计算，则过程返回到步骤S403，在该步骤中，选择另一像素，以重复计算混合比α的过程。

如果在步骤S410中确定出混合比α已经对于整个帧计算，则过程前进到步骤S411，在该步骤中，直线应用部分402输出混合比α。然后结束该过程。

参照图55的流程图，给出由混合区域宽度检测器401和直线应用部分402所执行的与步骤S408相对应的用于计算属于混合区域的像素的混合比α的过程的描述。

在步骤S421中，混合区域宽度检测器401基于从运动检测器102提供的运动矢量及其位置信息和区域规定单元103提供的区域信息确定混合区域在运动矢量方向上的宽度。混合区域宽度检测器401将混合区域的宽度作为混合区域宽度信息提供给直线应用部分402。混合区域宽度检测器401可以基于运动矢量的大小计算混合区域的宽度。

在步骤S422中，直线应用部分402确定在运动矢量移动方向上从指定像素到混合区域边缘的距离。

在步骤S423中，直线应用部分402确定在与运动矢量移动方向相反的方向上从指定像素到混合区域边缘的距离。

在步骤S424中，直线应用部分402基于区域信息和混合区域的宽度与从指定像素到混合区域边缘的距离的比计算混合比α。然后结束该过程。

例如，当指定像素属于覆盖背景区域时，直线应用部分402基于混合区域宽度与在运动矢量移动方向上从指定像素到混合区域边缘的距离的比根据公式(10)所表示的计算方法计算混合比α。

例如，当指定像素属于未覆盖背景区域时，直线应用部分402基于混合区域宽度与在运动矢量移动方向上从指定像素到混合区域边缘的距离的比根据公式(12)所表示的计算方法计算混合比α。

如上所述，混合比计算器102能够基于从区域规定单元103提供的区域信息和从运动检测器102提供的运动矢量及其位置信息计算混合比α，该混合比表示与每个像素相对应的特征量。

利用混合比α，可以将像素值中包含的前景分量与背景分量分离，同时保持与移动对象相对应的图像中所包含的运动模糊的信息。

如果图像基于混合比α合成，则可以产生包含与移动对象的速度匹配的运动模糊的图像，该图像可以忠实地反映真实世界。

下面讨论前景/背景分离器105。图56时示出前景/背景分离器105的结构的示例。提供到前景/背景分离器105的输入图像供给到分离部分601、开关602和开关604。从区域规定单元103提供并表示覆盖背景区域和未覆盖背景区域的区域信息提供到分离部分601。表示前景区域的区域信息提供到开关602。表示背景区域的区域信息提供到开关604。

从混合比计算器104提供的混合比α供给到分离部分601。

分离部分601基于表示覆盖背景区域的区域信息、表示未覆盖背景区域的区域信息以及混合比α从输入图像中分离前景分量，并将所分离的前景分量提供到合成器603。分离部分601还从输入图像中分离背景分量，并将所分离的背景分量提供到合成器605。

当对应于前景的像素基于表示前景区域的区域信息而输入时，开关602闭合，并只将对应于输入图像中包含的前景的像素提供到合成器603。

当对应于背景的像素基于表示背景区域的区域信息而输入时，开关604闭合，并只将对应于输入图像中包含的背景的像素提供到合成器605。

合成器603基于从分离部分601提供的前景分量和从开关602提供的对应于前景的像素合成前景分量图像，并输出所合成的前景分量图像。由于前景区域和混合区域不重叠，合成器603例如对前景分量和前景像素施加逻辑OR，由此合成前景分量图像。

在针对前景分量图像的合成过程开始时执行的初始化过程中，合成器603在内置帧存储器中存储像素值全为0的图像。然后，在针对前景分量图像的合成过程中，合成器603存储前景分量图像(由前景分量图像重写先前的图像)。于是，在从合成器603输出的前景分量图像中，0存储在对应于背景区域的像素中。

合成器605基于从分离部分601提供的背景分量和从开关604提供的对应于背景的像素合成背景分量图像，并输出所合成的背景分量图像。由于背景区域和混合区域不重合，因此合成器605例如对背景分量和背景像素施加逻辑OR，由此合成背景分量图像。

在针对背景分量图像的合成过程开始时执行的初始化过程中，合成器605在内置帧存储器中存储像素值全为0的图像。然后，在针对背景分量图像的合成过程中，合成器605存储背景分量图像(由背景分量图像重写先前的图像)。于是，在从合成器605输出的背景分量图像中，0存储在对应于前景区域的像素中。

图57A示出输入到前景/背景分离器105中的输入图像和从前景/背景分离器105输出的前景分量图像和背景分量图像。图57B示出与输入到前景/背景分离器105中的输入图像和从前景/背景分离器105输出的前景分量图像和背景分量图像相对应的模型。

图57A是示出要显示的图像的示意图，而图57B是通过在时间方向上扩展设置在一行上的与图57A相对应的像素而获得的模型，这行包括属于前景区域的像素、属于背景区域的像素和属于混合区域的像素。

如图57A和57B所示，从前景/背景分离器105输出的背景分量图像由属于背景区域的像素和包含在混合区域的像素内的背景分量构成。

如图57A和57B所示，从前景/背景分离器105输出的前景分狼图像由属于前景区域的像素和包含在混合区域的像素内的前景分量构成。

混合区域内的像素的像素值由前景/背景分离器105分离成背景分量和前景分量。所分离的背景分量与属于背景区域的像素一起形成背景分量图像。所分离的前景分量与属于前景区域的像素一起形成前景分量图像。

如上所述，在前景分量图像中，对应于背景区域的像素的像素值设定为0，而有效的像素值设定在与前景区域相对应的像素和与混合区域相对应的像素中。类似地，在背景分量图像中，对应于前景区域的像素的像素值设定为0，而有效的像素值设定在与背景区域相对应的像素和与混合区域相对应的像素中。

下面，给出由分离部分601执行的用于从属于混合区域的像素中分离前景分量和背景分量的过程的描述。

图58示出在包括图58中从左到右移动的前景对象的两帧内表示前景分量和背景分量的图像的模型。在图58所示的图像模型中，移动量v为4，而虚拟分隔部分的数量为4。

在帧#n中，最左侧像素和从左起第十四到第十八像素仅由背景分量构成，并属于背景区域。在帧#n中，从左起第二到第四像素包含背景分量和前景分量，并属于未覆盖背景区域。在帧#n中，从左起第七到第十三像素包含背景分量和前景分量，并属于覆盖背景区域。在帧#n中，从左起第五到第十像素仅由前景分量构成，并属于前景区域。

在帧#n+1中，从左起第一到第五像素以及从左起第十八像素仅由背景分量构成，并属于背景区域。在帧#n+1中从左起第六到第八像素包含背景分量和前景分量，并属于未覆盖背景区域。在帧#n+1中，从左起第十五到第十七像素包含背景分量和前景分量，并属于覆盖背景区域。在帧#n+1中，从左起第九到第十四像素仅由前景分量构成，并属于前景区域。

图59示出用于从属于覆盖背景区域的像素中分离前景分量的过程。在图59中，α1到α18表示帧#n各个像素的混合比。在图59中，从左起第十五到第十七像素属于覆盖背景区域。

从左起第十五像素的像素值C15可以由公式(13)表示：

C15＝B15/v+F09/v+F08/v+F07/v

＝α15·B15+F09/v+F08/v+F07/v

＝α15·P15+F09/v+F08/v+F07/v                  (13)

其中，α15表示帧#n中从左起第十五像素的混合比，而P15表示帧#n-1中从左起第十五像素的像素值。

基于公式(13)，帧#n中从左起第十五像素的前景分量的和f15可以由公式(14)表示。

f15＝F09/v+F08/v+F07/v

＝C15-α15·P15                                (14)

类似地，帧#n中从左起第十六像素的前景分量的和f16可以由公式(15)表示，而帧#n中从左起第十七像素的前景分量的和f17可以由公式(16)表示。

f16＝C16-α16·P16                             (15)

f17＝C17-α17·P17                             (16)

以此方式，包含在属于覆盖背景区域的像素的像素值C内的前景分量可以由公式(17)表示：

fc＝C-α·P                         (17)

其中，P指代先前帧中相应像素的像素值。

图60示出用于将前景分量从属于未覆盖背景区域的像素中分离的过程。在图60中，α1到α18表示帧#n各个像素的混合比。在图60中，从左起第二到第四像素属于未覆盖背景区域。

帧#n中从左起第二像素的像素值C02可以由公式(18)表示：

C02＝B02/v+B02/v+B02/v+F01/v

＝α2·B02+F01/v

＝α2·N02+F01/v                    (18)

其中，α2表示帧#n中从左起第二像素的混合比，而N02指代帧#n+1中从左起第二像素的像素值。

基于公式(18)，帧#n中从左起第二像素的前景分量的和f02可以由公式(19)表示。

f02＝F01/v

＝C02-α2·N02                      (19)

类似地，帧#n中从左起第三像素的前景分量的和f03可以由公式(20)表示，而帧#n中从左起第四像素的前景份量的和f04可以由公式(21)表示。

f03＝C03-α3·N03                   (20)

f04＝C04-α4·N04                   (21)

以此方式，包含在属于未覆盖背景区域的像素的像素值C内的前景分量fu可以由公式(22)表示：

fu＝C-α·N                         (22)

其中，N指代随后的帧中的相应像素的像素值。

如上所述，分离部分601能够基于区域信息中包含的表示覆盖背景区域的信息和表示未覆盖背景区域的信息以及对每个像素的混合比α从属于混合区域的像素中分离前景分量，并从属于混合区域的像素中分离背景分量。

图61是示出用于执行上述过程的分离部分601的结构示例。输入到分离部分601中的图像提供给帧存储器621，而从混合比计算器104提供的表示覆盖背景区域和未覆盖背景区域的信息以及混合比α提供到分离处理模块(block)622。

帧存储器621以帧为单位存储输入图像。当待处理的帧为帧#n时，帧存储器621存储作为帧#n的前一帧的帧#n-1、帧#n和作为帧#n的后一帧的帧#n+1。

帧存储器621将帧#n-1、帧#n和帧#n+1中相应像素提供到分离处理模块622。

基于表示覆盖背景区域和未覆盖背景区域的区域信息以及混合比α，分离处理模块622将参照图59和60所讨论的算法应用到从帧存储器621提供的帧#n-1、帧#n和帧#n+1中相应像素的像素值上，以便从帧#n中属于混合区域的像素内分离前景分量和背景分量，并将它们提供到帧存储器623。

分离处理模块622由未覆盖区域处理器631、覆盖区域处理器632、合成器633和合成器634构成。

未覆盖区域处理器631的乘法器641将帧存储器621提供的帧#n+1中像素的像素值与混合比α相乘，并将得到的像素值输出到开关642。开关642在从帧存储器621提供的帧#n的像素(对应于帧#n+1中的像素)属于未覆盖背景区域时闭合，并将乘法器641提供的被混合比α倍乘的像素值提供到计算器643和合成器634。开关642输出的、通过将帧#n+1的像素值与混合比α相乘而得到的数值等于帧#n中相应像素的像素值的背景分量。

计算器643从帧存储器621提供的帧#n的像素的像素值中提取从开关642提供的背景分量，从而获得前景分量。计算器643将帧#n中属于未覆盖背景区域的像素的前景分量提供到合成器633。

覆盖区域处理器632的乘法器651将从帧存储器621提供的帧#n-1内的像素的像素值与混合比α相乘，并将所得到的像素值输出到开关652。开关652在从帧存储器651提供的帧#n的像素(对应于帧#n-1中的像素)属于覆盖背景区域时闭合，并将乘法器651提供的被混合比α倍乘的像素值提供到计算器653和合成器634。从开关652输出的、通过将帧#n-1的像素值与混合比α相乘而得到的数值等于帧#n中相应像素的像素值的背景分量。

计算器653从帧存储器621提供的帧#n的像素的像素值中提取从开关652提供的背景分量，从而获得前景分量。计算器653将帧#n中属于未覆盖背景区域的像素的前景分量提供到合成器633。

合成器633将帧#n中属于未覆盖背景区域并由计算器643提供的像素的前景分量与属于覆盖背景区域的并从计算器653提供的像素的前景分量结合，并将合成的前景分量提供到帧存储器623。

合成器634将帧#n中属于未覆盖背景区域并由计算器643提供的像素的背景分量与属于覆盖背景区域的并从计算器653提供的像素的背景分量结合，并将合成的背景分量提供到帧存储器623。

帧存储器623存储从分离处理模块622提供的帧#n中混合区域内像素的前景分量和背景分量。

帧存储器623输出所存储的帧#n中混合区域内像素的前景分量和所存储的帧#n中混合区域内像素的背景分量。

利用表示特征量的混合比α，像素值中包含的前景分量和背景分量可以完全分离。

合成器603将分离部分601输出的帧#n中混合区域内像素的前景分量与属于前景区域的像素结合，从而产生前景分量图像。合成器605将从分离部分601输出的帧#n中混合区域内像素的背景分量与属于背景区域的像素结合，从而产生背景分量图像。

图62A示出对应于图58中帧#n的前景分量图像的示例。图62B示出对应于图58中帧#n的背景分量图像的示例。

图62A示出对应于图58中帧#n的前景分量图像的示例。在前景和背景分离之前，最左侧像素和从左起第十四像素仅由背景分量构成，从而像素值设定为0。

在前景和背景分离之前，从左起第二和第四像素属于未覆盖背景区域，于是，背景分量设定为0，而前景分量保持不变。在前景和背景分离之前，从左起第七到第十三像素属于覆盖背景区域，于是，背景分量设定为0，而前景分量保持不变。从左起第五到第十像素仅由前景分量构成，从而保持不变。

图62B示出对应于图58中帧#n的背景分量图像的示例。在前景和背景分离之前，最左侧像素和从左起第十四像素仅由背景分量构成，从而，背景分量保持不变。

在前景和背景分离之前，从左起第二到第四像素属于未覆盖背景区域，于是，前景分量设定为0，而背景分量保持不变。在前景和背景分离之前，从左起第十一到第十三像素属于覆盖背景区域，于是，前景分量设定为0，而背景分量保持不变。从左起第五到第十像素仅由前景分量构成，因此像素值设定为0。

下面，参照图63的流程图，描述前景/背景分离器105所执行的分离前景和背景的过程。在步骤S601中，分离部分601的帧存储器621获取输入图像，并将帧#n与先前帧#n-1和随后的帧#n+1一起存储，其中要对帧#n分离前景和背景。

在步骤S602中，分离部分601的分离处理模块622获取从混合比计算器104提供的区域信息。在步骤S603中，分离部分601的分离处理模块622获取从混合比计算器104提供的混合比α。

在步骤S604中，未覆盖区域处理器631基于区域信息和混合比α从帧存储器621所提供的属于未覆盖背景区域的像素的像素值中提取背景分量。

在步骤S605中，未覆盖区域处理器631基于区域信息和混合比α从帧存储器621所提供的属于未覆盖背景区域的像素的像素值中提取前景分量。

在步骤S606中，覆盖区域处理器632基于区域信息和混合比α从帧存储器621所提供的属于覆盖背景区域的像素的像素值中提取背景分量。

在步骤S607中，覆盖区域处理器632基于区域信息和混合比α从帧存储器621所提供的属于覆盖背景区域的像素的像素值中提取前景分量。

在步骤S608中，合成器633将步骤S605过程中提取的属于未覆盖背景区域的像素的前景分量与步骤S607过程中提取的属于覆盖背景区域的像素的前景分量结合。所合成的前景分量提供到合成器603。合成器603进一步将经由开关602提供的属于前景区域的像素与从分离部分601提供的前景分量结合，从而产生前景分量图像。

在步骤S609中，合成器634将步骤S604过程中提取的属于未覆盖背景区域的像素的背景分量与步骤S606过程中提取的属于覆盖背景区域的像素的背景分量结合。所合成的背景分量提供到合成器605。合成器605进一步将经由开关604提供的属于背景区域的像素与从分离部分601提供的背景分量结合，从而产生背景分量图像。

在步骤S610中，合成器603输出前景分量图像，在步骤S611中，合成器605输出背景分量图像。然后结束该过程。

如上所述，前景/背景分离器105能够基于区域信息和混合比α从输入图像中分离前景分量和背景分量，并输出仅由前景分量构成的前景分量图像和仅由背景分量构成的背景分量图像。

图64示出根据本发明的图像处理设备的另一种结构。类似于图2所示的元件由类似的附图标记标示，并且省略了对其的解释。

移动方向估算单元701基于从区域规定单元103提供的区域信息和输入图像产生与前景对象相对应的运动矢量，并从运动矢量中提取移动方向，以便将所提取的移动方向提供到混合比计算器702。移动方向估算单元701能够输出所产生的运动矢量。

混合比计算器702基于从区域规定单元103提供的区域信息和从移动方向估算单元701提供的移动方向为每个像素计算混合比α，并将所计算的混合比α提供到前景/背景分离器105。

图65是示出移动方向估算单元701的结构的方块图。运动矢量检测器721基于从区域规定单元103提供的区域信息和输入图像产生运动矢量。

更具体地说，当帧#n的指定像素属于覆盖背景区域时，运动矢量检测器721基于区域规定单元103所提供的帧#n和帧#n+1的区域信息从帧#n中提取与指定像素相对应的估算区段(block)。

例如，如图66所示，提取以属于覆盖背景区域的指定像素为中心并包含背景区域和前景区域的估算区段。

在图66中，A表示指定像素，B表示估算区段，而C代表搜索区域。在图66中，D表示前景区域，E表示背景区域，F代表覆盖背景区域，而G代表未覆盖背景区域。

运动矢量检测器721检测帧#n+1的覆盖背景区域，后者具有与包含在所提取的估算区段中的覆盖背景区域相同的结构。

例如，如图66所示，运动矢量检测器721搜索帧#n+1中与帧#n中的估算区段相对应的搜索区域，并检测帧#n+1的覆盖背景区域，后者具有与包含在所提取的估算区段中的覆盖背景区域相同的结构。

运动矢量检测器721基于帧#n的估算区段在屏幕上的位置以及帧#n+1中所检测到的覆盖背景区域在屏幕上的位置，计算与指定像素相对应的运动矢量。运动矢量检测器721输出所计算的运动矢量，并将其提供到移动方向选择器722。

如图67A和67B所示，运动矢量检测器721将估算区段一侧边的长度设定为移动量v(混合区域的宽度)的二倍那么长。

例如，如图67A所示，现在假设指定像素位于混合区域的边缘，在这种情况下，如果估算区段一侧边的长度设定为移动量v的二倍那么长，则估算区段包含背景区域和混合区域，且要检测的混合区域的轮廓变得清晰。

类似地，如图67B所示，现在假设指定像素位于混合区域的中心，在这种情况下，如果估算区段的一侧边的长度设定为移动量v的二倍那么长，则估算区段包含背景区域和混合区域，并且要检测的混合区域的轮廓变得清晰。

相反，如图67C所示，现在假设指定像素位于混合区域的边缘，在这种情况下，如果估算区段的一例边的长度设定为与移动量v相同的长度，则背景区域或混合区域都未包含在估算区段内，从而要检测的混合区域的轮廓变得不清晰。同样，如图67D所示，现在假设指定像素位于混合区域的中心，在这种情况下，如果估算区段的一侧边的长度设定为与移动量v相同的长度，则背景区域或混合区域都未包含在估算区段内，从而要检测的混合区域的轮廓变得不清晰。

如上所述，通过将估算区段的一例边的长度设定为移动量v二倍那么长，运动矢量检测器721能够可靠地检测帧#n+1的与估算区段具有相同结构的覆盖背景区域。

当帧#n的指定像素属于未覆盖背景区域时，运动矢量检测器721基于从区域规定单元103提供的帧#n和帧#n+1的区域信息从帧#n中提取与指定像素相对应的估算区段。

运动矢量检测器721检测帧#n+1的未覆盖背景区域，后者与所提取的估算区段中包含的未覆盖背景区域具有相同结构。

运动矢量检测器721基于帧#n的估算区段在屏幕上的位置以及帧#n+1的计算对应于指定像素的运动矢量，运动矢量检测器721输出所计算的运动矢量，并将其提供到运动方向选择器722。

当帧#n的指定像素属于前景区域，运动矢量检测器721从帧#n的输入图像中提取与指定像素相对应的估算区段。运动矢量检测器721提供帧#n的输入图像的估算区段与帧#n+1的输入图像之间的匹配，并基于帧#n输入图像的估算区段的位置和已经与估算区段相匹配的帧#n+1的图像的位置产生运动矢量。

运动矢量检测器721可以基于前景区域或背景区域的区域信息检测运动矢量，在这种情况下，运动矢量检测器721不需要输入图像。

另外，针对覆盖背景区域、未覆盖背景区域、前景区域或背景区域，运动矢量检测器721可以通过执行在整个屏幕上匹配来检测运动矢量。在这种情况下，运动矢量检测器721不需要输入图像。

返回参照图65，移动方向选择器722提取从运动矢量检测器721提供的运动矢量的运动方向，并输出所提取的移动方向。

例如，移动方向选择器722从运动矢量中提取水平矢量分量和垂直矢量分量，并计算水平矢量分量的绝对值和垂直矢量分量的绝对值。移动方向选择器722选择水平矢量分量和垂直矢量分量中具有较大绝对值的一个。移动方向选择器722输出与所选择的矢量分量相对应的方向作为移动方向。

移动方向可以采取例如0、1、2和3的数值中的一个，其中0表示左，1表示右，2表示顶，而3表示底。

以此方式，移动方向估算单元701能够检测运动矢量，并能够输出移动方向。

图68是示出混合比计算器702的结构的方块图。混合区域宽度检测器741基于从区域规定单元103提供的区域信息和从移动方向估算单元701提供的移动方向利用像素间隔为单位检测指定像素所属的混合区域的宽度，并将所检测到的宽度作为混合区域宽度信息提供到直线应用部分742。

直线应用部分742基于从混合区域宽度检测器741提供的混合区域宽度信息和从移动方向估算单元701提供的移动方向计算混合区域的宽度与从指定像素到混合区域附近的背景区域的像素的距离的比。直线应用部分742基于混合区域的宽度与从指定像素到混合区域附近的背景区域的像素的距离的比计算指定像素的混合比。

下面参照图69所示的流程图，描述由如图64所示构造的图像处理设备所执行的前景/背景分离过程。

在步骤S701中，区域规定单元103基于输入图像执行区域规定过程，以用于产生表示输入图像的每个像素属于前景区域、背景区域、覆盖背景区域或未覆盖背景区域中哪一个的区域区域信息。区域规定单元103将所产生的区域信息提供到混合比计算器702。步骤S701过程的细节与步骤S12的过程类似，因此省略了对其的描述。

在步骤S702中，移动方向估算单元701基于从区域规定单元103提供的区域信息检测移动方向。移动方向检测过程的细节将在下面描述。移动方向检测单元701将移动方向提供到混合比计算器702。

在步骤S703中，混合比计算器702基于移动方向估算单元701所提供的移动方向和区域规定单元103所提供的区域信息为包含在混合区域内的每个像素计算混合比α。混合比计算过程的细节将在下面讨论。混合比计算器104将所计算的混合比α供给前景/背景分离器105。步骤S703过程的细节与步骤S13过程中的类似，因此省略了对其的描述。

在步骤S704中，前景/背景分离器705基于区域信息和混合比α从输入图像中提取前景分量和背景分量，并基于所提取的前景分量合成前景分量图像，且基于所提取的背景分量合成背景分量图像。前景/背景分离器705输出前景分量图像和背景分量图像，并结束该过程。步骤S704过程的细节与步骤S14过程的相类似，因此省略了对其的描述。

如上所述，如图64所示构造的图像处理设备能够分离前景和背景。

下面，参照图70所示的流程图描述由移动方向估算单元701所执行的移动方向获取过程。

在步骤S721中，运动矢量检测器721获取指定帧的输入图像和指定帧之后的帧的输入图像。

在步骤S722中，运动矢量检测器721获取指定帧的区域信息和指定帧之后的帧的区域信息。

在步骤S723，运动矢量检测器721指定像素。在步骤S724，运动矢量检测器721基于指定帧的区域信息确定指定像素是否属于静止区域。如果确定到指定像素属于静止区域，则过程前进到步骤S725，在该步骤中，运动矢量设定为0，然后过程前进到步骤S737。

如果在步骤S724中确定到指定像素不属于静止区域，则过程前进到步骤S726。在步骤S726，运动矢量检测器721基于指定帧的区域信息确定指定像素是否属于覆盖背景区域。如果在步骤S726确定到指定像素属于覆盖背景区域，则过程前进到步骤S727。在步骤S727，运动矢量检测器721产生包含覆盖背景区域、前景区域和背景区域的估算区段。在步骤S728，运动矢量检测器721进行估算区段与表示指定帧之后的帧的覆盖背景区域的区域信息之间的匹配。

例如，运动矢量检测器721计算估算区域和具有与估算区段相同大小的区域之间的误差的平方和，而所述区域是在指定帧之后的帧的区域信息的搜索区域内，并在搜索区域内选择具有最小误差平方和的区域。

在步骤S729中，运动矢量检测器721基于指定帧估算区段的位置以及指定帧之后的帧的相匹配覆盖背景区域的位置产生运动矢量，而过程前进到步骤S737。

如果在步骤S726确定到指定像素不属于覆盖背景区域，则过程前进到步骤S730。在步骤S730，运动矢量检测器721基于指定帧的区域信息确定指定像素是否属于未覆盖背景区域。

如果在步骤S730中确定到指定区域属于未覆盖背景区域，则过程进行到步骤S731。在步骤S731，运动矢量检测器721产生包含未覆盖背景区域、前景区域和背景区域的估算区段。在步骤S732中，运动矢量检测器721进行估算区段和表示指定帧之后的帧的未覆盖背景区域的区域信息之间的匹配。

例如，运动矢量检测器721计算估算区段和具有与估算区段相同大小的区域的误差平方和，而该区域是处于指定帧之后的帧的区域信息的搜索区域之内的，并在搜索区域内选择误差平方和最小的区域。

在步骤S733，运动矢量检测器721基于指定帧估算区段的位置和指定帧之后的帧的相匹配未覆盖背景区域的位置产生运动矢量，然后过程前进到步骤S737。

如果在步骤S730确定到指定像素不属于未覆盖背景区域，则可以证实指定像素属于前景区域，由此过程前进到步骤S734，在该步骤中，运动矢量检测器721在输入图像指定帧中产生估算区段。在步骤S735中，运动矢量检测器721进行指定帧估算区段与指定帧之后的帧的输入图像之间的匹配。

例如，运动矢量检测器721计算估算区段与具有与估算区段相同大小的图像部分之间的误差平方和，而该图像部分是处于指定帧之后的帧的搜索区域之内的，并在搜索区域内选择具有最小误差平方和的图像部分。

在步骤S736，运动矢量检测器721基于指定帧估算区段的位置和指定帧之后的帧的相匹配图像部分的位置产生运动矢量，过程然后进展到步骤S737。

在步骤S737，运动矢量检测器721确定是否已经振动指定帧的所有像素产生运动矢量。如果确定出还没有针对指定帧的所有像素产生运动矢量，则过程返回到步骤S723，在该步骤中，选择随后的像素并重复产生运动矢量的过程。

如果在步骤S737中确定已经针对指定帧的所有像素产生了运动矢量，则过程前进到步骤S738。在步骤S738，运动矢量检测器721将运动矢量提供到移动方向选择器722，并输出运动矢量。

在步骤S739，移动方向选择器722基于运动矢量检测器721所提供的运动矢量产生移动方向。在步骤S740，移动方向选择器722输出所产生的移动方向，并结束该过程。

如上所述，移动方向估算单元701能够基于输入图像和区域信息产生运动矢量和移动方向。

已经描述了运动矢量估算单元701利用指定帧和指定帧之后的帧的图像和区域信息产生运动矢量和移动方向。另外，运动矢量估算单元701可以利用指定帧和指定帧之前的帧的图像和区域信息产生运动矢量和移动方向。

下面参照图71的流程图，描述由混合比计算器702所执行的混合比计算过程。

在步骤S761中，混合比宽度检测器741获取从区域规定单元103提供的区域信息。在步骤S762，混合比宽度检测器741和直线应用部分742获取从移动方向估算单元701提供的移动方向。

在步骤S763中，直线应用部分742指定像素。在步骤S764中，直线应用部分742基于区域信息确定指定像素是否属于前景区域。如果确定出指定像素属于前景区域，则过程前进到步骤S765，在该步骤中，在混合比α中设定0，而过程前进到步骤S769。

如果在步骤S764确定出指定像素不属于前景区域，则过程前进到步骤S766，在步骤S766，直线应用部分742基于区域信息确定指定像素是否属于背景区域。如果确定出指定像素属于背景区域，则过程前进到步骤S767，在该步骤中混合比α中设定1，过程前进到步骤S769。

如果在步骤S766中确定指定像素不属于背景区域，则过程前进到步骤S768。在步骤S768中，直线应用部分执行用于计算属于混合区域的像素的混合比的过程，且过程前进到步骤S769。用于计算属于混合区域的像素的混合比α的过程的细节将在下面描述。

在步骤S769中，直线应用部分742与指定像素相对应地存储所计算的混合比α。

在步骤S770中，直线应用部分742确定混合比α是否已经针对整个帧计算。如果确定出混合比α还未针对整个帧计算，则过程返回到步骤S763，在该步骤中，选取另一个像素，以重复计算混合比α的过程。

如果在步骤S770中确定到混合比α已经针对整个帧计算，则过程前进到步骤S771，在该步骤中，直线应用部分742输出混合比α。然后结束该过程。

下面，参照图72的流程图，给出用于计算属于混合区域的像素的混合比的过程的描述，该过程是与步骤S768中的过程相对应，并由混合区域宽度检测器741和直线应用部分742执行。

在步骤S781中，混合区域宽度检测器741基于从移动方向估算单元701提供的移动方向和从区域规定单元103提供的区域信息确定混合区域在运动矢量移动方向上的宽度。混合区域宽度检测器741将混合区域的宽度作为混合区域宽度信息提供到直线应用部分742。

在步骤S782中，直线应用部分742确定在移动方向上从指定像素到混合区域边缘的距离。

在步骤S783中，直线应用部分742确定在与移动方向相反的方向上从指定像素到混合区域边缘的距离。

在步骤S784中，直线应用部分742基于区域信息和混合区域的宽度与从指定像素到混合区域的边缘的距离的比计算混合比α，然后该过程结束。

如上所述，混合比计算器702能够基于从区域规定单元103提供的区域信息和从移动方向估算单元701提供的移动方向计算作为对应于每个像素的特征量的混合比α。

图73是示出根据本发明的图像处理设备的另一结构的方块图。与图64中相同的元件用相同的附图标记标示，并从而省略了对其的描述。

在图73所示的图像处理设备中，移动方向从外部数据源输入。

区域规定单元103将输入图像的每个像素规定为前景区域、背景区域或混合区域，并将表示每个像素属于前景区域、背景区域或混合区域中哪一个的区域信息提供给混合比计算器702和前景/背景分离器105。

混合比计算器702基于从区域规定单元103提供的区域信息和从外部数据源提供的移动方向计算每个像素的混合比α，并将所计算的混合比α提供给前景/背景分离器105。

前景/背景分离器105基于从区域规定单元103提供的区域信息和从混合比计算器702提供的混合比α将输入图像分离成仅由前景分量构成的前景分量图像和仅由背景分量构成的背景分量图像，并输出前景分量图像和背景分量图像。

下面参照图74的流程图描述由如图73所示构造的图像处理设备执行的前景/背景分离过程。

在步骤S801中，区域规定单元103基于输入图像执行区域规定过程，以用于产生表示输入图像的每个像素属于前景区域、背景区域、覆盖背景区域或未覆盖背景区域中哪一个的区域区域信息。区域规定单元103将所产生的区域信息提供到混合比计算器702。

在步骤S802中，混合比计算器702基于外部输入的移动方向和从区域规定单元103提供的区域信息计算混合区域内包含的每个像素的混合比α。混合比计算器104将所计算的混合比α提供到前景/背景分离器105。

在步骤S803中，前景/背景分离器105基于区域信息和混合比α从输入图像中提取前景分量和背景分量，并基于所提取的前景分量合成前景分量图像，且基于所提取的背景分量合成背景分量图像。前景/背景分离器105输出前景分量图像和背景分量图像，从而过程结束。

如上所述，如图73所示构造的图像处理设备能够分离前景和背景。

已经描述了其中确定混合区域的宽度以计算在运动矢量的方向上从指定像素到混合区域边缘的距离，或确定混合区域的宽度以计算在移动方向上从指定像素到混合区域边缘的距离。然而，混合比可以借助参照图55或72所描述的过程、通过确定上述混合区域宽度和在正交于运动矢量或移动方向的方向之外的任何方向上的距离来计算。例如，混合比可以借助于参照图55或72所描述的过程、通过确定混合区域的宽度以及在平行于运动矢量或移动方向的方向上的从指定像素到混合区域边缘的距离来计算。另外，混合比可以借助于参照图55或72所描述的过程、通过确定混合区域宽度和在斜交于运动矢量或移动方向的方向上的从指定像素到混合区域边缘的距离来计算。

即，规定与图像数据相应的其中混合有形成前景对象的前景份量和形成背景对象的背景分量的混合区域，并输出区域信息。然后，通过假设表示混合区域中背景对象分量与前景对象分量的比的混合比相对于像素位置基本线性地变化，可以基于区域信息和前景对象的移动方向估算混合比。通过这种结构，可以检测图像的混合状态。

在这种情况下，基于在一端位于仅由前景对象分量构成的前景区域而另一端位于仅由背景对象分量构成的背景区域的片段(segment)，即横截混合区域的片段上的距离，可以估算像素与片段上的位置相对应的混合比。

同样，基于在平行于前景对象移动方向的片段上的位置，可以估算像素与片段上的位置相对应的混合比。

此外，基于在与前景对象的移动方向斜交的片段上的位置，可以估算像素与在片段上的位置相对应的混合比。

已经描述了混合比α设定为像素值中包含的背景分量的比率的情况。然而，混合比α也可以设定为像素值中所包含的前景分量的比率。

也已经描述了前景对象的移动方向设定为从左向右的情况。然而，移动方向并不局限于上述方向。

在上面描述中，具有三维空间和时间轴信息的实空间图像利用摄像机投影到具有二维空间和时间轴信息的时间空间上。然而，本发明不局限于这个示例，而可以应用到以下的情况中。当一维空间内的更大量的第一信息投影到二维空间内的较少量第二信息上时，可以校正投影所造成的失真，可以提取有意义的信息，或可以合成更自然的图像。

传感器不局限于CCD，而可以是其他类型的传感器，诸如固态图像捕捉器件，例如BBD(组桶式器件)、CID(电荷发射器件)或CPD(起电器件，Charge Priming Device)，或是CMOS(互补金属氧化物半导体)。传感器也不需要是其中检测器件以矩阵布置的传感器，而可以是其中检测器件布置成一行的传感器。

其中记录用于执行本发明的信号处理的程序的记录介质可以由其中记录程序的包介质(package medium)形成，该介质与计算机单独地分发到用户手中，如图1所示，诸如是磁盘51(包括软盘(注册商标))、光盘52(包括CD-ROM(致密盘只读存储器))和DVD(数字多用途盘)、磁光盘53(包括MD(述你盘))(注册商标)，或半导体存储器54。记录介质也可以由其中记录程序的ROM22或包含在存储单元28内的硬盘形成，这种记录介质以预先存储在计算机中的形式提供给用户。

形成记录介质上所记录的程序的步骤可以根据说明书中所描述的顺序按时间次序执行。然而，它们不必要以时序方式执行，而是可以同时或单独执行。

工业应用性

根据第一个发明，可以检测图像中的混合状态。

根据第二个发明，可以检测图像中的混合状态。

Claims (18)

1.一种图像处理设备，用于处理预定数量的像素数据形成的图像数据，该像素数据由图像捕捉装置获得，该图像捕捉装置包括预定数量的像素，该像素具有时积功能，所述图像处理设备包括：

区域规定装置，用于对应于图像数据规定由形成前景对象的前景对象分量和形成背景对象的背景对象分量混合而成的混合区域，以及由前景区域和背景区域形成的非混合区域，其中前景区域仅由前景对象分量构成，而背景区域仅由背景对象分量构成；以及

混合比估算装置，用于基于混合区域在相对于前景对象分量移动方向的预定方向上的宽度与在所述预定方向上从指定像素的位置到混合区域的边缘的距离的比，来估算表示所述指定像素的前景对象分量与背景对象分量之间的比的混合比，其中该混合区域的宽度是由区域信息指定的。

2.如权利要求1所述的图像处理设备，还包括运动矢量检测装置，用于检测前景对象的运动矢量，

其中所述混合比估算装置检测混合区域的宽度以及在运动矢量的移动方向上从指定像素位置到混合区域边缘的距离，并基于混合区域的宽度与从指定像素的位置到混合区域边缘的距离的比来估算混合比。

3.如权利要求1所述的图像处理设备，还包括移动方向检测装置，用于检测前景对象的移动方向，

其中所述混合比估算装置检测混合区域的宽度以及在移动方向上从指定像素的位置到混合区域边缘的距离，并基于混合区域的宽度与从指定像素的位置到混合区域的边缘的距离的比估算混合比。

4.如权利要求3所述的图像处理设备，其中，所述移动方向检测装置包括运动矢量产生装置，用于基于区域信息和混合区域在指定帧中的位置及混合区域在指定帧附近的帧中的位置产生运动矢量，从而基于所产生的运动矢量检测移动方向。

5.如权利要求1所述的图像处理设备，还包括图像捕捉装置，用于输出图像捕捉器件所捕捉的主体图像作为预定数量像素数据形成的图像数据，该图像捕捉器件包括预定数量像素，该像素具有时积功能。

6.一种用于图像处理设备的图像处理方法，该设备用于处理由预定数量的像素数据形成的图像数据，该像素数据由图像捕捉器件获得，该图像捕捉装置包括预定数量的像素，该像素具有时积功能，所述图像处理方法包括：

区域规定步骤，用于对应于图像数据规定由形成前景对象的前景对象分量和形成背景对象的背景对象分量混合而成的混合区域，以及由前景区域和背景区域形成的非混合区域，其中前景区域仅由前景对象分量构成，而背景区域仅由背景对象分量构成；以及

混合比估算步骤，用于基于混合区域在相对于前景对象分量移动方向的预定方向上的宽度与预定方向上从指定像素的位置到混合区域边缘的距离的比，来估算表示指定像素的前景对象分量和背景对象分量之间的比的混合比，其中该混合区域的宽度是由区域信息指定的。

7.如权利要求6所述的图像处理方法，还包括检测前景对象的运动矢量的运动矢量检测步骤，

其中，在所述混合比估算步骤中，在运动矢量的移动方向上检测混合区域的宽度和从指定像素的位置到混合区域边缘的距离，并且基于混合区域的宽度与从指定像素的位置到混合区域边缘的比来估算混合比。

8.如权利要求6所述的图像处理方法，还包括检测前景对象的移动方向的移动方向检测步骤，

其中，在所述混合比估算步骤中，在移动方向上检测混合区域的宽度和从指定像素的位置到混合区域边缘的距离，并且基于混合区域的宽度与从指定像素的位置到混合区域边缘的比来估算混合比。

9.如权利要求8所述的图像处理方法，其中，所述移动方向检测步骤包括运动矢量产生步骤，用于基于区域信息和混合区域在指定帧中的位置以及混合区域在指定帧附近的帧中的位置产生运动矢量，从而基于所产生的运动矢量检测移动方向。

10.一种用于处理图像数据的图像处理设备，该图像数据由预定数量的像素数据形成，该像素数据由图像捕捉器件获得，该图像捕捉装置包括预定数量的像素，像素具有时积功能，所述图像处理设备包括：

用来输出区域信息的区域规定装置，用于对应于图像数据规定由形成前景对象的前景对象分量和形成背景对象的背景对象分量混合而成的混合区域；以及

混合比估算装置，用于基于区域信息和前景对象的移动方向，通过假设混合比相对于像素位置基本线性地变化来估算表示混合区域内前景对象分量和背景对象分量的比的混合比。

11.如权利要求10所述的图像处理设备，其中，所述混合比估算装置基于在一片段上的位置估算对应于在该片段上的位置的像素的混合比，其中所述片段一端位于仅由前景对象分量构成的前景区域，而另一端位于仅由背景对象分量构成的背景区域，该片段横截混合区域。

12.如权利要求11所述的图像处理设备，其中，所述混合比估算装置基于在平行于前景对象移动方向的片段上的位置来估算与该片段上的位置相对应的像素的混合比。

13.如权利要求11所述的图像处理设备，其中，所述混合比估算装置基于在与前景对象移动方向斜交的片段上的位置来估算与该片段上的位置相对应的像素的混合比。

14.如权利要求10所述的图像处理设备，还包括图像捕捉装置，用于输出图像捕捉器件所捕捉的主体图像作为预定数量像素数据形成的图像数据，该图像捕捉器件包括预定数量像素，该像素具有时积功能。

15.一种用于处理图像数据的图像处理方法，该图像数据由预定数量的像素数据形成，而该像素数据由图像捕捉装置获得，该图像捕捉装置包括预定数量的像素，该像素具有时积功能，所述图像处理方法包括：

输出区域信息的区域规定步骤，用于对应于图像数据规定由形成前景对象的前景对象分量和形成背景对象的背景对象分量混合而成的混合区域；以及

混合比估算步骤，用于基于区域信息和前景对象的移动方向，通过假设混合比相对于像素位置基本线性地变化来估算表示混合区域内前景对象分量和背景对象分量的比的混合比。

16.如权利要求15所述的图像处理方法，其中，在所述混合比估算步骤中，基于在一片段上的位置估算对应于在该片段上的位置的像素的混合比，其中所述片段一端位于仅由前景对象分量构成的前景区域，而另一端位于仅由背景对象分量构成的背景区域，该片段横截混合区域。

17.如权利要求16所述的图像处理方法，其中，在所述混合比估算步骤中，基于在平行于前景对象移动方向的片段上的位置估算与该片段上的位置相对应的像素的混合比。

18.如权利要求16所述的图像处理方法，其中，在所述混合比估算步骤中，基于在与前景对象移动方向斜交的片段上的位置来估算与该片段上的位置相对应的像素的混合比。

Images