CN1267857C - 图像处理设备和方法以及图像获取设备 - Google Patents

Abstract

能够根据混合状态来目标图像中分离背景图像。区域规定单元(103)在一第一时间中规定混合前景目标分量和背景目标分量的未覆盖背景区域，在一第二时间中规定仅仅由前景目标分量构成的前景区域和仅仅由背景目标分量构成的背景区域，而在一第三时间中规定混合前景目标分量和背景目标分量的覆盖背景区域。混合比率计算器(104)检测表示前景目标分量和背景目标分量之比率的混合比率。前景/背景分离器(105)将像素数据分离成前景目标分量和背景目标分量。本发明可应用于图像处理设备。

Description

图像处理设备和方法以及图像获取设备

技术领域

本发明涉及图像处理设备和方法以及图像获取设备，特别涉及考虑到传感器检测的信号和真实世界之差的图像处理设备和方法以及图像获取设备。

背景技术

用于通过传感器检测在真实世界发生的事件和用于处理从图像传感器输出的采样数据的技术被广泛地使用。

例如，如果运动速度是相对较高，则在通过捕获在预定静止背景前面运动的目标而获得的图像中将发生运动模糊。

但是，当目标正在静止背景的前面运动时，不仅会发生由运动目标本身的混合引起的运动模糊，而且会发生背景图像和目标图像的混合。迄今为此，还没有考虑过背景图像和运动目标的混合状态的处理。

发明内容

鉴于上述背景提出了本发明。因此，本发明的目的是能够根据混合状态来使背景图像和目标图像分离。

本发明的图像处理设备包括：区域规定装置，用于在对应于一个屏幕的时间的一第一周期中规定混合形成图像数据指定帧的前景目标的前景目标分量和形成指定帧的背景目标的背景目标分量的未覆盖背景区域，该未覆盖背景区域形成在前景目标正在运动的方向上的后端；区域规定装置，用于在接着该时间的第一周期之后对应于一个屏幕的时间的一第二周期中，规定仅仅由前景目标分量构成的前景区域和仅仅由背景目标分量构成的背景区域；以及区域规定装置，用于在接着该时间的第二周期之后对应于一个屏幕的时间的一第三周期中规定混合前景目标分量和背景目标分量的覆盖背景区域，该覆盖背景区域形成在前景目标正在运动的方向上的前端；混合比率检测装置，用于检测表示在未覆盖背景区域中和在覆盖背景区域中前景目标分量和背景目标分量之比率的混合比率；以及前景/背景分离装置，用于基于该混合比率将属于未覆盖背景区域和属于覆盖背景区域的像素的像素数据分离成前景目标分量和背景目标分量，以及用于产生仅仅由前景目标分量构成的前景目标图像和仅仅由指定帧中的背景分量图像构成的背景分量图像。

区域规定装置可以临时存储被连续输入的三个帧，并且区域规定装置可以在时间的第一周期中可以将下述区域规定为对应于指定帧的未覆盖背景区域，在该区域中，对于在指定帧之后两帧和指定帧之后一帧的确定结果是静止的，而对于指定帧之后一帧和指定帧的确定结果是运动的；所述区域规定装置在时间的第二周期中将下述区域规定为对应于指定帧的前景区域，在该区域中，对于在指定帧之前一帧和指定帧的确定结果是运动的，对于指定帧和指定帧之后一帧的确定结果也是运动的；在时间的第二周期中将下述区域规定为对应于指定帧的背景区域，在该区域中，对于在指定帧之前一帧和指定帧的确定结果是静止的，对于指定帧和指定帧之后一帧的确定结果也是静止的；以及所述区域规定装置在时间的第三周期中将下述区域规定为对应于指定帧的覆盖背景区域，在该区域中，对于指定帧之前两帧与指定帧之前一帧的确定结果是静止的，对于指定帧之前一帧和指定帧的确定结果也是静止的。

本发明的图像处理方法包括：区域规定步骤，用于在对应于一个屏幕的时间的一第一周期中规定混合形成图像数据指定帧的前景目标的前景目标分量和形成指定帧的背景目标的背景目标分量的未覆盖背景区域，该未覆盖背景区域形成在前景目标正在运动的方向上的后端；区域规定步骤，用于在接着该时间的第一周期之后对应于一个屏幕的时间的一第二周期中，规定仅仅由前景目标分量构成的前景区域和仅仅由背景目标分量构成的背景区域；以及区域规定步骤，用于在接着该时间的第二周期之后对应于一个屏幕的时间的一第三周期中规定混合前景目标分量和背景目标分量的覆盖背景区域，该覆盖背景区域形成在前景目标正在运动的方向上的前端；混合比率检测步骤，用于检测表示在未覆盖背景区域中和在覆盖背景区域中前景目标分量和背景目标分量之比率的混合比率；以及前景/背景分离步骤，用于基于该混合比率将属于未覆盖背景区域和属于覆盖背景区域的像素的像素数据分离成前景目标分量和背景目标分量，以便产生仅仅由前景目标分量构成的前景分量图像和仅仅由指定帧中的背景分量图像构成的背景分量图像。

在区域规定步骤中，可以临时存储被连续输入的三个帧，并且在时间的第一周期中，可以将下述区域规定为对应于指定帧的未覆盖背景区域，在该区域中，对于在指定帧之后两帧和指定帧之后一帧的确定结果是静止的，而对于指定帧之后一帧和指定帧的确定结果是运动的；在时间的第二周期中，将下述区域规定为对应于指定帧的前景区域，在该区域中，对于在指定帧之前一帧和指定帧的确定结果是运动的，而对于指定帧和指定帧之后一帧的确定结果也是运动的；在时间的第二周期中，将下述区域规定为对应于指定帧的背景区域，在该区域中，对于在指定帧之前一帧和指定帧的确定结果是静止的，而对于指定帧和指定帧之后一帧的确定结果也是静止的；以及在时间的第三周期中，将下述区域规定为对应于指定帧的覆盖背景区域，在该区域中，对于指定帧之前两帧和指定帧之前一帧的确定结果是静止的，而对于指定帧之前一帧和指定帧的确定结果是也静止的。

本发明记录媒体的程序包括：区域规定步骤，用于在对应于一个屏幕的时间的一第一周期中规定混合形成图像数据指定帧的前景目标的前景目标分量和形成指定帧的背景目标的背景目标分量的未覆盖背景区域，该未覆盖背景区域形成在前景目标正在运动的方向上的后端；区域规定步骤，用于在接着该时间的第一周期之后对应于一个屏幕的时间的一第二周期中，规定仅仅由前景目标分量构成的前景区域和仅仅由背景目标分量构成的背景区域；以及区域规定步骤，用于在接着该时间的第二周期之后对应于一个屏幕的时间的一第三周期中规定混合前景目标分量和背景目标分量的覆盖背景区域，该覆盖背景区域形成在前景目标正在运动的方向上的前端；混合比率检测步骤，用于检测表示在未覆盖背景区域中和在覆盖背景区域中前景目标分量和背景目标分量之比率的混合比率；以及前景/背景分离步骤，用于基于该混合比率将属于未覆盖背景区域和属于覆盖背景区域的像素的像素数据分离成前景目标分量和背景目标分量，以便产生仅仅由前景目标分量构成的前景分量图像和仅仅由指定帧中的背景分量图像构成的背景分量图像。

在区域规定步骤中，可以临时存储被连续输入的三个帧，并且在时间的第一周期中，可以将下述区域规定为对应于指定帧的未覆盖背景区域，在该区域中，对于在指定帧之后两帧和指定帧之后一帧的确定结果是静止的，而对于指定帧之后一帧和指定帧的确定结果是运动的；在时间的第二周期中，将下述区域规定为对应于指定帧的前景区域，在该区域中，对于在指定帧之前一帧和指定帧的确定结果是运动的，而对于指定帧和指定帧之后一帧的确定结果也是运动的；在时间的第二周期中，将下述区域规定为对应于指定帧的背景区域，在该区域中，对于在指定帧之前一帧和指定帧的确定结果是静止的，而对于指定帧和指定帧之后一帧的确定结果也是静止的；以及在时间的第三周期中，将下述区域规定为对应于指定帧的覆盖背景区域，在该区域中，对于指定帧之前两帧和指定帧之前一帧的确定结果是静止的，而对于指定帧之前一帧和指定帧的确定结果是也静止的。

本发明的程序允许计算机执行：区域规定步骤，用于在对应于一个屏幕的时间的一第一周期中规定混合形成图像数据指定帧的前景目标的前景目标分量和形成指定帧的背景目标的背景目标分量的未覆盖背景区域，该未覆盖背景区域形成在前景目标正在运动的方向上的后端；区域规定步骤，用于在接着该时间的第一周期之后对应于一个屏幕的时间的一第二周期中，规定仅仅由前景目标分量构成的前景区域和仅仅由背景目标分量构成的背景区域；以及区域规定步骤，用于在接着该时间的第二周期之后对应于一个屏幕的时间的一第三周期中规定混合前景目标分量和背景目标分量的覆盖背景区域，该覆盖背景区域形成在前景目标正在运动的方向上的前端；混合比率检测步骤，用于检测表示在未覆盖背景区域中和在覆盖背景区域中前景目标分量和背景目标分量之比率的混合比率；以及前景/背景分离步骤，用于基于该混合比率将属于未覆盖背景区域和属于覆盖背景区域的像素的像素数据分离成前景目标分量和背景目标分量，以便产生仅仅由前景目标分量构成的前景分量图像和仅仅由指定帧中的背景分量图像构成的背景分量图像。

在区域规定步骤中，可以临时存储被连续输入的三个帧，并且在时间的第一周期中，可以将下述区域规定为对应于指定帧的未覆盖背景区域，在该区域中，对于在指定帧之后两帧和指定帧之后一帧的确定结果是静止的，而对于指定帧之后一帧和指定帧的确定结果是运动的；在时间的第二周期中，将下述区域规定为对应于指定帧的前景区域，在该区域中，对于在指定帧之前一帧和指定帧的确定结果是运动的，而对于指定帧和指定帧之后一帧的确定结果也是运动的；在时间的第二周期中，将下述区域规定为对应于指定帧的背景区域，在该区域中，对于在指定帧之前一帧和指定帧的确定结果是静止的，而对于指定帧和指定帧之后一帧的确定结果也是静止的；以及在时间的第三周期中，将下述区域规定为对应于指定帧的覆盖背景区域，在该区域中，对于指定帧之前两帧和指定帧之前一帧的确定结果是静止的，而对于指定帧之前一帧和指定帧的确定结果是也静止的。

本发明的图像捕获设备包括：图像捕获装置，用于对图像数据进行图像处理，该图像数据是由通过图像捕获(capturing)器件获得的预定数目的像素数据形成的，该图像捕获器件包括预定数目的像素并具有时间积分功能(time integrating function)；区域规定装置，用于在对应于一个屏幕的时间的一第一周期中规定(specify)混合形成图像数据指定帧(designated frame)的前景目标的前景目标分量和形成指定帧的背景目标的背景目标分量的未覆盖背景区域，该未覆盖背景区域形成在前景目标正在运动的方向上的后端；区域规定装置，用于在接着该时间的第一周期之后对应于一个屏幕的时间的一第二周期中，规定仅仅由前景目标分量构成的前景区域和仅仅由背景目标分量构成的背景区域；以及区域规定装置，用于在接着该时间的第二周期之后对应于一个屏幕的时间的一第三周期中规定混合前景目标分量和背景目标分量的覆盖背景区域，该覆盖背景区域形成在前景目标正在运动的方向上的前端；混合比率检测装置，用于检测表示在未覆盖背景区域中和在覆盖背景区域中前景目标分量和背景目标分量之比率的混合比率；以及前景/背景分离装置，用于基于该混合比率将属于未覆盖背景区域和属于覆盖背景区域的像素的像素数据分离成前景目标分量和背景目标分量，以及用于产生仅仅由前景目标分量构成的前景目标图像和仅仅由指定帧中的背景分量图像构成的背景分量图像。

区域规定装置可以临时存储被连续输入的三个帧，并且区域规定装置在时间的第一周期中可以将下述区域规定为对应于指定帧的未覆盖背景区域，在该区域中，对于在指定帧之后两帧和指定帧之后一帧的确定结果是静止的，而对于指定帧之后一帧和指定帧的确定结果是运动的；所述区域规定装置在时间的第二周期中将下述区域规定为对应于指定帧的前景区域，在该区域中，对于在指定帧之前一帧和指定帧的确定结果是运动的，对于指定帧和指定帧之后一帧的确定结果也是运动的；在时间的第二周期中将下述区域规定为对应于指定帧的背景区域，在该区域中，对于在指定帧之前一帧和指定帧的确定结果是静止的，对于指定帧和指定帧之后一帧的确定结果也是静止的；以及所述区域规定装置在时间的第三周期中将下述区域规定为对应于指定帧的覆盖背景区域，在该区域中，对于指定帧之前两帧和指定帧之前一帧的确定结果是静止的，而对于指定帧之前一帧和指定帧的确定结果也是静止的。

在对应于一个屏幕的时间的一第一周期中，规定了其中形成图像数据指定帧的前景目标的前景目标分量和形成指定帧的背景目标的背景目标分量被混合的未覆盖背景区域，该未覆盖背景区域形成在前景目标正在运动的方向上的后端。在接着该时间的第一周期之后对应于一个屏幕的时间的一第二周期中，规定了仅仅由前景目标分量构成的前景区域和仅仅由背景目标分量构成的背景区域。在接着该时间的第二周期之后对应于一个屏幕的时间的一第三周期中，规定了混合前景目标分量和背景目标分量的覆盖背景区域，该覆盖背景区域形成在前景目标正在运动的方向上的前端。检测了表示在未覆盖背景区域中和在覆盖背景区域中前景目标分量和背景目标分量之比率的混合比率。基于该混合比率，属于未覆盖背景区域和属于覆盖背景区域的像素的像素数据被分离成前景目标分量和背景目标分量，以便产生仅仅由前景目标分量构成的前景目标图像和仅仅由指定帧中的背景分量图像构成的背景分量图像。

借助这个方案，能够分离背景图像和目标图像。

附图说明

图1是表示根据本发明的图像处理设备的实施例的示意图。

图2是表示图像处理设备的方框图。

图3表示由传感器实现的图像捕获。

图4表示像素的配置。

图5表示检测器件的操作。

图6A表示通过对对应于运动前景的目标和对应于静止背景的目标进行图像捕获(image-capturing)而获得的图像。

图6B表示通过对对应于运动前景的目标和对应于静止背景的目标图像捕获而获得的图像的模型。

图7表示背景区域、前景区域、混合区域、覆盖背景区域和未覆盖背景区域。

图8表示在通过对对应于静止前景的目标和对应于静止背景的目标图像捕获而获得的图像中，通过在时间方向上扩大并排排列的像素的像素值而得到的模型。

图9表示其中像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图10表示其中像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图11表示其中像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图12表示其中在前景区域、背景区域和混合区域中的像素被提取的例子。

图13表示在像素和通过扩大在时间方向上的像素值获得的模型之间的关系。

图14表示其中像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图15表示其中像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图16表示其中像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图17表示其中像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图18表示其中像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图19是表示用于调节运动模糊量的处理的流程图。

图20是表示区域规定单元103的结构的方框图。

图21表示当对应于前景的目标正在运动时的图像。

图22表示其中像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图23表示其中像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图24表示其中像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图25表示用于确定区域的条件。

图26表示通过用区域规定单元103规定区域而获得的结果的例子。

图27表示通过用区域规定单元103规定区域而获得的结果的例子。

图28是表示区域规定处理的流程图。

图29是表示区域规定处理的流程图。

图30是表示混合比率计算器104的结构的例子的方框图。

图31表示理想混合比率α的例子。

图32表示其中像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图33表示其中像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图34表示使用前景分量的相关性的近似。

图35表示在C、N和P之间的关系。

图36是表示估计混合比率处理器401的结构的方框图。

图37表示估计混合比率的例子。

图38是表示混合比率计算器104的另一个结构的方框图。

图39是表示用于计算混合比率的处理的流程图。

图40是表示用于计算估计混合比率的处理的流程图。

图41表示用于近似混合比率α的直线。

图42表示用于近似混合比率α的平面。

图43表示当混合比率α被计算时多个帧中的像素的关系。

图44是表示混合比率估计处理器401的另一个结构的方框图。

图45表示估计混合比率的例子。

图46是表示通过使用对应于覆盖背景区域的模型进行的混合比率估计处理的流程图。

图47是表示前景/背景分离器105结构的例子的方框图。

图48A表示输入图像，前景分量图像和背景分量图像。

图48B表示输入图像，前景分量图像和背景分量图像的模型。

图49表示其中像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图50表示其中像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图51表示其中像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图52是表示分离部分601之结构的例子的方框图。

图53A表示分离的前景分量图像的例子。

图53B表示分离的背景分量图像的例子。

图54是表示用于分离前景和后景之处理的流程图。

图55是表示运动模糊调节单元106结构的例子的方框图。

图56表示处理单位。

图57表示其中前景分量图像的像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图58表示其中前景分量图像的像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图59表示其中前景分量图像的像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图60表示其中前景分量图像的像素值在时间方向被扩大和对应于快门时间的周期被分割的模型。

图61表示运动模糊调节单元106另一个结构的例子。

图62是表示通过运动模糊调节单元106完成的用于调节前景分量图像中包含的运动模糊量的处理的流程图。

图63是表示运动模糊调节单元106另一个结构的例子的方框图。

图64表示其中在像素值和前景分量之间的关系被表示的模型的例子。

图65表示前景分量的计算。

图66表示前景分量的计算。

图67是表示用于消除在前景中包含的运动模糊的处理的流程图。

图68是表示图像处理设备的功能的另一个结构的方框图。

图69表示合成器1001的结构。

图70是表示图像处理设备的功能的另一个结构的方框图。

图71是表示混合比率计算器1101的结构的方框图。

图72是表示前景/背景分离器1102的结构的方框图。

图73是表示图像处理设备的功能的另一个结构的方框图。

图74表示合成器1201的结构。

具体实施方式

图1是表示根据本发明的图像处理设备的实施例的结构的方框图。CPU(中央处理单元)21根据在ROM(只读存储器)22中或者在存储单元28中存储的程序执行各种类型的处理。由CPU 21执行的程序和数据根据要求被存储在RAM(随机存取存储器)23中。CPU 21，ROM 22和RAM 23通过总线24相互连接。

输入/输出接口25通过总线24也连接到CPU 21。由键盘、鼠标、麦克风等形成的输入单元26和由显示器、扬声器等形成的输出单元27连接到输入/输出接口25。响应于从输入单元26输入的命令，CPU 21执行各种类型的处理。CPU 21然后将作为处理结果获得的图像或者声音输出到输出单元27。

连接到输入/输出接口25的存储单元28是由例如硬盘形成的，存储由CPU 21执行的程序和各种类型的数据。通信单元29通过因特网或者其他网络与外部装置通信。在本例子中，通信单元29用作获得单元，用于获得传感器的输出。

另外，程序可以通过通信单元29获得并被存储在存储单元28中。

当这种记录媒体被静止到驱动器30时，连接到输入/输出接口25的驱动器30驱动磁盘51、光盘52、磁光盘53、半导体存储器54等，并且获得在对应媒体中存储的程序或者数据。所获得的程序或者数据被传送到存储单元28，并且如果需要则存储在其中。

图2是表示图像处理设备的方框图。

图像处理设备的单个功能是通过硬件还是通过软件实现无关紧要。即，本说明书的方框图可以是硬件方框图或者是软件功能性的方框图。

在本说明书中，被捕获的对应于现实世界中目标的图像被称为图像目标。

提供给图像处理设备的输入图像提供给目标提取单元101，区域规定单元103、混合比率计算器104和前景/背景分离器105。

目标提取单元101提取对应于包含在输入图像中的前景目标的粗糙图像目标，并将所提取的图像目标提供给运动检测器102。目标提取单元101检测例如包含在输入图像中的前景图像目标的轮廓，以便提取对应于前景目标的粗糙图像目标。

目标提取单元101提取对应于包含在输入图像中的背景目标的粗糙图像目标和将所提取的图像目标提供给运动检测器102。目标提取单元101从例如在输入图像和对应于前景目标的所提取图像目标之差中提取对应于背景目标的粗糙图像目标。

另外，例如，目标提取单元101可以从在机内背景存储器中存储的背景图像和输入图像之差中提取对应于前景目标的粗糙图像目标，并对应于背景目标的粗糙图像目标。

运动检测器102根据诸如块匹配、梯度、相位相关或者像素递归技术之类的技术来计算对应于前景目标的粗糙地提取的图像目标的运动矢量，并且将所计算的运动矢量和运动矢量位置信息(其是用于规定对应于该运动矢量的像素的位置的信息)提供给运动模糊调节单元106。

从运动检测器102输出的运动矢量包含对应于运动量v的信息。

运动检测器102可以将每个图像目标的运动矢量以及用于规定图像目标的像素的像素位置信息输出到运动模糊调节单元106。

运动量v是表示以像素节距为单位的在对应于运动目标的图像中位置变化的值。例如，如果对应于前景的目标图像正在运动使得当被定位在随后的帧时其被显示在距离参考帧四个像素的位置上的话，则对应于前景的目标图像的运动量v是4。

当调节对应于运动目标的运动模糊量时需要目标提取单元101和运动检测器102。

区域规定单元103确定输入图像的每个像素属于前景区域、背景区域或者混合区域中的哪一个，并将表示每个像素属于哪个区域的信息(以后称为“区域信息”)提供给混合比率计算器104、前景/背景分离器105和运动模糊调节单元106。

混合比率计算器104基于输入图像，从运动检测器102提供的运动矢量和其位置信息，以及从区域规定单元103提供的区域信息来计算对应于在混合区域中包含的像素的混合比率(以后称为“混合比率α”)，并且将该混合比率α提供给前景/背景分离器105。

混合比率α是表示对应于背景目标的图像分量(以后也称为“背景分量”)对由方程(3)表示的像素值之比率的值，其在下面表示。

前景/背景分离器105基于从区域规定单元103提供的区域信息和混合比率计算器104提供的混合比率α，将输入图像分离成仅仅由对应于前景目标的图像分量形成的前景分量图像(以后也称为“前景分量”)和仅仅由背景分量形成的背景分量图像，并且将该前景分量图像提供给运动模糊调节单元106和选择器107。被分离的前景分量图像可以设置为最终输出。比较其中仅仅规定前景和背景而不考虑混合区域的公知方法，本方法能够获得更为精确的前景和背景。

运动模糊调节单元106基于从运动矢量获得的运动量v和基于区域信息来确定表示在前景分量图像中包含的至少一个像素的处理的单位，该处理单位是规定要进行运动模糊调节的一组像素的数据。

基于要被输入到图像处理设备的运动模糊将要被调节的量、从前景/背景分离器105提供的前景分量图像、从运动检测器102提供的运动矢量和其位置信息以及处理单位，运动模糊调节单元106通过去掉、降低或者增加在前景分量图像中包含的运动模糊来调节在前景分量图像中包含的运动模糊量。然后运动模糊调节单元106将其中运动模糊量被调节的前景分量图像输出到选择器107。使用运动矢量和其位置信息不是必要的。

运动模糊是在对应于运动目标的图像中包含的失真，其是由在现实世界中被捕获的目标运动和传感器的图像捕获特征引起的。

基于例如反映用户之选择的选择信号，选择器107选择从前景/背景分离器105提供的前景分量图像和从运动模糊调节单元106提供的其中运动模糊量被调节的前景分量图像之一，并且输出所选择的前景分量图像。

下面参考图3到18讨论提供给图像处理设备的输入图像。

图3表示由传感器完成的图像捕获。传感器是由例如安装有CCD区域传感器的CCD(电荷偶合器件)视频摄象机形成，其是固体成象器件。对应于现实世界之前景的目标111例如水平地在对应于背景的目标112和传感器之间从左运动到右。

传感器捕获对应于前景的目标111的图像以及对应于背景的目标112的图像。传感器以帧为单位输出所捕获的图像。例如，传感器输出具有每秒30帧的图像。传感器的曝光时间能够是1/30秒。曝光时间是从当传感器开始将输入光转变为电荷时到从输入光到电荷的转变被完成为止的时间周期。曝光时间也被称为“快门时间”。

图4表示像素的排列。图4中，A到I表示单个像素。像素被布置在对应图像的平面上。对应于每个像素的一个检测器件被布置在传感器上。当传感器完成图像捕获时，每个检测器件输出形成图像的对应像素的像素值。例如，检测器件在X方向的位置对应于图像上的水平方向，而检测器件在Y方向的位置对应于图像上的垂直方向。

如图5表示，例如是CCD的检测器件在对应于快门时间的周期期间将输入光转变为电荷，并且存储所变换的电荷。电荷量几乎正比于输入光的强度和光被输入的时间周期。检测器件随后将从输入光转变来的电荷加到在对应于快门时间的时间周期期间所存储的电荷上。即，检测器件积分在对应于快门时间的时间周期期间的输入光，并且存储对应于所积分的光量的电荷。能够认为检测器件具有关于时间的积分功能。

在检测器件中存储的电荷通过电路(没有表示出)被转变成电压值，该电压值被进一步转变成诸如数字数据的像素值并输出。因此，从传感器输出的每个像素值是被投射到线性空间的值，其是关于快门时间积分对应于前景或者背景的目标的某个三维部分的结果。

图像处理设备通过传感器的存储操作提取嵌在输出信号中的重要信息，例如为混合比率α。图像处理设备调节由前景图像目标本身的混合引起的例如为运动模糊量的失真量。图像处理设备还调节由前景图像目标和背景图像目标的混合引起的失真量。

图6A表示通过捕获对应于前景的运动目标和对应于背景的静止目标而获得的图像。图6B表示通过捕获对应于前景的运动目标和对应于背景的静止目标而获得的图像。

图6A表示通过捕获对应于前景的运动目标和对应于背景的静止目标而获得的图像。在图6A表示的例子中，对应于前景的目标关于屏幕是水平地从左边运动到右边。

图6B表示通过在时间方向扩大对应于图6A中表示图像的一条线之像素值而获得的模型。图6B中表示的水平方向对应于图6A中的空间方向X。

背景区域中像素的值是仅仅从背景分量即对应于背景目标的图像分量形成的。前景区域中像素的值是仅仅从前景分量即对应于前景目标的图像分量形成的。

混合区域像素的值是从背景分量和前景分量形成的。由于混合区域中像素的值是从背景分量和前景分量形成的，其可以被称为“失真区域”。混合区域还被分类成覆盖背景区域和未覆盖背景区域。

覆盖背景区域是位于对应于其中前景目标正在运动之方向的前端之位置的混合区域，在这里，随着时间的流逝，背景分量逐渐地用前景所覆盖。

相反，未覆盖背景区域是对应于其中前景目标正在运动之方向的后端的混合区域，在这里，随着时间的流逝，背景分量逐渐出现。

如上讨论，包含前景区域、背景区域、覆盖背景区域或者未覆盖背景区域的图像被作为输入图像输入到区域规定单元103、混合比率计算器104和前景/背景分离器105。

图7表示上述的背景区域、前景区域、混合区域、覆盖背景区域和未覆盖背景区域。在对应于图6A表示图像的区域中，背景区域是静止部分，前景区域是运动部分，混合区域的覆盖背景区域是从背景变化到前景的部分，混合区域的未覆盖背景区域是从前景变化到背景的部分。

图8表示在通过捕获对应于静止前景的目标的图像和对应于静止背景的目标的图像而获得的图像中，通过在时间方向上扩大并排排列的像素的像素值而得到的模型。例如，作为并排排列的像素，在屏幕上的一行中配置的像素能够被选择。

在图8中表示的由F01到F04表示的像素值是对应于静止前景之目标的像素值。在图8中表示的由B01到B04表示的像素值是对应于静止背景的目标的像素值。

图8中的垂直方向对应于时间，并且时间是在图8中的垂直方向从图8中的顶部到底部流逝。图8中矩形的顶边的位置对应于传感器开始将输入光转变成电荷的时间，而图8中矩形的底边的位置对应于从输入光到电荷的转变完成的时间。即，图8中从矩形的顶边到底边的距离对应于快门时间。

图8中表示的时间在下面描述，假设例如快门时间等于帧大小。

图8中的水平方向对应于图6A的空间方向X。更具体地说，在图8中表示的例子中，从图8中由“F01”表示的矩形的左边到由“B04”表示的矩形的右边的距离是八倍像素节距，即8个连续的像素。

当前景目标和背景目标是静止的时，被输入传感器的光在对应于快门时间的时间周期期间不变化。

对应于快门时间的时间周期被分成两个或者更多部分的相等周期。例如，如果虚拟分割部分的数目是4，则图8中表示的模型能够由图9中表示的模型表示。虚拟分割部分的数目能够根据在快门时间之内对应于前景的目标的运动量v来设置。例如，当运动量v是4时，虚拟分割部分的数目被设置为4，并且对应于快门时间的时间周期被分成四个部分。

图9中最上面的线对应于从快门打开起的第一分割周期。图11中第二条线对应于从快门打开起的第二分割周期。图11中第三条线对应于从快门打开起的第三分割周期。图11中第四条线对应于从快门打开起的第四分割周期。

根据运动量v分割的快门时间今后也被称为“快门时间/v”。

当对应于前景的目标是静止的时，输入到传感器的光不变化，因此，前景分量F01/v等于通过将像素值F01与虚拟分割部分的数目相除而获得的值。类似地，当对应于前景的目标是静止的时，前景分量F02/v等于通过将像素值F02与虚拟分割部分的数目相除而获得的值，前景分量F03/v等于通过将像素值F03与虚拟分割部分的数目相除而获得的值，以及前景分量F04/v等于通过将像素值F04与虚拟分割部分的数目相除而获得的值。

当对应于背景的目标是静止的时，输入到传感器的光不变化，因此，背景分量B01/v等于通过将像素值B01与虚拟分割部分的数目相除而获得的值。类似地，当对应于背景的目标是静止的时，背景分量B02/v等于通过将像素值B02与虚拟分割部分的数目相除而获得的值，背景分量B03/v等于通过将像素值B03与虚拟分割部分的数目相除而获得的值，以及背景分量B04/v等于通过将像素值B04与虚拟分割部分的数目相除而获得的值。

更具体地说，当对应于前景的目标是静止的时，对应于前景目标的、输入到传感器的光在对应于快门时间的时间周期期间不变化。因此，对应于快门打开时起的快门时间/v的第一部分的前景分量F01/v，对应于快门打开时起的快门时间/v的第二部分的前景分量F01/v，对应于快门打开时起的快门时间/v的第三部分的前景分量F01/v，以及对应于快门打开时起的快门时间/v的第四部分的前景分量F01/v变成相同的值。该相同的值适用于F02/v到F04/v，如同在F01/v的情况。

当对应于背景的目标是静止的时，对应于背景目标的、输入到传感器的光在对应于快门时间的时间周期期间不变化。因此，对应于快门打开时起的快门时间/v的第一部分的背景分量B01/v，对应于快门打开时起的快门时间/v的第二部分的背景分量B01/v，对应于快门打开时起的快门时间/v的第三部分的背景分量B01/v，以及对应于快门打开时起的快门时间/v的第四部分的背景分量B01/v变成相同的值。该相同的值适用于B02/v到B04/v。

说明书给出其中对应于前景的目标是运动的和对应于背景的目标是静止的的情况。

图10表示当对应于前景的目标正在移向图10的右边时，通过在时间方向扩大包括覆盖背景区域的一条线中像素的像素值而获得的模型。在图10中，运动量是4。由于一帧是短周期，能够假设对应于前景的目标以匀速运动的刚体。在图10中，对应于前景的目标图像是正在运动、使得当其在后续帧中被显示时定位为相对于参考帧向右四个像素。

在图10中，从最左边像素到第四个像素的像素属于前景区域。在图10中，从左数第五个像素到第七个像素的像素属于混合区域，其是覆盖背景区域。在图10中，最右边的像素属于背景区域。

对应于前景的目标是正在运动、使得随着时间的流逝，其渐渐地覆盖对应于背景的目标。因此，在对应于快门时间的时间周期期间，在确定的时间，在属于覆盖背景区域的像素的像素值中包含的分量从背景分量变化到前景分量。

例如，由图10中的粗线框(thick frame)包围的像素值M由下面的方程(1)表示。

M＝B02/v+B02/v+F07/v+F06/v           (1)

例如，左数第五个像素包含对应于快门时间/v的一个部分的背景分量和对应于快门时间/v的三个部分的前景分量，因此，左数第五个像素的混合比率α是1/4。左数第六个像素包含对应于快门时间/v的两个部分的背景分量和对应于快门时间/v的两个部分的前景分量，因此，左数第六个像素的混合比率α是1/2。左数第七个像素包含对应于快门时间/v的三个部分的背景分量和对应于快门时间/v的一个部分的前景分量，因此，左数第七个像素的混合比率α是3/4。

能够假设对应于前景的目标是刚体，并且前景目标以匀速运动，使得其在随后帧中被向右显示四个像素。因此，例如，对应于快门打开时起的快门时间/v的第一部分的、图10中左数第四个像素的前景分量F07/v等于对应于快门打开时起的快门时间/v的第二部分的、图10中左数第五个像素的前景分量。类似地，前景分量F07/v等于对应于快门打开时起的快门时间/v的第三部分的、图10中左数第六个像素的前景分量，以及对应于快门打开时起的快门时间/v的第四部分的、图10中左数第七个像素的前景分量。

能够假设对应于前景的目标是刚体，并且前景目标以匀速运动，使得其在随后帧中被向右显示四个像素。因此，例如，对应于快门打开时起的快门时间/v的第一部分的、图10中左数第三个像素的前景分量F06/v等于对应于快门打开时起的快门时间/v的第二部分的、图10中左数第四个像素的前景分量。类似地，前景分量F06/v等于对应于快门打开时起的快门时间/v的第三部分的、图10中左数第五个像素的前景分量，以及对应于快门打开时起的快门时间/v的第四部分的、图10中左数第六个像素的前景分量。

能够假设对应于前景的目标是刚体，并且前景目标以匀速运动，使得其在随后帧中被向右显示四个像素。因此，例如，对应于快门打开时起的快门时间/v的第一部分的、图10中左数第二个像素的前景分量F05/v等于对应于快门打开时起的快门时间/v的第二部分的、图10中左数第三个像素的前景分量。类似地，前景分量F05/v等于对应于快门打开时起的快门时间/v的第三部分的、图10中左数第四个像素的前景分量，以及对应于快门打开时起的快门时间/v的第四部分的、图10中左数第五个像素的前景分量。

能够假设对应于前景的目标是刚体，并且前景目标以匀速运动，使得其在随后帧中被向右显示四个像素。因此，例如，对应于快门打开时起的快门时间/v的第一部分的、图10中最左边像素的前景分量F04/v等于对应于快门打开时起的快门时间/v的第二部分的、图10中左数第二个像素的前景分量。类似地，前景分量F04/v等于对应于快门打开时起的快门时间/v的第三部分的、图10中左数第三个像素的前景分量，以及对应于快门打开时起的快门时间/v的第四部分的、图10中左数第四个像素的前景分量。

由于对应于运动目标的前景区域包含上述的运动模糊，其能够被称为“失真区域”。

图11表示当对应于前景的目标正在移向图11的右边时，通过在时间方向扩大包括未覆盖背景区域的一条线中像素的像素值而获得的模型。在图11中，运动量v是4。由于一帧是短周期，能够假设对应于前景的目标以匀速运动的刚体。在图11中，对应于前景的目标图像向右运动、使得当其在后续帧中被显示时，被定位为相对于参考帧向右四个像素。

在图11中，从最左边像素到第四个像素的像素属于背景区域。在图11中，左数第五个像素到第七个像素的像素属于混合区域，其是未覆盖背景区域。在图11中，最右边的像素属于前景区域。

对应于覆盖了对应于背景的目标的前景的目标是运动的、使得随着时间的流逝其渐渐地从对应于背景的目标移开。因此，在对应于快门时间之时间周期的确定时间上，在属于未覆盖背景区域的像素的像素值中包含的分量从前景分量变化到背景分量。

例如，由图11中的厚帧(thick frame)包围的像素值M′由下面的方程(2)表示。

M′＝F02/v+F01/v+B26/v+B26/v        (2)

例如，左数第五个像素包含对应于快门时间/v的三个部分的背景分量和对应于快门时间/v的一个快门部分的前景分量，因此，左数第五个像素的混合比率α是3/4。左数第六个像素包含对应于快门时间/v的两个部分的背景分量和对应于快门时间/v的两个部分的前景分量，因此，左数第六个像素的混合比率α是1/2。左数第七个像素包含对应于快门时间/v的一个部分的背景分量和对应于快门时间/v的三个部分的前景分量，因此，左数第七个像素的混合比率α是1/4。

当方程(1)和(2)被概括时，像素值M能够由方程(3)表示：

$M=\mathrm{\α}\·B+\underset{i}{\mathrm{\Σ}}\mathrm{Fi}/v---\left(3\right)$

这里，α是混合比率，B表示背景的像素值，Fi/v指定前景分量。

能够假设对应于前景的目标是刚体，其以匀速运动，并且运动量是4。因此，例如，对应于快门打开时起的快门时间/v的第一部分的、图11中左数第五个像素的前景分量F01/v等于对应于快门打开时起的快门时间/v的第二部分的、图11中左数第六个像素的前景分量。类似地，前景分量F01/v等于对应于快门打开时起的快门时间/v的第三部分的、图11中左数第七个像素的前景分量，以及对应于快门打开时起的快门时间/v的第四部分的、图11中左数第八个像素的前景分量。

能够假设对应于前景的目标是刚体，其以匀速运动，并且运动量是4。因此，例如，对应于快门打开时起的快门时间/v的第一部分的、图11中左数第六个像素的前景分量F02/v等于对应于快门打开时起的快门时间/v的第二部分的、图11中左数第七个像素的前景分量。类似地，前景分量F02/v等于对应于快门打开时起的快门时间/v的第三部分的、图11中左数第八个像素的前景分量。

能够假设对应于前景的目标是刚体，其以匀速运动，并且运动量是4。因此，例如，对应于快门打开时起的快门时间/v的第一部分的、图11中左数第七个像素的前景分量F03/v等于对应于快门打开时起的快门时间/v的第二部分的、图11中左数第八个像素的前景分量。

参考图9到11已经说明了虚拟分割部分的数目是4。虚拟分割部分的数目对应于运动量v。通常，运动量v对应于对应前景之目标的运动速度。例如，如果对应于前景的目标是运动的、使得当其被定位在随后的帧中时其相对于某个帧对右边被显示四个像素的话，则运动量v被设置为4。虚拟分割部分的数目根据该运动量v被设置为4。类似地，当对应于前景的目标是运动的、使得当其被定位在随后的帧中时其相对于某个帧对左边被显示六个像素时，则运动量v被设置为6，虚拟分割部分的数目被设置为6。

图12和13表示上述的前景区域、背景区域和由覆盖背景或者未覆盖背景构成的混合区域与对应于快门时间之分割时间周期的前景分量和背景分量的关系。

图12表示其中在前景区域、背景区域和混合区域中的像素从图像中被提取的例子，该图像包含对应于在静止背景之前运动的目标的前景。在图12表示的例子中，对应于由A表示之前景的目标正相对于屏幕水平地运动。

帧#n+1是在帧#n之后的帧，帧#n+2是在帧#n+1之后的帧。

在前景区域、背景区域和混合区域中的像素是从帧#n到帧#n+2之一个中被提取的，并且运动量v被设置为4。通过在时间方向扩大所提取像素的像素值而获得的模型被表示在图13中。

由于对应于前景的目标是运动的，前景区域中的像素值是由对应于快门时间/v的四个不同背景分量形成的。例如，图13表示的在前景区域中像素的最左边像素是由F01/v、F02/v、F03/v和F04/v构成的。即，前景中的像素包含运动模糊。

由于对应于背景的目标是静止的，在快门时间期间对应于背景的输入到传感器的光不变化。在这种情况下，背景区域中的像素值不包含运动模糊。

由覆盖背景区域或者未覆盖背景区域构成的混合区域中的像素值是由前景分量和背景分量形成的。

下面的说明给出通过在时间方向扩大在多个帧中并排排列的和当对应于目标的图像在运动时这些帧被重叠之时被定位在相同位置处的像素的像素值而获得的模型。例如，当对应于目标的图像正相对于屏幕水平运动时，在屏幕上排列的像素能够被选择作为并排排列的像素。

图14表示通过在时间方向扩大在由捕获对应于静止背景的目标而获得的图像的三个帧中并排排列的和当帧被重叠之时被定位在相同位置处的像素的像素值而获得的模型。帧#n是在帧#n-1之后的帧，帧#n+1是在帧#n之后的帧。相同的情况适用于其它帧。

图14表示的像素值B01到B12是对应于静止背景目标的像素值。由于对应于背景的目标是静止的，帧#n-1到帧#n+1中对应像素的像素值不变化。例如，位于具有帧#n-1中像素值B05的像素的对应位置上的帧#n中像素和帧#n+1中像素具有像素值B05。

图15表示通过在时间方向扩大在由捕获对应于正向图15右边运动的前景之目标以及对应于静止背景的目标而获得的图像的三个帧中并排排列的和当帧被重叠之时被定位在相同位置处的像素的像素值而获得的模型。图15表示的模型包含覆盖背景区域。

在图15中，能够假设对应于前景的目标以匀速运动的刚体，并且其运动使得其在随后的帧中被向右显示四个像素。因此，运动量v是4，以及虚拟分割部分的数目是4。

例如，对应于快门打开时起的快门时间/v的第一部分的图15中帧#n-1最左边像素的前景分量是F12/v，对应于快门打开时起的快门时间/v的第二部分的图15中左数第二像素的前景分量也是F12/v。当快门已经打开时快门时间/v的第三部分的前景分量和对应于快门打开时起的快门时间/v的第四部分的图15中左数第四像素的前景分量是F12/v。

对应于快门打开时起的快门时间/v的第二部分的图15中帧#n-1最左边像素的前景分量是F11/v。对应于快门打开时起的快门时间/v的第三部分的图15中左数第二像素的前景分量也是F11/v。对应于快门打开时起的快门时间/v的第四部分的图15中左数第三像素的前景分量是F11/v。

对应于快门打开时起的快门时间/v的第三部分的图15中帧#n-1最左边像素的前景分量是F10/v。对应于快门打开时起的快门时间/v的第四部分的图15中左数第二像素的前景分量也是F10/v。对应于快门打开时起的快门时间/v的第四部分的图15中帧#n-1最左边像素的前景分量是F09/v。

由于对应于背景的目标是静止的，对应于快门打开时起的快门时间/v的第一部分的图15中帧#n-1左数第二像素的背景分量是B01/v。对应于快门打开时起的快门时间/v的第一和第二部分的图15中帧#n-1左数第三像素的背景分量是B02/v。对应于快门打开时起的快门时间/v的第一到第三部分的图15中帧#n-1左数第四像素的背景分量是B03/v。

图15的在帧#n-1中，左数最左边像素属于前景区域，而左数第二到第四像素属于混合区域，其是覆盖背景区域。

图15中帧#n-1的左数第五到第十二像素属于背景区域，并且其像素值分别是B04到B11。

图15中帧#n的左数第一到第五像素属于前景区域。帧#n前景区域中快门时间/v的前景分量是F05/v到F12/v的任何一个。

能够假设对应于前景的目标以匀速运动的刚体，以及其是运动的、使得前景图像在随后的帧中被向右显示四个像素。因此，对应于快门打开时起的快门时间/v的第一部分的图15中帧#n左数第五像素的前景分量是F12/v，以及对应于快门打开时起的快门时间/v的第二部分的图15中左数第六像素的前景分量也是F12/v。对应于快门打开时起的快门时间/v的第三部分的图15中左数第七像素的前景分量和对应于快门打开时起的快门时间/v的第四部分的图15中左数第八像素的前景分量是F12/v。

对应于快门打开时起的快门时间/v的第二部分的图15中帧#n左数第五像素的前景分量是F11/v。对应于快门打开时起的快门时间/v的第三部分的图15中左数第六像素的前景分量也是F11/v。对应于快门打开时起的快门时间/v的第四部分的图15中左数第七像素的前景分量是F11/v。

对应于快门打开时起的快门时间/v的第三部分的图15中帧#n左数第五像素的前景分量是F10/v。对应于快门打开时起的快门时间/v的第四部分的图15中左数第六像素的前景分量也是F10/v。对应于快门打开时起的快门时间/v的第四部分的图15中帧#n的左数第五像素的前景分量是F09/v。

由于对应于背景的目标是静止的，对应于快门打开时起的快门时间/v的第一部分的图15中帧#n左数第六像素的背景分量是B05/v。对应于快门打开时起的快门时间/v的第一和第二部分的图15中帧#n左数第七像素的背景分量是B06/v。对应于快门打开时起的快门时间/v的第一到第三部分的图15中帧#n左数第八像素的背景分量是B07/v。

图15的在帧#n中，左数第六到第八像素属于混合区域，其是覆盖背景区域。

图15中帧#n的左数第九到第十二像素属于背景区域，并且其像素值分别是B08到B11。

图15中帧#n+1的左数第一到第九像素属于前景区域。帧#n+1前景区域中快门时间/v的前景分量是F01/v到F12/v的任何一个。

能够假设对应于前景的目标以匀速运动的刚体，以及其是运动的、使得前景图像在随后的帧中向右边被显示四个像素。因此，对应于快门打开时起的快门时间/v的第一部分的图15中帧#n+1左数第九像素的前景分量是F12/v，以及对应于快门打开时起的快门时间/v的第二部分的图15中左数第十像素的前景分量也是F12/v。对应于快门打开时起的快门时间/v的第三部分的图15中左数第十一像素的前景分量和对应于快门打开时起的快门时间/v的第四部分的图15中左数第十二像素的前景分量是F12/v。

对应于快门打开时起的快门时间/v的第二部分的图15中帧#n+1左数第九像素的前景分量是F11/v。对应于快门打开时起的快门时间/v的第三部分的图15中左数第十像素的前景分量也是F11/v。对应于快门打开时起的快门时间/v的第四部分的图15中左数第十一像素的前景分量是F11/v。

对应于快门打开时起的快门时间/v的第三部分的图15中帧#n+1左数第九像素的前景分量是F10/v。对应于快门打开时起的快门时间/v的第四部分的图15中左数第十像素的前景分量也是F10/v。对应于快门打开时起的快门时间/v的第四部分的图15中帧#n+1的左数第十像素的前景分量是F09/v。

由于对应于背景的目标是静止的，对应于快门打开时起的快门时间/v的第一部分的图15中帧#n+1左数第十像素的背景分量是B09/v。对应于快门打开时起的快门时间/v的第一和第二部分的图15中帧#n+1左数第十一像素的背景分量是B10/v。对应于快门打开时起的快门时间/v的第一到第三部分的图15中帧#n+1左数第十二像素的背景分量是B11/v。

图15的在帧#n+1中，左数第十到第十二像素属于混合区域，其是覆盖背景区域。

图16是通过从图15表示的像素值中提取前景目标获得的图像的模型。

图17表示通过在时间方向扩大在由捕获对应于正在向图17右边运动的前景之目标以及对应于静止背景的目标而获得的图像的三个帧中并排排列的和当帧被重叠之时被定位在相同位置处的像素的像素值而获得的模型。图17中表示的模型包含未覆盖背景区域。

图17中，能够假设对应于前景的目标以匀速运动的刚体，并且其运动使得其在随后的帧中被向右显示四个像素。因此，运动量v是4。

例如，对应于快门打开时起的快门时间/v的第一部分的图17中帧#n-1最左边像素的前景分量是F13/v，并对应于快门打开时起的快门时间/v的第二部分的图17中左数第二像素的前景分量也是F13/v。对应于快门打开时起的快门时间/v的第三部分的图17中左数第三像素的前景分量，并对应于快门打开时起的快门时间/v的第四部分的图17中左数第四像素的前景分量是F13/v。

对应于快门打开时起的快门时间/v的第一部分的图17中帧#n-1左数第二像素的前景分量是F14/v。对应于快门打开时起的快门时间/v的第二部分的图17中左数第三像素的前景分量也是F14/v。对应于快门打开时起的快门时间/v的第一部分的图17中左数第三像素的前景分量是F15/v。

由于对应于背景的目标是静止的，对应于快门打开时起的快门时间/v的第二到第四部分的图17中帧#n-1最左边像素的背景分量是B25/v。对应于快门打开时起的快门时间/v的第三和第四部分的图17中帧#n-1左数第二像素的背景分量是B26/v。对应于快门打开时起的快门时间/v的第四部分的图17中帧#n-1左数第三像素的背景分量是B27/v。

图17的在帧#n-1中，最左边像素到第三像素属于混合区域，其是未覆盖背景区域。

图17中从帧#n-1的左边的第四到第十二像素属于前景区域。该帧的前景分量是F13/v到F24/v的任何一个。

图17中从帧#n的左边的最左边像素到第四像素属于背景区域，并且其像素值分别是B25到B28。

能够假设对应于前景的目标以匀速运动的刚体，以及其是运动的、使得其在随后的帧中被向右显示四个像素。因此，对应于快门打开时起的快门时间/v的第一部分的图17中帧#n左数第五像素的前景分量是F13/v，以及对应于快门打开时起的快门时间/v的第二部分的图17中左数第六像素的前景分量也是F13/v。对应于快门打开时起的快门时间/v的第三部分的图17中左数第七像素的前景分量和对应于快门打开时起的快门时间/v的第四部分的图17中左数第八像素的前景分量是F13/v。

对应于快门打开时起的快门时间/v的第一部分的图17中帧#n左数第六像素的前景分量是F14/v。对应于快门打开时起的快门时间/v的第二部分的图17中左数第七像素的前景分量也是F14/v。对应于快门打开时起的快门时间/v的第一部分的图17中左数第八像素的前景分量是F15/v。

由于对应于背景的目标是静止的，对应于快门打开时起的快门时间/v的第二到第四部分的图17中帧#n左数第五像素的背景分量是B29/v。对应于快门打开时起的快门时间/v的第三和第四部分的图17中帧#n左数第六像素的背景分量是B30/v。对应于快门打开时起的快门时间/v的第四部分的图17中帧#n左数第七像素的背景分量是B31/v。

图17的在帧#n中，左数第五像素到第七像素属于混合区域，其是未覆盖背景区域。

图17中从帧#n的左边的第八到第十二像素属于前景区域。对应于快门时间/v时间周期的帧#n的前景区域的值是F13/v到F20/v的任何一个。

图17中从帧#n+1的左边的最左边像素到第八像素属于背景区域，并且其像素值分别是B25到B32。

能够假设对应于前景的目标以匀速运动的刚体，以及其是运动的、使得其在随后的帧中被向右显示四个像素。因此，对应于快门打开时起的快门时间/v的第一部分的图17中帧#n+1左数第九像素的前景分量是F13/v，以及对应于快门打开时起的快门时间/v的第二部分的图17中左数第十像素的前景分量也是F13/v。对应于快门打开时起的快门时间/v的第三部分的图17中左数第十一像素的前景分量和对应于快门打开时起的快门时间/v的第四部分的图17中左数第十二像素的前景分量是F13/v。

对应于快门打开时起的快门时间/v的第一部分的图17中帧#n+1左数第十像素的前景分量是F14/v。对应于快门打开时起的快门时间/v的第二部分的图17中左数第十一像素的前景分量也是F14/v。对应于快门打开时起的快门时间/v的第一部分的图17中左数第十二像素的前景分量是F15/v。

由于对应于背景的目标是静止的，对应于快门打开时起的快门时间/v的第二到第四部分的图17中帧#n+1左数第九像素的背景分量是B33/v。对应于快门打开时起的快门时间/v的第三和第四部分的图17中帧#n+1左数第十像素的背景分量是B34/v。对应于快门打开时起的快门时间/v的第四部分的图17中帧#n+1左数第十一像素的背景分量是B35/v。

图17的在帧#n+1中，图17左数第九像素到第十一像素属于混合区域，其是未覆盖背景区域。

图17中从帧#n+1的左边的第十二像素属于前景区域。帧#n+1的前景区域中快门时间/v内的前景分量分别是F13到F16的任何一个。

图18表示通过从图17中表示的像素值中提取前景分量获得的图像的模型。

回来参考图2，区域规定单元103通过使用多个帧的像素值来规定表示输入图像的单独像素是属于前景区域、背景区域、覆盖背景区域或者未覆盖背景区域之哪一个的标志(f1ag)，并将该标志作为区域信息提供给混合比率计算器104和运动模糊调节单元106。

混合比率计算器104基于多个帧的像素值和区域信息计算在混合区域中包含的每个像素的混合比率α，并且将所计算的混合比率α提供给前景/背景分离器105。

前景/背景分离器105基于多个帧的像素值，区域信息和混合比率α提取仅仅由前景分量构成的前景分量图像，并将该前景分量图像提供给运动模糊调节单元106。

基于从前景/背景分离器105提供的前景分量图像，从运动检测器102提供的运动矢量，以及从区域规定单元103提供的区域信息，运动模糊调节单元106调节在前景分量图像中包含的运动模糊量，然后输出其中运动模糊被调节的前景分量图像。

下面参考图19说明通过图像处理设备完成的用于调节运动模糊量的处理。在步骤S11，区域规定单元103执行区域规定处理，其基于输入图像用于产生表示输入图像的每个像素是属于前景区域、背景区域、覆盖背景区域或者未覆盖背景区域之哪一个的区域信息。下面给出区域规定处理的细节。区域规定单元103将所产生的区域信息提供给混合比率计算器104。

在步骤S11，区域规定单元103可以基于输入图像产生表示输入图像的每个像素是属于前景区域，背景区域或者混合区域(与每个像素是否属于覆盖背景区域或者未覆盖背景区域无关)之哪一个的区域信息。在这种情况下，前景/背景分离器105和运动模糊调节单元106基于运动矢量的方向确定混合区域是否是覆盖背景区域还是未覆盖背景区域。例如，如果输入图像在运动矢量的方向上被布置成前景区域，混合区域和背景区域的顺序，则确定该混合区域是覆盖背景区域。如果输入图像在运动矢量的方向上被布置成背景区域，混合区域和前景区域的顺序，则确定该混合区域是未覆盖背景区域。

在步骤S12，混合比率计算器104基于输入图像和区域信息计算在混合区域中包含的每个像素的混合比率α。下面给出混合比率计算处理的细节。混合比率计算器104将计算的混合比率α提供给前景/背景分离器105。

在步骤S13，前景/背景分离器105基于区域信息和混合比率α从输入图像中提取前景分量和将前景分量提供给运动模糊调节单元106作为前景分量图像。

在步骤S14，运动模糊调节单元106基于运动矢量和区域信息产生表示在运动方向上布置的和属于未覆盖背景区域，前景区域和覆盖背景区域之任何一个的连续像素之位置的处理单位，并且调节在对应于该处理单位之前景分量中包含的运动模糊量。下面给出用于调节运动模糊量的处理的细节。

在步骤S15，图像处理设备确定该处理是否对整个屏幕完成。如果其确定该处理没对整个屏幕完成，则处理前进到步骤S14，并且重复用于调节关于对应于该处理单位的前景分量之运动模糊量的处理。

如果在步骤S15确定该处理对整个屏幕完成，则处理被完成。

在这种方式下，图像处理设备能够通过分离前景和背景来调节在前景中包含的运动模糊量。即，图像处理设备能够调节在表示前景像素的像素值的采样数据中包含的运动模糊量。

下面说明区域规定单元103、混合比率计算器104、前景/背景分离器105和运动模糊调节单元106之每一个的结构。

图20是表示区域规定单元103结构例子的方框图。

帧存储器201存储以帧为单位的输入图像。帧存储器201存储帧#n-1(其是在帧#n之前一帧)、存储帧#n以及存储帧#n+1(其是在帧#n之后一帧)。

静止/运动确定部分202-1从帧存储器201读出其中该像素属于的区域被确定的帧#n之指定像素的像素值，以及读出位于与帧#n之指定像素相同位置的帧#n-1的像素的像素值，并且计算在像素值之差的绝对值。静止/运动确定部分202-1确定在帧#n的像素值和帧#n-1的像素值之差的绝对值是否大于预先设置的阈值Th。如果确定出在像素值之差的绝对值大于阈值Th，则表示“运动”的静止/运动确定提供给区域确定部分203。如果确定出在帧#n的像素的像素值和帧#n-1的像素的像素值之差的绝对值小于或者等于阈值Th，静止/运动确定部分202-1将表示“静止”的静止/运动确定提供给区域确定部分203。

静止/运动确定部分202-2从帧存储器201读出其中该像素属于的区域被确定的帧#n之指定像素的像素值，以及读出位于与帧#n之指定像素相同位置的帧#n+1的像素的像素值，并且计算在像素值之差的绝对值。静止/运动确定部分202-2确定在帧#n+1的像素值和帧#n的像素值之差的绝对值是否大于预先设置的阈值Th。如果确定出在像素值之差的绝对值大于阈值Th，则表示“运动”的静止/运动确定提供给区域确定部分203。如果确定出在帧#n+1的像素的像素值和帧#n的像素的像素值之差的绝对值小于或者等于阈值Th，静止/运动确定部分202-2将表示“静止”的静止/运动确定提供给区域确定部分203。

当从静止/运动确定部分202-1提供的静止/运动确定表示“静止”时和当从静止/运动确定部分202-2提供的静止/运动确定表示“静止”时，区域确定部分203确定帧#n的指定像素属于静止区域，并且在确定标志存储帧存储器204的对应于帧#n之指定像素的地址中设置表示该像素属于静止区域的标志。

当从静止/运动确定部分202-1提供的静止/运动确定表示“运动”时或者当从静止/运动确定部分202-2提供的静止/运动确定表示“运动”时，区域确定部分203确定帧#n的指定像素属于运动区域，并且在确定标志存储帧存储器204的对应于帧#n之指定像素的地址中设置该像素属于运动区域的标志。

当从静止/运动确定部分202-1提供的静止/运动确定表示“静止”时和当从静止/运动确定部分202-2提供的静止/运动确定表示“运动”时，区域确定部分203确定帧#n+1的指定像素属于覆盖背景区域，并且在确定标志存储帧存储器204的对应于帧#n+1之指定像素的地址中设置表示该指定像素属于覆盖背景区域的标志。

当从静止/运动确定部分202-1提供的静止/运动确定表示“运动”时或者当从静止/运动确定部分202-2提供的静止/运动确定表示“静止”时，区域确定部分203确定帧#n-1的指定像素属于未覆盖背景区域，并且在确定标志存储帧存储器204的对应于帧#n-1之指定像素的地址中设置表示该指定像素属于未覆盖背景区域的标志。

通过区域确定部分203在确定标志存储帧存储器204中设置的标志是例如2位标志。当该标志是“00”时，其表示静止区域。当该标志是“01”时，其表示未覆盖背景区域。当该标志是“10”时，其表示覆盖背景区域。当该标志是“11”时，其表示运动区域。

确定标志存储帧存储器204单独地存储与像素相联系的2位标志，即，表示帧#n-1中指定像素之区域的标志，表示帧#n中指定像素之区域的标志，以及表示帧#n+1中指定像素之区域的标志。

当区域规定单元103完成了一帧之区域的确定时，确定标志存储帧存储器204作为区域信息输出其中表示未覆盖背景区域、运动区域、静止区域和覆盖背景区域之标志被设置的帧#n+1的示志。

当区域规定单元103完成了一帧之区域的确定时，确定标志存储帧存储器204移位帧#n的标志，其中表示未覆盖背景区域，运动区域和静止区域之标志被设置到帧#n+1。

当区域规定单元103完成了一帧之区域的确定时，确定标志存储帧存储器204移位帧#n-1的标志，其中表示未覆盖背景区域之标志被设置到帧#n。

当区域规定单元103完成了一帧之区域的确定时，确定标志存储帧存储器204初始化帧#n-1。

即，当区域规定单元103开始确定一帧之区域时，在确定标志存储帧存储器204中存储的帧#n-1中不设置标志。

当区域规定单元103开始确定一帧之区域时，在确定标志存储帧存储器204中存储的帧#n中设置表示未覆盖背景区域的标志。

当区域规定单元103开始确定一帧之区域时，在确定标志存储帧存储器204中存储的帧#n+1中设置表示未覆盖背景区域的标志，表示静止区域的标志和表示运动区域的标志。

因此，区域确定部分203在帧#n中设置表示静止区域或者运动区域的标志，其被存储在确定标志存储帧存储器204中，其中设置了表示未覆盖背景区域的标志。

当表示未覆盖背景区域的标志或者表示覆盖背景区域的标志已经被设置在帧#n的对应地址中时，区域确定部分203不设置表示运动区域的标志。

区域确定部分203在帧#n+1中设置表示覆盖背景区域的标志，其被存储在确定标志存储帧存储器204中，其中设置了表示未覆盖背景区域的标志，表示静止区域的标志和表示运动区域的标志。

下面参考图21到25说明通过区域规定单元103完成的处理的例子。

当对应于前景的目标是运动的时，对应于屏幕上目标的图像的位置在每帧中变化。如图21中表示，对应于帧#n中位于由Yn(x，y)表示之位置的目标的图像被定位在帧#n+1中的Yn+1(x，y)，其在帧#n之后。

图22中表示了通过在时间方向扩大在对应于前景目标之图像的运动方向上并排排列的像素的像素值而获得的模型。例如，如果对应于前景目标之图像的运动方向是关于屏幕为水平的，则图22中表示的模型是通过在时间方向扩大在并排的线上所布置的像素的像素值而获得的模型。

图22中，帧#n中的线等于帧#n+1中的线。

对应于帧#n中左数第二像素到第十三像素中包含的目标的前景分量被包含在帧#n+1中左数第六像素到第十七像素中。

在帧#n中，属于覆盖背景区域的像素是左数第十一到第十三像素，属于未覆盖背景区域的像素是左数第二到第四像素。在帧#n+1中，属于覆盖背景区域的像素是左数第十五到第十七像素，属于未覆盖背景区域的像素是左数第六到第八像素。

在图22表示的例子中，由于在帧#n中包含的前景分量在帧#n+1中被移动四个像素，运动量v是4。虚拟分割部分的数目根据该运动量v也为4。

下面的说明给出在指定帧之前和之后的帧中属于混合区域的像素的像素值的变化。

图23中，属于其中背景是静止的并且前景中运动量v是4的帧#n+1覆盖背景区域的像素是左数第十五到第十七像素。由于运动量v是4，前帧#n中左数第十五到第十七帧仅仅包含背景分量和属于背景区域。是帧#n之前一帧的帧#n-1中左数第十五到第十七像素仅仅包含背景分量和属于背景区域。

由于对应于背景的目标是静止的，帧#n中左数第十五像素的像素值与在帧#n-1中左数第十五像素的像素值不变化。类似地，帧#n中左数第十六像素的像素值与在帧#n-1中左数第十六像素的像素值不变化，并帧#n中左数第十七像素的像素值与在帧#n-1中左数第十七像素的像素值不变化。

即，对应于属于帧#n+1中覆盖背景区域的像素的帧#n和帧#n-1中的像素仅仅是由背景分量构成的，并且其像素值不改变。因此，像素值之间差别的绝对值几乎为0。因此，通过静止/运动确定部分202-1为对应于属于帧#n+1中覆盖背景区域的像素的帧#n和帧#n-1中的像素而做的静止/运动确定是“静止”。

由于属于帧#n+1覆盖背景区域的像素包含前景分量，其像素值与仅仅由背景分量构成的帧#n的像素值是不同的。因此，通过静止/运动确定部分202-2为属于帧#n+1混合区域的像素和帧#n中对应像素而做的静止/运动确定是“运动”的。

当表示“运动”的静止/运动确定结果被从静止/运动确定部分202-2提供时，并当表示“静止”的静止/运动确定结果被从静止/运动确定部分202-1提供时，如以上所讨论，区域确定部分203确定帧#n+1的对应像素属于覆盖背景区域。

图24中，在其中背景是静止的和前景的运动量v是4的在帧#n-1中，在未覆盖背景区域中包含的像素是左数第二到第四像素。由于运动量v是4，随后帧#n中左数第二到第四像素仅仅包含背景分量和属于背景区域。在帧#n的后面的帧#n+1中，左数第二到第四像素仅仅包含背景分量和属于背景区域。

由于对应于背景的目标是静止的，帧#n+1中左数第二像素的像素值与在帧#n中左数第二像素的像素值不变化。类似地，帧#n+1中左数第三像素的像素值与在帧#n中左数第三像素的像素值不变化，并帧#n+1中左数第四像素的像素值与在帧#n中左数第四像素的像素值不变化。

即，对应于属于帧#n-1中未覆盖背景区域的像素的帧#n和帧#n+1中的像素仅仅是由背景分量构成的，并且其像素值不改变。因此，像素值之间差别的绝对值几乎为0。因此，通过静止/运动确定部分202-2为对应于属于帧#n中未覆盖背景区域的像素的帧#n和帧#n+1中的像素而做的静止/运动确定是“静止”。

由于属于帧#n-1未覆盖背景区域的像素包含前景分量，其像素值与仅仅由背景分量构成的帧#n的像素值是不同的。因此，通过静止/运动确定部分202-1为属于帧#n-1混合区域的像素和帧#n中对应像素而做的静止/运动确定是“运动”的。

当表示“运动”的静止/运动确定结果被从静止/运动确定部分202-1提供时，并当表示“静止”的静止/运动确定结果被从静止/运动确定部分202-2提供时，如以上所讨论，区域确定部分203确定帧#n-1的对应像素属于未覆盖背景区域。

图25表示由区域规定单元103做的确定条件。当对位于与要被处理的帧#n+1中像素之相同图像位置的帧#n-1中像素和对位于与帧#n+1中像素之相同位置的帧#n中像素的确定结果是静止的时，并当对帧#n+1中像素和位于与帧#n+1中像素之相同图像位置的帧#n中像素的确定结果是运动的时，区域规定单元103确定帧#n+1中像素属于覆盖背景区域。

当对帧#n中像素和位于与帧#n中像素之相同图像位置的帧#n-1中像素的确定结果是静止的时，并当对帧#n中像素和位于与帧#n中像素之相同图像位置的帧#n+1中像素的确定结果是静止的时，区域规定单元103确定帧#n中像素属于静止区域。

当对帧#n中像素和位于与帧#n中像素之相同图像位置的帧#n-1中像素的确定结果是运动的时，并当对帧#n中像素和位于与帧#n中像素之相同图像位置的帧#n+1中像素的确定结果是运动的时，区域规定单元103确定帧#n中像素属于运动区域。

当对帧#n-1中像素和位于与帧#n-1中像素之相同图像位置的帧#n中像素的确定结果是运动的时，并当对位于帧#n-1中像素之相同图像位置的帧#n中像素和位于与帧#n-1中像素之相同图像位置的帧#n+1中像素的确定结果是静止的时，区域规定单元103确定帧#n-1中像素属于未覆盖背景区域。

如以上所讨论，区域规定单元103规定前景区域、背景区域、覆盖背景区域和未覆盖背景区域。区域规定单元103要求对应于三帧的时间，用于规定一帧的前景区域、背景区域、覆盖背景区域和未覆盖背景区域。

图26表示通过区域规定单元103获得的区域确定结果的例子。在对应于图26中表示结果的输入图像中，前景目标在图中是从左边运动到右边。

可见，覆盖背景区域是在其中前景目标正在运动的方向上被观察的(图26的右侧)，未覆盖背景区域是在与其中前景目标正在运动的方向之相反方向上被观察的(图26的左侧)。

图27是表示图26表示的确定结果中前景目标左上部分的放大图。

由于前景目标在图27中正向右边运动，在图27中可见，由图27中A表示的覆盖背景区域被定位在图27中B表示的前景区域的右侧，由图27中C表示的未覆盖背景区域被定位在前景区域的左侧。图27中，D表示背景区域。

下面参考图28和29的流程图说明由区域规定单元103完成的区域规定处理。在步骤S201，帧存储器201通过帧#n+1获得将要被确定的帧#n-1的图像。

在步骤S202，静止/运动确定部分202-1确定对于帧#n-1中像素和位于相同位置的帧#n中像素的确定结果是否是静止的。如果确定出该确定结果是静止的，则处理前进到步骤S203，其中静止/运动确定部分202-2确定对于帧#n中像素和位于相同位置的帧#n+1中像素的确定结果是否是静止的。

如果在步骤S203确定出对于帧#n中像素和位于相同位置的帧#n+1中像素的确定结果是静止的话，则处理前进到步骤S204。在步骤S204，区域确定部分203在确定标志存储帧存储器204存储的帧#n的对应地址中设置“00”，其表示要被处理的像素属于静止区域。该处理然后前进到步骤S205。

如果在步骤S202确定出对于帧#n-1中像素和位于相同位置的帧#n中像素的确定结果是运动的话，或者如果在步骤S203确定出对于帧#n中像素和位于相同位置的帧#n+1中像素的确定结果是运动的话，则要被处理的像素不属于静止区域。因此，步骤S204的处理被跳过，处理前进到步骤S205。

在步骤S205，静止/运动确定部分202-1确定对于帧#n-1中像素和位于相同位置的帧#n中像素的确定结果是否是运动的。如果确定出该确定结果是运动的，则处理前进到步骤S206，其中静止/运动确定部分202-2确定对于帧#n中像素和位于相同位置的帧#n+1中像素的确定结果是否是运动的。

如果在步骤S206确定出对于帧#n中像素和位于相同位置的帧#n+1中像素的确定结果是运动的话，则处理前进到步骤S207。在步骤S207，区域确定部分203基于在确定标志存储帧存储器204存储的帧#n的标志确定对应的像素是否已经被确定为是未覆盖背景区域。如果发现对应的像素还没有被确定为是未覆盖背景区域，该处理前进到步骤S208。

在步骤S208，区域确定部分203在确定标志存储帧存储器204存储的帧#n的对应地址中设置“11”，其表示像素属于运动区域。该处理然后前进到步骤S209。

如果在步骤S205确定出对于帧#n-1中像素和位于相同位置的帧#n中像素的确定结果是静止的话，或者如果在步骤S206确定出对于帧#n中像素和位于相同位置的帧#n+1中像素的确定结果是静止的话，或者如果在步骤S207发现对应的像素已经被确定为是未覆盖背景区域，则帧#n中的像素不属于运动区域。因此，步骤S208的处理被跳过，处理前进到步骤S209。

在步骤S209，静止/运动确定部分202-1确定对于帧#n-1中像素和位于相同位置的帧#n中像素的确定结果是否是静止的。如果确定出该确定结果是静止的，则处理前进到步骤S210。在步骤S210，静止/运动确定部分202-2确定对于帧#n中像素和位于相同位置的帧#n+1中像素的确定结果是否是运动的。

如果在步骤S210确定出对于帧#n中像素和位于相同位置的帧#n+1中像素的确定结果是运动的话，则处理前进到步骤S211。在步骤S211，区域确定部分203在确定标志存储帧存储器204存储的帧#n+1的对应地址中设置“10”，其表示像素属于覆盖背景区域，并且处理然后前进到步骤S212。

如果在步骤S209确定出对于帧#n-1中像素和位于相同位置的帧#n中像素的确定结果是运动的话，或者如果在步骤S210确定出对于帧#n中像素和位于相同位置的帧#n+1中像素的确定结果是静止的话，则帧#n+1中的像素不属于覆盖背景区域。因此，步骤S211的处理被跳过，处理前进到步骤S212。

在步骤S212，静止/运动确定部分202-1确定对于帧#n-1中像素和位于相同位置的帧#n中像素的确定结果是否是运动的。如果在步骤S212确定出该确定结果是运动的，则处理前进到步骤S213，其中静止/运动确定部分202-2确定对于帧#n中像素和位于相同位置的帧#n+1中像素的确定结果是否是静止的。

如果在步骤S213确定出对于帧#n中像素和位于相同位置的帧#n+1中像素的确定结果是静止的话，则处理前进到步骤S214。在步骤S214，区域确定部分203在确定标志存储帧存储器204存储的帧#n-1的对应地址中设置“01”，其表示要被处理的像素属于未覆盖背景区域。该处理然后前进到步骤S215。

如果在步骤S212确定出对于帧#n-1中像素和位于相同位置的帧#n中像素的确定结果是静止的话，或者如果在步骤S213确定出对于帧#n中像素和帧#n+1中像素的确定结果是运动的话，则帧#n-1中的像素不属于未覆盖背景区域。因此，步骤S214的处理被跳过，处理前进到步骤S215。

在步骤S215，区域规定单元103确定所有像素的区域是否被规定。如果确定出所有像素的区域还没有被规定，则处理返回到步骤S202，并且对剩余像素重复该区域规定处理。

如果在步骤S215确定出所有像素的区域被规定，处理前进到步骤S216。在步骤S216，确定标志存储帧存储器204输出表示前景区域、背景区域、覆盖背景区域或者未覆盖背景区域的帧#n+1的标志作为区域信息。

在步骤S217，确定标志存储帧存储器204将帧#n的标志移位到帧#n+1。

在步骤S218，确定标志存储帧存储器204将帧#n-1的标志移位到帧#n。

在步骤S219，确定标志存储帧存储器204初始化帧#n-1，并且处理完成。

如以上所讨论，区域规定单元103能够产生区域信息，其表示帧中包含的每个像素属于运动区域，静止区域，未覆盖背景区域，或者覆盖背景区域的哪一个。

区域规定单元103可以将逻辑或施加到对应于未覆盖背景区域的区域信息和对应于覆盖背景区域的区域信息，以便产生对应于混合区域的区域信息，然后可以产生由标志构成的区域信息，该标志表示帧中包含的单个像素属于运动区域，静止区域，或者混合区域的哪一个。

当对应于前景的目标具有纹理(texture)时，区域规定单元103能够更精确地规定运动区域。

区域规定单元103能够将表示运动区域的区域信息作为表示前景区域的区域信息输出，并将表示静止区域的区域信息作为表示背景区域的区域信息输出。

如以上所讨论，区域规定单元103能够产生区域信息，其表示帧中包含的每个像素属于运动区域，静止区域，未覆盖背景区域，或者覆盖背景区域的哪一个。区域规定单元103能够用相对小存储空间产生区域信息。

图30是表示混合比率计算器104的结构的例子的方框图。估算混合比率处理器401通过基于输入图像计算覆盖背景区域的模型来计算每个像素的估算混合比率，并将所计算的估算混合比率提供给混合比率确定部分403。

估算混合比率处理器402通过基于输入图像计算未覆盖背景区域的模型来计算每个像素的估算混合比率，并将所计算的估算混合比率提供给混合比率确定部分403。

由于能够假设对应于前景的目标在快门时间之内以匀速运动的，属于混合区域的像素的混合比率α展现出下面的特性。即，混合比率α根据像素中位置改变而线性地变化。如果像素中位置改变是一维的，则混合比率α的变化能够被线性地表示。如果像素中位置改变是二维的，则混合比率α的变化能够被表示在平面上。

由于一帧的周期是短的，能够假设对应于前景的目标以匀速运动的刚体。混合比率α的梯度在前景的快门时间之内是反比于运动量v。

理想混合比率α的例子被表示在图31中。混合区域中理想混合比率α的梯度1能够由运动量v的倒数表示。

如图31中表示，理想混合比率α具有在背景区域中为1的值，在前景区域中为0的值，并在混合区域中为大于0和小于1的值。

在图32表示的例子中，通过使用帧#n-1中左数第七个像素的像素值P06，帧#n中左数第七个像素的像素值C06能够由方程(4)表示。

$C06=B06/v+B06/v+F01/v+F02/v$

$=P06/v+P06/v+F01/v+F02/v---\left(4\right)$

$=2/v\·P06+\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}/v$

方程(4)中，像素值C06是由混合区域中像素的像素值M表示的，而像素值P06是由背景区域中像素的像素值B表示的。即，混合区域中像素的像素值M和背景区域中像素的像素值B能够分别由方程(5)和(6)表示。

M＝C06            (5)

B＝P06            (6)

方程(4)中，2/v相当于混合比率α。由于运动量是4，帧#n中左数第七个像素的混合比率α是0.5。

如以上所讨论，指定帧#n中的像素值C被认为是混合区域中的像素值，而在帧#n之前的帧#n-1的像素值P被认为是背景区域中的像素值。因此，表示混合比率α的方程(3)能够由方程(7)表示：

C＝α·P+f        (7)

这里方程(7)中的f表示在指定像素中包含的前景分量之和∑iFi/v。在方程(7)中包含的变量是两个因数，即混合比率α和前景分量之和f。

类似地，图33中表示出通过在时间方向扩大其中运动量v是4和在未覆盖背景区域中虚拟分割部分的数目是4之像素值而获得的模型。

正如在覆盖背景区域的表示中，在未覆盖背景区域中，指定帧#n的像素值C被认为是混合区域中的像素值，而在帧#n之后的帧#n+1的像素值N被认为是背景区域中的像素值。因此，表示混合比率α的方程(3)能够由方程(8)表示：

C＝α·N+f        (8)

已经在假设背景目标是静止的前提下说明了该实施例。但是，通过使用被定位对应于背景之运动量v的像素的像素值，方程(4)到(8)能够被应用于其中背景目标是运动的情况。例如现在假设在图32中，对应于背景的目标的运动量v是2和虚拟分割部分的数目是2。在这种情况下，当对应于背景的目标正移向图32中的右边时，方程(6)中背景区域像素的像素值B是由像素值P04表示。

由于方程(7)和(8)每个都包含两个变量，在不修改方程的情况下不能够确定混合比率α。通常，图像具有强烈的空间相关性，因此，相互紧密临近的像素几乎具有相同的像素值。

由于前景分量具有空间强烈的相关性，方程被修改为使得前景分量之和f能够从在先或者在后帧中推导出，由此确定混合比率α。

图34帧#n中左数第十七像素的像素值Mc能够由方程(9)表达。

$\mathrm{Mc}=\frac{2}{v}\·B06+\underset{i=11}{\overset{12}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(9\right)$

方程(9)右边的第一项2/v对应于混合比率α。通过利用随后帧#n+1中的像素值，方程(9)右边的第二项能够由方程(10)表示。

$\underset{i=11}{\overset{12}{\mathrm{\Σ}}}\mathrm{Fi}/v=\mathrm{\β}\·\underset{i=7}{\overset{10}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(10\right)$

通过利用前景分量的空间相关性，现在假设方程(11)成立。

F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12   (11)

通过利用方程(11)，方程(10)能够被修改为方程(12)。

$\underset{i=11}{\overset{12}{\mathrm{\Σ}}}\mathrm{Fi}/v=\frac{2}{v}\·F=\mathrm{\β}\·\frac{4}{v}\·F---\left(12\right)$

结果，β能够由方程(13)表示。

β＝2/4                                     (13)

如果假设混合区域中的前景分量是相等的，如方程(11)表示的，因为内部比率，方程(14)能够适用于混合区域中的所有像素。

β＝1-α                                    (14)

如果方程(14)成立，方程(7)能够被展开为方程(15)。

$C=\mathrm{\α}\·P+f=\mathrm{\α}\·P+(1-\mathrm{\α})\·\underset{i=\mathrm{\γ}}{\overset{\mathrm{\γ}+v-1}{\mathrm{\Σ}}}\mathrm{Fi}/v=\mathrm{\α}\·P(1-\mathrm{\α})\·N---\left(15\right)$

类似地，如果方程(14)成立，方程(8)能够被展开为方程(16)。

$C=\mathrm{\α}\·N+f=\mathrm{\α}\·N+(1-\mathrm{\α})\·\underset{i=\mathrm{\γ}}{\overset{\mathrm{\γ}+v-1}{\mathrm{\Σ}}}\mathrm{Fi}/v=\mathrm{\α}\·N(1-\mathrm{\α})\·P---\left(16\right)$

在方程(15)和(16)中，由于C、N和P是公知的像素值，在方程(15)和(16)中包含的变量仅仅是混合比率α。方程(15)和(16)中C、N和P之间的关系被表示在图35中。C是帧#n中指定像素的像素值，为此计算混合比率α。N是位于空间对应于指定像素之位置的帧#n+1中像素的像素值。P是位于空间对应于指定像素之位置的帧#n-1中像素的像素值。

因此，由于在每个方程(15)和(16)中包含一个变量，混合比率α是通过利用三帧中的像素被计算的。通过求解方程(15)和(16)来求解正确混合比率α的条件如下。在混合区域具有相同前景分量的图像目标中，即在前景分量是静止时捕获的前景的图像目标中，在位于对应于前景目标之运动方向的图像目标边界上的连续像素的像素值，即两倍于运动量v的像素的数目一定是不变的。

如以上所讨论，属于覆盖背景区域的像素的混合比率α是通过方程(17)被计算的，属于未覆盖背景区域的像素的混合比率α是通过方程(18)被计算的。

α＝(C-N)/(P-N)         (17)

α＝(C-P)/(N-P)         (18)

图36是表示估计混合比率处理器401的结构的方框图。帧存储器421以帧为单位存储了输入图像，并将在被作为输入图像而输入的帧之后的帧提供给帧存储器422和混合比率计算器423。

帧存储器422以帧为单位存储了输入图像，并将从帧存储器421提供的帧之后的帧提供给混合比率计算器423。

因此，当帧#n+1被作为输入图像输入到混合比率计算器423时，帧存储器421将帧#n提供给混合比率计算器423，帧存储器422将帧#n-1提供给混合比率计算器423。

基于帧#n中指定像素的像素值C，位于对应于指定像素位置之位置的帧#n+1中像素的像素值N，以及位于对应于指定像素位置之位置的帧#n-1像素的像素值P，混合比率计算器423通过解方程(17)计算指定像素的估计混合比率和输出所计算的估计混合比率。例如，当背景是静止时，基于帧#n中指定像素的像素值C，位于与指定像素相同位置的帧#n+1中像素的像素值N，以及位于与指定像素相同位置的帧#n-1像素的像素值P，混合比率计算器423计算指定像素的估计混合比率和输出所计算的估计混合比率。

这样，估计混合比率计算器401基于输入图像计算估计的混合比率，并将它提供给混合比率确定部分403。

估计混合比率计算器401通过解方程(17)计算指定像素的估计混合比率。除了估计混合比率计算器402通过解方程(18)计算指定像素的不同估计混合比率之外，估计混合比率计算器402的操作类似于估计混合比率计算器401的操作。因此，估计混合比率计算器402的解释被省略。

图37表示由估计混合比率处理器401计算的估计混合比率的例子。图37表示的估计混合比率是当以匀速运动的前景目标之运动量v是11时通过一条线表示的结果。

可见，如图31中表示，估计混合比率在混合区域中几乎线性地变化。

回来参考图30，混合比率确定部分403基于从区域规定单元103提供的和表示要被计算混合比率α之像素属于前景区域、背景区域、覆盖背景区域或者未覆盖背景区域之哪一个的区域信息来设置混合比率α。混合比率确定部分403在对应像素属于前景区域时设置混合比率α为0，并在对应像素属于背景区域时设置混合比率α为1。在对应像素属于覆盖背景区域时，混合比率确定部分403设置混合比率α为从估计混合比率处理器401提供的估计混合比率。在对应像素属于未覆盖背景区域时，混合比率确定部分403设置混合比率α为从估计混合比率处理器402提供的估计混合比率。混合比率确定部分403输出已经基于区域信息被设置的混合比率α。

图38是表示混合比率计算器104的另一个结构的方框图。选择器441基于从区域规定单元103提供的区域信息将属于覆盖背景区域的像素和在前后帧中的对应像素提供给估计混合比率处理器442。选择器441基于从区域规定单元103提供的区域信息将属于未覆盖背景区域的像素和在前后帧中的对应像素提供给估计混合比率处理器443。

估计混合比率处理器442基于从选择器441输入的像素值通过方程(17)中表示的计算来计算属于覆盖背景区域之指定像素的估计混合比率，并将所计算的估计混合比率提供给选择器444。

估计混合比率处理器443基于从选择器441输入的像素值通过方程(18)中表示的计算来计算属于未覆盖背景区域之指定像素的估计混合比率，并将所计算的估计混合比率提供给选择器444。

基于从区域规定单元103提供的区域信息，选择器444选择估计的混合比率0和当指定像素属于前景区域时将其设置为混合比率α，以及选择估计的混合比率1和当指定像素属于背景区域时将其设置为混合比率α。当指定像素属于覆盖背景区域时，选择器444选择从估计混合比率处理器442提供的估计混合比率和将其设置为混合比率α。当指定像素属于未覆盖背景区域时，选择器444选择从估计混合比率处理器443提供的估计混合比率和将其设置为混合比率α。选择器444然后输出已经基于区域信息被选择和设置的混合比率α。

如以上所讨论，按图38表示构成的混合比率计算器104能够计算图像中包含的每个像素的混合比率α和输出所计算的混合比率α。

下面参考图39的流程图讨论通过按图30表示构成的混合比率计算器104完成的混合比率α之计算处理。在步骤S401，混合比率计算器104获得从区域规定单元103提供的区域信息。在步骤S402，估计混合比率处理器401执行通过使用对应于覆盖背景区域的模型来估计混合比率的处理，并将估计的混合比率提供给混合比率确定部分403。用于估计混合比率之处理的细节在下面参考图40的流程图进行讨论。

在步骤S403，估计混合比率处理器402执行通过使用对应于未覆盖背景区域的模型来估计混合比率的处理，并将估计的混合比率提供给混合比率确定部分403。

在步骤404，混合比率计算器104确定对整个帧是否已经估计了混合比率。如果确定出对整个帧还没有估计混合比率，则处理返回步骤S402，并且用于估计随后像素之混合比率的处理被执行。

如果在步骤S404确定出对整个帧已经估计了混合比率，则处理前进到步骤S405。在步骤S405，混合比率确定部分403基于从区域规定单元103提供的和表示要被计算混合比率α之像素属于前景区域、背景区域、覆盖背景区域或者未覆盖背景区域之哪一个的区域信息来设置混合比率α。混合比率确定部分403在对应像素属于前景区域时设置混合比率α为0，并在对应像素属于背景区域时设置混合比率α为1。在对应像素属于覆盖背景区域时，混合比率确定部分403设置混合比率α为从估计混合比率处理器401提供的估计混合比率。在对应像素属于未覆盖背景区域时，混合比率确定部分403设置混合比率α为从估计混合比率处理器402提供的估计混合比率。然后处理被完成。

如以上所讨论，混合比率计算器104基于从区域规定单元103提供的区域信息和输入图像能够计算表示对应于每个像素之特征质量的混合比率α。

按图38表示构成的混合比率计算器104完成的用于计算混合比率α的处理是类似于参考图39之流程图所讨论的，其说明因此被省略。

参考图40的流程图，现在给出在图39的步骤S402中通过使用对应于覆盖背景区域的模型进行的混合比率估计处理的说明。

在步骤S421，混合比率计算器423从帧存储器421中获得帧#n中指定像素的像素值C。

在步骤S422，混合比率计算器423从帧存储器422中获得对应于在输入图像中包含的指定像素之帧#n-1中像素的像素值P。

在步骤S423，混合比率计算器423获得对应于在输入图像中包含的指定像素之帧#n+1中像素的像素值N。

在步骤S424，混合比率计算器423基于帧#n中指定像素的像素值C，帧#n-1中像素的像素值P，并帧#n+1中像素的像素值N来计算估计混合比率。

在步骤S425，混合比率计算器423确定对整个帧是否已经完成了用于计算估计混合比率的处理。如果确定出对整个帧还没有完成用于计算估计混合比率的处理，则处理返回步骤S421，并且用于计算随后像素之估计混合比率的处理被重复。

如果在步骤S425确定出用于计算整个帧的估计混合比率的处理完成了，则结束处理。

如以上所讨论，估计混合比率处理器401能够基于输入图像计算估计混合比率。

在图39步骤S403中通过使用对应于未覆盖背景区域的模型所完成的混合比率估计处理是类似于通过使用对应于未覆盖背景区域的模型所完成的由图40之流程图表示的处理，其说明因此被省略。

图38中表示的估计混合比率处理器442和估计混合比率处理器443通过实现类似于图40的流程图的处理来计算估计混合比率，因此其解释被省略。

已经在假设对应于背景的目标是静止的前提下说明了实施例。但是，即使对应于背景区域的图像包含运动，也能够应用用于确定混合比率α的上述处理。例如，如果对应于背景区域的图像是均匀运动的，估计混合比率处理器401根据背景的运动来移位整个图像，并且以类似于其中对应于背景的目标是静止的情况的方式来完成处理。如果对应于背景区域的图像包含局部不同的运动，估计混合比率处理器401选择对应于运动的像素作为属于混合区域的对应像素，并且执行上述处理。

估计混合比率计算器104通过使用对应于覆盖背景区域的模型可以仅仅执行用于所有像素的混合比率估计处理，以便输出所计算的估计混合比率作为混合比率α。在这种情况下，混合比率α表示用于属于覆盖背景区域的像素的背景分量之背景分量的比率，以及表示用于属于未覆盖背景区域的像素的前景分量的比率。对于属于未覆盖背景区域的像素，计算了在混合比率α和1之差的绝对值，并且所计算的绝对值被设置为混合比率α。然后，图像处理设备能够确定表示用于属于未覆盖背景区域的像素的背景分量的比率的混合比率α。

类似地，混合比率计算器104通过使用对应于未覆盖背景区域的模型可以仅仅执行用于所有像素的混合比率估计处理，以便输出所计算的估计混合比率作为混合比率α。

下面讨论混合比率计算器104，其通过利用其中混合比率α线性变化的特征来计算混合比率α。

如以上所讨论，由于方程(7)和(8)每个都包含两个变量，因此不修改方程就不能确定该混合比率α。

由于对应于前景的目标以匀速运动的，混合比率α根据像素位置的变化而线性地变化。通过利用这个特征，其中混合比率α和前景分量之和f在空间方向是近似的方程能够成立。通过利用属于混合区域的像素的多组像素值和属于背景区域的像素的像素值，其中混合比率α和前景分量之和f是近似的方程被求解。

当混合比率α的变化被近似为直线时，混合比率α能够由方程(19)表示。

α＝il+p           (19)

在方程(19)中，i表示当指定像素的位置被设置为0时的空间索引，l指定混合比率α直线的梯度，以及p指定混合比率α直线的截距和也表示指定像素的混合比率α。方程(19)中，索引i是已知的，梯度l和截距p是未知的。

索引i、梯度l和截距p之间的关系被表示在图41中。图41中，白点表示要被处理的像素，黑点表示邻近要被处理像素的像素。

通过按方程(19)近似混合比率α，用于多个像素的多个不同混合比率α能够由两个变量表示。在图41表示的例子中，用于5个像素的5个混合比率由两个变量表示，即梯度l和截距p。

当混合比率α被近似在图42表示的平面中时，通过考虑对应于两个方向即图像的水平方向和垂直方向的运动v，方程(19)被扩展到该平面，并且混合比率α能够由方程(20)表示。

α＝jm+kq+p                 (20)

在方程(20)中，当指定像素的位置是0时，j是水平方向的索引，k是垂直方向的索引。方程(20)中，m指定平面中混合比率α的水平梯度，q指定平面中混合比率α的垂直梯度。方程(20)中，p指定平面中混合比率α的截距。

例如，在图32表示的在帧#n中，方程(21)到(23)对于C05到C07也分别成立。

C05＝α05·B05/v+f05        (21)

C06＝α06·B06/v+f06        (22)

C07＝α07·B07/v+f07        (23)

假设位于相互紧密靠近的前景分量是相互相等的，即F01到F03是相等的，通过用fc替换F01到F03方程(24)成立。

f(x)＝(l-α(x))·fc         (24)

方程(24)中，x表示空间方向的位置。

当α(x)被方程(20)代替时，方程(24)能够由方程(25)表示。

f(x)＝(l-(jm+kq+p))·fc

＝j·(-m·Fc)+k·(-q·Fc)+((l-p)·Fc)

＝js+kt+u                   (25)

在方程(25)中，(-m·Fc)，(-q·Fc)，并(l-p)·Fc分别按方程(26)到(28)所表示的替换。

s＝-m·Fc                         (26)

t＝-q·Fc                         (27)

u＝(l-p)·Fc                      (28)

在方程(25)中，当指定像素的位置是0时，j是水平方向的索引，k是垂直方向的索引。

如以上所讨论，由于能够假设对应于前景的目标在快门周期之内以匀速运动的，以及位于相互紧密靠近的前景分量是均匀的，前景分量之和能够由方程(25)近似。

当混合比率α由直线近似时，前景分量之和能够由方程(29)表示。

f(x)＝is+u                        (29)

通过使用方程(20)和(25)代替方程(9)中的混合比率α和前景分量之和，像素值M能够由方程(30)表示。

M＝(jm+kq+p)·B+js+kt+u

＝jB·m+kB·q+B·p+j·s+k·t+u    (30)

在方程(30)中，未知变量是六系数，诸如平面中混合比率α的水平梯度m，平面中混合比率α的垂直梯度q，以及平面中混合比率α的截距，p，s，t和u。

像素值M和像素值B根据靠近指定像素的像素在法方程30中被设置，然后，其中像素值M和像素值B被设置的多个法方程是通过最小二乘方方法求解的，由此计算混合比率α。

现在假设例如指定像素的水平索引j被设置为0，指定像素的垂直索引k被设置为0。在这种情况下，当对于位于临近指定像素的3x3像素来说像素值M或者像素值B在由方程(30)表示的法方程中被设置时，得到方程(31)到方程(39)。

M_-1，-1＝(-1)·B_-1，-1·1·m+(-1)B_-1，-1·q+B_-1，-1·p+(-1)·s+(-1)·t+u   (31)

M_0，-1＝(0)·B_0，-1·m+(-1)B_0，-1·q+B_0，-1·p+(0)·s+(-1)·t+u            (32)

M_+1，-1＝(+1)·B_+1，-1·m+(-1)B_+1，-1·q+B_+1，-1·p+(+1)·s+(-1)·t+u      (33)

M_-1，0＝(-1)·B_-1，0·m+(0)B_-1，0·q+B_-1，0·p+(-1)·s+(0)·t+u            (34)

M_0，0＝(0)·B_0，0·m+(0)B_0，0·q+B_0，0·p+(0)·s+(0)·t+u                  (35)

M_+1，0＝(+1)·B_+1，0·m+(0)B_+1，0·q+B_+1，0·p+(+1)·s+(0)·t+u            (36)

M_-1，+1＝(-1)·B_-1，+1·m+(+1)B_-1，+1·q+B_-1，+1·p+(-1)·s+(+1)·t+u      (37)

M_0，+1＝(0)·B_0，+1·m+(+1)B_0，+1·q+B0，+1·p+(0)·s+(+1)·t+u          (38)

M_+1，+1＝(+1)·B_+1，+1·m+(+1)B_+1，+1·q+B_+1，+1·p+(+1)·s+(+1)·t+u    (39)

由于指定像素的水平索引j是0，以及指定像素的垂直索引k是0，指定像素的混合比率α等于当方程(20)中j是0和k是0时的值，即混合比率α等于方程(20)中的截距p。

因此，基于该9个方程，即方程(31)到(39)，水平梯度m，垂直梯度q，以及截距p，s，t和u通过最小二乘方方法计算，并且截距p被作为混合比率α输出。

通过应用最小二乘法用于计算混合比率α的具体处理如下。

当索引i和索引k是由单个索引x表示时，索引i、索引k和索引x之间的关系能够由方程(40)表示。

X＝(j+1)·3+(k+1)            (40)

现在假设水平梯度m，垂直梯度q，以及截距p、s、t和u分别由变量w0、w1、w2、w3、w4和w5表示，以及jB、kB、B、j、k和l分别由a0、a1、a2、a3、a4和a5表示。考虑误差ex，方程(31)到(39)能够被修改为方程(41)。

$\mathrm{Mx}=\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy}+\mathrm{ex}---\left(41\right)$

程(41)中，x是从0到8整数的任何一个。

从方程(41)能够找到方程(42)。

$\mathrm{ex}=\mathrm{Mx}-\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy}---\left(42\right)$

由于应用了最小二乘方方法，误差的平方之和E被定义如下，如方程(43)中表示。

$E=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}{\mathrm{ex}}^2---\left(43\right)$

为了最小化该误差，变量Wv关于误差的平方之和E的偏微分值应当是0。V是从0到5整数的任何一个。因此，wy被确定为满足方程(44)。

$\frac{\∂E}{\∂\mathrm{Wv}}=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ex}\·\frac{\∂\mathrm{ex}}{\∂\mathrm{Wv}}=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ex}\·\mathrm{av}=0---\left(44\right)$

通过将方程(42)代入方程(44)，得到方程(45)。

$\underset{x=0}{\overset{8}{\mathrm{\Σ}}}(\mathrm{av}\·\underset{v=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{Wy})=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{av}\·\mathrm{Mx}---\left(45\right)$

例如，消去法(Gauss-Jordan消去法)被应用到由六个方程构成的法方程，该六个方程是通过将从0到5的一个整数替换方程(45)中的v而得到的，由此获得wy。如以上所讨论，w0是水平梯度m，w1是垂直梯度q，w2是截距p，w3是s，w4是t，以及w5是u。

如以上所讨论，通过将最小二乘方方法应用到其中像素值M和像素值B被设置的方程中，能够确定水平梯度m，垂直梯度q，以及截距p，s，t和u。

已经通过假设在混合区域中包含的像素的像素值是M，在背景区域中包含的像素的像素值是B，参考方程(31)到(39)给出了说明。在这种情况下，对指定像素包含在覆盖背景区域或者指定像素包含在未覆盖背景区域中的每一种情况，设置法方程是必须的。

例如，如果在图32表示的帧#n的覆盖背景区域中包含的像素的混合比率α被确定，帧#n中像素的C04到C08和帧#n-1中像素的像素值P04到P08在法方程中被设置。

如果在图33表示的帧#n的未覆盖背景区域中包含的像素的混合比率α被确定，帧#n中像素的C28到C32和帧#n+1中像素的像素值N28到N32在法方程中被设置。

而且，如果例如在图43表示的覆盖背景区域中包含的像素的混合比率α被计算，则下面的方程(46)到(54)被设置。图43中，白色点表示背景的像素，黑色点表示混合区域的像素。混合比率α被计算的像素的像素值是Mc5。

Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u    (46)

Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u      (47)

Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(-1)·s+(-1)·t+u    (48)

Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u      (49)

Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u        (50)

Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u      (51)

Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u    (52)

Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u      (53)

Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u    (54)

当帧#n覆盖背景区域中包含的像素的混合比率α被计算，使用分别对应于帧#n中像素的方程(46)到(54)中帧#n-1背景区域的像素的像素值Bc1到Bc9。

如果例如在图43表示的未覆盖背景区域中包含的像素的混合比率α被计算，则下面的方程(55)到(63)被设置。混合比率α被计算的像素的像素值是Mu5。

Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u    (55)

Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u      (56)

Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u    (57)

Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u      (58)

Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u        (59)

Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u      (60)

Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u    (61)

Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u      (62)

Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u    (63)

当帧#n未覆盖背景区域中包含的像素的混合比率α被计算时，使用分别对应于帧#n中像素的方程(55)到(63)中帧#n+1背景区域的像素的像素值Bu1到Bu9。

图44是表示估计混合比率处理器401的结构的方框图。输入到估计混合比率处理器401的图像提供给延迟电路501和加法器502。

延迟电路501延迟输入图像一帧，并将图像提供给加法器502。当帧#n被作为输入图像提供给加法器502时，延迟电路501将帧#n-1提供给加法器502。

加法器502设置靠近混合比率α被计算的像素的像素的像素值，以及法方程中帧#n-1的像素值。例如，基于方程(46)到(54)，加法器502分别设置像素值Mc1到Mc9，以及法方程中像素值Bc1到Bc9。加法器502将其中像素值被设置的法方程提供给计算器503。

计算器503通过利用例如消去法求解从加法器502提供的法方程来确定估计混合比率和输出确定的估计混合比率。

这样，估计混合比率处理器401能够基于输入图像计算估计混合比率和将它提供给混合比率确定部分403。

估计混合比率处理器402被构成为类似于估计混合比率处理器401，其解释因此省略。

图45表示由估计混合比率处理器401计算的估计混合比率的例子。图45中表示的估计混合比率是由一条线表示的和当对应于以不变速度运动的目标的前景运动v是11时通过完成以7×7像素块为单位通过产生方程的计算而获得的结果。

估计混合比率在混合区域中几乎线性地改变，如图44中表示。

现在参考图46的流程图，给出混合比率估计处理的说明，其是通过使用图44中表示的覆盖背景区域的模型由估计混合比率处理器401完成的。

在步骤S521中，加法器502设置在输入图像中包含的像素值和在对应于覆盖背景区域的模型在法方程中从延迟电路501提供的图像中包含的像素值。

在步骤S522，估计混合比率处理器401确定目标像素的设置是否被完成。如果确定出目标像素的设置没有被完成，处理返回到步骤S521，并且重复用于设置法方程中像素值的处理。

如果在步骤S522确定出目标像素的设置被完成，处理前进到步骤S523。在步骤S523，计算器503基于其中像素值被设置的法方程来计算估计混合比率和输出所计算的混合比率。

如以上所讨论，图44中表示的估计混合比率处理器401能够基于输入图像计算估计混合比率。

通过使用对应于未覆盖背景区域的模型所完成的混合比率估计处理类似于通过使用对应于未覆盖背景区域的模型的法方程所完成的由图46之流程图表示的处理，其说明因此被省略。

已经在假设对应于背景的目标是静止的前提下说明了实施例。但是，即使对应于背景区域的图像包含运动，也能够应用上述的混合比率计算处理。例如，如果对应于背景区域的图像是均匀运动的，估计混合比率处理器401根据这个运动来移位整个图像，并且以类似于其中对应于背景的目标是静止的情况的方式来完成处理。如果对应于背景区域的图像包含局部不同的运动，估计混合比率处理器401选择对应于运动的像素作为属于混合区域的像素，并且执行上述处理。

如以上所讨论，混合比率计算器102基于从区域规定单元101提供的区域信息和输入图像能够计算作为对应于每个像素之特征数量的混合比率α。

通过使用混合比率α，有可能分离像素值中包含的前景分量和背景分量，同时保持在对应于运动目标的图像中包含的运动模糊的信息。

如果图像基于混合比率α被合成，有可能建立包含运动模糊的图像，其匹配于运动目标的速度和如实反映真实世界。

下面讨论前景/背景分离器105。图47是表示前景/背景分离器105结构的例子的方框图。从前景/背景分离器105提供的输入图像提供给分离部分601，开关602和开关604。从区域规定单元103提供的和表示覆盖背景区域和未覆盖背景区域之信息的区域信息提供给分离部分601。表示前景区域的区域信息提供给开关602。表示背景区域的区域信息提供给开关604。

从混合比率计算器104提供的混合比率α提供给分离部分601。

分离部分601基于表示覆盖背景区域的区域信息，表示未覆盖背景区域的区域信息和混合比率α将前景分量从输入图像中分离和将所分离的前景分量提供给合成器603。分离部分601也将背景分量从输入图像中分离和将所分离的背景分量提供给合成器605。

开关602在对应于前景的像素被基于表示前景区域的区域信息输入时被关闭，并仅仅将输入图像中包含的对应于前景的像素提供给合成器603。

开关604在对应于背景的像素被基于表示背景区域的区域信息输入时被关闭，并仅仅将输入图像中包含的对应于背景的像素提供给合成器605。

合成器603基于从分离部分601提供的前景分量和对应于从开关602提供的前景之像素来合成前景分量图像，并且输出所合成的前景分量图像。由于前景区域和混合区域不重叠，合成器603例如将逻辑或施加到前景分量和前景像素，由此合成前景分量图像。

在启动针对前景分量图像的合成处理开始时执行的处理中，合成器603在内置帧存储器中存储其像素值是全部0的图像。然后，在用于前景分量图像的合成处理中，合成器603存储前景分量图像(通过前景分量图像重写在先图像)。因此，在对应于从合成器603输出的前景分量图像的背景区域的像素中存储0。

合成器605基于从分离部分601提供的背景分量和对应于从开关604提供的背景之像素来合成背景分量图像，并且输出所合成的背景分量图像。由于背景区域和混合区域不重叠，合成器605例如将逻辑或施加到背景分量和背景像素，由此合成背景分量图像。

在启动针对背景分量图像的合成处理开始时执行的处理中，合成器605在内置帧存储器中存储其像素值是全部0的图像。然后，在用于背景分量图像的合成处理中，合成器605存储背景分量图像(通过背景分量图像重写在先图像)。因此，在对应于从合成器605输出的背景分量图像的前景区域的像素中存储0。

图48A表示被输入到前景/背景分离器105的输入图像，以及从前景/背景分离器105输出的前景分量图像和背景分量图像。图48B表示被输入到前景/背景分离器105的输入图像以及从前景/背景分离器105输出的前景分量图像和背景分量图像的模型。

图48A是要被显示的图像的示意图，图48B是其中对应于图48A表示的图像和包含属于前景区域的像素，属于背景区域的像素，并属于混合区域的像素之一条线的像素在时间方向上被扩大的模型。

如图48A和48B中表示，从前景/背景分离器105输出的背景分量图像由属于背景区域的像素和在混合区域的像素中包含的背景分量构成。

如图48A和48B中表示，从前景/背景分离器105输出的前景分量图像由属于前景区域的像素和在混合区域的像素中包含的前景分量构成。

混合区域中像素的像素值通过前景/背景分离器105被分离成背景分量和前景分量。所分离的背景分量与属于背景区域的像素一起形成背景分量图像。所分离的前景分量与属于前景区域的像素一起形成前景分量图像。

如以上所讨论，在前景分量图像中，对应于背景区域的像素的像素值被设置为0，有效像素值被设置在对应于前景区域的像素中和对应于混合区域的像素中。类似地，在背景分量图像中，对应于前景区域的像素的像素值被设置为0，有效像素值被设置在对应于背景区域的像素中和对应于混合区域的像素中。

下面给出说明由分离部分601执行的处理，其用于从属于混合区域中分离前景分量和背景分量。

图49表示在包括从图49左边运动到右边的前景目标的两帧中说明前景分量和背景分量的图像的模型。在图49表示的图像的模型中，运动量v是4，虚拟分割部分的数目是4。

在帧#n中，左数最左边像素和第十四到十八像素仅仅由背景分量构成和属于背景区域。在帧#n中，左数第二到第四像素包含背景分量和前景分量，并且属于未覆盖背景区域。在帧#n中，左数第十一到第十三像素包含背景分量和前景分量，并且属于覆盖背景区域。在帧#n中，左数第五到第十像素仅仅由前景分量构成和属于前景区域。

在帧#n+1中，左数第一到第五像素和左数第十八像素仅仅由背景分量构成和属于背景区域。在帧#n+1中，左数第六到第八像素包含背景分量和前景分量，并且属于未覆盖背景区域。在帧#n+1中，左数第十五到第十七像素包含背景分量和前景分量，并且属于覆盖背景区域。在帧#n+1中，左数第九到第十四像素仅仅由前景分量构成和属于前景区域。

图50表示用于从属于覆盖背景区域的像素中分离前景分量的处理。图50中，α1到α18表示帧#n的单独像素的混合比率。图50中，左数第十五到第十七像素属于覆盖背景区域。

帧#n中左数第十五像素的像素值C15能够由方程(64)表示。

C15＝B15/v+F09/v+F08/v+F07/v

＝α15·B15+F09/v+F08/v+F07/v

＝α15·P15+F09/v+F08/v+F07/v    (64)

这里α15表示帧#n的左数第十五像素的混合比率。P15指定帧#n-1的左数第十五像素的像素值。

帧#n的左数第十五像素的前景分量之和f15能够由基于方程(64)的方程(65)表示。

f15＝F09/v+F08/v+F07/v

＝C15-α15·P15                  (65)

类似地，帧#n的左数第十六像素的前景分量之和f16能够由方程(66)表示，帧#n的左数第十七像素的前景分量之和f17能够由方程(67)表示。

f16＝C16-α16·P16               (66)

f17＝C17-α17·P17               (67)

这样，在属于覆盖背景区域的像素的像素值C中包含的前景分量fc能够由方程(68)表示：

fc＝C-α·P              (68)

这里，P指定在先帧中对应像素的像素值。

图51表示用于从属于未覆盖背景区域的像素中分离前景分量的处理。图51中，α1到α18表示帧#n的单独像素的混合比率。图51中，左数第二到第四像素属于未覆盖背景区域。

帧#n中左数第二像素的像素值C02能够由方程(69)表示。

C02＝B02/v+B02/v+B02/v+F01/v

＝α2·B02+F01/v

＝α2·N02+F01/v         (69)

这里α2表示帧#n的左数第二像素的混合比率。N02指定帧#n+1的左数第二像素的像素值。

帧#n的左数第二像素的前景分量之和f02能够由基于方程(69)的方程(70)表示。

f02＝F01/v

＝C02-α2·N02           (70)

类似地，帧#n的左数第三像素的前景分量之和f03能够由方程(71)表示，帧#n的左数第四像素的前景分量之和f04能够由方程(72)表示。

f03＝C03-α3·N03        (71)

f04＝C04-α4·N04        (72)

这样，在属于未覆盖背景区域的像素的像素值C中包含的前景分量fu能够由方程(73)表示：

fu＝C-α·N              (73)

这里，N指定后续帧中对应像素的像素值。

如以上所讨论，基于在区域信息中包含的表示覆盖背景区域的信息和表示未覆盖背景区域的信息以及每个像素的混合比率α，分离部分601能够从属于混合区域的像素中分离前景分量和从属于混合区域的像素中分离背景分量。

图52是表示用于执行上述处理的分离部分601之结构的例子的方框图。被输入到分离部分601的图像提供给帧存储器621，表示从混合比率计算器104提供的覆盖背景区域和未覆盖背景区域的区域信息以及混合比率α提供给分离处理块622。

帧存储器621以帧为单位存储输入图像。当要被处理的帧是帧#n时，帧存储器621存储作为帧#n之前一帧#n-1，帧#n以及作为帧#n之后一帧#n+1。

帧存储器621将帧#n-1，帧#n和帧#n+1中对应像素提供给分离处理块622。

分离处理块622基于表示覆盖背景区域和未覆盖背景区域的区域信息以及混合比率α将参考图50和51讨论的计算施加到从帧存储器621提供的帧#n-1，帧#n和帧#n+1中对应像素的像素值，以便从属于帧#n混合区域的像素中分离前景分量和背景分量，并且将它们提供给帧存储器623。

分离处理块622由未覆盖区域处理器631、覆盖区域处理器632、合成器633和合成器634形成。

未覆盖区域处理器631的乘法器641将从帧存储器621提供的帧#n+1中像素的像素值乘以混合比率α，并将所得像素值输出到开关642。在从帧存储器621提供的(对应于帧#n+1中像素)的帧#n的像素属于未覆盖背景区域时开关642被关闭，并且将从乘法器641提供的周混合比率α相乘的像素值提供给计算器643和合成器634。通过将帧#n+1中像素的像素值乘以从开关642输出的混合比率α所获得的值是与帧#n中对应像素的像素值的背景分量相等的。

计算器643将从开关642提供的背景分量与从帧存储器621提供的帧#n中像素的像素值相减，以便获得前景分量。计算器643将属于未覆盖背景区域的帧#n中像素的前景分量提供给合成器633。

覆盖区域处理器632的乘法器651将从帧存储器621提供的帧#n-1中像素的像素值乘以混合比率α，并将所得像素值输出到开关652。在从帧存储器621提供的(对应于帧#n-1中像素)的帧#n的像素属于覆盖背景区域时开关652被关闭，并且将从乘法器651提供的用混合比率α相乘的像素值提供给计算器653和合成器634。通过将帧#n-1中像素的像素值乘以从开关652输出的混合比率α所获得的值是与帧#n中对应像素的像素值的背景分量相等的。

计算器653将从开关652提供的背景分量与从帧存储器621提供的帧#n中像素的像素值相减，以便获得前景分量。计算器653将属于覆盖背景区域的帧#n中像素的前景分量提供给合成器633。

合成器633将属于未覆盖背景区域和从计算器643提供的像素的前景分量与属于覆盖背景区域和从计算器653提供的像素的前景分量合成，并且将合成的前景分量提供给帧存储器623。

合成器634将属于未覆盖背景区域和从开关642提供的像素的背景分量与属于覆盖背景区域和从开关652提供的像素的背景分量合成，并且将合成的背景分量提供给帧存储器623。

帧存储器623存储从分离处理块622提供的帧#n混合区域中像素的前景分量和背景分量。

帧存储器623输出所存储的帧#n混合区域中像素的前景分量和所存储的帧#n混合区域中像素的背景分量。

通过利用表示特征数量的混合比率α，在像素值中包含的前景分量和背景分量能够被完全地分离。

合成器603将从分离部分601输出的帧#n混合区域中像素的前景分量与属于前景区域的像素合成，以便产生前景分量图像。合成器605将从分离部分601输出的帧#n混合区域中像素的背景分量与属于背景区域的像素合成，以便产生背景分量图像。

图53A表示对应于图49中帧#n的前景分量图像的例子。左数最左边像素和第十四像素在前景和背景被分离之前仅仅由背景分量构成，因此，像素值被设置为0。

左数第二和第十四像素在前景和背景被分离之前属于未覆盖背景区域。因此，背景分量被设置为0，并且前景分量被保持。左数第十一和第十三像素在前景和背景被分离之前属于覆盖背景区域。因此，背景分量被设置为0，并且前景分量被保持。左数第五到第十像素仅仅由前景分量构成，其因此被保持。

图53B表示对应于图49中帧#n的背景分量图像的例子。左数最左边像素和第十四像素在前景和背景被分离之前仅仅由背景分量构成，因此，背景分量被保持。

左数第二到第四像素在前景和背景被分离之前属于未覆盖背景区域。因此，前景分量被设置为0，并且背景分量被保持。左数第十一和第十三像素在前景和背景被分离之前属于覆盖背景区域。因此，前景分量被设置为0，并且背景分量被保持。左数第五到第十像素仅仅由前景分量构成，因此，像素值被设置为0。

下面参考图54的流程图说明用于通过前景/背景分离器105执行的分离前景和后景的处理。在步骤S601，分离部分601的帧存储器621获得输入图像和存储分离了前景和后景的帧#n，以及在先帧#n-1和随后帧#n+1。

在步骤S602，分离部分601的分离处理块622获得从混合比率计算器104提供的区域信息。在步骤S603，分离部分601的分离处理块622获得从混合比率计算器104提供的混合比率α。

在步骤S604，未覆盖区域处理器631基于区域信息和混合比率α，从帧存储器621提供的属于未覆盖背景区域的像素的像素值中提取背景分量。

在步骤S605，未覆盖区域处理器631基于区域信息和混合比率α，从帧存储器621提供的属于未覆盖背景区域的像素的像素值中提取前景分量。

在步骤S606，覆盖区域处理器632基于区域信息和混合比率α，从帧存储器621提供的属于覆盖背景区域的像素的像素值中提取背景分量。

在步骤S607，覆盖区域处理器632基于区域信息和混合比率α，从帧存储器621提供的属于覆盖背景区域的像素的像素值中提取前景分量。

在步骤S608，合成器633将在步骤S605处理中提取的属于未覆盖背景区域的像素的前景分量与在步骤S607处理中提取的属于覆盖背景区域的像素的前景分量合成。合成的前景分量提供给合成器603。合成器603还将通过开关602提供的属于前景区域的像素与从分离部分601提供的前景分量合成，以便产生前景分量图像。

在步骤S609，合成器634将在步骤S604处理中提取的属于未覆盖背景区域的像素的背景分量与在步骤S606处理中提取的属于覆盖背景区域的像素的背景分量合成。合成的背景分量提供给合成器605。合成器605还将通过开关604提供的属于背景区域的像素与从分离部分601提供的背景分量合成，以便产生背景分量图像。

在步骤S610，合成器603输出前景分量图像。在步骤S611，合成器605输出背景分量图像。然后处理完成。

如以上所讨论，前景/背景分离器105基于区域信息和混合比率α能够从输入图像中分离前景分量和背景分量，并且输出仅仅由前景分量构成的前景分量图像和仅仅由背景分量构成的背景分量图像。

下面说明前景分量运动模糊量的调节。

图55是表示运动模糊调节单元106结构的例子的方框图。从运动检测器102提供的运动矢量和其位置信息提供给处理单位确定部分801和模型形成部分802，以及计算器805。从区域规定单元103提供的区域信息提供给处理单位确定部分801。从前景/背景分离器105提供的前景分量图像提供给加法器804。

处理单位确定部分801产生基于运动矢量和其位置信息以及区域信息的处理单位，并且将所产生的处理单位提供给模型形成部分802和加法器804。

如图56中A表示的，例如，由处理单位确定部分801产生的处理单位表示从对应于前景分量图像的覆盖背景区域的像素开始、直到对应于未覆盖背景区域的像素为止在运动方向上布置的连续像素，或者表示从对应于未覆盖背景区域的像素开始、直到对应于覆盖背景区域的像素为止在运动方向上布置的连续像素。处理单位是由两块数据形成的，其表示例如左上点(其是由处理单位指定的图像中最左边或者最上面像素的位置)和右下点。

模型形成部分802基于运动矢量和输入的处理单位形成模型。更具体地，例如，根据在处理单位中包含的像素数目，在时间方向像素值的虚拟分割部分的数目，以及每个像素之前景分量的数目，模型形成部分802可以预先多个模型。然后，基于处理单位和在时间方向像素值的虚拟分割部分的数目，模型形成部分802可以选择其中在像素值和前景分量之间的相关性被指定的模型，诸如图57中表示的。

现在假设，例如，对应于处理单位的像素的数目是12，快门时间之内运动量v是5。然后，模型形成部分802设置虚拟分割部分的数目是5，并且选择由八种类型的前景分量形成的模型使得最左边像素包含一个前景分量，左数第二像素包含两个前景分量，左数第三像素包含三个前景分量，左数第四像素包含四个像素分量，左数第五像素包含五个前景分量，左数第六像素包含五个前景分量，左数第七像素包含五个前景分量，左数第八像素包含五个前景分量，左数第九像素包含四个前景分量，左数第十像素包含三个前景分量，左数第十一像素包含两个前景分量，以及左数第十二像素包含一个前景分量。

代替从预先存储模型中选择模型，当提供了运动矢量和处理单位时，基于该运动矢量和处理单位，模型形成部分802可以产生模型。

模型形成部分802将所选择模型提供给方程发生器803。

基于从模型形成部分802提供的模型，方程发生器803产生方程。下面参考图57中表示的前景分量图像的模型，给出在当前景分量的数目是8，对应于处理单位的像素的数目是12，运动量v是5，以及虚拟分割部分的数目是5时由方程发生器803产生的方程的说明。

当在对应于快门时间/v的前景分量图像中包含的前景分量是F01/v到F08/v时，在F01/v到F08/v和像素值C01到C12之间的关系能够由方程(74)到(85)表示。

C01＝F01/v                           (74)

C02＝F02/v+F01/v                     (75)

C03＝F03/v+F02/v+F01/v               (76)

C04＝F04/v+F03/v+F02/v+F01/v         (77)

C05＝F05/v+F04/v+F03/v+F02/v+F01/v   (78)

C06＝F06/v+F05/v+F04/v+F03/v+F02/v   (79)

C07＝F07/v+F06/v+F05/v+F04/v+F03/v   (80)

C08＝F08/v+F07/v+F06/v+F05/v+F04/v   (81)

C09＝F08/v+F07/v+F06/v+F05/v         (82)

C10＝F08/v+F07/v+F06/v               (83)

C11＝F08/v+F07/v                     (84)

C12＝F08/v                           (85)

方程发生器803产生通过修改所产生方程的方程。通过方程发生器803产生的方程由方程(86)到(97)表示。

C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v   (86)

C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v   (87)

C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v   (88)

C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v   (89)

C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v   (90)

C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v   (91)

C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v   (92)

C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v   (93)

C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v   (94)

C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v   (95)

C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v   (96)

C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/+1·F08/v    (97)

方程(86)到(97)能够由方程(98)表示。

$\mathrm{Cj}=\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v---\left(98\right)$

在方程(98)中，j指定像素的位置。在该例子中，j具有从1到12值的一个。方程(98)中，i指定前景值的位置。在该例子中，i具有从1到8值的一个。方程(98)中，aij具有根据i和j值的0或者1值。

考虑误差，方程(98)能够由方程(99)表示。

$\mathrm{Cj}=\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v+\mathrm{ej}---\left(99\right)$

在方程(99)中，ej指定在指定像素Cj中包含的误差。

方程(99)能够被修改为方程(100)。

$\mathrm{ej}=\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v---\left(100\right)$

为了应用最小二乘方方法，误差的平方和E被定义为方程(101)。

$E=\underset{j=01}{\overset{12}{\mathrm{\Σ}}}{\mathrm{ej}}^2---\left(101\right)$

为了最小化误差，对于误差的平方和E，使其对变量Fk的偏微分值为0。Fk被确定为使得满足方程(102)。

$\frac{\∂E}{\∂\mathrm{Fk}}=2\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{ej}\·\frac{\∂\mathrm{ej}}{\∂\mathrm{Fk}}$

$=2\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\{(\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v)\·(-\mathrm{akj}/v)\}=0$ (102)

方程(102)中，由于运动量是静止值，能够推导出方程(103)。

$\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{akj}\·(\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v)=0---\left(103\right)$

通过展开方程(103)和置换各项，能够得到方程(104)。

$\underset{j=01}{\overset{12}{\mathrm{\Σ}}}(\mathrm{akj}\·\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi})=v\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{akj}\·\mathrm{Cj}---\left(104\right)$

通过将从1到8的各个整数替换方程(104)中的k，方程(104)被展开为八个方程。所获得的八个方程能够由一个矩阵方程表示。该方程被称为“法方程”。

由方程发生器803基于最小二乘方方法产生的法方程的例子由方程(105)表示。

$\left[\begin{array}{cccccccc}5& 4& 3& 2& 1& 0& 0& 0\\ 4& 5& 4& 3& 2& 1& 0& 0\\ 3& 4& 5& 4& 3& 2& 1& 0\\ 2& 3& 4& 5& 4& 3& 2& 1\\ 1& 2& 3& 4& 5& 4& 3& 2\\ 0& 1& 2& 3& 4& 5& 4& 3\\ 0& 0& 1& 2& 3& 4& 5& 4\\ 0& 0& 0& 1& 2& 3& 4& 5\end{array}\right]\left[\begin{array}{c}F01\\ F02\\ F03\\ F04\\ F05\\ F06\\ F07\\ F08\end{array}\right]=v\·\left[\begin{array}{c}\underset{i=08}{\overset{12}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=07}{\overset{11}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=06}{\overset{10}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=05}{\overset{9}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=04}{\overset{8}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=03}{\overset{7}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=02}{\overset{6}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=01}{\overset{5}{\mathrm{\Σ}}}\mathrm{Ci}\end{array}\right]---\left(105\right)$

当方程(105)由A·F＝v·C表示时，C，A和v是公知的，F是未知的。当模型形成时A和v是已知的，同时当象素值被输入到加处理时C变成已知的。

通过基于最小二乘方方法根据法方程计算前景分量，像素C中包含的误差能够被分布(distributed)。

方程发生器803将按上述产生的法方程提供给加法器804。

基于从处理单位确定部分801提供的处理单位，加法器804设置从方程发生器803提供的矩阵方程中前景分量图像内包含的像素值C。加法器804将其中像素值C被设置的矩阵提供给计算器805。

计算器805计算前景分量Fi/v，在该前景分量Fi/v中，运动模糊通过基于诸如消去法(Gauss-Jordan消去法)的技术方案的处理被消除，以便获得对应于表示从1到8整数之一个的i的Fi，其是运动模糊被从中消除的像素值。计算器805然后将诸如图58中表示的由没有运动模糊的像素值Fi构成的前景分量图像输出到运动模糊加法器806和选择器807。

在图58中表示的没有运动模糊的前景分量图像中，用于将F01到F08分别设置到C03到C10中的原因是不改变前景分量图像相对于屏幕的位置。但是，F01到F08可以被设置在任何希望的位置中。

通过相加不同于运动量v的运动模糊被调节的量v′，例如为运动量v之一半值的运动模糊被调节的量v′，或者为与运动量v无关的运动模糊被调节的量v′，运动模糊加法器806能够调节运动模糊的量。例如，如图59中表示，运动模糊加法器806通过运动模糊被调节的量v′分割没有运动模糊的前景像素值Fi，以便获得前景分量Fi/v′。运动模糊加法器806然后计算前景分量Fi/v′之和，由此产生其中运动模糊量被调节的像素值。例如，当运动模糊被调节的量v是3时，像素值C02被设置为(F01)/v′，像素值C3被设置为(F01+F02)/v′，像素值C4被设置为(F01+F02+F03)/v′，以及像素值C05被设置为(F02+F03+F04)/v′。

运动模糊加法器806将其中运动模糊量被调节的前景分量图像提供给选择器807。

选择器807基于反映用户选择的选择信号选择从计算器805提供的没有运动模糊的前景分量图像和从运动模糊加法器806提供的其中运动模糊量被调节的前景分量图像之一个，并且输出所选择前景分量图像。

如以上所讨论，运动模糊调节单元106能够基于选择信号和运动模糊被调节的量v′来调节运动模糊量。

而且，例如，当对应于处理单位的像素的数目是8和运动量v是4时，如图60中表示，运动模糊调节单元106产生由方程(106)表示的矩阵方程。

$\left[\begin{array}{ccccc}4& 3& 2& 1& 0\\ 3& 4& 3& 2& 1\\ 2& 3& 4& 3& 2\\ 1& 2& 3& 4& 3\\ 0& 1& 2& 3& 4\end{array}\right]\left[\begin{array}{c}43210\\ 34321\\ 23432\\ 12343\\ 01234\end{array}\right]\left[\begin{array}{c}F01\\ F02\\ F03\\ F04\\ F05\end{array}\right]=v\·\left[\begin{array}{c}\underset{i=05}{\overset{08}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=04}{\overset{07}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=03}{\overset{06}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=02}{\overset{05}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=01}{\overset{04}{\mathrm{\Σ}}}\mathrm{Ci}\end{array}\right]---\left(106\right)$

这样，通过根据处理单位的长度建立方程，运动模糊调节单元106计算Fi，其是其中运动模糊量被调节的像素值。类似地，例如，当在处理单位中包含的像素的数目是100时，对应于100个像素的方程被产生，以便计算Fi。

图61表示运动模糊调节单元106另一个结构的例子。与图55表示的相同单元被指定为类似的参考标记，因此其解释省略。

基于选择信号，选择器821直接将输入运动矢量和其位置信号提供给处理单位确定部分801和模型形成部分802。另外，选择器821可以用其运动模糊被调节的量v′替换运动矢量的幅值，然后将该运动矢量和其位置信号提供给处理单位确定部分801和模型形成单元802。

借助该方案，图61中表示运动模糊调节单元106的处理单位确定部分801到计算器805能够根据运动量v和其运动模糊被调节的量v′来调节运动模糊量。例如，当运动量是5和其运动模糊被调节的量v′是3时，图61中表示运动模糊调节单元106的处理单位确定部分801到计算器805根据其中其运动模糊被调节的量v′是3的图59中表示的模型执行有关图57中表示的其中运动量v是5的前景分量图像的计算。结果，获得包含具有(运动量v)/(其运动模糊被调节的量v′)＝5/3即大约1.7的运动量之运动模糊的图像。在这种情况下，所计算的图像不包含对应于运动量v为3的运动模糊。因此，应当注意，在运动量v和其运动模糊被调节的量v′之间的关系是与运动模糊加法器806的结果不同的。

如以上所讨论，运动模糊调节单元106根据运动量v和处理单元产生方程，并且设置所产生方程中前景分量图像的像素值，由此计算其中运动模糊量被调节的前景分量图像。

下面参考图62的流程图说明用于通过运动模糊调节单元106执行的调节在前景分量图像中包含的运动模糊量的处理。

在步骤S801，运动模糊调节单元106的处理单位确定部分801产生基于运动矢量和区域信息的处理单位，并且将所产生的处理单位提供给模型形成部分802。

在步骤S802，运动模糊调节单元106的模型形成部分802根据运动量和处理单位选择或者产生模型。在步骤S803，方程发生器803产生基于所选择模型的法方程。

在步骤S804，加法器804设置所产生法方程中前景分量图像的像素值。在步骤S805，加法器804确定对应于处理单位的所有像素的像素值是否被设置。如果确定出对应于处理单位的所有像素的像素值没有被设置，则处理返回到步骤S804，并且重复用于设置法方程中像素值的处理。

如果在步骤S805确定出对应于处理单位的所有像素的像素值被设置，则处理前进到步骤S806。在步骤S806，计算器805基于其中像素值被设置的从加法器804提供的法方程来计算其中运动模糊量被调节的前景的像素值。然后处理完成。

如以上所讨论，运动模糊调节单元106能够基于运动矢量和区域信息调节包含运动模糊之前景图像的运动模糊量。

即，有可能调节像素值中包含的即采样数据中包含的运动模糊量。

图63是表示运动模糊调节单元106另一个结构的例子的方框图。从运动检测器102提供的运动矢量和其位置信息提供给处理单位确定部分901和调节部分905。从区域规定单元103提供的区域信息提供给处理单位确定部分901。从前景/背景分离器105提供的前景分量图像提供给计算器904。

处理单位确定部分901产生基于运动矢量和其位置信息以及区域信息的处理单位，并且将所产生的处理单位与运动矢量一起提供给模型形成部分902。

模型形成部分902基于运动矢量和输入的处理单位形成模型。更具体地，例如，模型形成部分902可以预先存储对应于在处理单位中包含的像素数目，在时间方向像素值的虚拟分割部分的数目，以及每个像素之前景分量的数目的多个模型，并且基于处理单位和在时间方向像素值的虚拟分割部分的数目，模型形成部分902选择表示在像素值和前景分量之间的关系的模型，诸如图64中表示的。

例如，当对应于处理单位的像素的数目是12时，并当运动量v是5时，模型形成部分902选择具有虚拟分割部分的数目为5和整体上由八个前景分量构成的模型。在所选择的模型中，最左边像素包含一个前景分量，左数第二像素包含两个前景分量，左数第三像素包含三个前景分量，左数第四像素包含四个前景分量，左数第五像素包含五个前景分量，左数第六像素包含五个前景分量，左数第七像素包含五个前景分量，左数第八像素包含五个前景分量，左数第九像素包含四个前景分量，左数第十像素包含三个前景分量，左数第十一像素包含两个前景分量，以及左数第十二像素包含一个前景分量。

代替从预先存储模型中选择模型，当提供了运动矢量和处理单位时，基于该运动矢量和处理单位，模型形成部分902可以产生模型。

基于从模型形成部分902提供的模型，方程发生器903产生方程。

下面参考图64到66中表示的前景分量图像的模型，给出在当前景分量的数目是8，对应于处理单位的像素的数目是12，运动量v是5时由方程发生器903产生的方程的例子的说明。

当在对应于快门时间/v的前景分量图像中包含的前景分量是F01/v到F08/v时，在F01/v到F08/v和像素值C01到C12之间的关系能够由方程(74)到(85)表示，如上述。

通过考虑像素值C12和C11，像素值C12仅仅包含前景分量F08/v，如方程(107)表示的，并且像素值C11由前景分量F08/v和前景分量F07/v的乘积和构成，因此，前景分量F07/v能够由方程(108)得出。

F08/v＝C12                      (107)

F07/v＝C11-C12                  (108)

类似地，通过考虑在像素值C10到C01中包含的前景分量，前景分量F06/v到F01/v能够分别由方程(109)到(114)得出。

F06/v＝C10-C11                  (109)

F05/v＝C09-C10                  (110)

F04/v＝C08-C09                  (111)

F03/v＝C07-C08+C12              (112)

F02/v＝C06-C07+C11-C12          (113)

F01/v＝C05-C06+C10-C11          (114)

方程发生器903产生用于通过在像素值之差按方程(107)到(114)表示来计算前景分量的方程。方程发生器903将所产生的方程提供给计算器904。

计算器904设置从方程发生器903提供的方程中的前景分量图像的像素值，以便获得基于其中像素值被设置方程的前景分量。例如，当方程(107)到(114)被从方程发生器903中提供时，计算器904设置方程(107)到(114)中像素值C05到C12。

计算器904基于其中像素值被设置的方程来计算前景分量。例如，计算器904基于其中像素值C05到C12被设置的方程(107)到(114)的计算来计算前景分量F01/v到F08/v，如图65中表示。计算器904将前景分量F01/v到F08/v提供给调节部分905。

调节部分905将从计算器904提供的前景分量乘以从处理单位确定部分901提供的运动矢量中包含的运动量v，以便获得其运动模糊被消除的前景像素值。例如，当前景分量F01/v到F08/v被从计算器904提供时，调节部分905将前景分量F01/v到F08/v的每一个乘以运动量v即5，以便获得其运动模糊被消除的前景像素值F01到F08，如图66中表示。

调节部分905将由按上述计算的没有运动模糊的前景像素值构成的前景分量图像提供给运动模糊加法器906和选择器907。

通过使用不同于运动量v的运动模糊被调节的量v′，例如为运动量v之一半值的运动模糊被调节的量v′，或者为与运动量v无关的运动模糊被调节的量v′，运动模糊加法器906能够调节运动模糊的量。例如，如图59中表示，运动模糊加法器906通过运动模糊被调节的量v′分割没有运动模糊的前景像素值Fi，以便获得前景分量Fi/v′。运动模糊加法器906然后计算前景分量Fi/v′之和，由此产生其中运动模糊量被调节的像素值。例如，当运动模糊被调节的量v′是3时，像素值C02被设置为(F01)/v′，像素值C3被设置为(F01+F02)/v′，像素值C4被设置为(F01+F02+F03)/v′，以及像素值C05被设置为(F02+F03+F04)/v′。

运动模糊加法器906将其中运动模糊量被调节的前景分量图像提供给选择器907。

选择器907基于反映用户选择的选择信号选择从调节部分905提供的没有运动模糊的前景分量图像或者从运动模糊加法器906提供的其中运动模糊量被调节的前景分量图像，并且输出所选择前景分量图像。

如以上所讨论，运动模糊调节单元106能够基于选择信号和运动模糊被调节的量v′来调节运动模糊量。

下面参考图67的流程图说明用于通过按图63构成的运动模糊调节单元106执行的调节前景的运动模糊量的处理。

在步骤S901，运动模糊调节单元106的处理单位确定部分901产生基于运动矢量和区域信息的处理单位，并且将所产生的处理单位提供给模型形成部分902和调节部分905。

在步骤S902，运动模糊调节单元106的模型形成部分902根据运动量v和处理单位选择或者产生模型。在步骤S903，方程发生器903基于所选择或者所产生模型产生方程，用于通过前景分量图像像素值之差计算前景分量。

在步骤S904，加法器904设置所产生方程中前景分量图像的像素值，并且基于其中像素值被设置的方程通过使用像素值之差来提取前景分量。在步骤S905，计算器904确定对应于处理单位的所有前景分量是否已经被提取。如果确定出对应于处理单位的所有前景分量没有被提取，则处理返回到步骤S904，并且重复用于提取前景分量的处理。

如果在步骤S905确定出对应于处理单位的所有前景分量已经被提取，则处理前进到步骤S906。在步骤S906，调节部分905基于运动量v来调节从计算器904提供的前景分量F01/v到F08/v的每一个，以便获得其运动模糊被消除的前景像素值F01/v到F08/v。

在步骤S907，运动模糊加法器906计算其中运动模糊量被调节的前景像素值，选择器907选择没有运动模糊的图像或者其中运动模糊量被调节的图像，并且输出所选择的图像。处理然后结束。

如以上所讨论，按图63表示构成的运动模糊调节单元106能够根据较简单的计算来更快速地调节包含运动模糊之前景图像的运动模糊。

诸如Wiener滤波器的用于部分消除运动模糊的公知技术在被用于理想状态时是有效的，但是对于被量化和包含噪声的实际图像是不够的。相反，按图63表示构成的运动模糊调节单元106对被量化和包含噪声的实际图像被证明是足够有效的。因此有可能高精确度地消除运动模糊。

如以上所讨论，按图2表示构成的图像处理设备能够调节在输入图像中包含的运动模糊量。

图68是表示图像处理设备的功能的另一个结构的方框图。

类似于图2表示的单元被指定为类似的参考标记，因此其解释被省略。

区域规定单元103将区域信息提供给混合比率计算器104和合成器1001。

混合比率计算器104将混合比率α提供给前景/背景分离器105和合成器1001。

前景/背景分离器105将前景分量图像提供给合成器1001。

合成器1001基于从混合比率计算器104提供的混合比率α和从区域规定单元103提供的区域信息将某个背景图像与从前景/背景分离器105提供的前景分量图像合成，并且输出其中某个背景图像和前景分量图像被合成的合成图像。

图69表示合成器1001的结构。背景分量发生器1021基于混合比率α和某个背景图像产生背景分量图像，并且将该背景分量图像提供给混合区域图像合成部分1022。

混合区域图像合成部分1022将从背景分量发生器1021提供的背景分量图像与前景分量图像合成，以便产生混合区域合成图像，并将所产生的混合区域合成图像提供给图像合成部分1023。

图像合成器1023合成前景分量图像，从混合区域图像合成部分1022提供的混合区域合成图像，以及基于区域信息的某个背景图像，以便产生合成图像和输出它。

如以上所讨论，合成器1001能够将前景分量图像与某个背景图像合成。

与通过简单合成像素获得的图像相比较，通过基于是特征数量的混合比率α将前景分量图像与某个背景图像合成获得的图像出现的更为自然。

图70是表示用于调节运动模糊量的图像处理设备的功能的另一个结构的方框图。图2中表示的图像处理设备顺序地完成区域规定操作和用于混合比率α的计算。相反，图70中表示的图像处理设备同时地完成区域规定操作和用于混合比率α的计算。

类似于图2方框图中的功能单元被指定为类似的参考标记，因此其解释被省略。

输入图像提供给混合比率计算器1101，前景/背景分离器1102，区域规定单元103和目标提取单元101。

混合比率计算器1101基于输入图像计算当假设在输入图像中包含的每个像素属于覆盖背景区域时的估计混合比率和当假设在输入图像中包含的每个像素属于未覆盖背景区域时的估计混合比率，并且将按上述计算的估计混合比率提供给前景/背景分离器1102。

图71是表示混合比率计算器1101的结构例子的方框图。

图71中表示的估计混合比率处理器401是与图30中表示的估计混合比率处理器401相同。图71中表示的估计混合比率处理器402是与图30中表示的估计混合比率处理器402相同。

估算混合比率处理器401通过对应于基于输入图像的覆盖背景区域的模型的计算来计算每个像素的估算混合比率，并输出所计算的估算混合比率。

估算混合比率处理器402通过对应于基于输入图像的未覆盖背景区域的模型的计算来计算每个像素的估算混合比率，并输出所计算的估算混合比率。

基于当假设像素属于从混合比率计算器1101提供的覆盖背景区域时计算的估计混合比率，当假设像素属于从混合比率计算器1101提供的未覆盖背景区域时计算的估计混合比率，以及从区域规定单元103提供的区域信息，前景/背景分离器1102从输入图像中产生前景分量图像，并且将所产生的前景分量图像提供给运动模糊调节单元106和选择器107。

图72是表示前景/背景分离器1102的结构的例子的方框图。

类似于图47前景/背景分离器105的单元被由类似的参考标记表示，因此其解释被省略。

选择器1121基于从区域规定单元103提供的区域信息，选择当假设像素属于从混合比率计算器1101提供的覆盖背景区域时计算的估计混合比率，或者当假设像素属于从混合比率计算器1101提供的未覆盖背景区域时计算的估计混合比率，并将所选择的估计混合比率作为混合比率α提供给分离部分601。

分离部分601基于从选择器1121提供的混合比率α和区域信息从属于混合区域的像素的像素值中提取前景分量和背景分量，并且将所提取的前景分量提供合成器603，也将前景分量提供给合成器605。

分离部分601能够被构造成类似于图52中表示的对应部分。

合成器603合成前景分量图像和输出它。合成器605合成背景分量图像和输出它。

图70表示的运动模糊调节单元106能够被构成类似于图2表示的对应部分。运动模糊调节单元106基于区域信息和运动矢量调节从前景/背景分离器1102提供的前景分量图像中包含的运动模糊量，并且输出其中运动模糊量被调节的前景分量图像。

基于例如反映用户之选择的选择信号，图70表示的选择器107选择从前景/背景分离器1102提供的前景分量图像，或者从运动模糊调节单元106提供的其中运动模糊量被调节的前景分量图像，并且输出所选择的前景分量图像。

如以上所讨论，图70中表示的图像处理设备能够调节对应于输入图像前景目标的图像中包含的运动模糊量，并输出所得的前景目标图像。正如在第一实施例中，图70中表示的图像处理设备能够计算作为嵌置信息的混合比率α和输出所计算的混合比率α。

图73是表示用于将前景分量图像与某个背景图像合成的图像处理设备的功能的另一个结构的方框图。图68表示的图像处理设备串行地完成区域规定操作和混合比率α的计算。相反，图73表示的图像处理设备以并行方式完成区域规定操作和混合比率α的计算。

类似于图70的方框表示的功能单元被由类似的参考标记表示，因此其解释被省略。

图73中表示的混合比率计算器1101基于运动矢量和其位置信息以及输入图像计算当假设在输入图像中包含的每个像素属于覆盖背景区域时的估计混合比率以及当假设在输入图像中包含的每个像素属于未覆盖背景区域时的估计混合比率，并将按上述计算的估计混合比率提供给前景/背景分离器1102和合成器1201。

基于当假设像素属于从混合比率计算器1101提供的覆盖背景区域时计算的估计混合比率，当假设像素属于从混合比率计算器1101提供的未覆盖背景区域时计算的估计混合比率以及从区域规定单元103提供的区域信息，图73中表示的前景/背景分离器1102从输入图像中产生前景分量图像，并且将所产生的前景分量图像提供给合成器1201。

合成器1201将某个背景图像与基于当假设像素属于从混合比率计算器1101提供的覆盖背景区域时计算的估计混合比率、当假设像素属于从混合比率计算器1101提供的未覆盖背景区域时计算的估计混合比率以及从区域规定单元103提供的区域信息而从前景/背景分离器1102提供的前景分量图像相合成，并且输出其中背景图像和前景分量图像被合成的合成图像。

图74表示合成器1201的结构。类似于图69方框图的功能单元被指定为类似的参考标记，因此其解释被省略。

选择器1221基于从区域规定单元103提供的区域信息选择当假设像素属于从混合比率计算器1101提供的覆盖背景区域时计算的估计混合比率，或者当假设像素属于从混合比率计算器1101提供的未覆盖背景区域时计算的估计混合比率，并将所选择的估计混合比率作为混合比率α提供给背景分量发生器1021。

图74中表示的背景分量发生器1021基于从选择器1221提供的混合比率α和某个背景分量产生背景分量图像和将背景分量图像提供给混合区域图像合成部分1022。

图74中表示的混合区域图像合成部分1022将从背景分量发生器1021提供的背景分量图像与前景分量图像合成，以便产生混合区域合成图像，并将所产生的混合区域合成图像提供给图像合成部分1023。

图像合成部分1023合成前景分量图像，从混合区域图像合成部分1022提供的混合区域合成图像以及基于区域信息的背景图像，以便产生合成图像和输出它。

这样，合成器1201能够将前景分量图像与某个背景图像合成。

本发明已经通过将混合比率α设置到像素值中包含的背景分量的比率进行了上述讨论。但是，混合比率α可以被设置到像素值中包含的前景分量的比率。

本发明已经通过将前景目标的运动方向设置成从左到右的方向进行了上述讨论。但是，运动方向不限制于上述方向。

在上述说明中，具有三维空间和时间轴信息的真实空间图像通过使用视频摄象机被投影到具有二维空间和时间轴信息的时间空间。但是，本发明不局限于该例子，并能够被应用到下述情况。当一维空间中较大量的第一信息被投影到二维空间中较小量的第二信息上时，由投影产生的失真能够被修正，大量的信息能够被提取或者能够合成更自然的图像。

传感器不限制于CCD，可以是另外类型的传感器，例如为固体成象器件(Solid-state Imaging Device)，诸如BBD(Bucket Brigade Device，组桶式器件)，CID(Charge Priming Device，电荷注入器件)，CPD(电荷引发器件)，或者CMOS(互补金属氧化物半导体)。另外，传感器不是必须为其中检测器件以矩阵排列的传感器，可以是其中检测器件以一条线排列的传感器。

其中记录了用于执行本发明信号处理的程序的记录媒体可以是由其中记录了程序的可运动媒体形成，其配置用于将程序提供给与计算机分开的用户，如图1中表示，其诸如为磁盘51(包括软盘(注册商标名称))，光盘52(CD-ROM(高密只读存储盘)和DVD(数字通用盘)，磁光盘(包括MD(迷你盘)(注册商标名称))，或者半导体存储器54。记录媒体也可以由其中记录了程序的在存储单元28中包含的ROM 22或者硬盘形成，这种记录媒体在被预先存储在计算机中的同时提供给用户。

形成记录媒体中记录程序的步骤可以根据说明中说明的次序依次被执行。但是，它们不必要以时间串行方式被执行，它们可以同时地或者单独地被执行。

工业实用性

根据本发明，根据混合状态分离背景图像和目标图像是可能的。

Claims (6)

1.一种图像处理设备，用于执行对由预定数目的像素数据形成的图像数据进行图像处理，该预定数目的像素数据是通过包括预定数目的像素并具有时间积分功能的图像捕获器件获得的，所述图像处理设备包括：

区域规定装置，用于在对应于一个屏幕的时间的一第一周期中规定混合形成图像数据指定帧的前景目标的前景目标分量和形成指定帧的背景目标的背景目标分量的未覆盖背景区域，该未覆盖背景区域形成在前景目标正在运动的方向上的后端，所述区域规定装置用于在接着该时间的第一周期之后对应于一个屏幕的时间的一第二周期中，规定仅仅由前景目标分量构成的前景区域和仅仅由背景目标分量构成的背景区域；以及所述区域规定装置用于在接着该时间的第二周期之后对应于一个屏幕的时间的一第三周期中规定混合前景目标分量和背景目标分量的覆盖背景区域，该覆盖背景区域形成在前景目标正在运动的方向上的前端；

混合比率检测装置，用于检测表示在未覆盖背景区域中和在覆盖背景区域中前景目标分量和背景目标分量之比率的混合比率；以及

前景/背景分离装置，用于基于该混合比率将属于未覆盖背景区域和属于覆盖背景区域的像素的像素数据分离成前景目标分量和背景目标分量，以及用于产生仅仅由前景目标分量构成的前景目标图像和仅仅由指定帧中的背景分量图像构成的背景分量图像。

2.权利要求1的图像处理设备，其中所述区域规定装置临时存储被连续输入的三个帧，并且所述区域规定装置在时间的第一周期中将下述区域规定为对应于指定帧的未覆盖背景区域，在该区域中，对于在指定帧之后两帧和指定帧之后一帧的确定结果是静止的，而对于指定帧之后一帧和指定帧的确定结果是运动的；所述区域规定装置在时间的第二周期中将下述区域规定为对应于指定帧的前景区域，在该区域中，对于在指定帧之前一帧和指定帧的确定结果是运动的，对于指定帧和指定帧之后一帧的确定结果也是运动的；在时间的第二周期中将下述区域规定为对应于指定帧的背景区域，在该区域中，对于在指定帧之前一帧和指定帧的确定结果是静止的，对于指定帧和指定帧之后一帧的确定结果也是静止的；以及所述区域规定装置在时间的第三周期中将下述区域规定为对应于指定帧的覆盖背景区域，在该区域中，对于指定帧之前两帧与指定帧之前一帧的确定结果是静止的，对于指定帧之前一帧和指定帧的确定结果也是静止的。

3.一种图像处理方法，用于执行对由预定数目的像素数据形成的图像数据进行图像处理，该预定数目的像素数据是通过包括预定数目的像素并具有时间积分功能的图像捕获器件获得的，所述图像处理方法包括：

区域规定步骤，用于在对应于一个屏幕的时间的一第一周期中规定混合形成图像数据指定帧的前景目标的前景目标分量和形成指定帧的背景目标的背景目标分量的未覆盖背景区域，该未覆盖背景区域形成在前景目标正在运动的方向上的后端；所述区域规定步骤，用于在接着该时间的第一周期之后对应于一个屏幕的时间的一第二周期中，规定仅仅由前景目标分量构成的前景区域和仅仅由背景目标分量构成的背景区域；以及所述区域规定步骤，用于在接着该时间的第二周期之后对应于一个屏幕的时间的一第三周期中规定混合前景目标分量和背景目标分量的覆盖背景区域，该覆盖背景区域形成在前景目标正在运动的方向上的前端；

混合比率检测步骤，用于检测表示在未覆盖背景区域中和在覆盖背景区域中前景目标分量和背景目标分量之比率的混合比率；以及

前景/背景分离步骤，用于基于该混合比率将属于未覆盖背景区域和属于覆盖背景区域的像素的像素数据分离成前景目标分量和背景目标分量，以便产生仅仅由前景目标分量构成的前景分量图像和仅仅由指定帧中的背景分量图像构成的背景分量图像。

4.根据权利要求3的图像处理方法，其中在所述区域规定步骤中，临时存储被连续输入的三个帧，并且在时间的第一周期中，将下述区域规定为对应于指定帧的未覆盖背景区域，在该区域中，对于在指定帧之后两帧和指定帧之后一帧的确定结果是静止的，而对于指定帧之后一帧和指定帧的确定结果是运动的；在时间的第二周期中，将下述区域规定为对应于指定帧的前景区域，在该区域中，对于在指定帧之前一帧和指定帧的确定结果是运动的，而对于指定帧和指定帧之后一帧的确定结果也是运动的；在时间的第二周期中，将下述区域规定为对应于指定帧的背景区域，在该区域中，对于在指定帧之前一帧和指定帧的确定结果是静止的，而对于指定帧和指定帧之后一帧的确定结果也是静止的；以及在时间的第三周期中，将下述区域规定为对应于指定帧的覆盖背景区域，在该区域中，对于指定帧之前两帧和指定帧之前一帧的确定结果是静止的，而对于指定帧之前一帧和指定帧的确定结果是也静止的。

5.一种图像捕获设备，包括：

图像捕获装置，用于对图像数据进行图像处理，该图像数据是由通过图像捕获器件获得的预定数目的像素数据形成的，该图像捕获器件包括预定数目的像素并具有时间积分功能；

区域规定装置，用于在对应于一个屏幕的时间的一第一周期中规定混合形成图像数据指定帧的前景目标的前景目标分量和形成指定帧的背景目标的背景目标分量的未覆盖背景区域，该未覆盖背景区域形成在前景目标正在运动的方向上的后端；所述区域规定装置，用于在接着该时间的第一周期之后对应于一个屏幕的时间的一第二周期中，规定仅仅由前景目标分量构成的前景区域和仅仅由背景目标分量构成的背景区域；以及所述区域规定装置，用于在接着该时间的第二周期之后对应于一个屏幕的时间的一第三周期中规定混合前景目标分量和背景目标分量的覆盖背景区域，该覆盖背景区域形成在前景目标正在运动的方向上的前端；

混合比率检测装置，用于检测表示在未覆盖背景区域中和在覆盖背景区域中前景目标分量和背景目标分量之比率的混合比率；以及

前景/背景分离装置，用于基于该混合比率将属于未覆盖背景区域和属于覆盖背景区域的像素的像素数据分离成前景目标分量和背景目标分量，以及用于产生仅仅由前景目标分量构成的前景目标图像和仅仅由指定帧中的背景分量图像构成的背景分量图像。

6.权利要求5的图像捕获设备，其中所述区域规定装置临时存储被连续输入的三个帧，并且所述区域规定装置在时间的第一周期中将下述区域规定为对应于指定帧的未覆盖背景区域，在该区域中，对于在指定帧之后两帧和指定帧之后一帧的确定结果是静止的，而对于指定帧之后一帧和指定帧的确定结果是运动的；所述区域规定装置在时间的第二周期中将下述区域规定为对应于指定帧的前景区域，在该区域中，对于在指定帧之前一帧和指定帧的确定结果是运动的，对于指定帧和指定帧之后一帧的确定结果也是运动的；在时间的第二周期中将下述区域规定为对应于指定帧的背景区域，在该区域中，对于在指定帧之前一帧和指定帧的确定结果是静止的，对于指定帧和指定帧之后一帧的确定结果也是静止的；以及所述区域规定装置在时间的第三周期中将下述区域规定为对应于指定帧的覆盖背景区域，在该区域中，对于指定帧之前两帧和指定帧之前一帧的确定结果是静止的，而对于指定帧之前一帧和指定帧的确定结果也是静止的。

Images