CN1313975C - 图像处理装置和方法、以及图像捕获装置 - Google Patents

Abstract

本发明的一个目的是使得有可能指定其中出现该背景图像区域和该运动目标区域的混合的一个背景图像区域、一个运动目标区域和一个图像区域。一个混合比计算器103提取对应于该图像数据的一个指定帧的一个指定像素的周边帧的像素数据作为对应于一个背景目标的背景像素数据，并且还提取包含在该指定帧中的该指定像素的指定像素数据，以便产生指示该指定像素数据以及该背景像素数据之间关系的多个关系表达式。该混合比计算器103根据该关系表达式而检测指示该目的的混合状态的混合比。通过把该检测的混合比代入该关系表达式，一个区域指定单元104计算一个预测误差，并且确定该指定像素所属的一个区域是否是一个覆盖的背景区域、一个未覆盖的背景区域、一个前景区域或一个背景区域。本发明可应用于一个图像处理装置。

Description

图像处理装置和方法、以及图像捕获装置

技术领域

本发明涉及图像处理装置和方法、以及图像捕获装置，尤其涉及考虑到在检测器检测的信号和实景之间差异的一个图像处理装置和方法、以及图像捕获装置。

背景技术

用于检测出现在由传感器提取的实景中的成分并且用于处理从该图像传感器输出的采样数据的技术已被广泛使用。

例如，如果一目标的移动速度相当高，则在利用一个摄像机捕获在一个预定的静止背景前面的该移动目标而获得的一个图像中将出现运动模糊。

然而，当一个目标在一个静止背景前面移动时，不仅出现由该运动物体本身的混合引起的运动模糊，而且出现该背景图像和该移动目标图像的混合。迄今，尚未考虑用于涉及该背景图像和运动物体的混合状态的处理。

发明内容

本发明建立在上面描述的背景下。因此，本发明的一个目的是使得有可能指定其中出现该背景图像区域和该运动目标区域的混合的一个背景图像区域、一个运动目标区域和一个图像区域。

本发明的一个图像处理装置包括：关系表达式产生装置，用于对应图像数据的一个指定帧的一个指定像素和在指定像素邻近定位的多个邻近像素，来提取围绕指定帧的一个周边帧的像素数据作为对应于一个背景目标的背景像素数据，所述背景目标形成多个图像数据的目标中的一个背景，并且还用于提取包含在一个指定帧中的一个指定像素的指定像素数据和在指定像素邻近定位的多个邻近像素的邻近像素数据，以便产生涉及指定像素的、指示该指定像素数据和该背景像素数据之间的关系的多个关系表达式；混合比检测装置，根据该关系表达式，检测指示在涉及该指定像素的实景中的背景/前景像素数据与所述像素数据的比的一个混合比；预测误差计算装置，通过将把由该混合比检测装置检测的该混合比代入该关系表达式获得的结果与实际像素值进行比较而计算一个预测误差；覆盖背景区域/未覆盖背景区域指定装置，用于根据该预测误差，指定该指定像素所属的一个区域是否是混合区域以及也是覆盖的背景区域或者是混合区域以及也是未覆盖的背景区域，其中在所述混合区域中混合了背景目标和前景目标，并且所述覆盖的背景区域形成在一个前景目标的移动方向上的前端，该前景目标构成多个目标中的一个前景，并且所述未覆盖的背景区域形成在该前景目标的移动方向后端；以及前景区域/背景区域指定装置，用于指定该指定像素所属区域是否是仅包括形成该前景目标的前景目标成分的一个前景区域，或仅包括形成该背景目标的背景目标成分的一个背景区域。

根据该关系表达式，该混合比检测装置可以对应该指定像素而检测包含在该指定像素中的前景目标成分，并且还可以检测该混合比；并且该预测误差计算装置可以通过把该混合比和包含在由该混合比检测装置检测的该指定像素中的前景目标成分代入该关系表达式而计算该预测误差。

关系表达式产生装置可以提取对应于该指定像素的周边帧的像素数据作为对应于该背景目标的背景像素数据，并且还可以提取该指定像素的指定像素数据和在该指定帧中的指定像素邻近定位的多个邻近像素的邻近像素数据，并且可以产生涉及指定像素的多个关系表达式，该多个关系表达式指示在该指定像素数据、邻近像素数据和与该指定像素数据或该邻近像素数据相对应的背景像素数据之间的关系。

该关系表达式产生装置可以根据一个第一近似和一个第二近似产生多个关系表达式，其该第一近似中的包含在该指定像素数据和该邻近像素数据中的前景目标成分相等，而该第二近似中该混合区域中的混合比相对于该混合区域的像素的位置而线性地改变。

该关系表达式产生装置可以根据一个第一近似和一个第二近似产生多个关系表达式，其该第一近似中的包含在该指定像素数据和该邻近像素数据中的前景目标成分相等，而该第二近似中该混合区域中的混合比相对于该混合区域的像素的位置而平面地改变。

该混合比检测装置可以通过根据该最小二乘法求解该多个关系表达式而检测该混合比。

可以通过当该指定像素属于该覆盖背景区域时提取在指定帧之前的帧的像素数据作为该背景像素数据、并且当该指定像素属于该未覆盖背景区域时提取跟随该指定帧的帧像素数据作为该背景像素数据，该关系表达式产生装置产生该多个关系表达式。

所说的关系表达式产生装置，通过根据该前景目标的运动，对应于该指定像素而从该指定帧和该周边帧提取在混合区域中的混合像素数据、以及通过根据该背景目标的运动，对应于每项混合像素数据而从不同于该被提取混合像素数据的帧的一个帧提取与该背景目标相对应的背景像素数据，而产生该多个关系表达式，其中在所述混合区域中混合了前景目标和背景目标。

该关系表达式产生装置可以根据其中对应于该混合的像素数据的前景目标成分是相等的一个第一近似和其中从指定帧和周边帧提取的该混合的像素数据是均匀的一个第二近似而产生该多个关系表达式。

所说的关系表达式产生装置，通过根据该前景目标的运动，对应该指定像素而从该指定帧和该周边帧提取在混合区域中的混合像素数据、以及通过根据该背景目标的运动，对应于该混合像素数据的每一项而从该被提取混合像素数据的帧的先前帧提取与该背景目标相对应的背景像素数据，而产生该多个关系表达式，其中在所述混合区域中混合了前景目标和背景目标。该覆盖背景区域/未覆盖背景区域指定装置可以把其中该预测误差大于或等于一个预定阈值的一个区域指定为该未覆盖的背景区域。

所说的关系表达式产生装置，通过根据该前景目标的运动，对应该指定像素而从该指定帧和该周边帧提取在混合区域中的混合像素数据、以及根据该背景目标的运动，通过对应于该该混合像素数据的每一项而从该被提取混合像素数据的帧的随后帧提取与该背景目标相对应的背景像素数据，而产生该多个关系表达式，其中在所述混合区域中混合了前景目标和背景目标。该覆盖背景区域/未覆盖背景区域指定装置可以把其中该预测误差大于或等于一个预定阈值的一个区域指定为该覆盖的背景区域。

一种图像处理方法包括：一个关系表达式产生步骤，对应图像数据的一个指定帧的一个指定像素和在指定像素邻近定位的多个邻近像素，而提取围绕该指定帧的周边帧的像素数据作为对应于一个背景目标的背景像素数据，所述背景目标形成多个图像数据的目标中的一个背景，并且还提取包含在该指定帧中的一个指定像素的指定像素数据和在指定像素邻近定位的多个邻近像素的邻近像素数据，以便产生涉及指定像素的、指示在该指定像素数据和该背景像素数据之间的关系的多个关系表达式；混合比检测步骤，根据所述关系表达式，检测指示在涉及该指定像素的实景中的背景/前景像素数据与所述像素数据的比的一个混合比；一个预测误差计算步骤，通过将把由该混合比检测步骤中的处理所检测的该混合比代入该关系表达式获得的结果与实际像素值进行比较而计算一个预测误差；一个覆盖背景区域/未覆盖背景区域指定步骤，根据该预测误差，指定该指定像素所属的一个区域是否是混合区域以及也是覆盖的背景区域或者是混合区域以及也是未覆盖的背景区域，其中在所述混合区域中混合了背景目标和前景目标并且所述覆盖的背景区域形成在一个前景目标的移动方向上的前端，该前景目标构成多个目标中的一个前景，并且所述未覆盖的背景区域形成在该前景目标的移动方向后端；以及一个前景区域/背景区域指定步骤，指定该指定像素所属区域是否是仅包括形成该前景目标的前景目标成分的一个前景区域，或仅包括形成该背景目标的背景目标成分的一个背景区域。

在该混合比检测步骤中，根据该关系表达式，可对应该指定像素而检测包含在该指定像素中的该前景目标成分，并且还可能检测该混合比。在该预测误差计算步骤中，可以通过把该混合比和包含在由该混合比检测步骤中的处理所检测的指定像素中的该前景目标成分代入该关系表达式而计算该预测误差。

在该关系表达式产生步骤中，对应于该指定像素的该周边帧的像素数据可以被提取作为对应于该背景目标的背景像素数据，并且还可以提取该指定像素的指定像素数据和该指定帧中在该指定像素邻近定位的多个邻近像素的邻近像素数据，并且涉及该指定像素的该多个关系表达式指示在该指定像素数据、该邻近像素数据、和与该指定像素数据或该邻近像素数据相对应的该背景像素数据之间的一个关系。

在该关系表达式产生步骤中，可以根据其中包含在该指定像素数据中的该前景目标成分和该邻近像素数据中的该前景目标成分是相等的一个第一近似、以及其中在该混合区域中的该混合比相对该混合区域的像素的位置而线性改变的一个第二近似而产生该多个关系表达式。

在该关系表达式产生步骤中，可以根据其中包含在该指定像素数据中的该前景目标成分和该邻近像素数据中的该前景目标成分是相等的一个第一近似、以及其中在该混合区域中的该混合比相对该混合区域的像素的位置而平面改变的一个第二近似而产生该多个关系表达式。

在该混合比检测步骤中，可以通过根据该最小二乘法求解该多个关系表达式而检测该混合比。

在该关系表达式产生步骤中，可以通过当该指定像素属于该覆盖背景区域时提取在指定帧之前的帧的像素数据作为该背景像素数据、并且当该指定像素属于该未覆盖背景区域时提取跟随该指定帧的帧像素数据作为该背景像素数据而产生该多个关系表达式。

所说的关系表达式产生步骤，通过根据该前景目标的一个运动，对应该指定像素而从该指定帧和该周边帧提取在混合区域中的混合像素数据、以及通过根据一个背景目标的运动，对应该混合像素数据的每一项而从不同于被提取了混合像素数据的帧的一个帧提取与该背景目标相对应的背景像素数据，而产生该多个关系表达式，其中在所述混合区域中混合了前景目标和背景目标。

在该关系表达式产生步骤中，可以根据其中对应于该混合像素数据的该前景目标成分是相等的一个第一近似和其中从该指定帧和该周边帧提取的该混合像素数据是均匀的一个第二近似而产生多个关系表达式。

所说的关系表达式产生步骤，通过根据该前景目标的运动，对应该指定像素而从该指定帧和该周边帧提取在混合区域中的混合像素数据、以及通过根据该背景目标的运动，对应该混合像素数据的每一项而从其被提取了混合像素数据的帧的先前帧提取与该背景目标相对应的背景像素数据，而产生该多个关系表达式，其中在所述混合区域中混合了前景目标和背景目标。在该覆盖背景区域/未覆盖背景区域指定步骤中，其中该预测误差大于或等于一个预定阈值的一个区域被指定作为该未覆盖的背景区域。

所说的关系表达式产生步骤，通过根据该前景目标的运动，对应该指定像素而从该指定帧和该周边帧提取在混合区域中的混合像素数据、以及通过根据该背景目标的运动，对应该混合像素数据的每一项而从其被提取了混合像素数据的帧的随后帧提取与该背景目标相对应的背景像素数据，而产生该多个关系表达式，其中在所述混合区域中混合了前景目标和背景目标。在该覆盖背景区域/未覆盖背景区域指定步骤中，其中该预测误差大于或等于一个预定阈值的一个区域可以指定作为该覆盖的背景区域。

一个本发明的记录介质的程序，包括步骤：一个关系表达式产生步骤，对应图像数据的一个指定帧的多个指定像素而提取围绕该指定帧的周边帧的像素数据作为对应于在多个图像数据目标当中形成一个背景的一个背景目标的背景像素数据，并且还提取包含在该指定帧中的多个指定像素的指定的像素数据，以便产生涉及指示在该指定像素数据和该背景像素数据之间的关系的该指定像素的多个关系表达式；一个混合比检测步骤，根据该关系表达式，用于检测指示在涉及该指定像素的实景中的背景/前景像素数据与所述像素数据的比的一个混合比；一个预测误差计算步骤，通过将把由该混合比检测步骤中的处理所检测的该混合比代入该关系表达式获得的结果与实际像素值进行比较而计算一个预测误差；一个覆盖背景区域/未覆盖背景区域指定步骤，根据该预测误差，指定该指定像素所属的一个区域是否是其中混合了背景目标和前景目标的一个混合区域并且还是形成在一个前景目标的移动方向上的前端的一个覆盖的背景区域，该前景目标形成在多个目标中的一个前景，或者是该混合区域并且还是形成在该前景目标的移动方向后端的一个未覆盖的背景区域；以及一个前景区域/背景区域指定步骤，指定该指定像素所属区域是否是仅包括形成该前景目标的前景目标成分的一个前景区域，或仅包括形成该背景目标的背景目标成分的一个背景区域。

在该混合比检测步骤中，根据该关系表达式，可对应该指定像素而检测包含在该指定像素中的该前景目标成分，并且还可能检测该混合比。在该预测误差计算步骤中，可以通过把该混合比和包含在由该混合比检测步骤中的处理所检测的指定像素中的该前景目标成分代入该关系表达式而计算该预测误差。

在该关系表达式产生步骤中，对应于该指定像素的该周边帧的像素数据可以被提取作为对应于该背景目标的背景像素数据，并且还可以提取该指定像素的指定像素数据和该指定帧中在该指定像素邻近定位的多个邻近像素的邻近像素数据，并且涉及该指定像素的该多个关系表达式指示在该指定像素数据、该邻近像素数据、和对应于该指定像素数据或该邻近像素数据的该背景像素数据当中的一个关系。

在该关系表达式产生步骤中，可以根据其中包含在该指定像素数据和该邻近像素数据中的该前景目标成分是相等的一个第一近似、以及其中在该混合区域中的该混合比相对该混合区域的像素的位置而线性改变的一个第二近似而产生该多个关系表达式。

在该关系表达式产生步骤中，可以根据其中包含在该指定像素数据和该邻近像素数据中的该前景目标成分是相等的一个第一近似、以及其中在该混合区域中的该混合比相对该混合区域的像素的位置而平面地改变的一个第二近似而产生该多个关系表达式。

在该混合比检测步骤中，可以通过根据该最小二乘法求解该多个关系表达式而检测该混合比。

在该关系表达式产生步骤中，可以通过当该指定像素属于该覆盖背景区域时提取在指定帧之前的帧的像素数据作为该背景像素数据、并且当该指定像素属于该未覆盖背景区域时提取跟随该指定帧的帧像素数据作为该背景像素数据而产生该多个关系表达式。

根据该前景目标的运动，通过对应该指定像素而从该指定帧和该周边帧提取在其中混合了前景目标和背景目标的一个混合区域中的混合像素数据、以及根据该背景目标的运动，通过对应该混合像素数据的每一项还从不同于被提取了混合像素数据的帧的一个帧提取对应于该背景目标的背景像素数据，该关系表达式产生步骤可以产生该多个关系表达式。

在该关系表达式产生步骤中，可以根据其中对应于该混合像素数据的该前景目标成分是相等的一个第一近似和其中从该指定帧和该周边帧提取的该混合像素数据是均匀的一个第二近似而产生多个关系表达式。

根据该前景目标的运动，通过对应该指定像素而从该指定帧和该周边帧提取在其中混合了前景目标和背景目标的该混合区域中的混合像素数据、以及根据该背景目标的运动，通过对应该混合像素数据的每一项还从其被提取了混合像素数据的帧的先前帧提取对应于该背景目标的背景像素数据，该关系表达式产生步骤可以产生该多个关系表达式。在该覆盖背景区域/未覆盖背景区域指定步骤中，其中该预测误差大于或等于一个预定阈值的一个区域可以被指定作为该未覆盖的背景区域。

根据该前景目标的运动，通过对应该指定像素而从该指定帧和该周边帧提取在其中混合了前景目标和背景目标的该混合区域中的混合像素数据、以及根据该背景目标的运动，通过对应该混合像素数据的每一项还从其被提取了混合像素数据的帧的随后帧提取对应于该背景目标的背景像素数据，该关系表达式产生步骤可以产生该多个关系表达式。在该覆盖背景区域/未覆盖背景区域指定步骤中，其中该预测误差大于或等于一个预定阈值的一个区域可以被指定作为该覆盖的背景区域。

本发明的一个程序，使得一台计算机执行：一个关系表达式产生步骤，对应图像数据的一个指定帧的一个指定像素而提取围绕该指定帧的周边帧的像素数据作为对应于在多个图像数据目标当中形成一个背景的一个背景目标的背景像素数据，并且还提取包含在该指定帧中的指定像素的指定的像素数据，以便产生涉及指示在该指定像素数据和该背景像素数据之间的关系的该指定像素的多个关系表达式；一个混合比检测步骤，根据该关系表达式，用于检测指示在涉及该指定像素的实景中的多个目标的混合状态的一个混合比；一个预测误差计算步骤，通过把由该混合比检测步骤中的处理所检测的该混合比代入该关系表达式而计算一个预测误差；一个覆盖背景区域/未覆盖背景区域指定步骤，根据该预测误差，指定该指定像素所属的一个区域是否是其中混合了多个目标的一个混合区域并且还是形成在一个前景目标的移动方向上的前端的一个覆盖的背景区域，该前景目标形成在多个目标中的一个前景，或者是该混合区域并且还是形成在该前景目标的移动方向后端的一个未覆盖的背景区域；以及一个前景区域/背景区域指定步骤，指定该指定像素所属区域是否是仅包括形成该前景目标的前景目标成分的一个前景区域，或仅包括形成该背景目标的背景目标成分的一个背景区域。

在该混合比检测步骤中，根据该关系表达式，可对应该指定像素而检测包含在该指定像素中的该前景目标成分，并且还可能检测该混合比。在该预测误差计算步骤中，可以通过把该混合比和包含在由该混合比检测步骤中的处理所检测的指定像素中的该前景目标成分代入该关系表达式而计算该预测误差。

在该关系表达式产生步骤中，对应于该指定像素的该周边帧的像素数据可以被提取作为对应于该背景目标的背景像素数据，并且还可以提取该指定像素的指定像素数据和该指定帧中在该指定像素邻近定位的一个邻近像素的邻近像素数据，并且涉及该指定像素的该多个关系表达式指示在该指定像素数据、该邻近像素数据、和对应于该指定像素数据或该邻近像素数据的该背景像素数据当中的一个关系。

在该关系表达式产生步骤中，可以根据其中包含在该指定像素数据中的该前景目标成分和该邻近像素数据中的该前景目标成分是相等的一个第一近似、以及其中在该混合区域中的该混合比相对该混合区域的像素的位置而线性改变的一个第二近似而产生该多个关系表达式。

在该关系表达式产生步骤中，可以根据其中包含在该指定像素数据中的该前景目标成分和该邻近像素数据中的该前景目标成分是相等的一个第一近似、以及其中在该混合区域中的该混合比相对该混合区域的像素的位置而平面地改变的一个第二近似而产生该多个关系表达式。

在该混合比检测步骤中，可以通过根据该最小二乘法求解该多个关系表达式而检测该混合比。

在该关系表达式产生步骤中，可以通过当该指定像素属于该覆盖背景区域时提取在指定帧之前的帧的像素数据作为该背景像素数据、并且当该指定像素属于该未覆盖背景区域时提取跟随该指定帧的帧像素数据作为该背景像素数据而产生该多个关系表达式。

根据该前景目标的运动，通过对应该指定像素而从该指定帧和该周边帧提取指示其中混合了多个目标的一个混合状态的混合像素数据、以及根据该背景目标的运动，通过对应该混合像素数据的每一项还从不同于被提取了混合像素数据的帧的一个帧提取对应于该背景目标的背景像素数据，该关系表达式产生步骤可以产生该多个关系表达式。

在该关系表达式产生步骤中，可以根据其中对应于该混合像素数据的该前景目标成分是相等的一个第一近似和其中从该指定帧和该周边帧提取的该混合像素数据是均匀的一个第二近似而产生多个关系表达式。

根据该前景目标的运动，通过对应该指定像素而从该指定帧和该周边帧提取指示其中混合了多个目标的该混合状态的混合像素数据、以及根据该背景目标的运动，通过对应该混合像素数据的每一项还从其被提取了混合像素数据的帧的先前帧提取对应于该背景目标的背景像素数据，该关系表达式产生步骤可以产生该多个关系表达式。在该覆盖背景区域/未覆盖背景区域指定步骤中，其中该预测误差大于或等于一个预定阈值的一个区域可以被指定作为该未覆盖的背景区域。

根据该前景目标的运动，通过对应该指定像素而从该指定帧和该周边帧提取指示其中混合了多个目标的该混合状态的混合像素数据、以及根据该背景目标的运动，通过对应该混合像素数据的每一项还从其被提取了混合像素数据的帧的随后帧提取对应于该背景目标的背景像素数据，该关系表达式产生步骤可以产生该多个关系表达式。在该覆盖背景区域/未覆盖背景区域指定步骤中，其中该预测误差大于或等于一个预定阈值的一个区域可以被指定作为该覆盖的背景区域。

一个本发明的图像捕获装置，包括：图像捕获装置，用于输出由一个图像捕获部件所捕获的一个目标图像，包括一个预定数量的像素，该像素具有一个时间积分功能，作为预定数量的像素数据形成的图像数据；关系表达式产生装置，用于对应图像数据的一个指定帧的一个指定像素和在指定像素邻近定位的多个邻近像素，来提取围绕指定帧的一个周边帧的像素数据作为对应于一个背景目标的背景像素数据，所述背景目标形成多个图像数据的目标中的一个背景，并且还用于提取包含在一个指定帧中的一个指定像素的指定像素数据和在指定像素邻近定位的多个邻近像素的邻近像素数据，以便产生涉及指定像素的、指示该指定像素数据和该背景像素数据之间的关系的多个关系表达式；混合比检测装置，根据该关系表达式，用于检测指示在涉及该指定像素的实景中的多个目标的混合状态的一个混合比；预测误差计算装置，通过把由该混合比检测装置检测的该混合比代入该关系表达式而计算一个预测误差；覆盖背景区域/未覆盖背景区域指定装置，用于根据该预测误差，指定该指定像素所属的一个区域是否是混合区域以及也是覆盖的背景区域或者是混合区域以及也是未覆盖的背景区域，其中在所述混合区域中混合了多个目标，并且所述覆盖的背景区域形成在一个前景目标的移动方向上的前端，该前景目标构成多个目标中的一个前景，并且所述未覆盖的背景区域形成在该前景目标的移动方向后端；以及前景区域/背景区域指定装置，用于指定该指定像素所属区域是否是仅包括形成该前景目标的前景目标成分的一个前景区域，或仅包括形成该背景目标的背景目标成分的一个背景区域。

根据该关系表达式，该混合比检测装置可以对应该指定像素而检测包含在该指定像素中的前景目标成分，并且还可以检测该混合比。

关系表达式产生装置可以提取对应于该指定像素的周边帧的像素数据作为对应于该背景目标的背景像素数据，并且还可以提取该指定像素的指定像素数据和在该指定帧中的指定像素邻近定位的一个邻近像素的邻近像素数据，并且可以产生涉及指定像素的多个关系表达式，所述多个关系表达式指示在该指定像素数据、邻近像素数据和与该指定像素数据或该邻近像素数据相对应的背景像素数据之间的关系。

该关系表达式产生装置可以根据一个第一近似和一个第二近似产生多个关系表达式，其该第一近似中的包含在该指定像素数据中的前景目标成分和该邻近像素数据相等而该第二近似中该混合区域中的混合比相对于该混合区域的像素的位置而线性地改变。

该关系表达式产生装置可以根据一个第一近似和一个第二近似产生多个关系表达式，其该第一近似中的包含在该指定像素数据中的前景目标成分和该邻近像素数据相等而该第二近似中该混合区域中的混合比相对于该混合区域的像素的位置而平面地改变。

该混合比检测装置可以通过根据该最小二乘法求解该多个关系表达式而检测该混合比。

该关系表达式产生装置可以通过当该指定像素属于该覆盖背景区域时提取在指定帧之前的帧的像素数据作为该背景像素数据、并且当该指定像素属于该未覆盖背景区域时提取跟随该指定帧的帧像素数据作为该背景像素数据而产生该多个关系表达式。

所说的关系表达式产生装置，通过根据该前景目标的运动，对应该指定像素而从该指定帧和该周边帧提取指示混合状态的混合像素数据、以及通过根据该背景目标的运动，对应于该混合像素数据的每一项而从不同于该被提取混合像素数据的帧的一个帧提取与该背景目标相对应的背景像素数据，而产生该多个关系表达式，其中所述混合状态是混合了多个目标的状态。

该关系表达式产生装置可以根据其中对应于该混合的像素数据的前景目标成分是相等的一个第一近似和其中从指定帧和周边的帧提取的该混合的像素数据是均匀的一个第二近似而产生该多个关系表达式。

所说的关系表达式产生装置，通过根据该前景目标的运动，对应该指定像素而从该指定帧和该周边帧提取指示混合状态的混合像素数据、以及通过根据该背景目标的运动，对应于该混合像素数据的每一项而从该被提取混合像素数据的帧的先前帧提取与该背景目标相对应的背景像素数据，而产生该多个关系表达式，其中所述混合状态是混合了多个目标的状态。该覆盖背景区域/未覆盖背景区域指定装置可以把其中该预测误差大于或等于一个预定阈值的一个区域指定为该未覆盖的背景区域。

所说的关系表达式产生装置，通过根据该前景目标的运动，对应该指定像素而从该指定帧和该周边帧提取指示混合状态的混合像素数据、以及通过根据该背景目标的运动，对应于该该混合像素数据的每一项而从该被提取混合像素数据的帧的随后帧提取与该背景目标相对应的背景像素数据，而产生该多个关系表达式，其中所述混合状态是混合了多个目标的状态。该覆盖背景区域/未覆盖背景区域指定装置可以把其中该预测误差大于或等于一个预定阈值的一个区域指定为该覆盖的背景区域。

对应图像数据的一个指定帧的一个指定像素，提取围绕该指定帧的一个周边帧的像素数据作为对应于形成在多个图像数据的目标中的一个背景的一个背景目标的背景像素数据，并且还用于提取包含在该指定帧中的指定像素的指定像素数据，以便产生涉及指示该指定像素数据和该背景像素数据之间的关系的指定像素的多个关系表达式。根据该关系表达式，检测指示在涉及该指定像素的实景中的多个目标的混合状态的一个混合比。通过把该检测的混合比代入该关系表达式而计算该预测误差。根据该预测误差，指定该指定像素所属的一个区域是否：是其中该多个目标被混合的一个混合区域、以及还是在形成多个目标当中的一个前景的一个前景目标的运动方向上的前端形成的一个覆盖的背景区域，或者是该混合区域并且还是在该前景目标的运动方向上的后端形成的一个未覆盖的背景区域。指定该指定像素所属区域是否是仅包括形成该前景目标的前景目标成分的一个前景区域，或仅包括形成该背景目标的背景目标成分的一个背景区域。

据此方案，有可能指定其中出现该背景图像区域和该运动目标图像区域的混合的一个背景图像区域、一个运动目标区域和一个图像区域。

附图说明

图1示出根据本发明的一个图像处理装置的实施例。

图2是表示该图像处理装置的一个框图。

图3示出由一个传感器执行的图像捕获。

图4示出像素的排列。

图5示出一个检测装置的操作。

图6A示出通过对于对应一个运动前景的目标和对应一个静止背景的目标进行图像捕获而获得的一个图像。

图6B示出通过对一个对应一个运动前景的目标和对应一个静止背景的目标进行图像捕获而获得的一个图像的模式。

图7示出一个背景区域、一个前景区域、一个混合区域、一个覆盖背景区域、和一个未覆盖背景区域。

图8示出通过在时间方向上扩展一个图像中彼此邻接对准的像素的像素值而获得的一个模式，该图像是通过对于对应一个静止的前景的目标和对应一个静止背景的目标进行图像捕获而获得的图像。

图9示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的一个模式。

图10示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的一个模式。

图11示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的一个模式。

图12示出提取在一个前景区域、一个背景区域以及一个混合区域中的像素的一个实例。

图13示出在像素和通过在时间方向上扩展该像素值而获得的一个模式之间的关系。

图14示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的一个模式。

图15示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的一个模式。

图16示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的一个模式。

图17示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的一个模式。

图18示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的一个模式。

图19示出用于调整运动模糊量的处理的一个流程图。

图20是说明一个混合比计算器103的结构的框图。

图21示出该理想混合比α的一个实例。

图22示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的一个模式。

图23示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的一个模式。

图24示出像素的选择。

图25示出像素的选择。

图26是说明一个估计混合比处理器201的结构的框图。

图27是说明用于计算该估计混合比的处理的一个流程图。

图28是说明通过使用根据一个覆盖背景区域的一个模式用于计算该混合比估计的处理的一个流程图。

图29是说明该混合比计算器103的另一结构的框图。

图30示出用于接近该混合比α的一个直线。

图31示出用于近似该混合比α的一个平面。

图32示出当计算该混合比α时在多个帧中的像素的关系。

图33示出通过使用对应于一个覆盖背景区域的模式进行该混合比估计处理的一个流程图。

图34是说明该混合比计算器103的又一个结构的框图。

图35是说明一个区域指定单元104的结构的框图。

图36示出由一个未覆盖背景区域确定部分303执行的确定处理。

图37示出由该未覆盖背景区域确定部分303执行的确定处理。

图38示出一个输入图像的实例。

图39示出区域确定结果的一个实例。

图40示出区域确定结果的一个实例。

图41示出一个输入图像的实例。

图42示出区域确定结果的一个实例。

图43示出区域确定结果的一个实例。

图44是说明该区域指定单元104的另一结构的框图。

图45是说明该区域指定单元104的又一结构的框图。

图46是说明该区域指定单元104的进一步结构的框图。

图47是说明该区域指定处理的流程图。

图48是说明用于指定覆盖背景区域的处理的一个流程图。

图49是说明用于指定未覆盖背景区域的处理的一个流程图。

图50是说明一个前景/背景分离器105的结构的一个实例的框图。

图51A示出一个输入图像、一个前景成份图像以及一个背景成分图像。

图51B示出一个输入图像、一个前景成份图像以及一个背景成分图像。

图52示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的一个模式。

图53示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的一个模式。

图54示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的一个模式。

图55是表示一个分离部分601的结构的一个实例的框图。

图56A示出一个分离的前景成分图像的一个实例。

图56B示出一个分离的背景成分图像的一个实例。

图57是说明用于分离一个前景和一个背景的处理的一个流程图。

图58是表示一个运动模糊调整单元106的结构的一个实例的框图。

图59示出处理单元。

图60示出其中一个前景成分图像的像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的一个模式。

图61示出其中一个前景成分图像的像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的一个模式。

图62示出其中一个前景成分图像的像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的一个模式。

图63示出其中一个前景成分图像的像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的一个模式。

图64是表示一个运动模糊调整单元106的另一结构的实例。

图65是表示一个处理的流程图，由该运动模糊调整单元106执行而用于调整包含在一个前景成分图像中的运动模糊量。

图66是表示该运动模糊调整单元106的结构的另一实例的框图。

图67示出一个模式的实例，其中指示了在像素值和前景成分之间的关系。

图68示出前景成分的计算。

图69示出前景成分的计算。

图70是说明用于消除包含在一个前景中的运动模糊的处理的流程图。

具体实施方式

图1示出根据本发明的一个图像处理装置的实施例。一个CPU(中央处理单元)21根据存储在一个ROM(只读存储器)22或存储单元28中的程序而执行各种类型的处理。由该CPU 21执行程序和数据按照需要被存储在RAM(随机存取存储器)23中。CPU 21、ROM 22、RAM 23通过总线24彼此连接。

一个输入/输出接口25也通过总线24连接到该CPU 21。由键盘、鼠标、麦克风等组成的一个输入单元26和由显示器、扬声器、等组成的一个输出单元27被连接到该输入/输出接口25。该CPU 21响应从该输入单元26输入的一个指令执行各种类型的处理。该CPU 21随后把作为处理的结果获得的一个图像或声音输出到输出单元27。

连接到该输入/输出接口25的存储单元28由例如硬盘组成，并且存储由CPU21执行的程序和各种类型的数据。通信单元29通过互联网络或另一网络与一个外部装置通信。在本实例中，通信单元29用作一个获取单元，用于获取一个传感器的输出。

另外，可以通过该通信单元29获得一个程序并且存储在该存储单元28中。

当把如磁盘51、光盘52、磁光盘53、半导体存储器54等附加到驱动器30时，连接到该输入/输出接口25的驱动器30驱动这种记录介质，并且获得存储在该对应介质中的一个程序或数据。如果有必要，该获得的节目或者数据是传送到该存储单元28并且存储在其中。

图2是表示该图像处理装置的一个框图。

该图像处理装置的各个功能是由硬件或软件实现并不重要。即，这种说明的框图可以是硬件框图或软件功能框图。

在此说明书中，对应于该实景中的一个目标而捕获的一个图像被称为一个图像目标。

提供到该图像处理装置的一个输入图像被提供到一个目标提取单元101、一个混合比计算器103、一个区域指定单元104和一个前景/背景分离器105。

该目标提取单元101提取对应于包括在该输入图像中的一个前景目标的一个粗略图像目标，并且提供该提取的图像目标到一个运动检测器102。该目标提取单元101检测包括在该输入的图像中的该前景图像的一个轮廓，以便提取对应于该前景目标的一个粗略图像目标。

该目标提取单元101提取对应于包括在该输入图像中的该背景目标的一个粗略图像目标，并且提供该提取的图像目标到该运动检测器102。该目标提取单元101从例如在该输入的图像和提取的对应于该前景目标图像之间的差值提取对应于该背景的一个粗略图像目标。

另外，例如该目标提取单元101可以从存储在一个内置背景存储器中的背景图像和该输入图像之间的差异提取对应于该前景目标的该粗略图像目标和对应于该背景目标的该粗略图像目标。

根据例如数据块匹配、梯度、相位相关技术或像素递归技术，该运动检测器102计算对应于该前景目标的该粗略提取图像的一个运动矢量，并且把该计算的运动矢量和该运动矢量位置信息(用于指定对应于该运动矢量的该像素的位置信息)提供到该混合比计算器103和该运动模糊调整单元单元106。

从该运动检测器102输出的该运动矢量包含与运动量V对应的信息。

该运动检测器102可以把每一图像目标的运动矢量连同用于指定该图像目标的该像素的像素位置信息一起输出到该运动模糊调整单元106。

该运动量V是以像素间距为单元指示在对应于一个运动目标的一个图像中的位置改变的一个值。例如，如果对应于一个前景的一个目标图像正在移动，使得当其被定位在该随后帧中时显示在相距一个基准帧四个像素远的一个位置，则该对应于该前景的目标图像的运动量v是4。

当对应于一个运动目标而调整运动模糊的量时，需要该目标提取单元101和该运动检测器102。

根据该输入图像和该运动矢量以及从该运动检测器102提供的该位置信息，当假设该像素属于一个该混合区域的一部分的覆盖背景区域时，该混合比计算器103产生估计的混合比(以下称为″混合比α″)和该对应混合比相关信息，并且当假设该像素属于一个该混合区域的另一部分的未覆盖背景区域时，还产生是将要被估计的混合比的该估计的混合比，以及该对应混合比相关信息。该混合比计算器103把这两个产生的估计混合比和该对应混合比相关信息提供到该区域指定单元104。

混合比α是指示对应于该背景目标的该图像成份(在下文称为″背景成分″)与该像素值的比例的一个值，如下面所示的方程式(3)表示。

下面给出该覆盖的背景区域和该未覆盖的背景区域的细节。

根据从该混合比计算器103提供的输入图像和两个估计混合比以及对应混合比相关信息，区域指定单元104把输入图像的每一像素指定为前景区域、背景区域或混合区域，并且把指示每一像素所属的该前景区域、背景区域或者混合区域的信息(下文称为″区域信息″)提供到前景/背景分离器105和运动模糊调整单元106。

根据产生的区域信息和从该混合比计算器103提供的两个估计的混合比以及该对应混合比相关信息，该区域指定单元104产生该混合比，并且把该产生的混合比α提供到该前景/背景分离器105。

根据从该区域指定单元104提供的该区域信息和混合比α，该前景/背景分离器105把该输入图像分离成仅由对应于前景目标成分形成的前景成分图像(下文也称为″前景成分″)和仅由背景成分形成的背景成分图像，并且把该前景成分图像提供到该运动模糊调整单元106和选择器107。该分离的前景成分图像可以被设置为最终输出。能够获得比仅指定一个前景和一个背景而不考虑混合区域的一个已知方法更精确的前景和背景。

根据从该运动矢量获得的运动量v并且根据该区域信息，运动模糊调整单元106确定处理指示包含在该前景成分图像中的至少一个像素的单元。该处理单元是指定将要经受该运动模糊调整的一组像素的数据。

根据对输入该图像处理装置的运动模糊的调整量、从前景/背景分离器105提供的前景成分图像、从运动检测器102提供的运动矢量和位置信息以及处理的单元，该运动模糊调整单元106通过删除、减小或增加包含在该前景成分图像中的运动模糊而调整包括在该前景成分图像中的运动模糊量。然后该运动模糊调整单元106把其中的运动模糊量被调整的前景成分输出到该选择器107。运动矢量和该位置信息的使用不是必需的。

运动模糊是由在实景中将要捕获的一个目标的移动和该传感器的图像捕获特性引起的包含在对应于运动目标中的一个失真。

例如根据反映用户选择的一个选择信号，选择器107在从前景/背景分离器105提供的前景成分图像和从运动模糊调整单元106提供的调整了运动模糊量的前景成分图像中选择之一，并且输出该选择的前景成分图像。

下面将参考图3至18讨论提供到图像处理装置的一个输入图像。

图3示出由一个传感器执行的图像捕获。该传感器例如是由属于固态图像捕获装置的具有CCD(电荷耦合器件)面传感器的一个CCD摄像机形成。对应于实景中的一个前景的目标111在对应于背景的一个目标112和该传感器之间从左到右地水平移动。

传感器捕获对应于前景的目标111的图像和对应于背景的目标112的图像。传感器以帧为单元输出捕获的图像。例如，该传感器输出具有30帧/每秒的一个图像。该传感器的曝光时间是1/30秒。曝光时间是从该传感器开始把输入光转换成电荷之时到结束该从输入光到该电荷的转换之时的一个时间间隔。曝光时间在也被称为″快门间隔″。

图4示出像素的排列。图4中，A至I表示各个像素。这些像素排列在与图像对应的一个平面上。在传感器上排列着与每一像素对应的检测元件。当传感器捕获图像时，每一检测元件输出一个与形成该图像的像素相对应的像素值。例如，检测元件的X方向的位置对应于图像上水平方向的位置，而检测元件的Y方向的位置对应于图像上垂直方向的位置。

例如在图5中所示，CCD的检测元件在与快门间隔相对应的间隔内把输入光转换成电荷，并且存储转换的电荷。电荷量基本上与输入光的强度和输入光的间隔成正比。检测元件在与快门间隔相对应的间隔中，把从输入光转换而来的电荷加入该存储的电荷中。即，检测元件在与快门间隔相对应的间隔中，积分输入光，并且存储与积分光量相对应的的电荷。可以认为，检测元件具有对于时间的积分效应。

在检测元件中存储的电荷由图中未示出的电路转换成电压值，再把电压值转换成诸如数字数据等的像素值，并且输出该像素值。因此，从传感器输出的每一像素值都是投射在一个线性空间中的值，它是相对于快门间隔积分与前景或背景相对应的目标的一个确定的三维部分所得的结果。

图像处理装置提取由该传感器的存储操作而嵌入在输出信号中的重要信息，例如混合比α。图像处理装置调整由于前景图像目标本身的混合引起的失真量，例如运动模糊量。图像处理装置还调整由于前景图像目标与背景图像目标的混合引起的失真量。

图6A示出通过捕获对应一个前景的一个运动目标和对应一个背景的静止目标而获得的一个图像。图6A示出通过捕获对应一个前景的一个运动目标和对应一个背景的静止目标而获得的一个图像。

图6A示出通过捕获对应一个前景的一个运动目标和对应一个背景的静止目标而获得的一个图像。在图6A示出的实例中，对应于前景的目标相对于屏幕从左向右水平移动。

图6B是与图6A所示的图像的一行相对应的像素值沿着时间方向展开而获得的一个模式。图6B中的水平方向对应于图6A中的空间X方向。

背景区域中的像素值仅由背景成分，即，与背景目标相对应的图像成分组成。前景区域中的像素值仅由前景成分，即，与前景目标相对应的图像成分组成。

混合区域的像素值由背景成分和前景成分组成。由于混合区域内的像素值是由背景成分和前景成分组成，所以可称作″失真区域″。混合区域进一步分为覆盖背景区域和未覆盖背景区域。

该覆盖背景区域是在对应于前景目标运动的方向上的前端位置的一个混合区域，其中背景成分在时间上逐渐以该前景所覆盖。

相反，未覆盖背景区域是对应于在前景目标运动的方向的后端的一个混合区域，其中该背景成分随着时间逐渐显现。

如上所述，包括前景区域、背景区域、覆盖背景区域、或未覆盖背景区域的图像被作为输入图像输入到区域指定单元103、比例计算器104、和前景/背景分离器105。

图7示出如上所述的背景区域、前景区域、混合区域、覆盖背景区域、和未覆盖背景区域。在与图6A所示的图像对应的区域中，背景区域是静止部分，前景区域是运动部分，混合区域的覆盖背景区域是从背景变成前景的部分，而混合区域的未覆盖背景区域是从前景变成背景的部分。

图8是沿着时间方向扩展对于与静止前景相对应的目标和与静止背景相对应的目标进行捕获所得的图像中，彼此邻接对准的一行像素的像素值的一个模式。例如，当像素彼此对准邻接对准时，可选择屏幕上排列在一行上的像素。

图8的F01到F04所示的像素值是与静止前景目标相对应的像素值。图8的B01到B04所示的像素值是与静止背景目标相对应的像素的值。

图8的垂直方向代表自上而下的经过时间。图8中矩形上侧位置对应于传感器开始把输入光转换成电荷的时间，而图8中矩形的下侧位置对应于传感器结束把输入光转换成电荷的时间。即，图8中从矩形的自上而下的距离对应于快门间隔。

下面假定例如快门间隔等于帧长而描述图8所示的像素。

图8中的水平方向对应于图6A中的空间X方向。更具体地说，如图8所示实例，从用“F01”表示的矩形的左侧到用“B04”表示的矩形的右侧的距离是像素间距的8倍长，也就是说，对应于8个连续像素的间隔。

当前景目标和背景目标是静止时，输入到传感器的光在与快门间隔相对应的间隔内不发生改变。

把对应于快门间隔的时间间隔分割成长度相等的两个或多个时间间隔。例如，如果虚拟分割数是4，则图8所示的模式可以用图9所示的模式来表示。能够根据在快门间隔内与前景相对应的目标的运动量v而设置虚拟分割部分的数目。例如，当运动量v是4时该虚拟分割数是4，并且把与快门间隔相对应的间隔分割成4个部分。

图9中的最高行对应于从快门已经开启时的第一分割的间隔。图9中的第二行对应于从快门已经开启时的第二分割的间隔。图9中的第三行对应于从快门已经开启时的第三分割的间隔。图9中的第四行对应于从快门已经开启时的第四分割的间隔。

根据运动量v划分的快门间隔在下文中也被称为″快门间隔/v″。

在与前景相对应的目标保持静止的情况下，由于输入传感器的光不发生改变，所以前景成分F01/v等于像素值F01除以虚拟分割数所得的值。类似地，在与前景相对应的目标保持静止的情况下，前景成分F02/v等于像素值F02除以虚拟分割数所得的值，前景成分F03/v等于像素值F03除以虚拟分割数所得的值，以及前景成分F04/v等于像素值F04除以虚拟分割数所得的值。

在与背景相对应的目标保持静止的情况下，由于输入传感器的光不发生改变，背景成分B01/v等于像素值F01除以虚拟分割数所得的值。类似地，在与背景相对应的目标保持静止的情况下，背景成分B02/v等于像素值F02除以虚拟分割数所得的值，背景成分B03/v等于像素值B03除以虚拟分割数所得的值，以及背景成分B04/v等于像素值B04除以虚拟分割数所得的值。

更具体地说，当与前景相对应的目标保持静止时，输入该传感器的对应于前景目标的光在对应于快门间隔的时间间隔中不改变。因此，与从快门打开时算起的第1快门间隔/v相对应的前景成分F01/v、与从快门打开时算起的第2快门间隔/v相对应的前景成分F01/v、与从快门打开时算起的第3快门间隔/v相对应的前景成分F01/v、和与从快门打开时算起的第4快门间隔/v相对应的前景成分F01/v变成同一个值。F02/v到F04/v具有与在F01/v情况下相同的关系。

当与背景相对应的目标是静止时，输入该传感器的对应于该背景目标的光在对应于快门间隔的时间间隔中不改变。因此，与从快门打开时算起的第1快门间隔/v相对应的背景成分B01/v、与从快门打开时算起的第2快门间隔/v相对应的背景成分B01/v、与从快门打开时算起的第3快门间隔/v相对应的背景成分B01/v、和与从快门打开时算起的第4快门间隔/v相对应的背景成分B01/v变成同一个值。B02/v到B04/v具有相同的关系。

现在描述在与对背景相对应的目标保持静止而与前景相对应的目标发生移动的情况。

图10示出当与前景相对应的目标在图中向右移动时，在时间方向上扩展包括覆盖背景区域的一行上的像素的一个模式。图10中，运动量v是4。由于一帧是一个短的时间间隔，所以可以假设与前景相对应的目标是以恒速移动的一个刚体。在图10中，与前景相对应的目标图像发生移动，致使被显示在相对于给定帧的下一个帧中向右4个像素的位置上。

在图10中，最左边像素到从左边算起第4个像素属于前景区域。在图10中，从最左算起第5个像素到第7个像素属于混合区域，它是覆盖背景区域。在图10中，最右边像素属于背景区域。

由于与前景相对应的像素发生移动，致使随着时间的推移而覆盖了与背景相对应的目标。因此，在与快门间隔相对应的间隔中的某个确定时刻，包含在属于覆盖背景区域的像素的像素值中的成分从背景成分变成前景成分。

例如，图10中用粗线框包围的像素值M由下面的方程式(1)表示：

M＝B02/v+B02/v+F07/v+F06/v    (1)

例如，从左边算起第5个像素包括与一个快门间隔/v相对应的背景成分和与三个快门间隔/v相对应的前景成分，因此从左边算起第5个像素的混合比α是1/4。从左边算起第6个像素包括与二个快门间隔/v相对应的背景成分和与二个快门间隔/v相对应的前景成分，因此从左边算起第6个像素的混合比α是1/2。从左边算起第7个像素包括与三个快门间隔/v相对应的背景成分和与一个快门间隔/v相对应的前景成分，因此从左边算起第7个像素的混合比α是3/4。

可以假设与前景相对应的目标是刚体，并且前景目标作恒速运动而使被显示在下一个帧中向右4个像素的位置上。因此，例如图10中从左边算起第4个像素从快门打开算起的第1快门间隔/v的前景成分F07/v等于图10中与从左边算起第5个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F07/v分别等于图10中与从左边算起第6个像素从快门打开算起的第3快门间隔/v相对应的前景成分、以及图10中与从左边算起第7个像素从快门打开算起的第4快门间隔/v相对应的前景成分。

由于可以假设与前景相对应的目标是刚体和前景图像作恒速运动而使被显示在下一个帧中向右4个像素的位置上。因此，例如图10中从左边算起第3个像素从快门打开算起的第1快门间隔/v的前景成分F06/v等于图10中与从左边算起第4个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F06/v分别等于图10中与从左边算起第5个像素从快门打开算起的第3快门间隔/v相对应的前景成分、以及图10中与从左边算起第6个像素从快门打开算起的第4快门间隔/v相对应的前景成分。

可以假设与前景相对应的目标是刚体，并且前景图像作恒速运动而使其被显示在下一个帧中向右4个像素的位置上。因此，图10中从左边算起第2个像素从快门打开算起的第1快门间隔/v的前景成分F05/v等于图10中与从左边算起第3个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F05/v分别等于图10中与从左边算起第4个像素从快门打开算起的第3快门间隔/v相对应的前景成分、和图10中与从左边算起第5个像素从快门打开算起的第4快门间隔/v相对应的前景成分。

可以假设与前景相对应的目标是刚体，并且前景图像作恒速运动而使其被显示在下一个帧中向右4个像素的位置上。因此，图10中从与最左边像素从快门打开算起的第1快门间隔/v相对应的前景成分F04/v等于图10中与从左边算起第2个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F04/v分别等于图10中与从左边算起第3个像素从快门打开算起的第3快门间隔/v相对应的前景成分、和图10中与从左边算起第4个像素从快门打开算起的第4快门间隔/v相对应的前景成分。

如上所述，由于与运动目标相对应的前景区域包括运动模糊，因此其也可以称为一个″失真区域″。

图11示出当与前景相对应的目标在图中向右移动时，在时间方向上扩展包括一个未覆盖背景区域的一行上的像素的一个模式。图11中，运动量v是4。由于一帧是一个短的时间间隔，所以可以假设与前景相对应的目标是以恒速移动的一个刚体。在图11中，与前景相对应的目标图像发生右移动，致使其被显示在相对于一个基准帧的下一个帧中向右4个像素的位置上。

在图11中，最左边像素到从左边算起第4个像素属于背景区域。在图11中，从最左算起第5个像素到第7个像素属于混合区域，它是一个未覆盖背景区域。图11中，最右侧像素属于该前景区域。

与覆盖了与背景相对应的目标的前景相对应的目标发生移动，使得其将随着时间的经过从与背景相对应的目标上逐渐被移走。因此，在与快门间隔相对应的间隔中的某个确定时刻，包含在属于未覆盖背景区域的像素的像素值中的成分从前景成分变成背景成分。

例如，图11中用粗线框表示的像素值M′由方程式(2)表示：

M′＝F02/v+F01/v+B26/v+B26/v    (2)

例如，从左边算起第5个像素包括与三个快门间隔/v相对应的背景成分和与一个快门间隔/v相对应的前景成分，因此从左边算起第5个像素的混合比是α3/4。从左边算起第6个像素包括与两个快门间隔/v相对应的背景成分和与两个快门间隔/v相对应的前景成分，因此从左边算起第6个像素的混合比α是1/2。从左边算起第7个像素包括与一个快门间隔/v相对应的背景成分和与三个快门间隔/v相对应的前景成分，因此从左边算起第7个像素的混合比α是1/4。

当方程式(1)和(2)被统一时，该像素值M能够通过方程式(3)表示。

$M=\mathrm{\α}\·B+\underset{i}{\mathrm{\Σ}}\mathrm{Fi}/v---\left(3\right)$

此方程式中，α表示混合比。B表示背景的像素值，和Fi/v表示前景成分。

可以假设与前景相对应的目标是以恒速运动的刚体，并且运动量v是4。因此，图11中从左边算起第5个像素从快门打开算起的第1快门间隔/v的前景成分F01/v等于图11中与从左边算起第6个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F01/v分别等于图11中与从左边算起第7个像素从快门打开算起的第3快门间隔/v相对应的前景成分、和图11中与从左边算起第8个像素从快门打开算起的第4快门间隔/v相对应的前景成分。

可以假设与前景相对应的目标是以恒速运动的刚体，并且运动量v是4。因此，例如，图11中从左边算起第6个像素从快门打开算起的第1快门间隔/v的前景成分F02/v等于图11中与从左边算起第7个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F02/v等于图11中与从左边算起第8个像素从快门打开算起的第3快门间隔/v相对应的前景成分。

可以假设与前景相对应的目标是以恒速运动的刚体，并且运动量v是4。因此，图11中从左边算起第7个像素从快门打开算起的第1快门间隔/v的前景成分F03/v等于图11中与从左边算起第8个像素从快门打开算起的第2快门间隔/v相对应的前景成分。

已经参考图9到图11描述了虚拟分割部分的数目是4的情况。虚拟分割部分的数目对应于运动量v。运动量v一般对应于与前景相对应的目标的运动速度。例如，如果与前景相对应的目标发生移动，致使被显示在相对于给定帧的下一帧中向右4个像素的位置上的情况下，运动量v是4。与运动量v相对应，虚拟分割的数目也是4。类似地，当与前景相对应的目标发生移动，致使被显示在相对于给定帧的下一帧中向右6个像素的位置上时，运动量v是6，虚拟分割数目也是6。

图12和13示出上述讨论的前景区域、背景区域、以及包括覆盖背景或未覆盖背景的混合区域相对于与该快门间隔的分割的时间间隔对应的前景成分和背景成分的关系。

图12示出了从包括与在静止背景的前面移动的目标相对应的前景的图像中提取的前景区域、背景区域、和混合区域的像素的例子。在图12所示的实例中，与A所表示的前景相对应的目标相对于屏幕水平移动。

帧#n+1是接在帧#n之后的帧，而帧#n+2是接在帧#n+1之后的帧。

从帧#n至#n+2之一提取前景区域、背景区域、和混合区域中的像素，并且运动量v设置为4。通过在时间方向上扩展提取像素的像素值而获得的一个模式在图13中示出。

由于与前景相对应的目标发生移动，前景区域中的像素值由与快门间隔/v相对应的4个不同前景成分组成。例如，图13所示的前景区域的像素的最左边像素由F01/v、F02/v、F03/v、和F04/v组成。即，该前景中的像素包括运动模糊。

由于与背景相对应的目标保持静止，因此，输入传感器的、与背景相对应的光在与快门间隔相对应的间隔内不发生改变。在此情况中，背景区域中的像素值不包含运动模糊。

构成覆盖背景区域或来覆盖背景区域的混合区域中的像素值由前景成分和背景成分组成。

下面描述在与目标相对应的图像发生移动的情况下，通过沿着时间方向扩展像素的像素值而获得的一个模式，这些像素在多个帧中彼此邻接对准，并且定位在这些帧中的同一位置上。例如，当与目标对应的图像相对于屏幕水平移动时，在屏幕上对准的像素能够被选择作为该彼此邻接对准的像素。

图14是通过沿着时间方向扩展像素而获得的一个模式，这些像素在由捕获与一个静止背景对应的目标获得的一个图像的三个帧中彼此对准邻接，并且在这些帧中处在相同的位置。帧#n是接在帧#n-1之后的帧，而帧#n+1是接在帧#n之后的帧。其它帧用相同的方式表示。

图14所示的像素值B01至B12是与静止背景目标对应的像素值。由于与背景相对应的目标保持静止，因此，在帧#n-1到帧#n+1中，相应像素的像素值不发生改变。例如，在与帧#n-1中具有像素值B05相对应的位置上帧#n中的像素和帧#n+1中的像素分别具有像素值B05。

图15是通过沿着时间方向扩展像素而获得的一个模式，这些像素在由捕获与一个静止背景对应的目标一起的、与图15中右移的前景对应的目标而获得的一个图像的三个帧中彼此对准邻接，并且在这些帧中处在相同的位置。图15示出的模式包括一个覆盖的背景区域。

在图15中，可以假定与前景相对应的目标是以恒速运动的刚体，并且假定其移动使得其被显示在随后帧中向右4个像素的位置上。因此，前景运动量v是4，并且虚拟分割部分也是4。

例如，图15中的帧#n-1的最左边像素从快门打开算起的第1快门间隔/v的前景成分是F12/v，图15中从左边算起第2个像素从快门打开算起的第2快门间隔/v的前景成分也是F12/v。图15中从左边算起第3个像素从快门打开算起的第3快门间隔/v的前景成分，以及图15中从左边算起第4个像素从快门打开算起的第4快门间隔/v的前景成分都是F12/v。

与从快门已经打开算起的第2快门间隔/v对应的图15中的帧#n-1中的最左边像素的前景成分是F11/v。与从快门打开算起的第3快门间隔/v对应的图15中从左边算起第2个像素的前景成分也是F11/v。与从快门打开算起的第4快门间隔/v对应的图15中从左边算起第3个像素的前景成分也是F11/v。

与从快门已经打开算起的第3快门间隔/v对应的图15中的帧#n-1中的最左边像素的前景成分是F10/v。与从快门打开算起的第4快门间隔/v对应的图15中从左边算起第2个像素的前景成分也是F10/v。与从快门已经打开算起的第4快门间隔/v对应的图15中的帧#n-1中的最左边像素的前景成分是F09/v。

由于与背景相对应的目标保持静止，所以与从快门打开算起的第1快门间隔/v对应的图15中的帧#n-1中从左边算起第2个像素的背景成分是B01/v。与从快门打开算起的第1和第2快门间隔/v对应的图15中的帧#n-1中从左边算起第3个像素的背景成分是B02/v。与从快门打开算起的第1至第3快门间隔/v对应的图15中的帧#n-1中从左边算起第4个像素的背景成分是B03/v。

在图15中的帧#n-1中，最左边的像素属于前景区域，而从左边算起的第2至第4像素属于混合区域，它是一个覆盖的背景区域。

从图15中的帧#n-1左边算起的第5至12像素属于背景区域，而该像素值将分别是B04至B11。

从图15中的帧#n左边算起的第1至第5像素属于前景区域。在帧#n的前景区域中的该快门间隔/v中的前景成分是F05/v至F12/v任意之一。

可以假定与前景相对应的目标是以恒速运动的刚体，并且假定其移动使得该前景图像在随后帧中被显示向右4个像素的位置上。因此，图15中的帧#n中从左边算起第5个像素从快门打开算起的第1快门间隔/v的前景成分是F12/v，图15中从左边算起第6个像素从快门打开算起的第2快门间隔/v的前景成分也是F12/v。图15中从左边算起第7个像素从快门打开算起的第3快门间隔/v的前景成分、以及图15中从左边算起第8个像素从快门打开算起的第4快门间隔/v的前景成分都是F12/v。

与从快门打开算起的第2快门间隔/v对应的图15中的帧#n中从左边算起第5个像素的前景成分是F11/v。与从快门打开算起的第3快门间隔/v对应的图15中从左边算起第6个像素的前景成分也是F11/v。与从快门打开算起的第4快门间隔/v对应的图15中从左边算起第7个像素的前景成分是F11/v。

与从快门打开算起的第3快门间隔/v对应的图15中的帧#n中从左边算起第5个像素的前景成分是F10/v。与从快门打开算起的第4快门间隔/v对应的图15中从左边算起第6个像素的前景成分也是F10/v。与从快门打开算起的第4快门间隔/v对应的图15中的帧#n中从左边算起第5个像素的前景成分是F09/v。

由于与背景相对应的目标保持静止，所以与从快门打开算起的第1快门间隔/v对应的图15中的帧#n中从左边算起第6个像素的背景成分是B05/v。与从快门打开算起的第1和第2快门间隔/v对应的图15中的帧#n中从左边算起第7个像素的背景成分是B06/v。与从快门打开算起的第1至第3快门间隔/v对应的图15中的帧#n中从左边算起第8个像素的背景成分是B07/v。

在图15的帧#n中，从左边算起的第6至第8像素属于混合区域，它是一个覆盖的背景区域。

从图15中的帧#n左边算起的第9至12像素属于背景区域，而该像素值将分别是B08至B11。

从图15中的帧#n+1左边算起的第1至第9像素属于前景区域。在帧#n+1的前景区域中的该快门间隔/v中的前景成分是F05/v至F12/v任意之一。

可以假定与前景相对应的目标是以恒速运动的刚体，并且假定其移动使得该前景图像在随后帧中被显示向右4个像素的位置上。因此，图15中的帧#n+1中从左边算起第9个像素从快门打开算起的第1快门间隔/v的前景成分是F12/v，并且图15中从左边算起第10个像素从快门打开算起的第2快门间隔/v的前景成分也是F12/v。图15中从左边算起第11个像素从快门打开算起的第3快门间隔/v的前景成分以及图15中从左边算起第12个像素从快门打开算起的第4快门间隔/v的前景成分是F12/v。

图15中的帧#n+1中从左边算起第9个像素从快门打开算起第2快门间隔/v的前景成分是F11/v。从图15中左边算起第10个像素从快门打开算起的第3快门间隔/v的前景成分也是F11/v。从图15中左边算起第11个像素从快门打开算起的第4快门间隔/v的前景成分是F11/v。

图15中的帧#n+1中从左边算起第9个像素从快门打开算起第3快门间隔/v的前景成分是F10/v。图15中从左边算起第10个像素从快门打开算起的第4快门间隔/v的前景成分也是F10/v。图15中的帧#n+1中从左边算起第9个像素从快门打开算起第4快门间隔/v的前景成分是F09/v。

由于与背景相对应的目标保持静止，图15中的帧#n+1中从左边算起第10个像素从快门打开算起的第1快门间隔/v的背景成分是B09/v。图15中的帧#n+1中从左边算起第11个像素从快门打开算起的第1和第2快门间隔/v的背景成分都是B10/v。图15中的帧#n+1中从左边算起第12个像素从快门打开算起的第1到第3快门间隔/v的背景成分是B11/v。

在图15的帧#n+1中，从左边算起的第10至第12像素属于混合区域，它是一个覆盖的背景区域。

图16是通过从图15示出的像素值提取前景成分而获得的一个图像的模式。

图17是通过沿着时间方向扩展像素而获得的一个模式，这些像素在由捕获与一个静止背景对应的目标一起的、与图17中右移的前景对应的目标而获得的一个图像的三个帧中彼此对准邻接，并且在这些帧中处在相同的位置。图17示出的模式包括一个未覆盖的背景区域。

在图17中，可以假定与前景相对应的目标是以恒速运动的刚体，并且假定其移动使得其被显示在随后帧中向右4个像素的位置上。因此，该运动量v是4。

例如，图17中的帧#n-1的最左边像素从快门打开算起的第1快门间隔/v的前景成分是F13/v，图17中从左边算起第2个像素从快门打开算起的第2快门间隔/v的前景成分也是F13/v。图17中从左边算起第3个像素从快门打开算起的第3快门间隔/v的前景成分以及图17中与从左边算起第4个像素从快门打开算起的第4快门间隔/v相对应的前景成分是F13/v。

从图17中的帧#n-1左边算起的第2像素从快门打开算起的第1快门间隔/v的前景成分是F14/v。从图17中从左边算起第3个像素从快门打开算起的第2快门间隔/v的前景成分也是F14/v。从图17中从左边算起第3个像素从快门打开算起的第1快门间隔/v的前景成分是F15/v。

由于与背景相对应的目标保持静止，所以图17中的帧#n-1中的最左边像素从快门打开算起的第2到4快门间隔/v的背景成分是B25/v。图17中的帧#n-1中从左边算起第2个像素从快门打开算起的第3和第4快门间隔/v的背景成分是B26/v。图17中的帧#n-1中从左边算起第3个像素从快门打开算起的第4快门间隔/v的背景成分是B27/v。

在图17的帧#n-1中，从最左边的像素至第3像素属于混合区域，它是一个未覆盖的背景区域。

从图17中的帧#n-1左边算起的第4至第12像素属于前景区域。该帧的前景成分是F13/v至F24/v的任何之一。

从图17中的帧#n左边算起的最左边像素至第4像素属于背景区域，并且该像素值分别是B25至B28。

可以假定与前景相对应的目标是以恒速运动的刚体，并且假定其移动使得该目标在随后帧中被显示向右4个像素的位置上。因此，图17中的帧#n中从左边算起第5个像素从快门打开算起的第1快门间隔/v的前景成分是F13/v，图17中从左边算起第6个像素从快门打开算起的第2快门间隔/v的前景成分也是F13/v。图17中从左边算起第7个像素从快门打开算起的第3快门间隔/v的前景成分以及图17中与从左边算起第8个像素从快门打开算起的第4快门间隔/v相对应的前景成分是F13/v。

从图17中的帧#n左边算起的第6像素从快门打开算起的第1快门间隔/v的前景成分是F14/v。从图17中从左边算起第7个像素从快门打开算起的第2快门间隔/v的前景成分也是F14/v。从图17中从左边算起第8个像素从快门打开算起的第1快门间隔/v的前景成分是F15/v。

由于与背景相对应的目标保持静止，所以图17中的帧#n-1中从左边算起第5个像素从快门打开算起的第2至第4快门间隔/v的背景成分是B29/v。图17中的帧#n中从左边算起第6个像素从快门打开算起的第3和第4快门间隔/v的背景成分是B30/v。图17的帧#n中从左边算起第7个像素从快门打开算起的第4快门间隔/v的背景成分是B31/v。

在图17的帧#n中，从左边算起的第5像素至第7像素属于混合区域，它是一个未覆盖的背景区域。

从图17中的帧#n左边算起的第8至第12像素属于前景区域。与快门间隔/v的时间间隔对应的帧#n的前景区域中的值是F13/v至F20/v任何之一。

从图17中的帧#n+1左边算起的最左边像素至第8像素属于背景区域，并且该像素值分别是B25至B32。

可以假定与前景相对应的目标是以恒速运动的刚体，并且假定其移动使得该目标在随后帧中被显示向右4个像素的位置上。因此，图17中的帧#n+1中从左边算起第9个像素从快门打开算起的第1快门间隔/v的前景成分是F13/v，并且图17中从左边算起第10个像素从快门打开算起的第2快门间隔/v的前景成分也是F13/v。图17中从左边算起第11个像素从快门打开算起的第3快门间隔/v的前景成分以及图17中从左边算起第12个像素从快门打开算起的第4快门间隔/v的前景成分是F13/v。

从图17中帧#n+1的左边算起的第10像素从快门打开算起的第1快门间隔/v的前景成分是F14/v。从图17中从左边算起第11个像素从快门打开算起的第2快门间隔/v的前景成分也是F14/v。从图17中从左边算起第12个像素从快门打开算起的第1快门间隔/v的前景成分是F15/v。

由于与背景相对应的目标保持静止，所以从图17的帧#n+1左边算起第9个像素从快门打开算起的第2至第4快门间隔/v的背景成分是B33/v。图17中的帧#n+1中从左边算起第10个像素从快门打开算起的第3和第4快门间隔/v的背景成分是B34/v。图17的帧#n+1中从左边算起第11个像素从快门打开算起的第4快门间隔/v的背景成分是B35/v。

在图17的帧#n+1中，从左边算起的第9像素至第11像素属于混合区域，它是一个未覆盖的背景区域。

从图17中的帧#n+1左边算起的第12像素属于前景区域。在帧#n+1的前景区域中的该快门间隔/v中的前景成分分别是F13/v至F16/v任意之一。

图18示出通过从图17示出的像素值提取前景成分而获得的一个图像的模式。

返回到图2，当假设该像素属于覆盖的背景区域时，根据输入图像和运动矢量以及从运动检测器102提供的位置信息，该混合比计算器103产生估计的混合比和对应混合比相关信息，并且当假设该像素属于该未覆盖的背景区域时，还产生该将要被估计的估计混合比，以及对应的混合比相关信息。该混合比计算器103把这两个产生的估计混合比和该对应混合比相关信息提供到该区域指定单元104。

根据输入图像和两个估计的混合比以及从该混合比计算器103提供的对应混合比相关信息，区域指定单元104把输入图像的每一像素指定为前景区域、背景区域或混合区域，并且把指示每一像素所属的该前景区域、背景区域或者混合区域的信息提供到前景/背景分离器105和运动模糊调整单元106。

根据多个帧的像素值、区域信息和混合比α，该前景/背景分离器105提取仅包括该前景成分的该前景成分图像，并且把该前景成分图像提供到该运动模糊调整单元106。

根据从前景/背景分离器105提供的前景成分图像、运动检测器102提供的运动矢量和从区域指定单元104提供的区域信息，该运动模糊调整单元106调整包含在该前景成分图像中的运动模糊量，从并且随后输出其中的运动模糊被调整的该前景成分图像。

下面参考图19的流程图描述由图像处理装置执行的运动模糊量调整处理。在步骤S11中，当假设该像素属于覆盖的背景区域时，根据输入图像和运动矢量以及从运动检测器102提供的位置信息，该混合比计算器103计算估计的混合比和对应混合比相关信息，并且当假设该像素属于该未覆盖的背景区域时，还计算该将要被估计的估计混合比，以及对应的混合比相关信息。该混合比计算器103把这两个计算的估计混合比和该对应混合比相关信息提供到该区域指定单元104。下面给出该混合比计算处理的细节。

在步骤S12中，根据输入图像和两个估计的混合比以及从该混合比计算器103提供的对应混合比相关信息，区域指定单元104执行区域指定处理，用于产生指示每一输入图像的像素所属的该前景区域、背景区域、覆盖的背景区域、或未覆盖的背景区域。下面给出该区域指定处理的细节。根据该产生的区域信息以及从混合比计算器103提供的两个估计混合比和对应混合比相关信息，该区域指定单元104产生该混合比α，并且把该产生的混合比α提供到前景/背景分离器105。

在步骤S13中，根据该区域信息和该混合比α，该前景/背景分离器105从该输入图像提取该前景成份，并且把该前景成份提供到该运动模糊调整单元106作为前景成份图像。

在步骤S14中，根据运动矢量和区域信息，运动模糊调整单元106产生处理单元，该处理单元指示在运动方向排列的并且属于该未覆盖背景区域、该前景区域、该覆盖背景区域之一的连续像素的位置，并且调整包括在与该处理单元对应的前景成分中的运动模糊量。下面给出调整运动模糊量的该处理的细节。

在步骤S15中，图像处理装置确定该处理对于整体屏幕来说是否结束。如果确定该处理对于整体屏幕还没有结束，处理进到步骤S14，并且重复对于与的处理单元对应的该前景成分的运动模糊量的调整处理。

如果在步骤S15中确定该处理对于整个屏幕已结束，该处理则完成。

以此方式，图像处理装置能够通过分离前景和背景而调整在前景中包含的运动模糊量。即，该图像处理装置能够通调整包含在指示该前景像素的像素值的采样数据中的运动模糊量。

下面描述混合比计算器103、区域指定单元104、前景/背景分离器105和运动模糊调整单元106的每一个的结构。

图20是说明该混合比计算器103的结构的框图。根据运动矢量和从运动检测器102提供的位置信息，一个估计混合比处理器201通过计算对应于一个覆盖背景区域的模式，计算用于每一像素的一个估计的混合比，并且把该估计的混合比连同利用该估计的混合比的计算确定的混合比相关信息一起输出。从该估计混合比处理器201输出的混合比相关信息是前景成份的取和。

根据运动矢量和从运动检测器102提供的位置信息以及输入图像，一个估计混合比处理器202通过计算对应于一个未覆盖背景区域的模式，计算用于每一像素的一个估计的混合比，并且把该估计的混合比连同利用该估计的混合比的计算确定的混合比相关信息一起输出。从该估计混合比处理器202输出的混合比相关信息是前景成份的取和。

由于可以假设与前景对应的目标在该快门间隔之内以恒速移动，所以属于一个混合区域的该像素的混合比α展现下面的特征。即该混合比α根据在像素中的位置的变化而线性地改变。

如果像素中的位置改变是一维的，则在该混合比α中的变化将能够线性地表示。如果像素中的位置改变是二维的，则在该混合比α中的变化将能够在一个平面上表示。

由于一个帧周期是短暂的，所以能够假设对应于前景的目标是以恒速运动的一个刚体。

混合比α的梯度反比于在前景的快门间隔中的运动量v。

图21中示出理想混合比α的一个实例。在混合区域中的理想混合比α的梯度1能够由运动量v的倒数表示。

如图21所示，理想混合比α在背景区域中具有的值是1，在前景区域中的值是0，而在混合区域中的值是大于0小于1。

在图22所示实例中，通过使用在帧#n-1中从左算起的第7像素的像素值P06由方程式(4)表示在帧#n中从左算起的第7像素的像素值C06。

$C06=B06/v+B06/v+F01/v+F02/v$

$=P06/v+P06/v+F01/v+F02/v$

$=2/v\·P06+\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(4\right)$

在方程式(4)中，像素值C06由混合区域中的像素的像素值M表示，同时该像素值P06由在背景区域中的像素的像素值B表示。即，在该混合区域中的像素的像素值M和在背景区域中的像素的像素值B能够分别由方程式(5)和(6)表示。

M＝C06                          (5)

B＝P06                          (6)

在方程式(4)中，2/v对应于该混合比α。由于运动量v是4，所以从帧#n左边算起的第7像素的混合比α是0.5。

如上述讨论，在指定帧#n中的像素值C被认为是在该混合区域中的像素值，在帧#n之前的帧#n-1的像素值P被认为是在该背景区域中的像素值。因此，指示该混合比α的方程式(3)能够由方程式(7)表示：

C＝α·P+f                      (7)

方程式(7)中的f表示包含在该指定像素中的该前景成分∑_iFi/v的取和。包含在方程式(7)中的变量是两个因数，即混合比α和前景成分的取和f。

类似地，通过在时间方向扩展一个未覆盖背景区域中的运动量是4以及虚拟分割部分的数量是4的像素值而获得的一个模式在图23中示出。

随着覆盖背景区域的显示，在该未覆盖背景区域中，指定帧#n的像素值C被认为是在该混合区域中的像素值，而帧#n的下一帧#n+1的像素值N被认为是背景区域的像素值。

因此，指示该混合比α的方程式(3)能够由方程式(8)表示。

C＝α·N+f                      (8)

已经描述的实施例假定该背景目标是静止的。然而，通过使用与背景的运动量v对应定位的一个像素的像素值，方程式(4)至(8)能够被用于其中的背景目标是运动的情况。例如现在假设在图22中对应于背景的目标的运动量v是2，并且虚拟分割部分的数量是2。在此情况中，当与背景对应的物体移到图22右边时，该背景区域中的像素的像素值B在方程式(6)中由像素值P04表示。

由于方程式(7)和(8)的每个都包含两个变量，所以如果不修改该方程式就不能确定该混合比α。

因此，根据前景目标的运动量v，通过建立关于属于混合区域的一组像素和属于背景区域的对应像素的一个方程式，确定该混合比α。

运动矢量和从运动矢量102提供的位置信息被利用作为运动量v。

下面描述根据与覆盖背景区域对应的一个模式由估计混合比处理器201使用运动量v执行的该估计混合比的计算。

在图22所示实例中，对应于该覆盖背景区域，方程式(9)适用于#n-1的P02，而方程式(10)适用中帧#n的C06。

$P02=2/v\·B02+\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(9\right)$

$C06=2/v\·B06+\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(10\right)$

在方程式(9)和(10)中，与混合比α对应的值是相同的，即2/v。在方程式(9)和(10)中，与前景成分取和对应的值是相同的，即

$\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}/v.$

即，帧#n-1的P02的混合比α和帧#n的C06相同，并且帧#n-1的P02的前景成分和帧#n的C06的取和相同。因此，根据前景目标的移动能够证明帧#n的C06对应于帧#n-1的P02。

通过假定该前景目标以恒速运动并且在多个帧上的前景成分是均匀的，有可能根据该前景目标的运动量v而选择多个组合，每一组合包括属于该混合区域的一个像素和属于具有相同混合比α和相同前景成分的取和的背景区域的对应像素。例如，有五个组合，每个组合包括属于混合区域的一个像素和属于可选择背景区域的对应像素。

例如在图24中示出，能够根据该前景目标的运动量v从帧#n-3至帧#n+2选择属于混合区域的像素Mt1至Mt5和属于背景区域的对应像素Bt1至Bt5。在图24中，白点表示认为属于是背景区域的像素，黑点表示认为是属于混合区域的像素。

方程式(11)至(15)适用像素Mt1至Mt5和像素Bt1至Bt5。

Mt1＝α·Bt1+f                               (11)

Mt2＝α·Bt2+f                               (12)

Mt3＝α·Bt3+f                               (13)

Mt4＝α·Bt4+f                               (14)

Mt5＝α·Bt5+f                               (15)

方程式(11)至(15)中的f指定该前景成分∑_iFi/v的取和。

由于五个方程式(11)至(15)包含共同变量，即混合比α、和前景成分的取和f，所以能够将最小二乘法用于方程式(11)至(15)，以便确定该混合比α和该前景成分的取和f。

例如，该估计混合比处理器201预先存储用于计算该混合比α和前景成分的取和f的标准方程，并且在该存储的标准方程中设置属于混合区域的像素值以及属于背景区域的对应像素值，从而根据一个矩阵解法计算该混合比α和前景成分的取和f。

如果象图25的实例表示的那样，该背景是运动背景，则该估计混合比处理器201根据该运动量v′在该标准方程中设置属于混合区域的像素值和属于背景区域的对应像素值，并且根据一个矩阵解法计算混合比α和前景成分的取和f。在图25中，白点表示认为属于是背景区域的像素，黑点表示认为是属于混合区域的像素。

如上述讨论，根据对应于该覆盖背景区域的一个模式，估计混合比处理器201通过使用运动量v而计算该估计的混合比。

类似地，根据对应于该未覆盖背景区域的一个模式，估计混合比处理器202通过使用运动量v而计算该估计的混合比。在未覆盖背景区域中，从指定像素的帧的下一帧选择属于背景区域的对应像素。

图26是的框图示出估计混合比处理器201的结构，用于根据对应于该覆盖背景区域的一个模式，通过使用该运动量v计算该估计的混合比。

标准方程式加法器221根据从运动检测器102提供的矢量和位置信息在预先存储的标准方程中设置属于混合区域的像素值和属于包含中输入图像的M帧的一个图像中的背景区域的对应像素值。标准方程式加法器221把其中设置了属于该混合区域的像素值和属于该背景区域的对应像素值的标准方程提供到一个计算器222。

通过使用一个矩阵解法，例如清除方法(高斯-约旦消除)，计算器222求解其中提供有来自标准方程式加法器221的设置的像素值的该标准方程，以便获得该估计的混合比，并且输出该计算的估计的混合比。计算器222把该确定的前景成分的取和连同该估计的混合比的计算一起输出，作为该混合比相关信息。

如上述讨论，根据对应于该覆盖背景区域的一个模式，估计混合比处理器201通过使用运动量v而计算该估计的混合比。该估计混合比处理器201输出该前景成分的取和作为该混合比相关信息。

该估计混合比处理器202具有的结构类似于估计混合比处理器201的结构，因此省略其说明。

返如上所述，当假设该像素属于覆盖的背景区域时，根据输入图像和运动矢量以及从运动检测器102提供的位置信息，该混合比计算器103能够产生估计的混合比和对应混合比相关信息，并且当假设该像素属于该未覆盖的背景区域时，还能够产生该将要被估计的估计混合比，以及对应的混合比相关信息。

下面参照图27的流程图描述由混合比计算器103执行的该该估计混合比计算处理。在步骤S201中，根据输入图像和从运动检测器102提供的运动矢量和位置信息，估计混合比处理器201通过使用与覆盖背景区域对应的一个模式执行该混合比估计处理。下面参照图28的流程图详细描述该混合比估计处理。

在步骤S202中，根据输入图像和形成运动检测器102提供的运动矢量和位置信息，估计混合比处理器202通过使用与未覆盖背景区域对应的一个模式执行该混合比估计处理。

在步骤S203中，该混合比计算器103确定是否已经针对整个帧估计了该混合比。如果确定尚未针对整个帧估计该混合比，则该处理返回到步骤S201，并且执行用于下一像素的混合比估计的处理。

如果在步骤S203中确定已经针对整个帧估计了该混合比，则该处理结束。

如上述讨论，混合比计算器103能够根据从运动检测器102提供的运动矢量和位置信息以及该输入图像计算用于每一像素的估计的混合比。

下面参考图28的流程图给出该估计混合比处理器201在图27的步骤S201使用与覆盖的背景区域对应一个模式而执行的该估计的混合比计算过程。

在步骤S221中，标准方程式加法器221读出从运动检测器102提供的运动矢量和位置信息，以便获得该运动量v。

在步骤S222中，标准方程式加法器221根据该运动量v从输入的图像帧M选择像素，并且把选择像素的像素值设置在该预先存储的标准方程中。

在步骤S223中，标准方程式加法器221确定是否已经设置用于该目标像素的像素值。如果确定尚未设置用于该目标像素的像素值，则处理返回到步骤S222，并且重复用于设置该像素值的处理。

如果在步骤S223中确定已经设置了用于该目标像素的像素值，该处理进到步骤S224。在步骤S224中，标准方程式加法器221提供该标准方程，其中该像素值被设置到计算器222，并且计算器222通过消除法(高斯-约旦消除)求解该标准方程，以便计算该估计的混合比。随后结束该处理。计算器222输出与该估计的混合比的计算一起确定的对应于每个像素的前景成分的取和，作为该混合比相关信息。

如上述讨论，估计混合比处理器201能够计算该估计的混合比。

在图27的步骤S202中由估计混合比处理器202使用对应于未覆盖背景区域的一个模式而执行的混合比估计处理类似于图28的流程图所示的通过使用对应于该未覆盖背景区域的模式的标准方程的处理，因此省略其说明。

图29是说明该混合比计算器103的另一结构的框图。如图29所示的混合比计算器103不使用运动矢量。

根据该输入图像，通过对应于该覆盖背景区域的一个模式的计算，估计混合比处理器241计算每个像素的估计的混合比，并且把该估计的混合比连同在计算该估计的混合比时计算的该混合比相关信息一起输出。从该估计混合比处理器241输出的混合比相关信息是例如该前景成份的取和或该混合比的梯度。

根据该输入图像，通过对应于该未覆盖背景区域的一个模式的计算，估计混合比处理器242计算每个像素的估计的混合比，并且把该估计的混合比连同在计算该估计的混合比时计算的该混合比相关信息一起输出。从该估计混合比处理器242输出的混合比相关信息是例如该前景成份的取和或该混合比的梯度。

下面参照图30和32描述由估计混合比处理器241和估计混合比处理器242执行的混合比估计处理。

象参照图22和23讨论的那样，由于方程式(7)和(8)的每一个都包含两个变量，所以不修改方程式(7)和(8)就不能确定混合比α。

由于对应于该前景的目标以恒速移动，所以混合比α根据该像素的位置改变而线性变化。通过使用此特性，该估计混合比处理器241或该估计混合比处理器242设置一个方程式，其中该混合比α和前景成分的取和f在空间的方向上近似。而且，通过利用属于该混合区域的像素的象素值和属于该背景区域的像素的象素值的多个设置，求解其中的混合比α和前景成分的取和f被近似的该方程式。

当该混合比α中的一个变化近似为一个直线时，该混合比α能够由方程式(16)表示。

α＝il+p                        (16)

在方程式(16)中，当指定像素的位置被设置为0时，i是在该空间方向中的指数。l是混合比α的梯度。P是混合比α的直线的截距，还是指定像素的混合比α。在方程式(16)中，指数i是已知的，而梯度l和截距P是未知的。

索引i、梯度l和截距P之间的关系在图30中示出。在图30中，白点表示指定的像素而黑点表示邻近像素。

通过按照方程式(16)近似该混合比α，能够用两个变量表示用于多个像素的多个不同的混合比α。在图30所示实例中，用于5个像素的5个混合比由两个变量，即梯度l和截距P表示。

当该混合比α在图31所示平面中近似时，通过考虑与两个方向对应的运动v，即该图像的水平方向和垂直方向，方程式(16)被扩展到平面，并且能够通过方程式(17)表示该混合比α。图31中，白点表示该指定像素。

α＝jm+kq+p                     (17)

在方程式(17)中，当指定像素的位置被设置为0时，j是水平方向中的指数而k是垂直方向中的指数。在方程式(17)中，m表示该平面中的混合比α的水平梯度，而q表示该平面中的混合比α的垂直梯度。在方程式(17)中，p表示平面中的混合比α的截距。

例如，在图22所示的帧#n中，方程式(18)至(20)能够分别适用于C05至C07。

C05＝α05·B05/v+f05            (18)

C06＝α06·B06/v+f06            (19)

C07＝α07·B07/v+f07            (20)

假定定位互相紧密靠近的前景成分彼此相等，即F01到F03相等，则以Fc替代F01到F03而使得方程式(21)成立。

f(x)＝(1-α(x))·Fc             (21)

在方程式(21)中，x表示在空间方向中的定位。

当α(x)由方程式(17)替换时，方程式(21)能够通过方程式(22)表示。

f(x)＝(1-(jm+kq+p))·Fc

    ＝j·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)

    ＝js+kt+u                   (22)

在方程式(22)中，(-m·Fc)、(-q·Fc)、和(1-P)·Fc被替代，分别如方程式(23)至(25)表示。

s＝-m·Fc                       (23)

t＝-q·Fc                       (24)

u＝(1-p)·Fc                    (25)

在方程式(22)中，当指定像素的位置被设置为0时，j是水平方向中的指数而k是垂直方向中的指数。

如上述讨论，由于可以假设对应于前景的目标在快门时间间隔之内以恒速移动，并且位置互相接近的前景成分是均匀的，所以前景成分的取和能够由方程式(22)近似。

当由一个直线近似该混合比α时，前景成分的取和能够由方程式(26)表示。

f(x)＝is+u                      (26)

由使用方程式(17)和(22)替换方程式(16)中的混合比α和前景成分的取和，像素值M能够由方程式(27)表示。

M＝(jm+kq+p)·B+js+kt+u

 ＝jB·m+kB·q+B·p+j·s+k·t+u             (27)

在方程式(27)中，未知变量是六个因数，例如该平面中的混合比α的水平梯度m、该平面中的混合比α的垂直梯度q和该平面中的混合比α的截距p、s、t和u。

根据接近该指定像素的像素在方程式(27)中设置像素值M和像素值B，随后通过最小二乘法求解其中设置了像素值M和像素值B的多个方程式，从而计算该混合比α。

例如假设该指定像素的水平指数i设置为0，并且该指定像素的垂直指数k设置为0。在此情况中，当针对与指定像素邻近定位的3×3像素在与方程式(27)对应的方程式中设置像素值M或像素值B时，获得方程式(28)至(36)。

M_-1，-1＝(-1)·B_-1，-1·m+(-1)·B_-1，-1·q+B_-1，-1·p+(-1)·s+(-1)·t+u         (28)

M_0，-1＝(0)·B_0，-1·m+(-1)·B_0，-1·q+B_0，-1·p+(0)·s+(-1)·t+u              (29)

M_+1，-1＝(+1)·B_+1，-1·m+(-1)·B_+1，-1·q+B_+1，-1·p+(+1)·s+(-1)·t+u         (30)

M_-1，0＝(-1)·B_-1，0·m+(0)·B_-1，0·q+B_-1，0·p+(-1)·s+(0)·t+u              (31)

M_0，0＝(0)·B_0，0·m+(0)·B_0，0·q+B_0，0·p+(0)·s+(0)·t+u                   (32)

M_+1，0＝(+1)·B_+1，0·m+(0)·B_+1，0·q+B_+1，0·p+(+1)·s+(0)·t+u              (33)

M_-1，+1＝(-1)·B_-1，+1·m+(+1)·B_-1，+1·q+B_-1，+1·p+(-1)·s+(+1)·t+u         (34)

M_0，+1＝(0)·B_0，+1·m+(+1)·B_0，+1·q+B_0，+1·p+(0)·s+(+1)·t+u              (35)

M_+1，+1＝(+1)·B_+1，+1·m+(+1)·B_+1，+1·q+B_+1，+1·p+(+1)·s+(+1)·t+u         (36)

由于该指定像素的水平指数j是0，并且指定像素的垂直指数k是0，所以该指定像素的混合比α等于当在方程式(17)中的j是0和k是0时的值，即该混合比α等于在方程式(17)中的截距p。

因此方程式(28)至(36)的这九个方程，通过该最小二乘法计算水平梯度m、垂直梯度q和截距p、s、t和u，并且把截距p作为混合比α输出。

通过应用最小二乘法对于该混合比α的具体计算处理如下。

当指数i和指数k由单一指数x表示时，指数i、指数k和指数x的关系能够由方程式(37)表示。

x＝(j+1)·3+(k+1)                               (37)

现假定水平梯度m、垂直梯度q以及截距p、s、t和u分别地由可变w0、w1、w2、w3、w4和w5表示，并且jB、kB、B、j、k和l分别由a0、a1、a2、a3、a4和a5表示。考虑到误差ex，方程式(28)至(36)能够修改成方程式(38)。

$\mathrm{Mx}=\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy}+\mathrm{ex}---\left(38\right)$

在方程式(38)中，x是从0到8的任意整数。

方程式(39)可从方程式(38)得到。

$\mathrm{ex}=\mathrm{Mx}-\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy}---\left(39\right)$

由于应用最小二乘法，所以定义的误差平方和E由如下方程式(40)表示。

$E=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}{\mathrm{ex}}^2---\left(40\right)$

为了最小化该误差，关于误差平方和E的变量Wv的偏微分值应该是0。v是从0到5的任何整数之一。因此，确定wy使得满足方程式(41)。

$\frac{\∂E}{\∂\mathrm{Wv}}=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ex}\·\frac{\∂\mathrm{ex}}{\∂\mathrm{Wv}}$

$=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ex}\·\mathrm{av}=0---\left(41\right)$

把方程式(39)代入方程式(41)，获得方程式(42)。

$\underset{x=0}{\overset{8}{\mathrm{\Σ}}}(\mathrm{av}\·\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy})=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{av}\·\mathrm{Mx}---\left(42\right)$

例如，对于包括通过把从0到5的整数之一代入方程式(42)中的v而获得的六个方程式的标准方程应用消除法(高斯-约旦消除)，从而获得wy。如上所述，wO是水平梯度m，w1是垂直梯度q，w2是截距p，w3是s，w4是t，和w5是u。

如上述讨论，通过把最小二乘法用于其中设置了像素值M和像素值B的方程式，能够确定水平梯度m、垂直梯度q、截距p、s、t和u。

当指数i和k是0时，即当截距p处在中心位置时，截距p是混合比α。因此输出截距P。

通过假设包含在混合区域中的像素的像素值是M以及包含在背景区域中的像素的像素值是B，已经参照方程式(28)至(36)进行了描述。在此情况中，需要针对其中该指定像素包含在覆盖背景区域中、该这指定像素包含在未覆盖背景区域中的每一中情况设置标准方程。

例如，如果包含在图22所示的帧#n中的覆盖的背景区域中的像素的混合比α被确定，则在帧#n中的像素的像素值C04至C08和在帧#n-1中的像素的像素值P04至P08被设置在该标准方程中。

例如，如果包含在图23所示的帧#n中的未覆盖的背景区域中的像素的混合比α被确定，则在帧#n中的像素的像素值C28至C32和在帧#n+1中的像素的像素值N28至N32被设置在该标准方程中。

而且，如果包含在图32示出的覆盖背景区域中的像素的混合比α被计算，则设置下列方程式(43)至(51)。在图32中，白点表示认为属于是背景区域的像素，黑点表示认为是属于混合区域的像素。针对其计算该混合比α的像素的像素值是Mc5。

Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u    (43)

Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u      (44)

Mc3＝(+1)·Bc3·m+(1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u     (45)

Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u      (46)

Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u        (47)

Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u      (48)

Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u    (49)

Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u      (50)

Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u    (51)

为了计算在帧#n中的覆盖背景区域中包含的像素的混合比α，在方程式(43)至(51)使用在帧#n-1中分别对应于帧#n中的像素的背景区域的像素的像素值Bc1至Bc9。

当例如计算包含在图32示出的未覆盖背景区域中的像素的混合比α时，设置下列方程式(52)至(60)。针对其计算该混合比α的像素的像素值是Mu5。

Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u    (52)

Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u      (53)

Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u    (54)

Mu4＝(-1)·Bu4em+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u       (55)

Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u        (56)

Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u      (57)

Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u    (58)

Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u      (59)

Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u    (60)

为了计算在帧#n中的未覆盖的背景区域中包含的像素的混合比α，在方程式(52)至(60)分别使用对应于帧#n中的像素的在帧#n+1中的背景区域的像素的像素值Bu1至Bu9。

混合比估计处理器241和混合比估计处理器242的构成类似于混合比处理器201，因此省略其说明。

由图29所示配置的混合比计算器103执行的该估计混合比的计算处理类似于参照图27的流程图讨论过的处理，因此省略其说明。

现参照图33的流程图给出图27的步骤S202使用覆盖背景区域的一个模式的混合比估计处理。

在步骤S241中，估计混合比处理器241在对应于覆盖背景区域的一个模式的标准方程中设置包含在该输入图像中的像素值。

在步骤S242中，估计混合比处理器241确定该目标像素的设置是否结束。如果确定该目标像素的设置没有结束，则处理返回到步骤S241，并且重复用于在该标准方程中设置该像素值的处理。

如果在步骤S242中确定对于该目标像素的像素值的设置已经结束，则该处理进到步骤S243。在步骤S243中，估计混合比处理器241通过求解其中设置了像素值的标准方程而计算该估计的混合比，并且输出该计算的混合比。估计混合比处理器241输出该前景成分与该估计的混合比的梯度的取和作为该混合比相关信息，该梯度是和该估计的混合比的计算一起确定的。

如上述讨论，估计混合比处理器241能够根据该输入图像计算该估计的混合比。该估计混合比处理器241输出该前景成分和该估计混合比的梯度的取和作为混合比相关信息。

由估计混合比处理器242使用对应于未覆盖背景区域的一个模式而执行的混合比估计处理类似于图33的流程图所示的通过使用对应于该未覆盖背景区域的模式的标准方程的处理，因此省略其说明。

图34是用于从作为成分信号输入的输入图像估计该混合比的混合比计算器103的另一结构的框图。

在此说明书中，该成分意味着一个成分信号的单独一种信号成分，例如亮度信号、色度信号和一个RGB(红-绿-蓝)信号。

下面的描述是根据其中的成份1是亮度值Y、成分2是色差U和成份3是色差V的一个例子。

根据与一个覆盖背景区域的模式对应的计算，估计混合比处理器241-1根据输入图像的成分1计算针对每一像素的估计的混合比，并且把该估计的混合比连同混合比相关信息一起输出，该混合比相关信息是利用该估计混合比的计算确定的。从该估计混合比处理器241-1输出的混合比相关信息是例如该前景成份和该混合比的梯度的取和。

根据与一个未覆盖背景区域的模式对应的计算，估计混合比处理器242-1根据输入图像的成分1计算针对每一像素的估计的混合比，并且把该估计的混合比连同混合比相关信息一起输出，该混合比相关信息是利用该估计混合比的计算确定的。从该估计混合比处理器242-1输出的混合比相关信息是例如该前景成份和该混合比的梯度的取和。

根据与一个覆盖背景区域的模式对应的计算，估计混合比处理器241-2根据输入图像的成分2计算针对每一像素的估计的混合比，并且把该估计的混合比连同混合比相关信息一起输出，该混合比相关信息是利用该估计混合比的计算确定的。

根据与一个未覆盖背景区域的模式对应的计算，估计混合比处理器242-2根据输入图像的成分2计算针对每一像素的估计的混合比，并且把该估计的混合比连同混合比相关信息一起输出，该混合比相关信息是利用该估计混合比的计算确定的。

根据与一个覆盖背景区域的模式对应的计算，估计混合比处理器241-3根据输入图像的成分3计算针对每一像素的估计的混合比，并且把该估计的混合比连同混合比相关信息一起输出，该混合比相关信息是利用该估计混合比的计算确定的。

根据与一个未覆盖背景区域的模式对应的计算，估计混合比处理器242-3根据输入图像的成分3计算针对每一像素的估计的混合比，并且把该估计的混合比连同混合比相关信息一起输出，该混合比相关信息是利用该估计混合比的计算确定的。

如上述讨论，根据作为成分信号输入的输入图像，如图34所示配置的混合比计算器103能够通过使用该覆盖背景区域的一个模式计算用于每一成份该估计混合比，并且通过使用该未覆盖背景区域的一个模式计算用于每一成份该估计混合比。针对与通过对应于该覆盖的背景区域计算的估计的混合比对应的、和与通过对应于该未覆盖的背景区域计算的估计的混合比对应的每一成分，该混合比计算器103输出该混合比相关信息，例如该前景成分和该估计混合比的梯度的取和。

当从作为成分信号输入的输入图像估计该混合比时，根据由估计混合比处理器201或202进行的处理，该混合比计算器103可以针对每一成份而使用对应于该覆盖背景区域的一个模式计算该估计的混合比以及使用对应于该未覆盖背景区域的一个模式计算该估计的混合比，并且把该对应混合比相关信息连同该估计的混合比一起输出。

已经描述的实施例假定该背景目标是静止的。但是，即使对应于该背景区域的图像包括运动，也能应用上述混合比计算处理。例如，如果对应于该背景区域的图像是在均匀运动，该混合比计算器103根据此运动移动整个图像，并且以和其中对应于该背景的目标是静止的情况相类似的方式执行处理。如果对应于背景区域的图像包括局部不同的运动，该混合比计算器103将选择对应于该运动的像素作为属于该混合区域的像素，并且执行上述的处理。

下面描述区域指定单元104。

图35是说明该区域指定单元104的结构的框图。根据对应于使用该覆盖背景区域的模式计算的估计的混合比的该混合比相关信息和使用覆盖背景区域的模式计算的估计的混合比，预测误差计算部分301计算针对每一像素的误差值(对应于该估计的混合比的预测误差值)，并且把该计算的误差值提供到一个未覆盖背景区域确定部分303。

例如，当混合比计算器103通过把最小二乘法应用到方程式(11)至(15)而估计该混合比时，根据对应于通过该覆盖背景区域的模式计算的该估计的混合比的属于是前景成分取和的相关信息和通过该覆盖背景区域的模式计算的估计的混合比混合比，通过对应于方程式(61)的计算，该预测误差计算部分301计算表示误差值S的该误差的最小平方和。

$S=\underset{i}{\mathrm{\Σ}}{\{M-(\mathrm{\α}\·B+\underset{i}{\mathrm{\Σ}}\mathrm{Fi}/v)\}}^2---\left(61\right)$

方程式(61)中的α表示估计混合比，而t表示用于计算该混合比的帧数目表示该前景成分的取和，它是混合比相关信息。

根据对应于使用未覆盖的背景区域的一个模式计算的估计的混合比的相关信息和使用未覆盖的背景区域的一个模式计算的估计的混合比，预测误差计算部分302计算针对每一像素的误差值，并且把一个计算的误差值提供到一个覆盖的背景区域确定部分304。

通过使用数据块，例如使用每一由例如5×5的多个像素的像素数据块，该预测误差计算部分301和302可以计算针对每一像素的误差值。

该预测误差计算部分301和302可以预置t，或可以从该混合比计算器103获得t作为该混合比相关信息。

该未覆盖背景区域确定部分303针对每一像素确定从该预测误差计算部分301提供的误差值是否大于或等于一个预先存储的阈值Th。如果其确定该误差值大于或等于该阈值Th，则该未覆盖背景区域确定部分303确定该指定的像素属于未覆盖背景区域，并且设置一个指示对应该指定像素的未覆盖背景区域的标志。该未覆盖的背景区域确定部分303把针对每一像素设置的指示该未覆盖背景区域的标志提供到一个合成器306。

该覆盖的背景区域确定部分304针对每一像素确定从该预测误差计算部分302提供的误差值是否大于或等于该预先存储的阈值Th。如果其确定该误差值大于或等于该阈值Th，则该覆盖的背景区域确定部分304确定该指定的像素属于覆盖的背景区域，并且设置指示对应该指定像素的该覆盖背景区域的一个标志。该覆盖的背景区域确定部分304把针对每一像素设置的指示该覆盖的背景区域的标志提供到该合成器306。

一个前景/背景区域确定的部分305确定的该像素是否属于该前景区域或该背景区域。

例如，该前景/背景区域确定部分305根据该指定帧#n的指定像素的像素值与对应于帧#n-1的指定像素的该像素的像素值之间的差值而确定该指定像素是否为运动的像素。该前景/背景区域确定部分305根据该指定帧#n的指定像素的像素值与对应于帧#n+1的指定像素的该像素的像素值之间的差值而确定该指定像素是否为运动的像素。

如果确定该指定像素从帧#n-1到帧#n是移动的，并且该指定像素从帧#n到帧#n+1是移动的，则该前景/背景区域确定部分305确定该指定像素属于该前景区域。

例如，如果确定该指定像素从帧#n-1到帧#n静止，并且该指定像素从帧#n到帧#n+1静止，则该前景/背景区域确定部分305确定该指定像素属于该背景区域。

该前景/背景区域确定部分305把针对每一像素设置的指示该前景区域的一个标志和表示该背景区域的一个标志提供到合成器306。

根据从未覆盖背景区域确定部分303提供的指示该未覆盖背景区域的标志、从覆盖背景区域确定部分304提供的指示该覆盖背景区域的标志、以及从前景/背景区域确定部分305提供的指示该前景区域的标志和指示该背景区域的标志，合成器306合成用于每一像素的区域信息，指示未覆盖背景区域、覆盖背景区域、前景区域和背景区域之一。该合成器306把合成的区域信息提供到一个混合比确定部分307，并且还输出该区域信息。

混合比确定部分307根据从合成器306提供的区域信息确定该混合比α。更具体地说，当该指定像素属于该前景区域时，混合比确定部分307把该混合比α设置为0。当该指定像素属于该背景区域时，混合比确定部分317把该混合比α设置为1。当指定像素属于覆盖的背景区域时，该混合比确定部分307把该混合比α设置为通过该覆盖背景区域的模式计算的该估计的混合比。当指定像素属于未覆盖的背景区域时，该混合比确定部分307把该混合比α设置为通过该未覆盖背景区域的模式计算的该估计的混合比。该混合比确定部分307输出根据该区域信息确定的该混合比α。

下面参照图36和37描述该未覆盖背景区域确定部分303执行的确定处理。

如图36所示，由于与背景对应的目标静止，所以属于指定帧#n的背景区域的指定像素的像素值等于帧#n的下一帧#n+1中的对应指定像素的像素值。图36中，W表示背景区域。类似地，由于对应于背景的目标静止，所以根据指定像素由运动矢量表示的帧#n+1的像素的像素值等于帧#n+2的对应像素的像素值。

因此，通过覆盖背景区域的模式计算的对应于属于该背景区域的估计的混合比几乎为1，并且该前景成分的取和几乎为0。

因此，由方程式(61)计算的误差值S几乎为0。

图36中，由于属于由X表示的前景区域的指定像素被运动补偿，所以该指定帧#n的指定像素的像素值等于根据该指定像素由运动矢量表示的帧#n+1的像素的像素值。由于该前景目标具有在空间方向中的强相关性，所以该前景成分的值几乎相同。

因此，尽管严格地说并没有根据一个物理模型加以证明，但该估计的混合比以及通过最小二乘法计算的前景成分的取和的误差的最小平方取和变成相当小的值。

当然，在图36中由Y表示的覆盖背景区域中，由最小二乘法计算的该估计的混合比以及该前景成分的取和的错误的最小平方和几乎为0。

相比之下，如图37所示，包含在属于由图37中的Z表示的未覆盖背景区域的指定帧#n的指定像素的像素值中的前景成分不同于包含在随后帧#n的帧#n+1的对应像素的像素值中的前景成分。类似地，包含在根据指定像素由运动矢量表示的帧#n+1的像素的像素值中的前景成分不同于包含在帧#n+2的对应像素的像素值中的前景成分。

当根据最小二乘法通过把该估计的混合比和该前景成分的取和设置为未知的变量来确定该答案时，因为在该方程式中设置的该像素值中的前景成分的取和被改变，所以不能计算该前景成分的取和。

因此，当该指定像素属于未覆盖背景区域时，基于该覆盖背景区域的模式而根据该最小二乘法计算的该估计的混合比以及该前景成分取和的误差的最小平方和变成较大的值。

因此，通过确定该基于覆盖背景区域的模式而根据该最小二乘法计算的该估计的混合比的误差值S和前景成分的取和是否大于或等于阈值Th，该未覆盖背景区域确定部分303能够确定该指定像素是否属于该未覆盖的背景区域。

类似地，通过确定该基于未覆盖背景区域的模式而根据该最小二乘法计算的该估计的混合比的误差值S和前景成分的取和是否大于或等于阈值Th，该未覆盖背景区域确定部分304能够确定该指定像素是否属于该覆盖的背景区域。

图38至43示出输入的图像以及由区域指定单元104执行的区域确定结果的实例。

图38示出一个输入图像。在图38所示的输入图像中，前景目标从左向右移动。

图39所示的图像是根据由混合比计算器103使用七帧图像计算的该估计的混合比和前景成分的取和、通过区域指定单元104把阈值Th设置为70而获得的对图38所示的输入图像的每个像素进行确定的结果。

图40所示图像是根据由该混合比计算器103使用三帧计算该估计的混合比和前景成分的取和、通过假定在同一数据块中的混合比是均匀的、并且通过把每一数据块的误差值S的取和阈值Th设置为750、以及通过把在该数据块中的每一像素的误差值S的阈值Th设置为10，由该区域指定单元104针对图38所示的输入图像的每一5×5像素数据块进行确定而获得的结果。

图41示出一个输入图像。在图41所示的输入图像中，前景目标从左向右移动。

图42所示的图像是根据由混合比计算器103使用七帧图像计算的该估计的混合比和前景成分的取和、通过区域指定单元104把阈值Th设置为70而获得的对图41所示的输入图像的每个像素进行确定的结果。

图43所示图像是根据由该混合比计算器103使用三帧计算该估计的混合比和前景成分的取和、通过假定在同一数据块中的混合比是均匀的、并且通过把每一数据块的误差值S的取和阈值Th设置为750、以及通过把在该数据块中的每一像素的误差值S的阈值Th设置为10，由该区域指定单元104针对图41所示的输入图像的每一5×5像素数据块进行确定而获得的结果。

在图39至43中，该覆盖背景区域定位在该前景目标相对于前景区域运动的方向中的前端，以及该未覆盖背景区域定位在该前景目标相对于该前景区域运动的方向中的后端。

如图38至43所示，区域指定单元104能够几乎精确地确定该区域。

下面给出当该混合比计算器103把最小二乘法应用到方程式(28)至(36)而估算该混合比并且把表示该估计混合比的梯度的数据作为该混合比相关信息与该估计的混合比一起输出时该区域指定单元104的处理。

根据方程式(27)，指定像素的像素值M由方程式(62)表示。

M＝(jm+kq+p)·B+j·s+k·t+u  (62)

在方程式(62)中，当指定像素的位置表示设置为0时，j表示水平方向中的指数而k表示垂直方向中的指数。在方程式(62)中，m表示该混合比α平面中的水平梯度、q是混合比α平面中的垂直梯度、p表示混合比α平面的截距。在方程式(62)中，s、t和u是指示由方程式(23)至(25)表示的在m、q和p与前景成分之间相互关系的变量。

根据与由该覆盖背景区域的模式计算的混合比相对应的、包含j、k、m、q、p、s、t和u的相关信息和由该覆盖背景区域的模式计算的该估计的该混合比，通过与方程式(63)对应的计算，该预测误差计算部分301能够而计算该误差值S的最小误差平方和。

$S=\underset{x,y}{\mathrm{\Σ}}\{M-{[(\mathrm{jm}+\mathrm{kq}+p)\·B+j\·s+k\·t+u]}^2---\left(63\right)$

根据对应于通过该未覆盖背景区域的模式计算的该估计的混合比的相关信息和通过该未覆盖的背景区域的模式计算的该估计的混合比，该预测误差计算部分302能够通过对应于方程式(63)的计算而计算针对每一像素的误差值，并且把该计算的误差值提供到该覆盖背景区域确定部分304。

该未覆盖背景区域确定部分303针对每一像素确定从该预测误差计算部分301提供的误差值是否大于或等于该预先存储的阈值Th。如果其确定该误差值大于或等于该预先存储的阈值Th，则该未覆盖背景区域确定部分303确定该指定的像素属于未覆盖背景区域，并且设置一个指示对应该指定像素的未覆盖背景区域的标志。该未覆盖的背景区域确定部分303把针对每一像素设置的指示该未覆盖背景区域的标志提供到该合成器306。

该覆盖背景区域确定部分304针对每一像素确定从该预测误差计算部分302提供的误差值是否大于或等于该预先存储的阈值Th。如果其确定该误差值大于或等于该预先存储的阈值Th，则该覆盖的背景区域确定部分304确定该指定的像素属于覆盖的背景区域，并且对应该指定像素设置一个指示该覆盖的背景区域的标志。该覆盖的背景区域确定部分304把针对每一像素设置的指示该覆盖背景区域的标志提供到该合成器306。

该前景/背景区域确定部分305确定每一像素属于前景区域还是属于背景区域，并且把针对每一像素设置的指示该前景区域的一个标志和指示该背景区域的一个标志提供到合成器306。

根据从未覆盖背景区域确定部分303提供的指示该未覆盖背景区域的标志、从覆盖背景区域确定部分304提供的指示该覆盖背景区域的标志、以及从前景/背景区域确定部分305提供的指示该前景区域的标志和指示该背景区域的标志，合成器306针对每一像素而合成用于指示未覆盖背景区域、覆盖背景区域、前景区域和背景区域之一的区域信息。合成器306把该合成的区域信息提供到混合比确定部分307，并且输出该区域信息。

该混合比确定部分307根据从合成器306提供的区域信息确定该混合比α。

如上所述，根据对应由混合比计算器103用于估计该混合比的方法的信息相关估计混合比和混合比，区域指定单元104能够产生区域信息。

图44是说明区域指定单元104的结构的框图，用于根据针对每一成分信号估计的该混合比、对应的混合比相关信息和作为成分信号输入的输入图像而进行区域指定。类似于图35所示的元件用相同的参考数字表示，因此省略其说明。

根据对应于通过覆盖背景区域的一个模式计算的估计的混合比的相关信息和通过覆盖的背景区域的一个模式计算的估计的混合比，预测误差计算部分301-1计算针对每一像素的误差值，并且把该计算的误差值提供到一个加法器321，该估计的混合比是从该输入图像的成分1计算的。

根据对应于通过覆盖背景区域的该模式计算的估计的混合比的相关信息和通过覆盖的背景区域的该模式计算的估计的混合比，预测误差计算部分301-2计算针对每一像素的误差值，并且把该计算的误差值提供到该加法器321，该估计的混合比是从该输入图像的成分2计算的。

根据对应于通过覆盖背景区域的该模式计算的估计的混合比的相关信息和通过覆盖的背景区域的该模式计算的估计的混合比，预测误差计算部分301-3计算针对每一像素的误差值，并且把该计算的误差值提供到该加法器321，该估计的混合比是从该输入图像的成分3计算的。

根据对应于通过未覆盖背景区域的一个模式计算的估计的混合比的相关信息和通过未覆盖的背景区域的一个模式计算的估计的混合比，预测误差计算部分302-1计算针对每一像素的误差值，并且把该计算的误差值提供到一个加法器322，该估计的混合比是从该输入图像的成分1计算的。

根据对应于通过未覆盖背景区域的该模式计算的估计的混合比的相关信息和通过未覆盖的背景区域的该模式计算的估计的混合比，预测误差计算部分302-2计算针对每一像素的误差值，并且把该计算的误差值提供到该加法器322，该估计的混合比是从该输入图像的成分2计算的。

根据对应于通过未覆盖背景区域的该模式计算的估计的混合比的相关信息和通过未覆盖的背景区域的该模式计算的估计的混合比，预测误差计算部分302-3计算针对每一像素的误差值，并且把该计算的误差值提供到该加法器322，该估计的混合比是从该输入图像的成分3计算的。

加法器321相加从该预测误差计算部分301-1提供的误差值、从该预测误差计算部分301-2提供的误差值、和从该预测误差计算部分301-3提供的误差值，并且把该相加的误差值提供到该未覆盖背景区域确定部分303。

加法器322相加从该预测误差计算部分302-1提供的误差值、从该预测误差计算部分302-2提供的误差值、和从该预测误差计算部分302-3提供的误差值，并且把该相加的误差值提供到该覆盖背景区域确定部分304。

加法器323相加输入图像的成分1、输入图像的成份2以及输入图像的成分3，并且把相加的成分1、成分2和成份提供到前景/背景区域确定部分305。

该未覆盖背景区域确定部分303针对每一像素确定从该加法器321提供的误差值是否大于或等于该预先存储的阈值Th。如果其确定该误差值大于或等于该阈值Th，则该未覆盖背景区域确定部分303确定该指定的像素属于该未覆盖背景区域，并且设置一个指示对应该指定像素的未覆盖背景区域的标志。该未覆盖的背景区域确定部分303把针对每一像素设置的指示该未覆盖背景区域的标志提供到该合成器306。

该覆盖背景区域确定部分304针对每一像素确定从该加法器322提供的误差值是否大于或等于该预先存储的阈值Th。如果其确定该误差值大于或等于该阈值Th，则该覆盖的背景区域确定部分304确定该指定的像素属于覆盖的背景区域，并且设置指示对应该指定像素的该覆盖背景区域的一个标志。该覆盖的背景区域确定部分304把针对每一像素设置的指示该覆盖背景区域的标志提供到该合成器306。

该前景/背景区域确定部分305根据该相加的成分1、成份2和成份3确定每一像素是否属于该前景区域或该背景区域，并且把针对每一像素设置的指示该前景区域的一个标志和指示该背景区域的一个标志提供到该合成器306。

根据从未覆盖背景区域确定部分303提供的指示该未覆盖背景区域的标志、从覆盖背景区域确定部分304提供的指示该覆盖背景区域的标志、以及从前景/背景区域确定部分305提供的指示该前景区域的标志和指示该背景区域的标志，合成器306合成用于指示未覆盖背景区域、覆盖背景区域、前景区域和背景区域之一的区域信息。合成器306把该合成的区域信息提供到混合比确定部分307，并且输出该区域信息。

如上所述，根据针对每一成份信号估计的混合比和对应混合比相关信息以及作为成份信号输入的输入图像，图44所示的区域指定单元104能够指定该区域。如图44所示构成的区域指定单元104能够比图35中示出构成的区域指定单元104更精确地指定该区域。

图45是说明区域指定单元104另一的结构的框图，用于根据针对每一成分信号估计的混合比以及对应的混合比相关信息、和作为成分信号输入的输入信号而进行区域指定。

类似于图44所示的元件用相同的参考数字表示，因此省略其说明。

根据对应于通过该覆盖背景区域的模式计算的该估计的混合比的相关信息和通过该覆盖的背景区域的模式计算的该估计的混合比，该预测误差计算部分301-1计算针对每一像素的误差值，并且把该计算的误差值提供到一个未覆盖背景区域确定部分303-1，该估计的混合比是从输入图像的成分1计算的。

根据对应于通过该覆盖背景区域的模式计算的该估计的混合比的相关信息和通过该覆盖的背景区域的模式计算的该估计的混合比，该预测误差计算部分302-2计算针对每一像素的误差值，并且把该计算的误差值提供到一个未覆盖背景区域确定部分303-2，该估计的混合比是从输入图像的成分2计算的。

根据对应于通过该覆盖背景区域的模式计算的该估计的混合比的相关信息和通过该覆盖的背景区域的模式计算的该估计的混合比，该预测误差计算部分301-3计算针对每一像素的误差值，并且把该计算的误差值提供到一个未覆盖背景区域确定部分303-3，该估计的混合比是从输入图像的成分3计算的。

根据对应于通过该未覆盖背景区域的模式计算的该估计的混合比的相关信息和通过该未覆盖的背景区域的模式计算的该估计的混合比，该预测误差计算部分302-1计算针对每一像素的误差值，并且把该计算的误差值提供到一个覆盖背景区域确定部分304-1，该估计的混合比是从输入图像的成分1计算的。

根据对应于通过该未覆盖背景区域的模式计算的该估计的混合比的相关信息和通过该未覆盖的背景区域的模式计算的该估计的混合比，该预测误差计算部分302-2计算针对每一像素的误差值，并且把该计算的误差值提供到一个覆盖背景区域确定部分304-2，该估计的混合比是从输入图像的成分2计算的。

根据对应于通过该未覆盖背景区域的模式计算的该估计的混合比的相关信息和通过该未覆盖的背景区域的模式计算的该估计的混合比，该预测误差计算部分302-3计算针对每一像素的误差值，并且把该计算的误差值提供到一个覆盖背景区域确定部分304-3，该估计的混合比是从输入图像的成分3计算的。

该未覆盖背景区域确定部分303-1针对每一像素确定从该预测误差计算部分301-1提供的误差值是否大于或等于该预先存储的阈值Th。如果其确定该误差值大于或等于该预先存储的阈值Th，则该未覆盖背景区域确定部分303-1确定该指定的像素属于未覆盖背景区域，并且设置一个指示对应该指定像素的未覆盖背景区域的标志。该未覆盖的背景区域确定部分303-1把针对每一像素设置的指示该未覆盖背景区域的标志提供到一个逻辑“或”计算部分341。

该未覆盖背景区域确定部分303-2针对每一像素确定从该预测误差计算部分302-2提供的误差值是否大于或等于该预先存储的阈值Th。如果其确定该误差值大于或等于该预先存储的阈值Th，则该未覆盖背景区域确定部分303-2确定该指定的像素属于未覆盖背景区域，并且设置一个指示对应该指定像素的未覆盖背景区域的标志。该未覆盖的背景区域确定部分303-2把针对每一像素设置的指示该未覆盖背景区域的标志提供到该逻辑“或”计算部分341。

该未覆盖背景区域确定部分303-3针对每一像素确定从该预测误差计算部分301-3提供的误差值是否大于或等于该预先存储的阈值Th。如果其确定该误差值大于或等于该预先存储的阈值Th，则该未覆盖背景区域确定部分303-3确定该指定的像素属于未覆盖背景区域，并且设置一个指示对应该指定像素的未覆盖背景区域的标志。该未覆盖的背景区域确定部分303-3把针对每一像素设置的指示该未覆盖背景区域的标志提供到该逻辑“或”计算部分341。

该覆盖背景区域确定部分304-1针对每一像素确定从该预测误差计算部分302-1提供的误差值是否大于或等于该预先存储的阈值Th。如果其确定该误差值大于或等于该阈值Th，则该覆盖背景区域确定部分304-1确定该指定的像素属于该覆盖的背景区域，并且设置指示对应该指定像素的该覆盖背景区域的一个标志。该覆盖的背景区域确定部分304-1把针对每一像素设置的指示该覆盖背景区域的标志提供到一个逻辑“或”计算部分342。

该覆盖背景区域确定部分304-2针对每一像素确定从该预测误差计算部分302-2提供的误差值是否大于或等于该预先存储的阈值Th。如果其确定该误差值大于或等于该阈值Th，则该覆盖背景区域确定部分304-2确定该指定的像素属于该覆盖的背景区域，并且设置指示对应该指定像素的该覆盖背景区域的一个标志。该覆盖的背景区域确定部分304-2把针对每一像素设置的指示该覆盖背景区域的标志提供到该逻辑“或”计算部分342。

该覆盖背景区域确定部分304-3针对每一像素确定从该预测误差计算部分302-3提供的误差值是否大于或等于该预先存储的阈值Th。如果其确定该误差值大于或等于该阈值Th，则该覆盖背景区域确定部分304-3确定该指定的像素属于该覆盖的背景区域，并且设置指示对应该指定像素的该覆盖背景区域的一个标志。该覆盖的背景区域确定部分304-3把针对每一像素设置的指示该覆盖背景区域的标志提供到该逻辑“或”计算部分342。

前景/背景区域确定部分305-1根据成分1确定每一像素是否属于前景区域或背景区域，并且把针对每一像素设置的指示该前景区域的一个标志或指示该背景区域的一个标志提供到一个逻辑“或”计算部分343。

前景/背景区域确定部分305-2根据成分2确定每一像素是否属于前景区域或背景区域，并且把针对每一像素设置的指示该前景区域的一个标志或指示该背景区域的一个标志提供到一个逻辑“或”计算部分343。

前景/背景区域确定部分305-3根据成分3确定每一像素是否属于前景区域或背景区域，并且把针对每一像素设置的指示该前景区域的该标志或指示该背景区域的该标志提供到该逻辑“或”计算部分343。

根据从未覆盖背景区域确定部分303-1提供的指示该未覆盖背景区域的标志、从未覆盖背景区域确定部分303-2提供的指示该未覆盖背景区域的标志、以及从未覆盖背景区域确定部分303-3提供的指示该未覆盖背景区域的标志，逻辑″或″计算部分341计算由从该未覆盖背景区域确定部分303-1提供的该标志指示该未覆盖背景区域、由从该未覆盖背景区域确定部分303-2提供的该标志指示该未覆盖背景区域、和由从该未覆盖背景区域确定部分303-3提供的该标志指示该未覆盖背景区域的逻辑″或″值，以便产生指示由该逻辑″或″计算的该未覆盖背景区域的一个标志。该逻辑“或”计算部分341把产生的指示该未覆盖背景区域的标志提供到该合成器306。

根据从覆盖背景区域确定部分304-1提供的指示该覆盖背景区域的标志、从覆盖背景区域确定部分304-2提供的指示该覆盖背景区域的标志、以及从覆盖背景区域确定部分304-3提供的指示该覆盖背景区域的标志，逻辑″或″计算部分342计算由从该覆盖背景区域确定部分304-1提供的该标志指示该未覆盖背景区域、由从该未覆盖背景区域确定部分304-2提供的该标志指示该未覆盖背景区域、和由从该未覆盖背景区域确定部分304-3提供的该标志指示该未覆盖背景区域的逻辑″或″值，以便产生指示由该逻辑″或″计算的该覆盖背景区域的一个标志。该逻辑“或”计算部分342把产生的指示该覆盖背景区域的标志提供到该合成器306。

根据从前景/背景区域确定部分305-1提供的指示该前景区域的标志、从前景/背景区域确定部分305-2提供的指示该前景区域的标志、和从前景/背景区域确定部分305-3提供的指示该前景区域的标志，逻辑″或″计算部分343计算由从该前景/背景区域确定部分305-1提供的标志指示的该前景区域、由从该前景/背景区域确定部分305-2提供的标志指示的该前景区域、和由从该前景/背景区域确定部分305-3提供的标志指示的该前景区域的逻辑″或″值，以便产生指示由该逻辑″或″计算的该前域区域的一个标志。该逻辑“或”计算部分343把产生的指示该前景区域的标志提供到该合成器306。

根据从前景/背景区域确定部分305-1提供的指示该背景区域的标志、从前景/背景区域确定部分305-2提供的指示该背景区域的标志、和从前景/背景区域确定部分305-3提供的指示该背景区域的标志，逻辑″或″计算部分343计算由从该前景/背景区域确定部分305-1提供的标志指示的该背景区域、由从该前景/背景区域确定部分305-2提供的标志指示的该背景区域、和由从该前景/背景区域确定部分305-3提供的标志指示的该背景区域的逻辑″或″值，以便产生指示由该逻辑″或″计算的该背景区域的一个标志。该逻辑“或”计算部分343把产生的指示该背景区域的标志提供到该合成器306。

根据从逻辑“或”计算部分341提供的指示该该未覆盖背景区域的标志、从逻辑“或”计算部分342提供的指示该覆盖背景的标志、以及从逻辑“或”计算部分343提供的指示该前景区域的标志和指示该背景区域的指示，该合成器306针对每一像素而合成指示该未覆盖背景区域、该覆盖背景区域、该前景区域和该背景区域之一的区域信息。该合成器306输出该合成的区域信息。

如图45所示的构成的区域指定单元104能够输出指定该前景区域、背景区域、覆盖背景区域和未覆盖背景区域的每一个的整体的区域信息。

图46是说明区域指定单元104另一结构的框图，用于根据针对每一成分信号估计的混合比以及对应的混合比相关信息、和作为成分信号输入的输入图像而进行区域指定。

类似于图45所示的元件用相同的参考数字表示，因此省略其说明。

根据从未覆盖背景区域确定部分303-1提供的指示该未覆盖背景区域的标志、从未覆盖背景区域确定部分303-2提供的指示该未覆盖背景区域的标志、和从未覆盖背景区域确定部分303-3提供的指示该未覆盖背景区域的标志，逻辑″与″计算部分361计算由从该未覆盖背景区域确定部分303-1提供的标志指示的该未覆盖背景区域、由从该未覆盖背景区域确定部分303-2提供的标志指示的该未覆盖背景区域和由从该未覆盖背景区域确定部分303-3提供的标志指示的该未覆盖背景区域的逻辑″与″值，并且产生指示由该逻辑″与″计算的该未覆盖背景区域的一个标志。该逻辑“与”计算部分361把产生的指示该未覆盖背景区域的标志提供到该合成器306。

根据从覆盖背景区域确定部分304-1提供的指示该覆盖背景区域的标志、从覆盖背景区域确定部分304-2提供的指示该覆盖背景区域的标志、和从覆盖背景区域确定部分304-3提供的指示该覆盖背景区域的标志，逻辑″与″计算部分362计算由从该覆盖背景区域确定部分304-1提供的标志指示的该覆盖背景区域、由从该覆盖背景区域确定部分304-2提供的标志指示的该覆盖背景区域和由从该覆盖背景区域确定部分304-3提供的标志指示的该覆盖背景区域的逻辑″与″值，并且产生指示由该逻辑″与″计算的该覆盖背景区域的一个标志。该逻辑“与”计算部分362把产生的指示该覆盖背景区域的标志提供到该合成器306。

根据从前景/背景区域确定部分305-1提供的指示该前景区域的标志、从前景/背景区域确定部分305-2提供的指示该前景区域的标志、和从前景/背景区域确定部分305-3提供的指示该前景区域的标志，逻辑″与″计算部分363计算由从该前景/背景区域确定部分305-1提供的标志指示的该前景区域、由从该前景/背景区域确定部分305-2提供的标志指示的该前景区域和由从该前景/背景区域确定部分305-3提供的标志指示的该前景区域逻辑″与″值，并且产生指示由该逻辑″与″计算的该前景区域的一个标志。该逻辑“与”计算部分363把产生的指示该前景区域的标志提供到该合成器306。

根据从该前景/背景区域确定部分305-1提供的指示该背景区域的标志、从该前景/背景区域确定部分305-2提供的指示该背景区域的标志、和从该前景/背景区域确定部分305-3提供的指示该背景区域的标志，逻辑″与″计算部分363计算由从该前景/背景区域确定部分305-1提供的标志指示的背景区域、由从该前景/背景区域确定部分305-2提供的标志指示的背景区域、和由从该前景/背景区域确定部分305-3提供的标志指示的背景区域的逻辑″与″值，并且产生指示由该逻辑″与″计算的背景区域的一个标志。该逻辑“与”计算部分363把产生的指示该背景区域的标志提供到该合成器306。

根据从逻辑″与″计算部分361提供的指示该未覆盖背景区域的标志、从逻辑″与″计算部分362提供的指示该覆盖背景区域的标志、以及从逻辑″与″计算部分363提供的指示该前景区域的标志和指示该背景区域的标志，合成器306针对每一像素而合成用于指示未覆盖背景区域、覆盖背景区域、前景区域和背景区域之一的区域信息。该合成器306输出该合成的区域信息。

如图46所示构成的区域指定单元104能够输出具有小误差的区域信息。

下面参照图47的流程图描述由区域指定单元104执行的区域指定处理。在步骤S301中，区域指定单元104根据误差值而针对每一像素执行指定覆盖背景区域的处理。下面给出该覆盖背景区域指定处理的细节。

在步骤S302中，区域指定单元104根据误差值而针对每一像素执行指定未覆盖背景区域的处理。下面给出该未覆盖背景区域指定处理的细节。

在步骤S303中，前景/背景区域确定部分305针对每一像素指定前景或背景，并且结束该处理。

下面参照图48的流程图讨论对应于步骤S301的覆盖背景区域指定处理。

在步骤S321中，该预测误差计算部分302使用与未覆盖背景区域对应的一个模式计算该误差值。该预测误差计算部分302把该计算的误差值提供到该覆盖背景区域确定部分304。

在步骤S322中，该覆盖背景区域确定部分304确定从该预测误差计算部分302提供的误差值是否大于或等于阈值Th。如果其确定该误差值大于或等于该阈值Th，则处理进到步骤S323。在步骤S323中，预测误差计算部分302设置指示在像素中具有该误差值的覆盖背景区域。处理随后进到步骤S324。

如果在步骤S322中确定该误差值不是大于或等于该阈值Th，则能证明该像素不属于该覆盖背景区域。因此跳过步骤S323的处理，而该处理进到步骤S324。

在步骤S324中，区域指定单元104确定该处理是否已经针对整个屏幕执行。如果确定该处理尚未针对整体屏幕执行，则处理返回到步骤S321，并且重复该覆盖背景区域确定处理。

如果在步骤S324确定该处理已经针对整体屏幕执行，则处理进到步骤S325，其中该覆盖背景区域确定部分304输出指示该覆盖背景区域的一个标志。随后结束该处理。

下面参照图49的流程图讨论对应于步骤S302的未覆盖背景区域指定处理。

在步骤S341中，该预测误差计算部分301使用与覆盖背景区域对应的一个模式计算该误差值。该预测误差计算部分301把该计算的误差值提供到该未覆盖背景区域确定部分303。

在步骤S342中，该未覆盖背景区域确定部分303确定从该预测误差计算部分301提供的误差值是否大于或等于阈值Th。如果其确定该误差值大于或等于该阈值Th，则处理进到步骤S343。在步骤S343中，指示该未覆盖背景区域的标志被设置在具有该误差值的像素中。处理随后进到步骤S344。

如果在步骤S342中确定该误差值不是大于或等于该阈值Th，则能证明该像素不属于该未覆盖背景区域。因此跳过步骤S343的处理，而该处理进到步骤S344。

在步骤S344中，区域指定单元104确定该处理是否已经针对整个屏幕执行。如果确定该处理尚未针对整体屏幕执行，则处理返回到步骤S341，并且重复该未覆盖背景区域确定处理。

如果在步骤S344确定该处理已经针对整体屏幕执行，则处理进到步骤S345，其中该未覆盖背景区域确定部分303输出指示该未覆盖背景区域的一个标志。随后结束该处理。

如上述讨论，区域指定单元104能够根据该估计的混合比和与那估计的混合比对应的该混合比相关信息计算该误差值，以便根据该计算的误差值指定该覆盖的背景区域和该未覆盖的背景区域。

该区域指定单元104能够根据该产生的区域信息确定该混合比，并且输出该确定的混合比α。

通过利用该混合比α，有可能分离包含在一个像素值中的前景成分和背景成分，同时保持包含在与该运动目标对应的图像中的运动模糊信息。

除了该覆盖的背景区域或该未覆盖的背景区域是根据该相加的误差值指定之外，如图44所示构成的区域指定单元104根据参照图47至49描述的流程图的类似处理指定该区域。因此省略该处理的详细说明。

除了该区域是针对每一成分指定、并且通过该指定区域的逻辑″或″确定最后区域之外，如图45所示构成的区域指定单元104根据参照图47至49描述的流程图的类似处理指定该区域。因此省略该处理的详细说明。

除了该区域是针对每一成分指定、并且通过该指定区域的逻辑″与″确定最后区域之外，如图46所示构成的区域指定单元104根据参照图47至49描述的流程图的类似处理指定该区域。因此省略该处理的详细说明。

讨论下面前景/背景分离器105。图50是说明该前景/背景分离器105的结构实例的框图。提供到该前景/背景分离器105的输入图像被提供到一个分离部分601、一个切换器602和一个切换器604。从区域指定单元104提供的并且指示该覆盖背景区域和未覆盖背景区域的信息被提供到该分离部分601。指示该前景区域的区域信息被提供到切换器602。指示该背景区域的区域信息被提供到切换器604。

从混合比计算器103提供的混合比α被提供到该分离部分601。

根据指示该覆盖背景区域的区域信息、指示该未覆盖背景区域的区域信息和混合比α，该分离部分601从输入图像中分离该前景成分，并且把该分离的前景成分提供到合成器603。分离部分601还从该输入图像分离该背景成分，并且把分离的背景成分提供到合成器605。

当根据指示该前景区域的区域信息输入对应于该前景的一个像素时，该切换器602被关闭，并且只把与包含在该输入图像中的前景对应的像素提供到合成器603。

当根据指示该背景区域的区域信息输入对应于该背景的一个像素时，该切换器604被关闭，并且只把与包含在该输入图像中的背景对应的像素提供到合成器605。

根据从分离部分601提供的前景成分和对应于从切换器602提供的前景，合成器603合成一个前景成分图像，并且输出该合成前景成分图像。由于该前景区域不与该混合区域重叠，所以该合成器603把例如逻辑″或″用于该前景成分和该前景像素，从而合成该前景成分图像。

在针对该前景成分图像进行的合成处理的开始执行的初始化处理中，合成器603在一个内置帧存储器中存储一个像素值全为0的一个图像。随后，在合成该前景成分图像的处理中，合成器603存储该前景成分图像(用该前景成分图像重写该先前的图像)。因此，0被存储在与从合成器603输出的前景成分图像中的背景区域对应的像素中。

根据从分离部分601提供的背景成分和对应于从切换器604提供的背景，合成器605合成一个背景成分图像，并且输出该合成背景成分图像。由于该背景区域不与该混合区域重叠，所以该合成器605把例如逻辑″或″用于该背景成分和该背景像素，从而合成该背景成分图像。

在针对该背景成分图像进行的合成处理的开始执行的初始化处理中，合成器605在一个内置帧存储器中存储一个像素值全为0的一个图像。随后，在合成该背景成分图像的处理中，合成器605存储该背景成分图像(用该背景成分图像重写该先前的图像)。因此，0被存储在与从合成器605输出的背景成分图像中的背景区域对应的像素中。

图51A示出输入到前景/背景分离器105中的输入图像以及从该前景/背景分离器105输出的该前景成分图像和该背景成份图像。图51B示出对应于输入到前景/背景分离器105中的输入图像以及从该前景/背景分离器105输出的该前景成分图像和该背景成份图像的一个模式。

图51A是表示将要被显示的图像的示意图，而图51B是通过在时间方向上扩展排列在一行中的像素而获得的一个模式，包括对应于图51A的属于前景区域的像素、属于背景区域的像素和属于混合区域的像素。如图51A和51B所示，从前景/背景分离器105输出的背景成分图像包括属于在混合区域的像素中包含的背景区域和背景成分的像素。

如图51A和51B所示，从前景/背景分离器105输出的前景成分图像包括属于在混合区域的像素中包含的前景区域和前景成分的像素。

通过该前景/背景分离器105把在该混合区域中的像素的像素值分成背景成份和前景成分。分离的背景成分与属于该背景区域的像素一起形成该背景成份图像。分离的前景成分与属于该前景区域的像素一起形成该前景成分图像。

如上述讨论，在该前景成分图像中，对应于该背景区域的像素的像素值被设置为0，并且重要的像素值被设置在对应于该前景区域的像素和对应于该混合区域的像素中。类似地，在该背景成分图像中，对应于该前景区域的像素的像素值被设置为0，并且重要的像素值被设置在对应于该背景区域的像素和对应于该混合区域的像素中。

下面给出由分离部分601用于执行从属于该混合区域的像素中分离该前景成分和该背景成分的处理。

图52示出以两帧表示前景成分和背景成分的一个图像的模式，包括图52中的从左到右移动的一个前景目标。在图52中示出图像的模式中，运动量v是4，并且虚拟分割部分数目是4。

在帧#n中，最左边的像素和从左边算起的第14至第18像素仅包括背景成份并且属于背景区域。在帧#n中，从左边算起的第2至第4像素包括背景成分和前景成分，并且属于未覆盖背景区域。在帧#n中，从左边算起的第11至第13像素包括背景成分和前景成分，并且属于覆盖背景区域。在帧#n中，从左边算起第5至第10像素仅包括前景成分，并且属于前景区域。

在帧#n+1中，从左边算起的第1至第5像素和从左边算起的第18像素仅包括背景成份，并且属于背景区域。在帧#n+1中，从左边算起的第6至第8像素包括背景成分和前景成分，并且属于未覆盖背景区域。在帧#n+1中，从左边算起的第15至第17像素包括背景成分和前景成分，并且属于覆盖背景区域。在帧#n+1中，从左边算起的第9至第14像素仅包括前景成分，并且属于前景区域。

图53示出用于从属于该覆盖背景区域的像素中分离该前景成分的处理。在图53中，α1至α18表示帧#n的各个像素的混合比。在图53中，从左边算起的第15至第17像素属于该覆盖的背景区域。

在帧#n中从左边算起的该第15像素的像素值C15能够用方程式(64)表示：

C15＝B15/v+F09/v+F08/v+F07/v

   ＝α15·B15+F09/v+F08/v+F07/v

   ＝α15·P15+F09/v+F08/v+F07/v    (64)

其中，α15表示从帧#n左边算起第15像素的混合比，而P15表示从帧#n-1左边算起第15像素的像素值。

根据方程式(64)，从帧#n中的左边算起的该第15像素的前景成分的取和f15可以由方程式(65)表示。

f15＝F09/v+F08/v+F07/v

    ＝C15-α15·P15                 (65)

类似地，从帧#n中的左边算起的第16像素的前景成分的取和f16能够由方程式(66)表示，而从帧#n中的左边算起的第17像素的前景成分的取和f17能够由方程式(67)表示。

f16＝C16-α16·P16                  (66)

f17＝C17-α17·P17                  (67)

以此方式，包含在属于该覆盖背景区域的像素的像素值C中的前景成分fc能够由方程式(68)表示：

fc＝C-α·P                         (68)

其中P表示在先前帧中对应像素的像素值。

图54示出用于从属于该未覆盖背景区域的像素中分离该前景成分的处理。在图54中，α1至α18表示帧#n的各个像素的混合比。在图54中，从左边算起的第2至第4像素属于该未覆盖的背景区域。

在帧#n中从左边算起的该第2像素的像素值C02能够用方程式(69)表示：

C02＝B02/v+BO2/v+B02/v+F01/v

    ＝α2·B02+F01/v

    ＝α2·N02+F01/v                (69)

其中，α2表示从帧#n左边算起第2像素的混合比，而N02表示从帧#n+1左边算起第2像素的像素值。

根据方程式(69)，从帧#n中的左边算起的该2像素的前景成分的取和f02可以由方程式(70)表示。

f02＝F01/v

    ＝C02-α2·N02                   (70)

类似地，从帧#n中的左边算起的第3像素的前景成分的取和f03能够由方程式(71)表示，而从帧#n中的左边算起的第4像素的前景成分的取和f04能够由方程式(72)表示。

f03＝C03-α3·N03                    (71)

f04＝C04-α4·N04                    (72)

以此方式，包含在属于该未覆盖背景区域的像素的像素值C中的前景成分fu能够由方程式(73)表示：

fu＝C-α·N                          (73)

其中N表示在随后帧中对应像素的像素值。

如上述讨论，根据包含在该区域信息中的指示覆盖背景区域的信息和指示未覆盖背景区域的信息和用于每一像素的混合比α，该分离部分601能够从属于该混合区域的像素中分离前景成分以及从属于该混合区域的像素中分离背景成分。

图55是表示用于执行上述处理的该分离部分601的结构实例框图。输入到该分离部分601的图像被提供到帧存储器621，并且从该混合比计算器103提供的指示该覆盖背景区域和未覆盖背景区域的区域信息以及混合比α被提供到一个分离处理框622。

帧存储器621以帧单元存储输入图像。当将要处理的一个帧是帧#n时，该帧存储器621存储在帧#n之前的帧#n-1、帧#n以及在帧#n之后的帧#n+1。

帧存储器621把在帧#n-1、帧#n和帧#n+1中的对应像素提供到分离处理框622。

根据指示覆盖背景区域和未覆盖背景区域的区域信息以及该混合比α，该分离处理框622把参照图53和54讨论的计算应用到从该帧存储器621提供的帧#n-1、帧#n和帧#n+1中的对应像素的像素值，以便从属于在帧#n中的混合区域的像素分离该前景成分和背景成分，并且把它们提供到一个帧存储器623。

分离处理框622由未覆盖区域处理器631、覆盖区域处理器632、合成器633和合成器634组成。

未覆盖区域处理器631的乘法器641把在从帧存储器621提供的帧#n+1中的像素的像素值与混合比α相乘，并且输出该结果像素值到切换器642。当从帧存储器621提供的帧#n的像素(对应于帧#n+1中的像素)属于该未覆盖背景区域时该切换器642闭合，并且把从该乘法器641提供的由该混合比α相乘的像素值提供到计算器643和合成器634。通过把帧#n+1中的像素的像素值与从切换器642输出的混合比α相乘而获得的值等于在帧#n中的对应像素的像素值的背景成分。

计算器643从由帧存储器621提供的帧#n中的像素的像素值减去由切换器642提供的背景成分，以便获得前景成分。计算器643把属于该未覆盖背景区域的帧#n中的像素的前景成分提供到合成器633。

覆盖区域处理器632的乘法器651把在从帧存储器621提供的帧#n-1中的像素的像素值与混合比α相乘，并且输出该结果像素值到切换器652。当从帧存储器621提供的帧#n的像素(对应于帧#n-1中的像素)属于该覆盖背景区域时该切换器652闭合，并且把从该乘法器651提供的由该混合比α相乘的像素值提供到计算器653和合成器634。通过把帧#n-1中的像素的像素值与从切换器652输出的混合比α相乘而获得的值等于在帧#n中的对应像素的像素值的背景成分。

计算器653从由帧存储器621提供的帧#n中的像素的像素值减去由切换器652提供的背景成分，以便获得前景成分。计算器653把属于该覆盖背景区域的帧#n中的像素的前景成分提供到合成器633。

合成器633把属于未覆盖背景区域并且从计算器643提供的帧#n的像素的前景成分与属于覆盖背景区域并且从计算器653提供的帧#n的像素的前景成分相组合，并且把该合成的前景成分提供到该帧存储器623。

合成器634把属于未覆盖背景区域并且从切换器642提供的帧#n的像素的背景成分与属于覆盖背景区域并且从切换器652提供的帧#n的像素的背景成分相组合，并且把该合成的背景成分提供到该帧存储器623。

该帧存储器623存储在从该分离处理框622提供的帧#n的混合区域中的像素的前景成分和背景成分。

帧存储器623输出该存储的在帧#n中的混合区域中的像素的前景成分以及该存储的在帧#n中的混合区域中的像素的背景成分。

通过利用表示特征量的混合比α，包含在像素值中的前景成分和背景成分能够被完全分离。

合成器603把在从分离部分601输出的帧#n中的混合区域中的像素的前景成分与属于该前景区域的像素相组合，以便产生一个前景成分图像。合成器605把在从分离部分601输出的帧#n中的混合区域中的像素的背景成分与属于该背景区域的像素相组合，以便产生一个背景成分图像。

图56A示出对应于图52中的帧#n的前景成分图像的一个实例。在前景和背景被分离之前，最左边的像素和从左边算起的第14像素仅包括背景成份，因此该像素值被设置为0。

在前景和背景被分离之前，从左边算起的第2和第4像素属于该未覆盖背景区域。因此，该背景成分被设置为0，并且该前景成分被保持。在前景和背景被分离之前，从左边算起的第11至第13像素属于该覆盖背景区域。因此，该背景成分被设置为0，并且该前景成分被保持。从左边算起的第5至第10像素仅包括前景成分，因此被保持。

图56B示出对应于图52中的帧#n的背景成分图像的一个实例。在前景和背景被分离之前，最左边的像素和从左边算起的第14像素仅包括背景成份，因此该背景成分被保持。

在前景和背景被分离之前，从左边算起的第2至第4像素属于该未覆盖背景区域。因此，该背景成分被设置为0，并且该背景成分被保持。在前景和背景被分离之前，从左边算起的第11至第13像素属于该覆盖背景区域。因此，该前景成分被设置为0，并且该背景成分被保持。从左边算起的第5至第10像素仅包括前景成分，因此该像素值被设置为0。

下面参照图57的流程图描述由前景/背景分离器105执行的用于分离该前景和背景的处理。在步骤S601中，分离部分601的帧存储器621获得输入图像，并且把被分离前景和背景的帧#n与先前帧#n-1和随后帧#n+1一起存储。

在步骤S602中，分离部分601的分离处理框622获得从混合比计算器103提供的区域信息。在步骤S603中，分离部分601的分离处理框622获得从混合比计算器103提供的混合比α。

在步骤S604中，未覆盖区域处理器631根据该区域信息和该混合比α从属于该帧存储器621提供的未覆盖背景区域的像素的像素值提取该背景成分。

在步骤S605中，来覆盖区域处理器631根据该区域信息和该混合比α从属于该帧存储器621提供的未覆盖背景区域的像素的像素值提取该前景成分。

在步骤S606中，覆盖区域处理器632根据该区域信息和该混合比α从属于该帧存储器621提供的覆盖背景区域的像素的像素值提取该背景成分。

在步骤S607中，覆盖区域处理器632根据该区域信息和该混合比α从属于该帧存储器621提供的覆盖背景区域的像素的像素值提取该前景成分。

在步骤S608中，合成器633把属于在处理步骤S605提取的未覆盖背景区域的像素的前景成分与属于在处理步骤S607提取的覆盖背景区域的像素的前景成分相组合。合成的前景成分被提供到合成器603。合成器603进一步把属于通过切换器602提供的前景区域的像素与从该分离部分601提供的前景成分相组合，以便产生一个前景成分图像。

在步骤S609中，合成器634把属于在处理步骤S604提取的未覆盖背景区域的像素的背景成分与属于在处理步骤S606提取的覆盖背景区域的像素的背景成分相组合。合成的背景成分被提供到合成器605。合成器605进一步把属于通过切换器604提供的背景区域的像素与从该分离部分601提供的背景成分相组合，以便产生一个背景成分图像。

在步骤S610中，合成器603输出该前景成分图像。在步骤S611中，合成器605输出该背景成分图像。随后结束该处理。

如上述讨论，前景/背景分离器105能够根据该区域信息和该混合比α从该输入图像中分离该前景成分和该背景成分，并且输出仅包括前景成分的前景成分图像和仅包括背景成份的背景成分图像。

下面描述根据一个前景成分图像的运动模糊量的调整。

图58是表示该运动模糊调整单元106的结构的一个实例的框图。从运动检测器102提供的运动矢量和位置信息被提供到处理单元确定部分801、模式形成部分802和计算器805。从区域指定单元104提供的区域信息被提供到该处理单元确定部分801。从该前景/背景分离器105提供的前景成分图像被提供到加法器804。

处理单元确定部分801根据运动矢量和位置信息以及区域信息产生处理的单元，并且把该产生的处理单元提供到模式形成部分802和加法器804。

如图59中由A所示，由处理单元确定部分801产生的处理的单元表示在从与该前景成分图像的覆盖背景区域对应的像素开始直到与未覆盖背景区域对应的像素的移动方向上排列的连续像素，即表示在从对应于未覆盖背景区域的像素开始直到对应于覆盖背景区域的像素的移动方向上排列的连续像素。处理的单元由两段数据形成，例如表示左上方的点(最左边的位置，即在由该处理的单元表示的图像中的最高像素)和右下点。

模式形成部分802根据运动矢量和输入的处理单元形成一个模式。更具体地说，该模式形成部分802例如可以根据在处理的单元中包含的像素数量、在时间方向上虚拟划分的像素值的部分的数量和用于每个像素的前景成分的数量预先存储多个模式。该模式形成部分802可以随后根据该处理的单元和在时间方向上虚拟分割的像素值的部分的数量而选择其中指定了该像素值和前景成分之间的相互关系的模式，例如在图60中的模式。

例如现在假设与处理的单元对应的像素的数量是12，并且假设在快门间隔中的运动量v是5。随后，模式形成部分802把虚拟划分部分的数量设置到5，并且选择由八个前景成分类型形成的一个模式，使得最左边的像素包含1个前景成分，从左边算起的第2像素包括两个前景成分，从左边算起的第3像素包括3个前景成分，从左边算起的第4像素包括4个前景成分，从左边算起的第5像素包括5个前景成分，从左边算起的第6像素包括5个前景成分，从左边算起的第7像素包括5个前景成分，从左边算起的第8像素包括5个前景成分，从左边算起的第9像素包括4个前景成分，从左边算起的第10像素包括3个前景成分，从左边算起的第11像素包括两个前景成分，从左边算起的第12像素包括1个前景成分。

当提供运动矢量和处理的单元时，模式形成部分802可以不从该预先存储模式中选择模式，而是根据该运动矢量和处理的单元产生一个模式。

模式形成部分802把选择的模式提供到方程发生器803。

方程发生器803根据从模式形成部分802提供的模式产生一个方程式。下面参考图60所示的前景成分图像描述该方程式发生器803产生的方程式，其中前景成分的数量是8、对应于处理的单元的像素的数量是12而运动量v是5。

当包含在与快门间隔/v对应的前景成分图像中的前景成分是F01/v至F08/v时，F01/v至F08/v与像素值C01至C12之间的关系能够由方程式(74)至(85)表示。

C01＝F01/v                            (74)

C02＝F02/v+F01/v                      (75)

C03＝F03/v+F02/v+F01v                 (76)

C04＝F04/v+F03/v+F02/v+F01v           (77)

C05＝F05/v+F04/v+F03/v+F02/v+F01v     (78)

CO6＝F06/v+F05/v+F04/v+F03/v+F02/v    (79)

C07＝F07/v+F06/v+F05/v+F04/v+F03/v    (80)

C08＝F08/v+F07/v+F06/v+F05/v+F04/v    (81)

C09＝F08/v+F07/v+F06/v+F05/v          (82)

C10＝F08/v+F07/v+F06/v                (83)

C11＝F08/v+F07/v                      (84)

C12＝F08/v                            (85)

方程式发生器803通过修改产生的方程式而产生一个方程式。由方程式产生器803产生的方程式由方程式(86)-(97)表示：

C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v

                   +0·F06/v+0·F07/v+0·F08/v    (86)

C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v

                   +0·F06/v+0·F07/v+0·F08/v    (87)

C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v

                   +0·F06/v+0·F07/v+0·F08/v    (88)

C04＝1·F01/v+1·F02/V+1·F03/v+1·F04/v+0·F05/v

                   +0·F06/v+0·F07/v+0·F08/v    (89)

C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v

                   +0·F06/V+0·F07/V+0·F08/v    (90)

C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v

                   +1·F06/v+0·F07/v+0·F08/v    (91)

C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v

                   +1·F06/v+1·F07/v+0·F08/v    (92)

C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v

                   +1·F06/v+1·F07/v+1·F08/v    (93)

C09＝0·F01/V+0·F02/v+0·F03/v+0·F04/v+1·F05/v

                   +1·F06/v+1·F07/V+1·F08/v           (94)

C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v

                   +1·F06/v+1·F07/v+1·F08/v           (95)

C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v

                   +0·F06/v+1·F07/v+1·F08/v           (96)

C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v

                   +0·F06/v+0·F07/v+1·F08/v           (97)

方程式(86)至(97)能够由方程式(98)表示。

$\mathrm{Cj}=\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v---\left(98\right)$

在方程式(98)中，j表示像素的位置。在本实例中，j具有从1到12之一的值。在方程式(98)中，i表示前景值的位置。在本实例中，i有从1到8之一的值。在方程式(98)中，根据i和j的值，aij具有0或1值。

考虑到误差，方程式(98)能够由方程式(99)表示。

$\mathrm{Ci}=\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v+\mathrm{ej}---\left(99\right)$

在方程式(99)中，ej表示包含在指定像素Cj中的误差。

方程式(99)可修改成方程式(100)。

$\mathrm{ej}=\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v---\left(100\right)$

为了执行应用最小二乘法，误差的平方和E由如下方程式(101)表示。

$E=\underset{j=01}{\overset{12}{\mathrm{\Σ}}}{\mathrm{ej}}^2---\left(101\right)$

为了最小化该误差，关于误差平方和E使用变量Fk使用偏微分值应该是0。Fk的确定要满足方程式(102)。

$\frac{\∂E}{\∂\mathrm{Fk}}=2\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{ej}\·\frac{\∂\mathrm{ej}}{\∂\mathrm{Fk}}$

$=2\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\{(\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v)\·(-\mathrm{akj}/v)\}=0---\left(102\right)$

在方程式(102)中，运动量v是一个定值，能够推导出方程式(103)。

$\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{akj}\·(\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v)=0---\left(103\right)$

扩展方程式(103)并且转置该项，能够获得方程式(104)。

$\underset{j=01}{\overset{12}{\mathrm{\Σ}}}(\mathrm{akj}\·\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi})=v\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{akj}\·\mathrm{Cj}---\left(104\right)$

通过把P到8的整数代入方程式(104)中的k，方程式(104)被扩展成8个方程式。获得的8个方程式能够由一个矩阵方程表示。此方程式称为“标准方程”。

根据最小二乘法由方程式产生器803产生的该标准方程的实例由方程式(105)表示。

$\left[\begin{array}{cccccccc}5& 4& 3& 2& 1& 0& 0& 0\\ 4& 5& 4& 3& 2& 1& 0& 0\\ 3& 4& 5& 4& 3& 2& 1& 0\\ 2& 3& 4& 5& 4& 3& 2& 1\\ 1& 2& 3& 4& 5& 4& 3& 2\\ 0& 1& 2& 3& 4& 5& 4& 3\\ 0& 0& 1& 2& 3& 4& 5& 4\\ 0& 0& 0& 1& 2& 3& 4& 5\end{array}\right]\left[\begin{array}{c}F01\\ F02\\ F03\\ F04\\ F05\\ F06\\ F07\\ F08\end{array}\right]=v\·\left[\begin{array}{c}\underset{i=08}{\overset{12}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=07}{\overset{11}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=06}{\overset{10}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=05}{\overset{9}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=04}{\overset{8}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=03}{\overset{7}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=02}{\overset{6}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=01}{\overset{5}{\mathrm{\Σ}}}\mathrm{Ci}\end{array}\right]---\left(105\right)$

当方程式(105)由A·F＝v·C表示时，C、A和v是已知的，而F是未知的。当模式形成时，A和v是已知的，而当像素值被输入该附加处理中时，C变成已知的。

通过根据以最小二乘法为基础的标准方程计算该前景成分，像素C中包含的误差可以被分配。

如上述讨论，方程式发生器803把产生的该标准方程提供到加法器804。

根据从处理单元确定部分801提供的处理的单元，加法器804在从方程式发生器803提供的矩阵方程中设置包含在前景成分图像中的像素值C。加法器804把其中像素值C被设置的矩阵提供到计算器805。

计算器805通过根据一个解法例如消除方法(高斯约旦消除)的处理，从消除的运动模糊中计算该前景成分Fi/v，以便获得与i对应的被消除了运动模糊的像素值Fi，i表示从0到8的整数之一。随后该计算器805把由没有运动模糊的像素值Fi构成的前景成分图像，例如图61中的前景成分图像，输出到一个运动模糊加法器806和一个选择器807。

在图61所示的没有运动模糊的前景成分图像中，把F01至F08分别地设置在C03至C10中的原因是该前景成分图像相对于该屏幕不改变该位置。但是，F01至F08可以设置在任何期望的位置。

通过相加运动模糊被调整的量v′，运动模糊加法器806能够调整运动模糊量，该相加量v′不同于运动量v，比如运动模糊被调整的量v′是运动量v的一半，即运动模糊被调整的量v′与运动量v无关。例如，如图62所示，运动模糊加法器806通过量v′划分没有运动模糊的前景像素值Fi，由此调整运动模糊，以便获得前景成分Fi/v′。运动模糊加法器806随后计算该前景成分Fi/v’的取和，从而产生其中的运动模糊量被调整的像素值。例如，当运动模糊被调整的量v′是3时，像素值C02被设置为(F01)/v′，像素值C3被设置为(F01+F02)/v′，像素值C04被设置为(F01+F02+F03)/v′，而像素值C05被设置为(F02+F03+F04)/v′。

该运动模糊加法器806把其中运动模糊量被调整的该前景成分提供到选择器807。

根据反映用户选择的一个选择信号，选择器807在从计算器805提供的没有运动模糊的前景成分图像和从运动模糊加法器806提供的调整了运动模糊量的前景成分图像中选择之一，并且输出该选择的前景成分图像。

如上述讨论，运动模糊调整单元106能够根据选择信号和运动模糊被调整的量v′而调整运动模糊量。

而且，例如当对应于处理的单元的像素的数量是8、运动量v是4时，如图63所示，该运动模糊调整单元106产生由方程式(106)表示的矩阵方程。

$\left[\begin{array}{ccccc}4& 3& 2& 1& 0\\ 3& 4& 3& 2& 1\\ 2& 3& 4& 3& 2\\ 1& 2& 3& 4& 3\\ 0& 1& 2& 3& 4\end{array}\right]\left[\begin{array}{c}F01\\ F02\\ F03\\ F04\\ F05\end{array}\right]=v\·\left[\begin{array}{c}\underset{i=05}{\overset{08}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=04}{\overset{07}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=03}{\overset{06}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=02}{\overset{05}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=01}{\overset{04}{\mathrm{\Σ}}}\mathrm{Ci}\end{array}\right]---\left(106\right)$

以此方式，通过根据该处理的单元的长度而建立该方程式，运动模糊调整单元106计算像素值Fi，该像素值中的运动模糊量被调整。比如，类似地，当包含在处理的单元中的像素的数量是100时，产生对应于100像素的方程式以便计算Fi。

图64示出运动模糊调整单元106的另一结构的实例。与图58所示相同的元件用相同的参考数字表示，因此省略其说明。

根据一个选择信号，选择器821直接把一个输入运动矢量和一个位置的信号提供到处理单元确定部分801和模式形成部分802。另外选择器821可以用调整运动模糊的量v’代替运动矢量的幅值，随后把运动矢量和位置信号提供到处理单元确定部分和模式形成单元802。

据此设计，图64所示的该运动模糊调整单元106的处理单元确定部分801至计算器805能够根据运动量v和调整运动模糊的量v′而调整运动模糊量。例如，当运动量v是5、运动模糊调整量v’是3时，根据图62所示的其中运动模糊调整量v’是3的模式，图64所示的运动模糊调整单元106的处理单元确定部分801至计算器805对于图60所示运动量v是5的前景成分图像执行计算。结果是，获得包含具有运动量v是(运动量v)/(运动模糊调整量v’)＝5/3，即大致1.7的运动模糊的图像。在此情况中，该计算的图像不包括对应于运动量v是3的运动模糊。因此，应该指出，运动量v和运动模糊被调整的量v’之间的关系不同于该运动模糊加法器806的结果。

如上述讨论，该运动模糊调整单元106根据运动量v和处理的单元产生该方程式，并且在该产生的方程式中设置该前景成分图像的像素值，从而计算其中的运动模糊量被调整的前景成分图像。

下面参考图65的流程图描述由该运动模糊调整单元106执行的用于调整包含在该前景成分图像中的运动模糊量的处理。

在步骤S801中，运动模糊调整单元106的处理单元确定部分801根据该运动矢量和区域信息产生处理的单元，并且把该产生的处理的单元提供到模式形成部分802。

在步骤S802中，运动模糊调整单元106的模式形成部分802根据运动量v和处理的单元，选择或产生该模式。在步骤S803中，方程式产生器803根据该选择的模式产生标准方程。

在步骤S804中，加法器804在产生的标准方程中设置该前景成分图像的像素值。在步骤S805中，加法器804确定是否设置了对应于处理单元的全部像素的像素值。如果其确定还没有设置对应于该处理单元的全部像素的像素值，则处理返回到步骤S804，重复用于在该标准方程中设置该像素值的处理

如果在步骤S805中确定设置了对应于该处理单元的全部像素的像素值，则处理进到步骤S806。在步骤S806中，计算器805根据其中设置了从加法器804提供的象素值的标准方程而计算其中运动模糊量被调整的该前景的像素值。随后结束该处理。

如上述讨论，运动模糊调整单元106能够根据运动矢量和区域信息调整包含运动模糊的该前景图像的运动模糊量。

即，其有可能调整包含在像素值中的、即包含在采样数据中的运动模糊量。

图66是说明运动模糊调整单元106的结构的另一实例的框图。从运动检测器102提供的运动矢量和位置信息被提供到处理单元确定部分901和一个调整部分905。从区域指定单元104提供的区域信息被提供到该处理单元确定部分901。从该前景/背景分离器105提供的前景成分图像被提供到一个计算器904。

处理单元确定部分901根据运动矢量和位置信息以及区域信息产生处理的单元，并且把该产生的处理单元和该运动矢量一起提供到一个模式形成部分902。

模式形成部分902根据运动矢量和输入的处理单元形成一个模式。更具体地说，该模式形成部分902例如可以根据在处理的单元中包含的像素数量、在时间方向上虚拟划分的像素值的部分的数量和用于每个像素的前景成分的数量而预先存储多个模式。该模式形成部分902可以随后根据该处理的单元和在时间方向上虚拟分割的像素值的部分的数量而选择其中指定了该像素值和前景成分之间的相互关系的模式，例如在图67中的模式。

例如现在假设与处理的单元对应的像素的数量是12，并且假设在快门间隔中的运动量v是5。随后，模式形成部分902把虚拟划分部分的数量设置到5，并且选择由八个前景成分类型形成的一个模式，使得最左边的像素包含1个前景成分，从左边算起的第2像素包括两个前景成分，从左边算起的第3像素包括3个前景成分，从左边算起的第4像素包括4个前景成分，从左边算起的第5像素包括5个前景成分，从左边算起的第6像素包括5个前景成分，从左边算起的第7像素包括5个前景成分，从左边算起的第8像素包括5个前景成分，从左边算起的第9像素包括4个前景成分，从左边算起的第10像素包括3个前景成分，从左边算起的第11像素包括两个前景成分，从左边算起的第12像素包括1个前景成分。

当提供运动矢量和处理的单元时，模式形成部分902可以不从该预先存储模式中选择模式，而是根据该运动矢量和处理的单元产生一个模式。

方程发生器903根据从模式形成部分902提供的模式产生一个方程式。

现在参考图67至69所示的前景成分图像描述该方程式发生器903产生的方程式的一个实例，其中前景成分的数量是8、对应于处理的单元的像素的数量是12而运动量v是5。

如上所述，当包含在与快门间隔/v对应的前景成分图像中的前景成分是F01/v至F08/v时，F01/v至F08/v与像素值C01至C12之间的关系能够由方程式(74)至(85)表示。

考虑像素值C12和C11，像素值C12仅包含前景成分F08/v，如方程式(107)表示，而像素值C11包括该前景成分F08/v前景成分F07/v的乘积和。因此，前景成分F07/v可见于方程式(108)。

F08/v＝C12                         (107)

F07/v＝C11-C12                     (108)

类似地，考虑包含在像素值C10至C01中的前景成分，该前景成分F06/v到F01/v可分别见于方程式(109)至(114)。

F06/v＝C10-C11                           (109)

F05/v＝C09-C10                           (110)

F04/v＝C08-C09                           (111)

F03/v＝C07-C08+C12                       (112)

F02/v＝C06-C07+C11-C12                   (113)

F01/v＝C05-C06+C10-C11                   (114)

如方程式(107)至(114)的实例所示，方程式发生器903利用像素值之间差值产生用于计算该前景成分的方程式。方程式发生器903把产生的该标准方程提供到计算器904。

计算器904把前景成分图像的像素值设置在从方程式产生器903提供的方程式中，以便根据其中设置了像素值的方程式而获得该前景成分。例如，当从方程式产生器903提供方程式(107)至(114)时，计算器904把像素值C05至C12设置在方程式(107)至(114)中。

计算器904根据其中设置了像素值的方程式计算该前景成分。例如，根据其中设置了像素值C05至C12的方程式(107)至(114)的计算，该计算器904计算该前景成分F01/v至F08/v，如图68所示。计算器904把该前景成分F01/v至F08/v提供到调整部分905。

调整部分905把从计算器904提供的前景成分与从该处理单元确定部分901提供的运动矢量中包含的运动量v相乘，以便获得消除了运动模糊的前景像素值。例如，当从计算器904提供该前景成分F01/v至F08/v时，该调整部分905把前景成分F01/v至F08/v的每一个与运动量v，即5，相乘，以便获得其运动模糊被消除的前景像素值F01至F08，如图69所示。

调整部分905把由如上所述没有计算的运动模糊的前景像素值构成的前景成分图像提供到一个运动模糊加法器906和一个选择器907。

通过使用运动模糊被调整的量v′，运动模糊加法器906能够调整运动模糊量，该量v′不同于运动量v，比如运动模糊被调整的量v′是运动量v的一半，即运动模糊被调整的量v′与运动量v无关。例如，如图62所示，运动模糊加法器906通过量v′划分没有运动模糊的前景像素值Fi，由此调整运动模糊，以便获得前景成分Fi/v′。运动模糊加法器906随后计算该前景成分Fi/v’的取和，从而产生其中的运动模糊量被调整的像素值。例如，当运动模糊被调整的量v′是3时，像素值C02被设置为(F01)/v′，像素值C3被设置为(F01+F02)/v′，像素值C04被设置为(F01+F02+F03)/v′，而像素值C05被设置为(F02+F03+F04)/v′。

该运动模糊加法器906把其中运动模糊量被调整的该前景成分提供到选择器907。

根据反映用户选择的一个选择信号，选择器907在从调整部分905提供的没有运动模糊的前景成分图像和从运动模糊加法器906提供的调整了运动模糊量的前景成分图像中选择之一，并且输出该选择的前景成分图像。

如上述讨论，运动模糊调整单元106能够根据选择信号和运动模糊被调整的量v′而调整运动模糊量。

下面参照图70的流程图描述由图66中所示构成的运动模糊调整单元106执行的调整前景的运动模糊量的处理。

在步骤S901中，运动模糊调整单元106的处理单元确定部分901根据该运动矢量和区域信息产生该处理的单元，并且把该产生的处理的单元提供到模式形成部分902和调整部分905。

在步骤S902中，运动模糊调整单元106的模式形成部分902根据运动量v和处理的单元，选择或产生该模式。在步骤S903中，根据选择的或产生的模式，方程式产生器903利用在前景成分图像的像素值之间的差值产生针对计算该前景成分的方程式。

在步骤S904中，计算器904在该产生的方程式中设置前景成分图像的像素值，并且根据其中设置了像素值的方程式，通过使用在该像素值之间的差值而提取该前景成分。在步骤S905中，计算器904确定是否已经提取了对应于处理的单元的全部前景成分。如果确定其尚未提取对应于处理的单元的全部前景成分，则处理返回到步骤S904，重复提取该前景成分的处理。

如果在步骤S905中确定已经提取了对应于该处理单元的全部前景成分，则处理进到步骤S906。在步骤S906中，调整部分905根据运动量v调整从计算器904提供的前景成分F01/v至F08/v的每一个，以便获得被删除了运动模糊的前景像素值F01/v至F08/v。

在步骤S907中，运动模糊加法器906计算调整了运动模糊量的前景像素值，并且该选择器907选择没有运动模糊的图像或其中调整了运动模糊量的图像，并且输出该选择的图像。随后结束该处理。

如上所述，如图66所示构成的运动模糊调整单元106能够根据更简单的计算而更迅速地调整包括运动模糊的前景图像的运动模糊。

当使用在理想状态中时，用于局部消除运动模糊的已知技术，例如维纳(Wiener)滤波器是有效的，但是对于一个量化的并且包含噪音的实际图像来说是不充分的。相比之下，如图66所示构成的运动模糊调整单元106证明是足以有效地用于一个被量化和包含噪音的实际图像。因此有可能以高精度消除运动模糊。

如上所述，如图2所示构成的图像处理装置能够调整包含在一个输入图像中的运动模糊量。

上面已经讨论了通过设置混合比α到包含在像素值中的背景成分的比例的实施例。但是，该混合比α可被设置为包含在该像素值中的前景成分的比例。

上面已经讨论了通过设置前景目标的移动方向为从左到右的方向的实施例。然而，该运动方向并不局限于上述方向。

在上述描述中，通过使用摄像机，把具有三维空间和时间轴信息的一个实际空间图像投影在具有二维空间和时间轴信息的一个时间-空间上。然而本发明并不局限于此实例，并且能够被用于下列情况。当一维空间中的大量的第一信息被投影在一个二维空间中的较小量的第二信息上时，能够校正由该投影产生的失真，能够提取重要的信息，即能够合成一个更自然的图像。

传感器不局限于CCD，可以是其它类型的传感器，例如固态图像捕获装置，例如BBD(斗链器件)、CID(电荷注入器件)或CPD(电荷栅偏器件)或CMOS(互补金-氧半导体电路)。而且，该检测器不必须是其中的检测器件以矩阵排列的传感器，而可以是其中的检测器件被以行排列的传感器。

其中记录有用于执行本发明信号处理的一个程序的记录介质可能由其中记录了程序的一个封装介质组成，如图1所示，其被分配用于把程序提供到与计算机分离的用户，例如磁盘51(包括软(注册商标)磁盘)、光盘52(包括CD-ROM(激光盘-只读存储器)和DVD(数字通用盘))、磁光盘53(包括MD(小型盘)(注册商标))、或半导体存储器54。记录介质也可以由ROM 22或包含在存储单元28中的硬盘组成，其中记录了该程序，这种记录介质被提供给用户而被预先存储在该计算机。

形成记录在一个记录介质中的程序的步骤可以根据说明书描述的次序顺序地执行。但是，它们不必须以时间顺序的方式执行，而是可以同时或分别地执行。

工业实用性

根据本发明，有可能指定其中出现背景图像区域和该运动目标区域的混合的一个背景图像区域、一个运动目标区域和一个图像区域。

Claims (33)

1.图像处理装置，用于处理由通过一个图像捕获部件获得的预定数量的像素数据组成的图像数据，包括预定数量的像素，该像素具有一个时间积分功能，所说的图像处理装置包括：

关系表达式产生装置，用于对应图像数据的一个指定帧的一个指定像素和在指定像素邻近定位的多个邻近像素，来提取围绕指定帧的一个周边帧的像素数据作为对应于一个背景目标的背景像素数据，所述背景目标形成多个图像数据的目标中的一个背景，并且还用于提取包含在一个指定帧中的一个指定像素的指定像素数据和在指定像素邻近定位的多个邻近像素的邻近像素数据，以便产生涉及指定像素的、指示该指定像素数据和该背景像素数据之间的关系的多个关系表达式；

混合比检测装置，根据所述关系表达式，用于检测指示在涉及该指定像素的实景中的背景/前景像素数据与所述像素数据的比的一个混合比；

预测误差计算装置，通过将把由所说的混合比检测装置检测的该混合比代入该关系表达式获得的结果与实际像素值进行比较而计算一个预测误差；

覆盖背景区域/未覆盖背景区域指定装置，用于根据该预测误差，指定该指定像素所属的一个区域是否是混合区域以及也是覆盖的背景区域或者是混合区域以及也是未覆盖的背景区域，其中在所述混合区域中混合了背景目标和前景目标，并且所述覆盖的背景区域形成在一个前景目标的移动方向上的前端，该前景目标构成多个目标中的一个前景，并且所述未覆盖的背景区域形成在该前景目标的移动方向后端；以及

前景区域/背景区域指定装置，用于指定该指定像素所属区域是否是仅包括形成该前景目标的前景目标成分的一个前景区域，或仅包括形成该背景目标的背景目标成分的一个背景区域。

2.根据权利要求1的图像处理装置，其中：

根据该关系表达式，所说的混合比检测装置根据该指定像素检测包含在该指定像素中的前景目标成分，并且还检测该混合比；并且

所说的预测误差计算装置通过把该混合比和包含在由所说的混合比检测装置检测的该指定像素中的前景目标成分代入该关系表达式而计算该预测误差。

3.根据权利要求2的图像处理装置，其中所说的关系表达式产生装置提取对应于该指定像素的周边帧的像素数据作为对应于该背景目标的背景像素数据，并且还提取该指定像素的指定像素数据和在该指定帧中的指定像素邻近定位的多个邻近像素的邻近像素数据，并且产生涉及指定像素的多个关系表达式，该多个关系表达式指示在该指定像素数据、邻近像素数据和与该指定像素数据或该邻近像素数据相对应的背景像素数据之间的关系。

4.根据权利要求3的图像处理装置，其中所说的关系表达式产生装置根据其中包含在该指定像素数据中的该前景目标成分和该邻近像素数据中的该前景目标成分是相等的一个第一近似、以及其中在该混合区域中的该混合比相对该混合区域的像素的位置而线性改变的一个第二近似而产生该多个关系表达式。

5.根据权利要求3的图像处理装置，其中所说的关系表达式产生装置根据其中包含在该指定像素数据中的该前景目标成分和该邻近像素数据中的该前景目标成分是相等的一个第一近似、以及其中在该混合区域中的该混合比相对该混合区域的像素的位置而平面地改变的一个第二近似而产生该多个关系表达式。

6.根据权利要求3的图像处理装置，其中所说的混合比检测装置通过根据一个最小二乘法求解该多个关系表达式而检测该混合比。

7.根据权利要求3的图像处理装置，其中所说的关系表达式产生装置通过当该指定像素属于该覆盖背景区域时提取在指定帧之前的一个帧的像素数据作为该背景像素数据、并且当该指定像素属于该未覆盖背景区域时提取跟随该指定帧的一个帧的像素数据作为该背景像素数据而产生该多个关系表达式。

8.根据权利要求2的图像处理装置，其中，所说的关系表达式产生装置，通过根据该前景目标的运动，对应于该指定像素而从该指定帧和该周边帧提取在混合区域中的混合像素数据、以及通过根据该背景目标的运动，对应于每项混合像素数据而从不同于该被提取混合像素数据的帧的一个帧提取与该背景目标相对应的背景像素数据，而产生该多个关系表达式，其中在所述混合区域中混合了前景目标和背景目标。

9.根据权利要求8的图像处理装置，其中所说的该关系表达式产生装置根据其中对应于该混合的像素数据的前景目标成分是相等的一个第一近似和其中的从指定帧和周边帧提取的该混合的像素数据是均匀的一个第二近似而产生该多个关系表达式。

10.根据权利要求8的图像处理装置，其中：

所说的关系表达式产生装置，通过根据该前景目标的运动，对应该指定像素而从该指定帧和该周边帧提取在混合区域中的混合像素数据、以及通过根据该背景目标的运动，对应于该混合像素数据的每一项而从该被提取混合像素数据的帧的先前帧提取与该背景目标相对应的背景像素数据，而产生该多个关系表达式，其中在所述混合区域中混合了前景目标和背景目标；以及

所说的覆盖背景区域/未覆盖背景区域指定装置把其中该预测误差大于或等于一个预定阈值的一个区域指定为该未覆盖的背景区域。

11.根据权利要求8的图像处理装置，其中：

所说的关系表达式产生装置，通过根据该前景目标的运动，对应该指定像素而从该指定帧和该周边帧提取在混合区域中的混合像素数据、以及根据该背景目标的运动，通过对应于该该混合像素数据的每一项而从该被提取混合像素数据的帧的随后帧提取与该背景目标相对应的背景像素数据，而产生该多个关系表达式，其中在所述混合区域中混合了前景目标和背景目标；以及

所说的覆盖背景区域/未覆盖背景区域指定装置把其中该预测误差大于或等于一个预定阈值的一个区域指定为该覆盖的背景区域。

12.图像处理方法，用于处理由通过一个图像捕获部件获得的预定数量的像素数据组成的图像数据，包括预定数量的像素，该像素具有一个时间积分功能，所说的图像处理方法包括：

一个关系表达式产生步骤，对应该图像数据的一个指定帧的一个指定像素和在指定像素邻近定位的多个邻近像素，而提取围绕该指定帧的周边帧的像素数据作为对应于一个背景目标的背景像素数据，所述背景目标形成多个图像数据的目标中的一个背景，并且还提取包含在该指定帧中的一个指定像素的指定像素数据和在指定像素邻近定位的多个邻近像素的邻近像素数据，以便产生涉及指定像素的、指示在该指定像素数据和该背景像素数据之间的关系的多个关系表达式；

混合比检测步骤，根据所述关系表达式，检测指示在涉及该指定像素的实景中的背景/前景像素数据与所述像素数据的比的一个混合比；

一个预测误差计算步骤，通过将把由所说的混合比检测步骤中的处理所检测的所说的混合比代入所说的关系表达式获得的结果与实际像素值进行比较而计算一个预测误差；

一个覆盖背景区域/未覆盖背景区域指定步骤，根据该预测误差，指定该指定像素所属的一个区域是否是混合区域以及也是覆盖的背景区域或者是混合区域以及也是未覆盖的背景区域，其中在所述混合区域中混合了背景目标和前景目标并且所述覆盖的背景区域形成在一个前景目标的移动方向上的前端，该前景目标构成多个目标中的一个前景，并且所述未覆盖的背景区域形成在该前景目标的移动方向后端；以及

一个前景区域/背景区域指定步骤，指定该指定像素所属区域是否是仅包括形成该前景目标的前景目标成分的一个前景区域，或仅包括形成该背景目标的背景目标成分的一个背景区域。

13.根据权利要求12的图像处理方法，其中：

在所说的混合比检测步骤中，根据该关系表达式，对应该指定像素而检测包含在该指定像素中的该前景目标成分，并且还能检测该混合比；以及

在所说的预测误差计算步骤中，通过把该混合比和包含在由所说的混合比检测步骤中的处理所检测的指定像素中的该前景目标成分代入该关系表达式而计算该预测误差。

14.根据权利要求13的图像处理方法，其中在所说的关系表达式产生步骤中，对应于该指定像素的该周边帧的像素数据被提取作为对应于该背景目标的背景像素数据，并且还提取该指定像素的指定像素数据和该指定帧中在该指定像素邻近定位的多个邻近像素的邻近像素数据，并且涉及该指定像素的该多个关系表达式指示在该指定像素数据、该邻近像素数据、和与该指定像素数据或该邻近像素数据相对应的该背景像素数据之间的关系。

15.根据权利要求14的图像处理方法，其中，在所说的关系表达式产生步骤中，根据其中包含在该指定像素数据中的该前景目标成分和该邻近像素数据中的该前景目标成分是相等的一个第一近似、以及其中在该混合区域中的该混合比相对该混合区域的一个像素的位置而线性改变的一个第二近似而产生该多个关系表达式。

16.根据权利要求14的图像处理方法，其中，在所说的关系表达式产生步骤中，根据其中包含在该指定像素数据中的该前景目标成分和该邻近像素数据中的该前景目标成分是相等的一个第一近似、以及其中在该混合区域中的该混合比相对该混合区域的一个像素的位置而平面地改变的一个第二近似而产生该多个关系表达式。

17.根据权利要求14的图像处理方法，其中，在所说的混合比检测步骤中，通过根据一个最小二乘法求解该多个关系表达式而检测该混合比。

18.根据权利要求14的图像处理方法，其中，在所说的关系表达式产生步骤中，通过当该指定像素属于该覆盖背景区域时提取在指定帧之前的一个帧的像素数据作为该背景像素数据、并且当该指定像素属于该未覆盖背景区域时提取跟随该指定帧的一个帧的像素数据作为该背景像素数据而产生该多个关系表达式。

19.根据权利要求13的图像处理方法，其中，所说的关系表达式产生步骤，通过根据该前景目标的一个运动，对应该指定像素而从该指定帧和该周边帧提取在混合区域中的混合像素数据、以及通过根据一个背景目标的运动，对应该混合像素数据的每一项而从不同于被提取了混合像素数据的帧的一个帧提取与该背景目标相对应的背景像素数据，而产生该多个关系表达式，其中在所述混合区域中混合了前景目标和背景目标。

20.根据权利要求19的图像处理方法，其中，在所说的关系表达式产生步骤中，根据其中对应于该混合像素数据的该前景目标成分是相等的一个第一近似和其中从该指定帧和该周边帧提取的该混合像素数据是均匀的一个第二近似而产生该多个关系表达式。

21.根据权利要求19的图像处理方法，其中：

所说的关系表达式产生步骤，通过根据该前景目标的运动，对应该指定像素而从该指定帧和该周边帧提取在混合区域中的混合像素数据、以及通过根据该背景目标的运动，对应该混合像素数据的每一项而从其被提取了混合像素数据的帧的先前帧提取与该背景目标相对应的背景像素数据，而产生该多个关系表达式，其中在所述混合区域中混合了前景目标和背景目标；以及

在所说的覆盖背景区域/未覆盖背景区域指定步骤中，其中该预测误差大于或等于一个预定阈值的一个区域被指定作为该未覆盖的背景区域。

22.根据权利要求19的图像处理方法，其中：

所说的关系表达式产生步骤，通过根据该前景目标的运动，对应该指定像素而从该指定帧和该周边帧提取在混合区域中的混合像素数据、以及通过根据该背景目标的运动，对应该混合像素数据的每一项而从其被提取了混合像素数据的帧的随后帧提取与该背景目标相对应的背景像素数据，而产生该多个关系表达式，其中在所述混合区域中混合了前景目标和背景目标；以及

在所说的覆盖背景区域/未覆盖背景区域指定步骤中，其中该预测误差大于或等于一个预定阈值的一个区域被指定作为该覆盖的背景区域。

23.一个图像捕获装置包括：

图像捕获装置，用于输出由一个图像捕获部件所捕获的包括一个预定数量的像素的一个目标图像，该像素具有一个时间积分功能，作为预定数量的像素数据形成的图像数据；

关系表达式产生装置，用于对应图像数据的一个指定帧的一个指定像素和在指定像素邻近定位的多个邻近像素，来提取围绕指定帧的一个周边帧的像素数据作为对应于一个背景目标的背景像素数据，所述背景目标形成多个图像数据的目标中的一个背景，并且还用于提取包含在一个指定帧中的一个指定像素的指定像素数据和在指定像素邻近定位的多个邻近像素的邻近像素数据，以便产生涉及指定像素的、指示该指定像素数据和该背景像素数据之间的关系的多个关系表达式；

混合比检测装置，根据所述关系表达式，用于检测指示在涉及该指定像素的实景中的背景/前景像素数据与所述像素数据的比的一个混合比；

预测误差计算装置，通过将把由所说的混合比检测装置检测的该混合比代入该关系表达式获得的结果与实际像素值进行比较而计算一个预测误差；

覆盖背景区域/未覆盖背景区域指定装置，用于根据该预测误差，指定该指定像素所属的一个区域是否是混合区域以及也是覆盖的背景区域或者是混合区域以及也是未覆盖的背景区域，其中在所述混合区域中混合了背景目标和前景目标，并且所述覆盖的背景区域形成在一个前景目标的移动方向上的前端，该前景目标构成多个目标中的一个前景，并且所述未覆盖的背景区域形成在该前景目标的移动方向后端；以及

前景区域/背景区域指定装置，用于指定该指定像素所属区域是否是仅包括形成该前景目标的前景目标成分的一个前景区域，或仅包括形成该背景目标的背景目标成分的一个背景区域。

24.根据权利要求23的图像捕获装置，其中：

根据该关系表达式，所说的混合比检测装置可能根据该指定像素检测包含在该指定像素中的前景目标成分，并且还可以检测该混合比；并且

所说的预测误差计算装置可以通过把该混合比和包含在由所说的混合比检测装置检测的该指定像素中的前景目标成分代入该关系表达式而计算该预测误差。

25.根据权利要求24的图像捕获装置，其中所说的关系表达式产生装置提取对应于该指定像素的周边帧的像素数据作为对应于该背景目标的背景像素数据，并且还提取该指定像素的指定像素数据和在该指定帧中的指定像素邻近定位的多个邻近像素的邻近像素数据，并且可以产生涉及指定像素的多个关系表达式，所述多个关系表达式指示在该指定像素数据、邻近像素数据和与该指定像素数据或该邻近像素数据相对应的背景像素数据之间的关系。

26.根据权利要求25的图像捕获装置，其中所说的关系表达式产生装置根据其中包含在该指定像素数据中的该前景目标成分和该邻近像素数据中的该前景目标成分是相等的一个第一近似、以及其中在该混合区域中的该混合比相对该混合区域的像素的位置而线性改变的一个第二近似而产生该多个关系表达式。

27.根据权利要求25的图像捕获装置，其中所说的关系表达式产生装置根据其中包含在该指定像素数据中的该前景目标成分和该邻近像素数据中的该前景目标成分是相等的一个第一近似、以及其中在该混合区域中的该混合比相对该混合区域的像素的位置而平面地改变的一个第二近似而产生该多个关系表达式。

28.根据权利要求25的图像捕获装置，其中所说的混合比检测装置通过根据一个最小二乘法求解该多个关系表达式而检测该混合比。

29.根据权利要求25的图像捕获装置，其中所说的关系表达式产生装置通过当该指定像素属于该覆盖背景区域时提取在指定帧之前的一个帧的像素数据作为该背景像素数据、并且当该指定像素属于该未覆盖背景区域时提取跟随该指定帧的一个帧的像素数据作为该背景像素数据而产生该多个关系表达式。

30.根据权利要求24的图像捕获装置，其中，所说的关系表达式产生装置，通过根据该前景目标的运动，对应该指定像素而从该指定帧和该周边帧提取在混合区域中的混合像素数据、以及通过根据该背景目标的运动，对应于该混合像素数据的每一项而从不同于该被提取混合像素数据的帧的一个帧提取与该背景目标相对应的背景像素数据，而产生该多个关系表达式，其中在所述混合区域中混合了前景目标和背景目标。

31.根据权利要求30的图像捕获装置，其中所说的该关系表达式产生装置根据其中对应于该混合的像素数据的前景目标成分是相等的一个第一近似和其中的从指定帧和周边帧提取的该混合的像素数据是均匀的一个第二近似而产生该多个关系表达式。

32.根据权利要求30的图像捕获装置，其中：

所说的关系表达式产生装置，通过根据该前景目标的运动，对应该指定像素而从该指定帧和该周边帧提取在混合区域中的混合像素数据、以及通过根据该背景目标的运动，对应于该混合像素数据的每一项而从该被提取混合像素数据的帧的先前帧提取与该背景目标相对应的背景像素数据，而产生该多个关系表达式，其中在所述混合区域中混合了前景目标和背景目标；以及

所说的覆盖背景区域/未覆盖背景区域指定装置把其中该预测误差大于或等于一个预定阈值的一个区域指定为该未覆盖的背景区域。

33.根据权利要求30的图像捕获装置，其中：

所说的关系表达式产生装置，通过根据该前景目标的运动，对应该指定像素而从该指定帧和该周边帧提取在混合区域中的混合像素数据、以及通过根据该背景目标的运动，对应于该该混合像素数据的每一项而从该被提取混合像素数据的帧的随后帧提取与该背景目标相对应的背景像素数据，而产生该多个关系表达式，其中在所述混合区域中混合了前景目标和背景目标；以及

所说的覆盖背景区域/未覆盖背景区域指定装置把其中该预测误差大于或等于一个预定阈值的一个区域指定为该覆盖的背景区域。

Images