CN1293517C - 图像处理装置及方法、图像拾取装置 - Google Patents

Abstract

根据本发明，可以检测表明多个对象如背景图像和对象的图像的混合状态的混合比例。像素值设定器502提取背景像素数据，并同时提取目标像素的和目标像素附近的像素的数据。像素值设定器502生成表明目标像素和目标像素附近的像素的像素数据与背景像素数据的关系的多个关系方程式。运算单元503基于关系方程式计算表明真实世界中多个对象相对于目标像素的混合状态的混合比例。本发明可以用于图像处理装置，以解决由传感器检测的信号与真实世界之间产生的差别。

Description

图像处理装置及方法、图像拾取装置

技术领域

本发明涉及一种图像处理装置，更具体地说，涉及一种解决由传感器检测的信号和真实世界之间的产生的差别的图像处理装置。

背景技术

检测真实世界中的事件并处理从图像传感器输出的采样数据的技术已经被广泛采用。

例如，当对象的运动速度相应快时，由摄像机获得的在静止预定背景前移动的对象的图像将产生运动模糊。

当对象在静止背景前移动时，运动模糊的发生不仅是由于移动对象自身的图像的混合，而且由于背景图像和移动对象的图像的混合所导致的。背景图像和移动对象的图像的混合状态的检测通常被认为是不可想象的。

发明内容

鉴于这种情况，本发明进行了改进，本发明的目的在于检测代表多个对象如背景图像和移动对象的图像的混合程度的混合比例。

本发明的用于处理图像数据的图像处理装置包括：背景像素提取器装置，用于提取目标帧之前或之后的帧的像素数据，相应于图像数据内的目标帧的目标像素，作为对象的背景像素数据，其在图像数据的多个对象中充当背景的作用；目标帧像素提取器装置，用于提取目标帧内的目标像素的像素数据和目标帧内的目标像素附近的像素的像素数据；关系方程式发生器装置，用于生成多个代表与目标像素相关的目标像素和目标像素附近的像素的数据与相应于目标像素和目标像素附近的像素的数据的背景像素数据之间的关系的方程式；和混合比例检测器装置，用于基于关系方程式检测目标像素的混合比例，所述混合比例表示目标像素中背景分量和前景分量的混合状态。

关系方程式发生器装置可以基于第一假设和第二假设生成多个方程式，该第一假设认为在包含在目标像素和目标像素附近的像素的像素数据中的图像数据的多个对象中充当前景的对象的组成成分是相同的，该第二假设假设相对于多个对象混合的混合区域内的像素的位置，混合比例的改变是线性的。

关系方程式发生器装置可以基于第一假设和第二假设生成多个方程式，该第一假设认为在包含在目标像素和目标像素附近的像素的像素数据中的图像数据的多个对象中充当前景的对象的组成成分是相同的，该第二假设假设相对于多个对象混合的混合区域内的像素的位置，混合比例的改变是平面的(planar)。

混合比例检测器装置可以通过使用最小二乘法求解多个关系方程式而检测混合比例。

当位于所述多个对象的前景区域和背景区域之间的、由前景分量和背景分量混和的像素而形成的混合区域内的目标像素属于在其移动方向上形成在前景对象的前端侧的覆盖的背景区域时，背景像素提取器装置可以提取目标帧之前的帧中的像素数据，作为背景像素数据，而当混合了多个对象的混合区域内的目标像素属于在其移动方向上形成在前景对象的后端侧的未覆盖背景区域时，背景像素提取器装置可以提取目标帧之后的帧中的像素数据，作为背景像素数据。

图像处理装置可以包括区域信息发生器装置，用于产生区域信息，识别图像数据内的前景区域、背景区域和包含覆盖背景区域和未覆盖背景区域的混合区域，其中，前景区域由在图像数据中的多个对象中充当前景的对象形成，背景区域由在图像数据中的多个对象中充当背景的对象形成，混合区域由覆盖的背景区域和未覆盖的背景区域形成。

本发明的图像处理方法包括：背景像素提取步骤，用以提取目标帧之前或之后的帧的像素数据，相应于图像数据内的目标帧的目标像素，作为对象的背景像素数据，其在图像数据的多个对象中充当背景的作用；目标帧像素提取步骤，用以提取目标帧内的目标像素的像素数据和目标帧内的目标像素附近的像素的像素数据；关系方程式生成步骤，用以生成多个代表与目标像素相关的目标像素和目标像素附近的像素的数据与相应于目标像素和目标像素附近的像素的数据的背景像素数据之间的关系的方程式；和混合比例检测步骤，用以基于关系方程式检测目标像素的混合比例，所述混合比例表示目标像素中背景分量和前景分量的混合状态。

关系方程式生成步骤可以基于第一假设和第二假设生成多个方程式，该第一假设认为在包含在目标像素和目标像素附近的像素的像素数据中的图像数据的多个对象中充当前景的对象的组成成分是相同的，该第二假设假设相对于多个对象混合的混合区域内的像素的位置，混合比例的改变是线性的。

关系方程式生成步骤可以基于第一假设和第二假设生成多个方程式，该第一假设认为在包含在目标像素和目标像素附近的像素的像素数据中的图像数据的多个对象中充当前景的对象的组成成分是相同的，该第二假设假设相对于多个对象混合的混合区域内的像素的位置，混合比例的改变是平面的。

混合比例检测步骤可以通过使用最小二乘法求解多个关系方程式而检测混合比例。

当位于所述多个对象的前景区域和背景区域之间的、由前景分量和背景分量混和的像素而形成的混合区域内的目标像素属于在其移动方向上形成在前景对象的前端侧的覆盖的背景区域时，背景像素提取步骤可以提取目标帧之前的帧的像素数据，作为背景像素数据，而当混合了多个对象的混合区域内的目标像素属于在其移动方向上形成在前景对象的后端侧的未覆盖背景区域时，背景像素提取步骤可以提取目标帧之后的帧的像素数据，作为背景像素数据。

图像处理方法可以包括区域信息产生步骤，用以生成区域信息，识别图像数据内的前景区域、背景区域和包含覆盖背景区域和未覆盖背景区域的混合区域，其中，前景区域由在图像数据中的多个对象中充当前景的对象形成，背景区域由在图像数据中的多个对象中充当背景的对象形成，混合区域由覆盖的背景区域和未覆盖的背景区域形成。

本发明的存储介质存储计算机可读取的软件程序。软件程序包括：背景像素提取步骤，用以提取目标帧之前或之后的帧的像素数据，相应于图像数据内的目标帧的目标像素，作为对象的背景像素数据，其在图像数据的多个对象中充当背景的作用；目标帧像素提取步骤，用以提取目标帧内的目标像素的像素数据和目标帧内的目标像素附近的像素的像素数据；关系方程式生成步骤，用以生成多个代表与目标像素相关的目标像素和目标像素附近的像素的数据与相应于目标像素和目标像素附近的像素的数据的背景像素数据之间的关系的方程式；和混合比例检测步骤，用以基于关系方程式检测表明真实世界中的目标像素中背景分量和前景分量的混合状态的混合比例。

关系方程式生成步骤可以基于第一假设和第二假设生成多个方程式，该第一假设认为在包含在目标像素和目标像素附近的像素的像素数据中的图像数据的多个对象中充当前景的对象的组成成分是相同的，该第二假设假设相对于多个对象混合的混合区域内的像素的位置，混合比例的改变是线性的。

关系方程式生成步骤可以基于第一假设和第二假设生成多个方程式，该第一假设认为在包含在目标像素和目标像素附近的像素的像素数据中的图像数据的多个对象中充当前景的对象的组成成分是相同的，该第二假设假设相对于多个对象混合的混合区域内的像素的位置，混合比例的改变是平面的。

混合比例检测步骤可以通过使用最小二乘法求解多个关系方程式而检测混合比例。

当位于所述多个对象的前景区域和背景区域之间的、由前景分量和背景分量混和的像素而形成的混合区域内的目标像素属于在其移动方向上形成在前景对象的前端侧的覆盖的背景区域时，背景像素提取步骤可以提取目标帧之前的帧中的像素数据，作为背景像素数据，而当混合了多个对象的混合区域内的目标像素属于在其移动方向上形成在前景对象的后端侧的未覆盖背景区域时，背景像素提取步骤可以提取目标帧之后的帧中的像素数据，作为背景像素数据。

存储在记录介质内的软件程序可以进一步包括区域信息产生步骤，用以生成区域信息，识别图像数据内的前景区域、背景区域和包含覆盖背景区域和未覆盖背景区域的混合区域，其中，前景区域由在图像数据中的多个对象中充当前景的对象形成，背景区域由在图像数据中的多个对象中充当背景的对象形成，混合区域由覆盖的背景区域和未覆盖的背景区域形成。

本发明的图像拾取设备包括：图像拾取装置，用于输出由具有预定数量像素的图像拾取组件拾取的对象的图像，作为包含多个像素数据块的图像数据，其中，每个像素具有时间积分效果；背景像素提取器装置，用于提取目标帧之前或之后的帧的像素数据，相应于图像数据内的目标帧的目标像素，作为对象的背景像素数据，其在图像数据的多个对象中充当背景的作用；目标帧像素提取器装置，用于提取目标帧内的目标像素的像素数据和目标帧内的目标像素附近的像素的像素数据；关系方程式发生器装置，用于生成多个代表与目标像素相关的目标像素和目标像素附近的像素的数据与相应于目标像素和目标像素附近的像素的数据的背景像素数据之间的关系的方程式；和混合比例检测器装置，用于基于关系方程式检测目标像素的混合比例，所述混合比例表示目标像素中背景分量和前景分量的混合状态。

关系方程式发生器装置可以基于第一假设和第二假设生成多个方程式，该第一假设认为在包含在目标像素和目标像素附近的像素的像素数据中的图像数据的多个对象中充当前景的对象的组成成分是相同的，该第二假设假设相对于多个对象混合的混合区域内的像素的位置，混合比例的改变是线性的。

关系方程式发生器装置可以基于第一假设和第二假设生成多个方程式，该第一假设认为在包含在目标像素和目标像素附近的像素的像素数据中的图像数据的多个对象中充当前景的对象的组成成分是相同的，该第二假设假设相对于多个对象混合的混合区域内的像素的位置，混合比例的改变是平面的。

混合比例检测器装置可以通过使用最小二乘法求解多个关系方程式而检测混合比例。

当混合了位于所述多个对象的前景区域和背景区域之间的、由前景分量和背景分量混和的像素而形成的混合区域内的目标像素属于在其移动方向上形成在前景对象的前端侧的覆盖的背景区域时，背景像素提取器装置可以提取目标帧之前的帧中的像素数据，作为背景像素数据，而当混合了多个对象的混合区域内的目标像素属于在其移动方向上形成在前景对象的后端侧的未覆盖背景区域时，背景像素提取器装置可以提取目标帧之后的帧中的像素数据，作为背景像素数据。

图像拾取设备可以包括区域信息发生器装置，用于产生区域信息，识别图像数据内的前景区域、背景区域和包含覆盖背景区域和未覆盖背景区域的混合区域，其中，前景区域由在图像数据中的多个对象中充当前景的对象形成，背景区域由在图像数据中的多个对象中充当背景的对象形成，混合区域由覆盖的背景区域和未覆盖的背景区域形成。

附图说明

图1举例说明了本发明的原理。

图2是实现本发明的系统的结构的方框图。

图3是图2的信号处理器的结构的方框图。

图4是信号处理器12的方框图。

图5举例说明了传感器的成像操作。

图6是举例说明像素排列的图表。

图7举例说明了检测器组件的操作。

图8A举例说明了通过对相应于移动前景的对象和相应于静止背景的对象进行拍照而得到的图像。

图8B举例说明了通过对相应于移动前景的对象和相应于静止背景的对象进行拍照而得到的图像的模型。

图9举例说明了背景区域、前景区域、混合区域、覆盖背景区域和未覆盖背景区域。

图10是举例说明在相应于静止前景的对象和相应于静止背景的对象的图像内沿时间轴发展的线上的相邻像素的像素值的模型图。

图11是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图12是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图13是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图14举例说明了前景区域、背景区域和混合区域的被提取的像素。

图15举例说明了像素和像素值沿时间轴发展的模型之间的关系。

图16是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图17是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图18是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图19是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图20是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图21是举例说明调节运动模糊量的过程的流程图。

图22是举例说明区域确定器103的结构的方框图。

图23举例说明了作为前景的移动对象的图像。

图24是举例说明在时间轴上在被划分的时间即相应于快门时间的时间段内发展的像素值的模型图。

图25是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图26是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图27举例说明了执行区域确定的条件。

图28A举例说明了由区域确定器103提供的区域确定结果。

图28B举例说明了由区域确定器103提供的区域确定结果。

图28C举例说明了由区域确定器103提供的区域确定结果。

图28D举例说明了由区域确定器103提供的区域确定结果。

图29举例说明了由区域确定器103提供的区域确定结果。

图30是举例说明区域确定过程的流程图。

图31是举例说明区域确定器103的另一结构的方框图。

图32是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图33举例说明了背景图像的一个例子。

图34是举例说明二进制对象图像提取器302的结构的方框图。

图35A举例说明了如何计算相关值。

图35B举例说明了如何计算该相关值。

图36A举例说明了如何计算该相关值。

图36B举例说明了如何计算该相关值。

图37举例说明了二进制对象图像。

图38是举例说明序时(chronological)改变检测器303的结构的方框图。

图39举例说明了区域确定器342的确定过程。

图40举例说明了序时改变检测器303的确定过程。

图41是举例说明区域确定器103的区域确定过程的流程图。

图42是详细举例说明区域确定过程的流程图。

图43是举例说明区域确定器103的另一结构的方框图。

图44是举例说明鲁棒化器361的结构的方框图。

图45举例说明了运动补偿器381的运动补偿。

图46举例说明了该运动补偿器381的运动补偿。

图47是举例说明区域确定过程的流程图。

图48是详细举例说明鲁棒化过程的流程图。

图49是举例说明混合比例计算器104的结构的方框图。

图50举例说明了理想混合比例α。

图51是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图52是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图53举例说明了接近混合比例α的直线。

图54举例说明了接近混合比例α的平面。

图55是举例说明在计算混合比例α的过程中多个帧中的像素的对应关系。

图56是举例说明估算的混合比例处理器401的方框图。

图57举例说明了估算的混合比例的一个例子。

图58是举例说明混合比例的计算过程的流程图。

图59是在相应于覆盖的背景区域的模型中的混合比例估算过程的流程图。

图60是举例说明前景和背景分离器105的一个实施例的方框图。

图61A是举例说明输入图像、前景分图像和背景分图像的图。

图61B是举例说明输入图像、前景图像和背景图像的模型的图。

图62是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图63是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图64是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图65是说明分离器601的结构的一个例子的方框图。

图66A是说明分离的前景分图像的一个例子的图。

图66B是说明分离的背景分图像的一个例子的图。

图67是举例说明前景和背景的分离过程的流程图。

图68是说明运动模混调节器106的一个实施例的方框图。

图69举例说明了正在处理的一个单元。

图70是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图71是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图72是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图73是举例说明在被划分的时间即相应于快门时间的时间段内沿时间轴发展的像素值的模型图。

图74是举例说明运动模糊调节器106的另一结构的图。

图75是举例说明用于调节包含在前景分图像内的运动模糊的运动模糊的调节器106的调节过程的流程图。

图76是举例说明运动模糊调节器106的另一结构的方框图。

图77是说明指明像素值和前景分量之间的对应关系模型的模型图。

图78举例说明了前景分量的计算过程。

图79举例说明了前景分量的计算过程。

图80是举例说明前景中的运动模糊的消除过程的流程图。

图81是举例说明信号处理器12的功能结构的方框图。

图82是举例说明合成器1001的结构的图。

图83是举例说明信号处理器12的另一功能结构的方框图。

图84是举例说明混合比例计算器1101的结构的方框图。

图85是举例说明前景和背景分离器1102的方框图。

图86是举例说明信号处理器12的另一功能结构的方框图。

图87举例说明了合成器1201的结构。

具体实施方式

图1举例说明了本发明的原理。如图所示，传感器2获得包含与真实世界1有关的信息并组成在数据中的第一信号，该真实世界1具有空间和时间轴。检测的信号即由传感器2获得的数据3是将真实世界1的信息投影到时间空间而得到的信息，该时间空间在维数上低于真实世界的维数。作为投影结果得到的信息受到包含在投影内的畸变的影响。换句话说，从传感器2输出的数据3相对于真实世界1的信息失真。虽然数据3包含失真，但是，其还包括有意义的信息，以用于失真的校正。

根据本发明，信号处理器4处理从传感器2输出的数据，从而提取有意义的信息。

使用有意义的信息，信号处理器4可以处理从传感器2输出的数据，从而消除、减小或调节失真。

图2是举例说明本发明的信号处理器的结构的方框图。传感器11由如摄像机构成，并可以拍摄真实世界的图像，和将获得的图像数据输出到信号处理器12。信号处理器12由如个人计算机构成，可以处理从传感器11输入的数据，调节由数据的投影引起的失真量，识别通过投影嵌入在数据内的有意思信息所在的区域，从区域中提取有意义信息，并基于提取的有意义信息处理输入数据。

例如，有意义信息涉及随后谈到的混合比例。

指明包含通过投影嵌入的有意义信息的区域的信息也被认为是有意义信息。因此随后谈到的区域信息是有意义信息。

例如，包含有意义信息的区域是随后谈到的混合区域。

信号处理器12如图3所示构成。CPU(中央处理单元)21根据存储在ROM(只读存储器)22或存储单元28内的软件程序执行各种处理操作。RAM(随机存取存储器)23存储由CPU 21执行的软件程序和必要数据。CPU21、ROM 22和RAM 23通过总线24彼此相互连接。

CPU 21通过总线24连接到输入和输出接口25。输入单元26如键盘、鼠标或麦克风和输出单元27如显示器或扬声器也连接到输入和输出接口25。CPU 21响应从输入单元26输入的命令执行各种处理操作。CPU 21将作为处理结果得到的图像、声音等输出到输出单元27。

连接到输入和输出接口25的存储单元28是硬盘，并存储有由CPU 21执行的程序和各种数据块。通信单元29通过因特网或其他网络与外部装置相通信。在这种情况下，通信单元29用作捕获传感器11的输出的捕获单元。

软件程序可以通过通信单元29得到并存储在存储单元28内。

当连接到输入和输出接口25的驱动器30装载有磁盘50、光盘52、磁光盘53或半导体存储器54时，驱动器30驱动记录介质，从而获得软件程序和数据。软件程序和数据如有必要则传输到存储单元28。

下面将详细描述信号处理器如何从由传感器得到的数据识别有意义信息被嵌入的区域并提取被嵌入的有意义信息。在下面的描述中，CCD(电荷耦合器件)线传感器或CCD区域传感器相应于传感器，区域信息和混合比例相应于有意义信息，前景和背景的混合和运动模糊相应于在混合区域中的失真。

图4是举例说明信号处理器12的方框图。

信号处理器12的每个功能是由硬件或软件完成是不重要的。在本说明书中的每个框图都可以认为硬件框图或软件的功能框图。

这里，运动模糊涉及包含在相应于移动对象的图像内失真，该失真是由对象在真实世界中的移动被成像和传感器11的成像特性引起的。

在本发明的描述中，相应于真实世界中的被成像的对象的图像的被称为图像对象。

输入图像，输入到信号处理器12，进入对象提取器101、区域确定器103、混合比例计算器104和前景和背景分离器105。

对象提取器101粗略地提取相应于包含在输入图像中的前景对象的图像对象，并将提取的图像对象提供运动检测器102。对象提取器101检测相应于包含在输入图像中的前景对象的图像对象的轮廓，从而粗略地提取相应于前景对象的图像对象。

对象提取器101粗略地提取相应于包含在输入图像中的背景对象的图像对象，并将提取的图像对象提供运动检测器102。对象提取器101从输入图像和相应于提取的前景对象的图像对象之间的差别中粗略提取相应于背景对象的图像对象。

对象提取器101可以从存储在内部背景存储器内的背景的图像和输入图像之间的差别中粗略提取相应于前景对象的图像对象和相应于背景对象的图像对象。

使用块匹配方法、梯度法、相位相关法或帕尔递归法，运动检测器102计算相应于粗略提取的前景对象的图像对象的运动矢量，并将计算的运动矢量和运动矢量的位置信息(识别相应于运动矢量的像素的位置的信息)提供到区域确定器103和运动模混调节器106。

从运动检测器102输出的运动矢量包含相应于移动量v的信息。

例如，运动检测器102将每个图像对象的运动矢量和识别图像对象的像素的像素位置信息提供到运动模糊调节器106。

移动量v指出以像素间隔为单位的相应于移动对象的图像的位置的改变。例如，当相应于前景的对象的图像移动并在相对于一个给定帧内的原始位置的下一帧上呈现出距离四个像素时，相应于前景的对象的图像的移动量v为4。

当响应移动对象调节运动模糊量时，对象提取器101和运动检测器102是必须的。

区域确定器103确定输入图像的每个像素位于前景区域、背景区域和混合区域中的哪一个，然后，将包含输入图像的每个像素属于哪个区域的信息(下文称为区域信息)提供到混合比例计算器104、前景和背景分离器105和运动模糊调节器106。

基于从区域检测器103提供的输入图像和区域信息，混合比例计算器104计算包含在混合区域63内的每个像素的混合的比例(下文称为混合比例α)，然后将计算的混合比例提供到前景和背景分离器105。

如下面将要使用方程式(3)所要描述的，混合比例α代表相应于背景的每个像素值的图像分量的比率(下文也被称为背景分量)。

基于从区域确定器103提供的区域信息和从混合比例计算器104提供的混合比例α，前景和背景分离器105分离由仅相应于前景的对象的图像分量形成的前景分图像(下文也被称为前景分量)和仅从图像得到的背景分量形成的背景分图像，并将前景分图像提供到运动模糊调节器106和选择器107。分离的前景分量被视为末级输出。与确定和分离前景和背景时不注意混合区域的传统的方法相比，本发明提供了准确的前景和背景。

运动模糊调节器106基于由运动矢量和区域信息确定的移动量v确定指出包含在前景分图像中的至少一个像素的正在处理的单元。正在处理的单元是指出一组像素在运动模糊的调节中被处理的数据。

运动模糊调节器106基于输入到信号处理器12的运动模糊输入电平、由前景和背景分离器105提供的前景分图像、由运动检测器102提供的运动矢量、其位置信息和正在处理的单元，调节包含在前景分量中的运动模糊量。例如，运动模糊调节器106消除包含在前景分图像内的运动模糊，或减少或增加包含在前景分图像内的运动模混量，然后将具有调整的运动模糊的前景分图像输出到选择器107。在该时期，不使用运动矢量和其位置信息。

基于响应用户选择输入的选择信号，选择器107在由前景和背景分离器105提供的前景分图像和由运动模糊调节器106提供的经运动模糊调整的前景分图像之间进行选择，然后输出选择的前景分图像。

下面将参考图5到图20对提供到信号处理器12的输入图像进行描述。

图5举例说明了传感器的成像操作。传感器11由具有作为固态图像拾取装置的CCD(电荷耦合器件)区域传感器的CCD摄像机构成。对象111，相应于真实世界中的前景，在相应于真实世界中的背景的对象112和传感器11之间从左边向右边水平运动。

传感器11捕捉相应于前景的对象111的图像和相应于背景的对象112的图像。然后，传感器11以一帧为单位输出捕捉的图像。例如，传感器11输出每秒30帧构成的图像。传感器11的曝光时间因此1/30秒。曝光时间是从输入光线转换为电荷的转换过程开始到输入光线转换为电荷的转换过程结束的持续时间。曝光时间还称为快门时间。

图6是举例说明像素的排布的图。如图所示，字母A到I分别代表各像素。像素在相应于图像的平面上排布。相应于单个的像素的单个的检测器元件排布在传感器11上。当传感器11捕获图像时，单个的检测器元件输出相应于形成图像的单个像素的像素值。例如，每个检测器元件在X方向上的位置相应于图像在水平方向上的位置，每个检测器元件在Y方向上的位置相应于图像在垂直方向上的位置。

参考图7，作为CCD的检测器元件在相应于快门时间的时间内将输入光线转换为电荷，并积累所得的电荷。电荷量基本上与输入光线的强度和光线输入的时间成比例。在相应于快门时间的持续时间内，检测器元件将输入光线转换为的电荷累加到已经积累的电荷中。特别地，检测器元件积分相应于快门时间内的输入光线，并响应积分的光线来存储电荷。检测器元件因此被称为具有时间积分作用。

存储在检测器元件内的电荷通过未示出的电路转换为电压值，电压值转换为如数字数据的像素值，然后输出。从传感器11输出的单个的像素值具有投影在一维空间的数值，其通过关于快门时间对相应于前景或背景的对象的给定部分积分得到，并具有空间延展性。

信号处理器12提取通过传感器11的存储过程嵌入在输出信号内的有意义信息，如混合比例α。信号处理器12调节失真量，如运动模糊，其作为前景自身的图像对象的混合的结果。信号处理器12还调节由前景的图像对象和背景的图像对象的混合产生的失真的失真量。

图8A举例说明了对相应于移动前景的对象和相应于静止背景的对象进行成像而得到的图像。如图所示，相应于前景的对象相对于屏幕从左边到右边水平移动。

图8B举例说明了在图8A中所示的图像的一条线上的像素值在时间轴上伸展的模型图。图8B的水平方向相应于图8A的空间方向X。

在背景区域内的像素具有由背景分量形成的像素值，即图像的分量相应于背景对象。在前景区域内的像素具有由前景分量形成的像素值，即图像的分量相应于前景对象。

在混合区域内的像素具有背景分量和前景分量的像素值。因为在混合区域内的像素由背景分量和前景分量构成，因此，其可以被称为失真区域。混合区域被分为覆盖的背景区域和未覆盖的背景区域。

覆盖的背景区域是在其移动方向上相应于前景的对象的前端的混合区域的部分，在覆盖的背景区域内，背景随时间的流逝被前景所覆盖。

相反，未覆盖的背景区域是在其移动方向上相应于前景的对象的后端的混合区域的部分，在未覆盖的背景区域内，背景随时间的流逝出现。

这样，包含前景、背景、覆盖的背景区域和未覆盖的背景区域的图像被作为输入图像提供到区域确定器103、混合比例计算器104和前景和背景分离器105的每一个。

图9说明了背景区域、前景区域、混合区域、覆盖的背景区域和未覆盖的背景区域。考虑到图8所示的图像，背景区域是静止部分，前景区域是移动部分，混合区域的覆盖的背景是背景过渡到前景的部分，混合区域的未覆盖背景是前景过渡到背景的部分。

图10是举例说明连续排布的像素的线上的像素值在相应于移动前景的对象和相应于静止背景的对象的图像内沿时间轴延伸的模型图。例如，图像的线内排布的像素被选择作为相邻像素的线。

图10所示的像素值F01到F04是相应于静止前景的对象的像素，图10所示的像素值F01到B04是相应于静止背景的对象的像素。

图10的从上到下的垂直方向代表时间的流逝。图10所示的矩形的顶端相应于入射到传感器11的光线转换为电荷的转换过程开始的时间，图10所示的矩形的底端相应于入射到传感器11的光线转换为电荷的转换过程结束的时间。特别地，矩形的从顶端到底端的距离认为是快门时间。

在下面的描述中，快门时间和帧间隔彼此相等。

图10所示的水平方向相应于参考图8所讨论的空间方向X。特别地，在图10所示的实施例中，图10中所示的从标明“F01”的矩形的左边到标明“B04”的矩形的右边的距离对应于8倍像素间距，即，对应于8个连续像素的扩展。

当前景的对象和背景的对象静止时，入射在传感器11上的光线在相应于快门时间的时间段内保持不变。

相应于快门时间的持续时间被分割为至少两个等长度数据段。例如，当虚拟除数是4时，图10所示的模型变成图11所示的样子。虚拟除数要考虑到相应于前景的对象的在快门时间内的移动量而设定。例如，当对象的移动的量是4时，虚拟除数被设定为4，相应于快门时间的持续时间被分为4段。

图11所示的最上面的排是快门打开的开始处的被划分的数据段。图11所示的第二排是从快门打开开始第二出现的被划分的数据段。图11所示的第三排是从快门打开开始第三出现的被划分的数据段。图11所示的第四排是从快门敞开开始第四出现的被划分的数据段。

响应移动量v分段的快门时间还被称为快门时间/v。

当相应于前景的对象静止时，入射到传感器11的光线保持不变。前景分量F01/v等于通过将像素值F01除以虚拟除数而得到的数值。同样，当相应于前景的对象静止时，前景分量F02/v等于通过将像素值F02除以虚拟除数而得到的数值，前景分量F03/v等于通过将像素值F03除以虚拟除数而得到的数值，前景分量F04/v等于通过将像素值F04除以虚拟除数而得到的数值。

当相应于背景的对象静止时，入射到传感器11的光线保持不变，背景分量B01/v等于通过将像素值V01除以虚拟除数而得到的数值。同样，当相应于背景的对象静止时，背景分量B02/v等于通过将像素值B02除以虚拟除数而得到的数值，背景分量B03/v等于通过将像素值B03除以虚拟除数而得到的数值，背景分量B04/v等于通过将像素值B04除以虚拟除数而得到的数值。

换句话说，当相应于前景的对象静止时，入射到传感器11上和相应于前景的对象的光线在相应于快门时间的时间段内保持不变。因此，从快门打开开始第一个出现的关于快门时间/v的前景分量F01/v、从快门打开开始第二个出现的关于快门时间/v的前景分量F01/v、从快门打开开始第三个出现的关于快门时间/v的前景分量F01/v和从快门打开开始第四个出现的关于快门时间/v的前景分量F01/v具有相同的数值。从F02/v到F04/v与此相同。

当相应于背景的对象静止时，入射到传感器11上和相应于背景的对象的光线在相应于快门时间的时间段内保持不变。因此，从快门打开开始第一个出现的关于快门时间/v的背景分量B01/v、从快门打开开始第二个出现的关于快门时间/v的背景分量B01/v、从快门打开开始第三个出现的关于快门时间/v的背景分量B01/v和从快门打开开始第四个出现的关于快门时间/v的背景分量B01/v具有相同的数值。从B02/v到B04/v与此相同。

下面将讨论相应于前景的对象移动而相应于背景的对象静止的情况。

图12时举例说明像素线上的像素值在时间轴上延伸的模型图，其中，覆盖的背景随相应于前景的对象向右移动而出现。参考图12，前景的移动量v为4。因为一帧是一段比较短的时间，因此，假设相应于前景的对象是固体，并保持匀速运动。如图所示，前景的对象的图像相对于给定帧在下一帧中向右位移4个像素。

参考图12，帧内从其左边数起从最左边的像素到第四个像素属于前景区域。第五像素到第七像素属于混合区域，其是覆盖的背景区域。参考图12，最右边的像素属于背景区域。

因为前景的对象以随着时间的流逝覆盖背景的对象的方式移动，因此，包含在属于覆盖的背景区域的像素的像素值内的分量在快门时间的时间段内的时间点处从背景分量改变为前景分量。

如图12所示的以实线框包围的像素值M由下面的方程式(1)表示。

M＝B02/v+B02/v+F07/v+F06/v         (1)

例如，从左边数起的第五个像素包含一个快门时间/v的背景分量和三个快门时间/v的前景分量，第五像素的混合比例α为1/4。因为从左边数起的第六个像素包含两个快门时间/v的背景分量和两个快门时间/v的前景分量，因此，混合比例α为1/2。从左边数起的第七个像素包含三个快门时间/v的背景分量和一个快门时间/v的前景分量，其混合比例α为3/4。

当假设前景的对象是固体，并保持匀速运动，以使前景的图像在下一帧中位移4个像素出现时，图12所示的以从快门打开开始第一个快门时间/v表示的从左边数起第四个像素的前景分量F07/v等于图12所示的以从快门打开开始第二个快门时间/v表示的从左边数起第五个像素的前景分量。同样，前景分量F07/v与图12所示的以从快门打开开始第三个快门时间/v表示的从左边数起第六个像素的前景分量和图12所示的以从快门打开开始第四个快门时间/v表示的从左边数起第七个像素的前景分量的每一个相等。

当假设前景的对象是固体，并保持匀速运动，以使前景的图像在下一帧中位移4个像素出现时，图12所示的以从快门打开开始第一个快门时间/v表示的从左边数起第三个像素的前景分量F06/v等于图12所示的以从快门打开开始第二个快门时间/v表示的从左边数起第四个像素的前景分量。同样，前景分量F06/v与图12所示的以从快门打开开始第三个快门时间/v表示的从左边数起第五个像素的前景分量和图12所示的以从快门打开开始第四个快门时间/v表示的从左边数起第六个像素的前景分量的每一个相等。

当假设前景的对象是固体，并保持匀速运动，以使前景的图像在下一帧中位移4个像素出现时，图12所示的以从快门打开开始第一个快门时间/v表示的从左边数起第二个像素的前景分量F05/v等于图12所示的以从快门打开开始第二个快门时间/v表示的从左边数起第三个像素的前景分量。同样，前景分量F05/v与图12所示的以从快门打开开始第三个快门时间/v表示的从左边数起第四个像素的前景分量和图12所示的以从快门打开开始第四个快门时间/v表示的从左边数起第五个像素的前景分量的每一个相等。

当假设前景的对象是固体，并保持匀速运动，以使前景的图像在下一帧中位移4个像素出现时，图12所示的以从快门打开开始第一个快门时间/v表示的最左边的像素的前景分量F04/v等于图12所示的以从快门打开开始第二个快门时间/v表示的从左边数起第二个像素的前景分量。同样，前景分量F04/v与图12所示的以从快门打开开始第三个快门时间/v表示的从左边数起第三个像素的前景分量和图12所示的以从快门打开开始第四个快门时间/v表示的从左边数起第四个像素的前景分量的每一个相等。

这样，相应于移动对象的前景区域包含运动模糊，因此被称为失真区域。

图13是举例说明在时间轴上延伸的像素线的像素值的模型图，其中未覆盖的背景随相应于前景的对象向右移动而出现。参考图13，前景的移动量v为4。因为一帧是一段比较短的时间，因此，假设相应于前景的对象是固体，并保持匀速运动。如图所示，前景的对象的图像在相对于给定帧的下一帧中向右位移4个像素。

参考图13，从左边数起从最左边的像素到第四个像素属于前景区域。第五像素到第七像素属于混合区域，其是未覆盖的背景区域。参考图13，最右边的像素属于前景区域。

因为具有覆盖的背景对象的前景对象随着时间的流逝以从背景对象的前面消除前景的对象的方式移动，因此，包含在属于未覆盖的背景区域的像素的像素值内的分量在对应于快门时间的时间段内的时间点处从前景分量改变为背景分量。

如图13所示的以实线框包围的像素值M’由下面的方程式(2)表示。

M’＝F02/v+B01/v+B26/v+B26/v       (1)

例如，从左边数起的第五个像素包含三个快门时间/v的背景分量和一个快门时间/v的前景分量，第五像素的混合比例α为3/4。因为从左边数起的第六个像素包含两个快门时间/v的背景分量和两个快门时间/v的前景分量，因此，其混合比例α为1/2。从左边数起的第七个像素包含一个快门时间/v的背景分量和三个快门时间/v的前景分量，其混合比例α为1/4。

当方程式(1)和(2)被统一时，像素值M由方程式(3)表示。

$M=\mathrm{\α}\·B+\underset{i}{\mathrm{\Σ}}\mathrm{Fi}/v---\left(3\right)$

其中，α是混合比例，B是背景的像素值，Fi/v是前景分量。

由于假设前景的对象是固体，并以匀速运动，移动的量v是4，因此，图13所示的以从快门打开开始第一个快门时间/v表示的从左边数起第五个像素的前景分量F01/v等于图13所示的以从快门打开开始第二个快门时间/v表示的从左边数起第六个像素的前景分量。同样，图13所示的以从快门打开开始第三个快门时间/v表示的从左边数起第七个像素的前景分量F01/v等于图13所示的以从快门打开开始第四个快门时间/v表示的从左边数起第八个像素的前景分量。

由于假设前景的对象是固体，并保持匀速运动，移动的量v是4，因此，图13所示的以从快门打开开始第一个快门时间/v表示的从左边数起第六个像素的前景分量F02/v等于图13所示的以从快门打开开始第二个快门时间/v表示的从左边数起第七个像素的前景分量。同样，前景分量F02/v等于以从快门打开开始第三个快门时间/v表示的从左边数起第八个像素的前景分量。

由于假设前景的对象是固体，并保持匀速运动，移动的量v是4，因此，图13所示的以从快门打开开始第一个快门时间/v表示的从左边数起第七个像素的前景分量F03/v等于图13所示的以从快门打开开始第二个快门时间/v表示的从左边数起第八个像素的前景分量。

参考图11到图13，虚拟除数为4，但是除数可以相应于移动量v。依次地，移动量v典型相应于前景对象的运动速度。例如，当前景的对象相对于某帧的下一帧向右移动4个像素时，对象的移动量v为4。虚拟除数因此相应于移动量v被设定为4。同样，当前景的对象在相对于某帧的下一帧向左移动6个像素时，对象的移动量v为6。虚拟除数因此相应于移动量v被设定为6。

图14和图15举例说明了前景区域、背景区域和由覆盖的背景部分和未覆盖的背景部分构成的混合区域之间的关系，如上所述，前景分量和和背景分量相应于分段的快门时间。

图14举例说明了从相应于在静止背景的前面移动的对象的前景图像提取的前景区域、背景区域和混合区域的像素。如图所示，前景的对象相对于屏幕水平移动。

帧#n+1是在帧#n之后的帧，帧#n+2是在帧#n+1之后的帧。

图15举例说明了像素的像素值在时间轴上延伸的模型，其中，像素被从帧#n到帧#n+2中的任意帧中的前景区域、背景区域和混合区域中提取出来，移动量被确定为4。由于前景的对象移动，因此在前景区域中的像素值包括相应于快门时间/v的四个不同的前景分量。例如，图15中所示的在前景区域中的像素的最左边的一个包括F01/v、F02/v、F03/v和F04/v。换句话说，在前景区域中的像素包含运动模糊。

背景的对象保持静止，入射到传感器11上并相应于背景的光线在相应于快门时间的时间段内保持不变。在这种情况下，背景区域内的像素值不包括运动模糊。

属于由覆盖的背景部分或未覆盖的背景部分构成的混合区域的像素的像素值包括前景分量和背景分量。

下面讨论在多个帧的每一帧内的像素连续排成一行并且在对象的图像移动时跨帧在相同位置处的像素的像素值在时间轴上延伸的模型。例如，当对象的图像相对于屏幕水平移动时，在屏幕上的像素的线被选择作为连续排布的像素的线。

图16是举例说明横跨三帧在相同的位置处相邻的像素的线的像素值在时间轴上延伸的模型，其中，像素形成静止背景的对象的图像。帧#n是帧#n-1之后的帧，帧#n+1是帧#n之后的帧。

参考图16，像素值B01到B12是相应于静止背景对象的像素的像素值。由于背景对象保持静止，因此，相应的像素的像素值从帧#n-1到帧#n+1保持不变。与在帧#n-1内具有像素值B05的像素相同，在帧#n内的像素和在帧#n+1内的像素在相同的位置各具有像素值B05。

图17是举例说明横跨三帧在相同的位置处像素的线的像素值在时间轴上延伸的模型图，其中，如图所示，静止背景的对象和向右移动的前景的对象被捕捉。图17所示的模型包含覆盖的背景部分。

由于假设前景对象是固体，以匀速运动，并且前景的图像如图17所示在下一帧向右移动4个像素，因此，移动量v为4，虚拟除数为4。

例如，图17中所示的以在快门打开之后的第一快门时间/v表示的在帧#n-1内的最左边的像素的前景分量为F12/v，图17中所示的以在快门打开之后的第二快门时间/v表示的从左边数起第二像素的前景分量也为F12/v。图17中所示的以在快门打开之后的第三快门时间/v表示的从左边数起第三像素的前景分量和图17中所示的以在快门打开之后的第四快门时间/v表示的从左边数起第四像素的前景分量变为F12/v。

图17中所示的以在快门打开之后的第二快门时间/v表示的在帧#n-1内的最左边的像素的前景分量为F11/v，图17中所示的以在快门打开之后的第三快门时间/v表示的从左边数起第二像素的前景分量也为F11/v。图17中所示的以在快门打开之后的第四快门时间/v表示的从左边数起第三像素的前景分量变为F11/v。

图17中所示的以在快门打开之后的第三快门时间/v表示的在帧#n-1内的最左边的像素的前景分量为F10/v，图17中所示的以在快门打开之后的第四快门时间/v表示的从左边数起第二像素的前景分量也为F10/v。图17中所示的以在快门打开之后的第四快门时间/v表示的在帧#n-1内的最左边的像素的前景分量变为F09/v。

由于背景对象是静止的，因此，图17中所示的以第一快门时间/v表示的从左边数起帧#n-1内的第二像素的背景分量为B01/v。图17中所示的以在快门打开之后的第二快门时间表示的帧#n-1的从左边数起第三像素的背景对象为B02/v。图17中所示的以在快门打开之后的第一到第三快门时间表示的帧#n-1的从左边数起第四像素的背景对象为B03/v。

在图17所示的帧#n-1中，最左边的像素落在前景区域内。从左边数第二到第四像素落在混合区域内，其为覆盖的背景部分。

在图17所示的帧#n-1中，落在背景区域内的第五到第十二像素分别具有B04到B11的像素值。

在图17所示的帧#n中，从最左边的到第五像素落在前景区域内。在帧#n的前景区域内，关于快门时间/v的前景分量是F05/v到F12/v之一。

由于假设前景对象是固体，匀速运动，并且前景的图像移动并出现在下一帧上与任意给定帧内的原始位置向右距离4像素的位置上，因此，图17所示的以在快门打开后的第一快门时间/v表示的从帧#n的左边数第五像素的前景分量为F12/v，图17所示的以在快门打开后的第二快门时间/v表示的从左边数第六像素的前景分量也为F12/v。图17所示的以在快门打开后的第三快门时间/v表示的从左边数第七像素的前景分量和图17所示的以在快门打开后的第四快门时间/v表示的从左边数第八像素的前景分量为F12/v。

图17所示的以在快门打开后的第二快门时间/v表示的从帧#n的左边数第五像素的前景分量为F11/v，图17所示的以在快门打开后的第三快门时间/v表示的从左边数第六像素的前景分量也为F11/v。图17所示的以在快门打开后的第四快门时间/v表示的从左边数第七像素的前景分量为F11/v。

图17所示的以在快门打开后的第三快门时间/v表示的从帧#n的左边数第五像素的前景分量为F10/v，图17所示的以在快门打开后的第四快门时间/v表示的从左边数第六像素的前景分量也为F10/v。图17所示的以在快门打开后的第四快门时间/v表示的从左边数第五像素的前景分量为F09/v。

由于背景的对象是静止的，因此，图17所示的以在快门打开后的第一快门时间/v表示的从帧#n的左边数第六像素的背景分量为B05/v。图17所示的以在快门打开后的第一和二快门时间/v表示的从帧#n的左边数第七像素的背景分量也为B06/v。图17所示的以在快门打开后的第一到第三快门时间/v表示的从帧#n的左边数第八像素的背景分量为B07/v。

在图17所示的帧#n中，从左边数第六到第八像素落在混合区域内，其为覆盖的背景部分。

在图17所示的帧#n中，落在背景区域内的第九到第十二像素分别具有B08到B11的像素值。

在图17所示的帧#n+1中，从左边数起最左边的到第九像素落在前景区域内。在帧#n+1的前景区域内，关于快门时间/v的前景分量是F01/v到F12/v中的一个。

由于假设前景对象是固体，匀速运动，并且前景的图像移动并出现在下一帧上与任意给定帧内的原始位置向右距离4像素的位置上，因此，图17所示的以在快门打开后的第一快门时间/v表示的从帧#n+1的左边数第九像素的前景分量为F12/v，图17所示的以在快门打开后的第二快门时间/v表示的从左边数第十像素的前景分量也为F12/v。图17所示的以在快门打开后的第三快门时间/v表示的从左边数第十一像素的前景分量和图17所示的以在快门打开后的第四快门时间/v表示的从左边数第十二像素的前景分量都为F12/v。

图17所示的以在快门打开后的第二快门时间/v表示的从帧#n+1的左边数第九像素的前景分量为F11/v，图17所示的以在快门打开后的第三快门时间/v表示的从左边数第十像素的前景分量也为F11/v。图17所示的以在快门打开后的第四快门时间/v表示的从左边数第十一像素的前景分量为F11/v。

图17所示的以在快门打开后的第三快门时间/v表示的从帧#n+1的左边数第九像素的前景分量为F10/v，图17所示的以在快门打开后的第四快门时间/v表示的从左边数第十像素的前景分量也为F10/v。图17所示的以在快门打开后的第四快门时间/v表示的从帧#n+1的左边数第九像素的前景分量为F09/v。

由于背景的对象是静止的，因此，图17所示的以在快门打开后的第一快门时间/v表示的从帧#n+1的左边数第十像素的背景分量为B09/v。图17所示的以在快门打开后的第一和二快门时间/v表示的从帧#n+1的左边数第十一像素的背景分量为B10/v。图17所示的以在快门打开后的第一到第三快门时间/v表示的从帧#n+1的左边数第十二像素的背景分量为B11/v。

在图17所示的帧#n+1中，从左边数第十到第十二像素落在混合区域内，其为覆盖的背景部分。

图18是前景分量被从图17中所示的像素值提取出来的图像的模型图。

图19是举例说明横跨三帧在相同的位置处的像素的线的像素值在时间轴上延伸的模型，其中，如图所示，静止背景的对象和向右移动的前景的对象被捕捉。图19所示的模型包含未覆盖的背景部分。

假设在图19中前景对象是固体并匀速运动。由于前景的图像在下一帧向右移动4个像素，因此，移动量v为4。

例如，图19中所示的以在快门打开之后的第一快门时间/v表示的在帧#n-1内的最左边的像素的前景分量为F13/v，图19中所示的以在快门打开之后的第二快门时间/v表示的从左边数起第二像素的前景分量也为F13/v。图19中所示的以在快门打开之后的第三快门时间/v表示的从左边数起第三像素的前景分量和图19中所示的以在快门打开之后的第四快门时间/v表示的从左边数起第四像素的前景分量变为F13/v。

图19中所示的以在快门打开之后的第一快门时间/v表示的从帧#n-1的左边数第二像素的前景分量为F14/v，图19中所示的以在快门打开之后的第二快门时间/v表示的从左边数起第三像素的前景分量也为F14/v。图19中所示的以在快门打开之后的第一快门时间/v表示的从左边数起第三像素的前景分量变为F15/v。

由于背景对象是静止的，因此，图19中所示的以第二到第四快门时间/v表示的帧#n-1内最左边像素的背景分量为B25/v。图19中所示的以在快门打开之后的第三和第四快门时间/v表示的帧#n-1的从左边数起第二像素的背景对象为B26/v。图19中所示的以在快门打开之后的第四快门时间/v表示的帧#n-1的从左边数起第三像素的背景对象为B27/v。

在图19所示的帧#n-1中，最左边到第三像素落在混合区域内，其为未覆盖的背景部分。

在图19中所示的帧#n-1中，第四到第十二像素落在前景区域内。帧内的前景分量为F13/v到F24/v中的一个。

在图19所示的帧#n中，最左边的到第四像素落在背景区域内，其像素值分别为B25到B28。

由于假设前景对象是固体，匀速运动，并且前景的图像移动并出现在下一帧上与任意给定帧内的原始位置向右距离4像素的位置上，因此，图19所示的以在快门打开后的第一快门时间/v表示的从帧#n的左边数第五像素的前景分量为F13/v，图19所示的以在快门打开后的第二快门时间/v表示的从左边数第六像素的前景分量也为F13/v。图19所示的以在快门打开后的第三快门时间/v表示的从左边数第七像素的前景分量和图19所示的以在快门打开后的第四快门时间/v表示的从左边数第八像素的前景分量都为F13/v。

图19所示的以在快门打开后的第一快门时间/v表示的从帧#n的左边数第六像素的前景分量为F14/v，图19所示的以在快门打开后的第二快门时间/v表示的从左边数第七像素的前景分量也为F14/v。图19所示的以在快门打开后的第一快门时间/v表示的从左边数第八像素的前景分量为F15/v。

由于背景的对象是静止的，因此，图19所示的以在快门打开后的第二到第四快门时间/v表示的从帧#n的左边数第五像素的背景分量为B29/v。图19所示的以在快门打开后的第三和第四快门时间/v表示的从帧#n的左边数第六像素的背景分量为B30/v。图19所示的以在快门打开后的第四快门时间/v表示的从帧#n的左边数第七像素的背景分量为B31/v。

在图19所示的帧#n中，从左边数第五到第七像素落在混合区域内，其为覆盖的背景区域。

在图19中所示的帧#n中，第八到第十二像素落在前景区域内。关于快门时间/v的帧#n内的前景区域内的像素值为F13/v到F20/v中的一个。

图19所示的帧#n+1中的最左边的到第八像素属于背景区域，其像素值分别为B25到B32。

由于假设前景对象是固体，匀速运动，并且前景的图像移动并出现在下一帧上与任意给定帧内的原始位置向右距离4像素的位置上，因此，图19所示的以在快门打开后的第一快门时间/v表示的从帧#n+1的左边数第九像素的前景分量为F13/v，图19所示的以在快门打开后的第二快门时间/v表示的从左边数第十像素的前景分量也为F13/v。图19所示的以在快门打开后的第三快门时间/v表示的从左边数第十一像素的前景分量和图19所示的以在快门打开后的第四快门时间/v表示的从左边数第十二像素的前景分量都为F13/v。

图19所示的以在快门打开后的第一快门时间/v表示的从帧#n+1的左边数第十像素的前景分量为F14/v，图19所示的以在快门打开后的第二快门时间/v表示的从左边数第十一像素的前景分量也为F14/v。图19所示的以在快门打开后的第一快门时间/v表示的从左边数第十二像素的前景分量为F15/v。

由于背景的对象是静止的，因此，图19所示的以在快门打开后的第二到第四快门时间/v表示的从帧#n+1的左边数第九像素的背景分量为B33/v。图19所示的以在快门打开后的第三和第四快门时间/v表示的从帧#n+1的左边数第十像素的背景分量为B34/v。图19所示的以在快门打开后的第四快门时间/v表示的从帧#n+1的左边数第十一像素的背景分量为B35/v。

在图19所示的帧#n+1中，从左边数第九到第十一像素落在混合区域内，其为未覆盖的背景区域。

在图19中所示的帧#n+1中，第十二像素落在前景区域内。关于快门时间/v的帧#n+1内的前景区域中的前景分量为F13/v到F16/v中的一个。

图20是前景分量被从图19中所示的像素值提取出来的图像的模型图。

现在回到图4，区域确定器103使用多个帧的像素值，使每个像素与指明像素属于前景区域、背景区域、覆盖的背景区域和未覆盖的背景区域中的哪一个的标记相关，并将作为区域信息的标记传送到混合比例计算器104和运动模糊调节器106。

基于多个帧之内的像素值和区域信息，混合比例计算器104计算包含在混合区域内的每个像素的混合比例α，并将计算的混合比例α传送给前景和背景分离器105。

基于多个帧内的像素值、区域信息和混合比例α，前景和背景分离器105提取仅由前景分量构成的前景分图像，并将前景分图像提供给运动模糊调节器106。

基于从前景和背景分离器105提供的前景分图像、从运动检测器102提供的运动矢量和从区域确定器103提供的区域信息，运动模糊调节器106调节包含在前景分图像内的运动模糊量，并输出具有调整的运动模糊量的前景分图像。

下面参考图21中所示的流程图描述用于调节运动模糊量的信号处理器12的处理过程。在步骤S11，区域确定器103响应输入图像执行区域确定过程，以生成指明输入图像的每个像素属于前景区域、背景区域、覆盖的背景区域和未覆盖的背景区域的哪一个的区域信息。后面将详细描述区域确定过程的细节。区域确定器103将生成的区域信息提供到混合比例计算器104。

在步骤S11，基于与每个像素属于前景区域、背景区域和混合区域(其覆盖的背景区域和未覆盖的背景区域之间没有区别)中的哪一个的有关的输入图像，确定器103可以生成输入图像的每个像素的区域信息。在这种情况下，基于运动矢量的方向，前景和背景分离器105以及运动模混调节器106确定混合区域是覆盖的背景区域还是未覆盖的背景区域。例如，当前景区域、混合区域和背景区域以与运动矢量的方向成一条直线的顺序排列时，混合区域被确定为覆盖的背景区域。当背景区域、混合区域和前景区域以与运动矢量的方向成一条直线的顺序排列时，混合区域被确定为未覆盖的背景区域。

在步骤S12，基于输入图像和区域信息，混合比例计算器104计算包含在混合区域内的每个像素的混合比例α。后面将详细描述用于计算混合比例的处理过程。混合比例计算器104将计算的混合比例α提供到前景和背景分离器105。

在步骤S13，前景和背景分离器105基于区域信息和混合比例α从输入图像提取前景分量，并将计算的混合比例α提供到运动模混调节器106。

在步骤S14，运动模糊调节器106基于运动矢量和区域信息生成在运动方向上连续排布的像素的正在处理的单元，其中，像素的正在处理的单元指出当属于未覆盖的背景区域、前景区域和覆盖的背景区域其中之一时其在图像中的位置。运动模糊调节器106相应于正在处理的单元调节包含在前景分量中的运动模糊量。后面将详细描述运动模糊量的调节过程。

在步骤S15，信号处理器12确定运动模糊调节过程是否已经对整个屏幕完成。当在步骤S15确定运动模糊调节过程没有完成时，循环到步骤S14，在该步骤中，对相应于正在处理的单元的前景分量重复执行运动模糊量的调节过程。

当在步骤S15中确定运动模糊调节过程完成时，例程结束。

这样，信号处理器12从背景中分离前景，并调节包含在前景中的运动模糊量。特别地，信号处理器12调节包含在采样数据内的运动模糊量，该采样数据为前景的像素的像素值。

下面详细描述区域确定器103、混合比例计算器104、前景和背景分离器105以及运动模糊调节器106各自的结构。

图22是举例说明区域确定器103的结构的方框图。图22所示的区域确定器103没有使用运动矢量。帧存储器201以帧为单位存储输入图像。当处理帧#n时，帧存储器201存储比帧#n早两帧输入的帧#n-2、比帧#n早一帧输入的帧#n-1、帧#n、比帧#n晚一帧输入的帧#n+1和比帧#n晚两帧输入的帧#n+2。

静止/运动确定器202-1从帧存储器201读取与帧#n内将确定区域的图像内的像素的位置相同的帧#n+2内的像素的像素值以及与帧#n内将确定区域的图像内的像素的位置相同的帧#n+1内的像素的像素值，并计算读取的像素值之间的差值的绝对值。静止/运动确定器202-1确定帧#n+2的像素值和帧#n+1的像素值之间的差值的绝对值是否大于预定阈值Th。当静止/运动确定器202-1确定差值的绝对值大于阈值Th时，静止/运动确定器202-1将表明运动的确定结果提供到区域确定器203-1。当静止/运动确定器202-1确定差值的绝对值等于或小于阈值Th时，静止/运动确定器202-1将表明静止的确定结果提供到区域确定器203-1。

静止/运动确定器202-2从帧存储器201读取与帧#n内将确定区域的图像内的像素的位置相同的帧#n+1内的像素的像素值以及帧#n内将确定区域的图像内的像素的像素值，并计算像素值之间的差值的绝对值。静止/运动确定器202-2确定帧#n+1的像素值和帧#n的像素值之间的差值的绝对值是否大于预定阈值Th。当静止/运动确定器202-2确定差值的绝对值大于阈值Th时，静止/运动确定器202-2将表明运动的确定结果提供到区域确定器203-1和区域确定器203-2。当静止/运动确定器202-2确定差值的绝对值等于或小于阈值Th时，静止/运动确定器202-2将表明静止的确定结果提供到区域确定器203-1和区域确定器203-2。

静止/运动确定器202-3从帧存储器201读取帧#n内将确定区域的图像内的像素的像素值以及与帧#n内将确定区域的图像内的像素的位置相同的帧#n-1内的像素的像素值，并计算读取的像素值之间的差值的绝对值。静止/运动确定器202-3确定帧#n的像素值和帧#n-1的像素值之间的差值的绝对值是否大于预定阈值Th。当静止/运动确定器202-3确定差值的绝对值大于阈值Th时，静止/运动确定器202-3将表明运动的确定结果提供到区域确定器203-2和区域确定器203-3。当静止/运动确定器202-3确定差值的绝对值等于或小于阈值Th时，静止/运动确定器202-3将表明静止的确定结果提供到区域确定器203-2和区域确定器203-3。

静止/运动确定器202-4从帧存储器201读取与帧#n内将确定区域的图像内的像素的位置相同的帧#n-1内的像素的像素值以及与帧#n内将确定区域的图像内的像素的位置相同的帧#n-2内的像素的像素值，并计算读取的像素值之间的差值的绝对值。静止/运动确定器202-4确定帧#n-1的像素值和帧#n-2的像素值之间的差值的绝对值是否大于预定阈值Th。当静止/运动确定器202-4确定差值的绝对值大于阈值Th时，静止/运动确定器202-4将表明运动的确定结果提供到区域确定器203-3。当静止/运动确定器202-4确定差值的绝对值等于或小于阈值Th时，静止/运动确定器202-4将表明静止的确定结果提供到区域确定器203-3。

当由静止/运动确定器202-1提供的静止/运动确定结果表明静止时和当由静止/运动确定器202-2提供的静止/运动确定结果表明运动时，区域确定器203-1确定帧#n内将确定区域的像素落在未覆盖背景内，并将将确定区域的像素的未覆盖背景区域确定标记设置为“1”，以指出像素属于未覆盖背景区域。

当由静止/运动确定器202-1提供的静止/运动确定结果表明运动时或当由静止/运动确定器202-2提供的静止/运动确定结果表明静止时，区域确定器203-1确定帧#n内将确定区域的像素未落在未覆盖背景内，并将将确定区域的像素的未覆盖背景区域确定标记设置为“0”，以指出像素不属于未覆盖背景区域。

区域确定器203-1将设定为“1”或“0”的未覆盖背景区域确定标记传送到确定标记存储帧存储器204。

当由静止/运动确定器202-2提供的静止/运动确定结果表明静止时和当由静止/运动确定器202-3提供的静止/运动确定结果表明静止时，区域确定器203-2确定帧#n内将确定区域的像素落在静止部分内，并将将确定区域的像素的静止部分确定标记设置为“1”，以指出像素属于静止部分。

当由静止/运动确定器202-2提供的静止/运动确定结果表明运动时或当由静止/运动确定器202-3提供的静止/运动确定结果表明运动时，区域确定器203-2确定帧#n内将确定区域的像素不落在静止部分内，并将将确定区域的像素的静止部分确定标记设置为“0”，以指出像素不属于静止部分。

区域确定器203-2将设定为“1”或“0”的静止部分确定标记传送到确定标记存储帧存储器204。

当由静止/运动确定器202-2提供的静止/运动确定结果表明运动时和当由静止/运动确定器202-3提供的静止/运动确定结果表明运动时，区域确定器203-2确定帧#n内将确定区域的像素落在运动部分内，并将将确定区域的像素的运动部分确定标记设置为“1”，以指出像素属于运动部分。

当由静止/运动确定器202-2提供的静止/运动确定结果表明静止时或当由静止/运动确定器202-3提供的静止/运动确定结果表明静止时，区域确定器203-2确定帧#n内将确定区域的像素不落在运动部分内，并将将确定区域的像素的运动部分确定标记设置为“0”，以指出像素不属于运动部分。

区域确定器203-2将设定为“1”或“0”的运动部分确定标记传送到确定标记存储帧存储器204。

当由静止/运动确定器202-3提供的静止/运动确定结果表明运动时和当由静止/运动确定器202-4提供的静止/运动确定结果表明静止时，区域确定器203-3确定帧#n内将确定区域的像素落在覆盖的背景区域内，并将将确定区域的像素的覆盖背景区域确定标记设置为“1”，以指出像素属于覆盖的背景区域。

当由静止/运动确定器202-3提供的静止/运动确定结果表明静止时或当由静止/运动确定器202-4提供的静止/运动确定结果表明运动时，区域确定器203-3确定帧#n内将确定区域的像素不落在覆盖的背景区域内，并将将确定区域的像素的覆盖背景区域确定标记设置为“0”，以指出像素不属于覆盖的背景区域。

区域确定器203-3将设定为“1”或“0”的覆盖背景区域确定标记传送到确定标记存储帧存储器204。

确定标记存储帧存储器204存储由区域确定器203-1提供的未覆盖背景区域确定标记、由区域确定器203-2提供的静止部分确定标记、由区域确定器203-2提供的运动部分确定标记和由区域确定器203-3提供的覆盖的背景区域确定标记。

确定标记存储帧存储器204将自身存储的未覆盖背景区域确定标记、静止部分确定标记、运动部分确定标记和覆盖背景区域确定标记传送到合成器205。合成器205基于确定标记存储帧存储器204提供的覆盖背景区域确定标记、静止部分确定标记、运动部分确定标记和覆盖背景区域确定标记生成区域信息，该信息表明每个像素落在未覆盖的背景区域、静止部分、运动部分和未覆盖的背景区域中的哪一区域中。然后，将生成的区域信息传送到确定标记存储帧存储器206。

确定标记存储帧存储器206存储合成器205提供的区域信息，同时输出存储的区域信息。

下面将参考图23到27详细描述区域确定器103的处理过程。

当前景的对象运动时，图像内的对象的位置每帧发生变化。参考图23，在帧#n中位于Yn(x，y)的对象的图像在下一帧即帧#n+1中位于Yn+1(x，y)。

图24是举例说明像素的像素值的模型图，该像素在相应于前景对象的图像的运动的方向上连续排成一行，其中像素值沿时间轴伸展。例如，当相应于前景对象的图像的运动的方向在屏幕上为水平时，排成一行的相邻像素的像素值在图24所示的模型图内沿时间轴伸展。

参考图24，帧#n中的线与帧#n+1中的线相同。

从左边数起包含在帧#n内的第二像素到第十三像素内的对象的前景分量包含在从左边数起帧#n+1内的第六像素到第十七像素内。

左边数起帧#n内的第十一到第十三像素落在覆盖的背景区域，左边数起帧#n内的第二到第四像素落在未覆盖的背景区域。左边数起帧#n+1内的第十五到第十七像素落在覆盖的背景区域，左边数起帧#n+1内的第六到第八像素落在未覆盖的背景区域。

由于包含在帧#n内的前景分量在帧#n+1中如图24所示移动了4个像素，因此，移动量v为4。根据移动量v，虚拟除数为4。

下面将详细描述属于目标帧之前和之后的混合区域的像素的像素值的改变。

参考图25，背景是静止的，在帧#n中，前景的移动量是4。左边数起帧#n内的第十五到第十七像素落在覆盖的背景区域。由于移动量为4，因此，左边数起帧#n-1即前一帧内的第十五到第十七像素仅包含背景分量，并落在前景区域内。在帧#n+2即更前一帧中，左边数起第十五到第十七像素仅包含背景分量，并落在背景区域内。

由于背景的对象是静止的，因此左边数起帧#n-1内的第十五像素的像素值从由左边数起帧#n-2内的第十五像素的像素值开始保持不变。同样，左边数起帧#n-1内的第十六像素的像素值从由左边数起帧#n-2内的第十六像素的像素值开始保持不变，左边数起帧#n-1内的第十七像素的像素值从由左边数起帧#n-2内的第十七像素的像素值开始保持不变。

特别地，相应于帧#n内的属于覆盖的背景区域的像素的帧#n-1和#n-2中的每一个内的像素包含仅具有不变的像素值的背景分量。像素值之间的差值的绝对值基本为零。因此，静止/运动确定器202-4执行与相应于帧#n内的属于混合区域的像素的帧#n-1和#n-2中的每一个内的像素有关的静止/运动确定过程，从而确定静止的像素。

由于帧#n中落在覆盖的背景区域内的像素包含前景分量，因此，这些像素的像素值不同于仅帧#n-1中具有背景分量的像素的像素值。静止/运动确定器202-3确定帧#n内落在混合区域内的像素和运动时帧#n一1中的相应的像素。

一旦从静止/运动确定器202-3接收到表明运动的静止/运动确定结果和从静止/运动确定器202-4接收到表明静止的静止/运动确定结果，区域确定器203-3将确定落在覆盖的背景内的相应的像素。

参考图26，背景是静止的，前景的移动量v为4。左边数起帧#n内的第二到第四像素落在未覆盖的背景区域。由于移动量为4，因此，左边数起帧#n+1即后一帧内的第二到第四像素仅包含背景分量，并落在背景区域内。在帧#n+2即更后一帧中，左边数起第二到第四像素仅包含背景分量，并落在背景区域内。

由于背景区域的对象是静止的，因此左边数起帧#n+2内的第二像素的像素值从由左边数起帧#n+1内的第二像素的像素值开始保持不变。同样，左边数起帧#n+2内的第三像素的像素值从由左边数起帧#n+1内的第三像素的像素值开始保持不变，左边数起帧#n+2内的第四像素的像素值从由左边数起帧#n+1内的第四像素的像素值开始保持不变。

特别地，相应于帧#n内的属于未覆盖的背景区域的像素的帧#n+1和#n+2中的每一个内的像素包含仅具有保持不变的像素值的背景分量。像素值之间的差值的绝对值基本为零。因此，静止/运动确定器202-1执行与相应于帧#n内的属于混合区域的像素的帧#n+1和#n+2中的每一个内的像素有关的静止/运动确定过程，从而确定静止时的像素。

由于帧#n中落在未覆盖的背景区域内的像素包含前景分量，因此，这些像素的像素值不同于仅帧#n-1中具有背景分量的像素的像素值。静止/运动确定器202-2确定帧#n内落在混合区域内的像素和运动时帧#n+1中的相应的像素。

一旦从静止/运动确定器202-2接收到表明运动的静止/运动确定结果和从静止/运动确定器202-1接收到表明静止的静止/运动确定结果，区域确定器203-1确定落在未覆盖的背景内的相应的像素。

图27举例说明了帧#n内区域确定器103的区域确定情况。当与被确定为帧#n内的图像中的像素具有相同位置的帧#n-2中的像素被确定相对于与被确定为帧#n内的图像中的像素具有相同位置的帧#n-1中的像素静止时，和当与被确定为帧#n内的图像中的像素具有相同位置的帧#n-1中的像素被确定相对于帧#n中的像素运动时，区域确定器103确定被确认为帧#n中的像素落在覆盖的背景区域内。

当帧#n中的像素被确定为相对于与被确定为帧#n内的图像中的像素具有相同位置的帧#n-1中的像素静止时，和当与被确定为帧#n内的图像中的像素具有相同位置的帧#n+1中的像素被确定为相对于的帧#n中的像素静止时，区域确定器103确定被确认为帧#n中像素落在静止部分内。

当帧#n中的像素被确定为相对于与被确定为帧#n内的图像中的像素具有相同位置的帧#n-1中的像素运动时，和当与被确定为帧#n内的图像中的像素具有相同位置的帧#n+1中的像素被确定为相对于的帧#n中的像素运动时，区域确定器103确定被确认为帧#n中像素落在运动部分内。

当与被确定为帧#n内的图像中的像素具有相同位置的帧#n+1中的像素被确定相对于帧#n中的像素运动时，和当与被确定为帧#n内的图像中的像素具有相同位置的帧#n+2中的像素被确定为相对于与被确定为帧#n内的图像中的像素具有相同位置的帧#n+1中的像素静止时，区域确定器103确定被确认为帧#n中的像素落在未覆盖的背景区域内。

图28A到图28D举例说明了由区域确定器103提供的区域确定结果。参考图28A，被确定为落在覆盖的背景区域中的像素呈现白色。参考图28B，被确定为落在未覆盖的背景区域中的像素呈现白色。

参考图28C，被确定为落在运动部分中的像素呈现白色。参考图28D，被确定为落在静止部分中的像素呈现白色。

图29举例说明了以图像表示的从确定标记存储帧存储器206输出的区域信息的混合区域。参考图29，被确定为落在覆盖的背景区域或未覆盖的背景区域中的像素，即被确定为落在混合区域中的像素，呈现白色。从确定标记存储帧存储器206输出的代表混合区域的区域信息指出由前景区域内的无纹理部分所环绕的混合区域和纹理呈现区域。

参考图30所示的流程图，下面讨论将区域确定器103的区域确定过程。在步骤S201，帧存储器201获得包含帧#n-2到帧#n+2其中包括被确定的帧#n的图像。

在步骤S202，静止/运动确定器202-3确定帧#n中的像素是否相对于帧#n中相同位置的像素静止。当确定这些像素静止时，例程执行步骤S203。静止/运动确定器202-2确定帧#n+1中的像素是否相对于帧#n中相同位置的像素静止。

当在步骤S203中确定帧#n+1中的像素相对于帧#n中相同位置的像素静止时，例程执行步骤S204。区域确定器203-2将将被确定区域的像素的静止部分确定标记设定为“1”，以表明像素落在静止部分内。区域确定器203-2将静止部分确定标记提供到确定标记存储帧存储器204，然后，例程执行步骤S205。

当在步骤S202确定帧#n中的像素相对于帧#n-1中相同位置的像素运动时，或当在步骤S203中确定帧#n+1中的像素相对于帧#n中相同位置的像素运动时，帧#n中的像素不落在静止部分内，跳过步骤S204，例程执行步骤S205。

在步骤S205，静止/运动确定器202-3确定帧#n中的像素是否相对于帧#n-1中相同位置的像素运动。当确定这些像素运动时，例程执行步骤S206。静止/运动确定器202-2确定帧#n+1中的像素是否相对于帧#n中相同位置的像素静止。

当在步骤S206中确定帧#n+1中的像素从帧#n中相同位置的像素运动时，例程执行步骤S207。区域确定器203-2将将确定区域的像素的运动部分确定标记设定为“1”，以表明像素落在运动部分内。区域确定器203-2将运动部分确定标记提供到确定标记存储帧存储器204，例程执行步骤S208。

当在步骤S205确定帧#n中的像素相对于帧#n-1中相同位置的像素静止时，或当在步骤S206中确定帧#n+1中的像素相对于帧#n中相同位置的像素静止时，帧#n中的像素不落在运动部分内。跳过步骤S207，例程执行步骤S208。

在步骤S208，静止/运动确定器202-4确定帧#n-1中的像素是否相对于帧#n-2中相同位置的像素静止。当确定这些像素静止时，例程执行步骤S209。静止/运动确定器202-3确定帧#n中的像素是否已从帧#n-1中相同位置的像素开始运动。

当在步骤S209中确定帧#n中的像素从帧#n-1中相同位置的像素已经运动时，例程执行步骤S210。区域确定器203-3将将被确定区域的像素的覆盖背景区域确定标记设定为“1”，以表明像素落在覆盖的背景区域内。区域确定器203-3将覆盖背景区域确定标记提供到确定标记存储帧存储器204，接着例程执行步骤S211。

当在步骤S208确定帧#n-1中的像素从帧#n-2中相同位置的像素已经开始运动时，或当在步骤S209中确定帧#n中的像素相对于帧#n-1中相同位置的像素静止时，帧#n中的像素不落在覆盖的背景区域内。跳过步骤S210，例程执行步骤S211。

在步骤S211，静止/运动确定器202-2确定帧#n+1中的像素是否已经从帧#n中相同位置的像素开始移动。当确定这些像素已经移动时，例程执行步骤S212。静止/运动确定器202-1确定帧#n+2中的像素是否相对于帧#n+1中相同位置的像素静止。

当在步骤S212中确定帧#n+2中的像素相对于帧#n+1中相同位置的像素保持静止时，例程执行步骤S213。区域确定器203-1将将被确定区域的像素的未覆盖背景区域确定标记设定为“1”，以表明像素落在未覆盖的背景区域内。区域确定器203-1将未覆盖背景区域确定标记提供到确定标记存储帧存储器204，例程执行步骤S214。

当在步骤S211确定帧#n+1中的像素相对于帧#n中相同位置的像素保持静止时，或当在步骤S212中确定帧#n+2中的像素已经从帧#n+1中相同位置的像素开始运动时，帧#n中的像素不落在未覆盖的背景区域内。跳过步骤S213，例程执行步骤S214。

在步骤S214，区域确定器103确定帧#n内的所有像素是否都已经确定了区域。当确定帧#n中的所有像素还没有确定区域时，例程回到步骤S202，区域确定过程的例程重新开始(start over)，以完成所有像素的区域确定过程。

当在步骤S214确定帧#n内的所有像素都已经确定了区域时，例程执行步骤S215。合成器205基于存储在确定标记帧存储器204中的未覆盖的背景区域和覆盖的背景区域生成表明混合区域的区域信息，另外，合成器205生成表明每个像素属于未覆盖的背景区域、静止部分、运动部分和覆盖的背景区域中的哪一个的区域信息。然后，在确定标记存储帧存储器206中设定生成的区域信息，例程结束。

以一个接一个的像素为基础，区域确定器103可以生成指出帧中每个像素属于运动部分、静止部分、未覆盖的背景区域和覆盖的背景区域中的哪一个的区域信息。

通过对未覆盖的背景区域和覆盖的背景区域采用逻辑或门，区域确定器103生成相应于混合区域的区域信息。然后，区域确定器103可以生成由标记形成的区域信息，该标记指出帧的每个像素属于运动部分、静止部分和混合部分中的哪一个。

当前景的对象具有纹理时，区域确定器103更精确地识别运动部分。

区域确定器103可以在区域信息代表前景区域时输出表明运动部分的区域信息，在区域信息代表背景信息时可以输出表明静止部分的区域信息。

在上述描述中，背景对象静止。即使相应于背景区域的图像具有运动分量，也可以采用上述区域确定过程。例如，当相应于背景区域的图像匀速运动时，区域确定器103通过根据运动过程切换整个图像执行与背景对象静止时相同的处理过程。当背景区域的图像包含随位置的不同而不同的运动部分时，区域确定器103响应各运动过程选择像素，并执行上述过程。

图31是举例说明区域确定器103的另一结构的方框图。图31所示的区域确定器103没有使用运动矢量。背景图像发生器301产生相应于输入图像的背景图像，并将生成的背景图像提供给二进制对象图像提取器302。背景图像发生器301提取包含在输入图像中的相应于背景对象的图像对象，从而生成背景图像。

图32是举例说明像素的像素值的模型图，该像素在相应于前景对象的图像的运动的方向上连续排成一行，其中像素值沿时间轴伸展。例如，相应于前景对象的图像的运动在屏幕上为水平，像素的像素值在图32所示的模型图上连续排成一行。

参考图32，帧#n中的线与帧#n+1中的线相同。

帧#n中从左边数起第六到第十七像素中的对象的前景分量包含在帧#n-1中从左边数起第二到第十三像素中，也包含在帧#n十1中从左边数起第十到第二十一像素中。

帧#n-1中从左边数起第十一到第十三像素落在覆盖的背景区域内，帧#n-1中从左边数起第二到第四像素落在未覆盖的背景区域内。帧#n中从左边数起第十五到第十七像素落在覆盖的背景区域内，帧#n中从左边数起第六到第八像素落在未覆盖的背景区域内。帧#n+1中从左边数起第十九到第二十一像素落在覆盖的背景区域内，帧#n+1中从左边数起第十到第十二像素落在未覆盖的背景区域内。

帧#n-1中从左边数起第一和第十四到第二十一像素落在背景区域内。帧#n中从左边数起第一到第十五像素和第十八到第二十一像素落在背景区域内。帧#n+1中从左边数起第一到第九像素落在背景区域内。

图33举例说明了相应于图32中所示的实施例的背景图像的实施例，其由背景图像发生器301产生。背景图像由背景对象的像素构成，不包括前景对象的图像分量。

二进制对象图像提取器302基于背景图像和输入图像之间的相关性生成二进制对象图像，并将生成的二进制对象图像提供给序时改变检测器303。

图34是举例说明二进制对象图像提取器302的结构的方框图。相关值计算器321计算从背景图像发生器301输入的背景图像和输入图像之间的相关性，生成相关值。然后，计算出的相关值被传送到阈值处理器322。

相关值计算器321将方程式(4)应用于图35A所示的以X₄为中心的背景图像的3×3方框和图35B所示的以Y₄为中心的输入图像的3×3方框，从而计算Y₄的相关值。

$\stackrel{\‾}{X}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Xi}}{9}---\left(5\right)$

$\stackrel{\‾}{Y}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Yi}}{9}---\left(6\right)$

相关值计算器321将这样计算的每个像素的相关值提供给阈值处理器322。

相关值计算器321可以将方程式(7)应用于图36A所示的以X₄为中心的背景图像的3×3方框和图36B所示的以Y₄为中心的输入图像的3×3方框，从而计算Y₄的相关值。

相关值计算器321将差值的绝对值之和传送到阈值处理器322，作为相关值。

阈值处理器322将相关图像的像素值与阈值th0进行比较。阈值处理器322在相关值等于或小于阈值th0时将二进制对象图像的像素值设定为1，在相关值大于阈值th0时将二进制对象图像的像素值设定为0。然后输出像素值被设定为0或1的二进制对象图像。阈值处理器322可以存储预置的阈值th0，或使用从外部输入的阈值th0。

图37举例说明了相应于图32中所示的输入图像的模型的二进制对象图像。在该二进制对象图像中，与背景图像具有高相关性的像素被设定为0。

图38是举例说明序时改变检测器303的结构的方框图。当对帧#n中的像素执行区域确定时，帧存储器341存储从二进制对象图像提取器302输出的帧#n-1、帧#n和帧#n+1的二进制对象图像。

区域确定器342基于存储在帧存储器341内的帧#n-1、帧#n和帧#n+1的二进制对象图像执行帧#n内的每个像素的区域确定过程，从而生成和输出区域信息。

图39举例说明了区域确定器342的确定过程。当帧#n中的二进制对象图像内的目标像素为0时，区域确定器342确定帧#n中的目标像素落在背景区域内。

当帧#n-1中的二进制对象图像内的目标像素为1时，当帧#n中的二进制对象图像内的目标像素为1时，和当帧#n+1中的二进制对象图像内的目标像素为1时，区域确定器342确定帧#n中的目标像素落在前景区域中。

当帧#n中的二进制对象图像内的目标像素为1时，和当帧#n-1中的二进制对象图像内的目标像素为0时，区域确定器342确定帧#n中的目标像素落在覆盖的背景中。

当帧#n中的二进制对象图像内的目标像素为1时，和当帧#n+1中的二进制对象图像内的目标像素为0时，区域确定器342确定帧#n中的目标像素落在未覆盖的背景中。

图40举例说明了在相应于图32中所示的输入图像的二进制对象图像中执行的序时改变检测器303的确定过程。由于帧#n中二进制对象图像的相应的像素为0，因此，序时改变检测器303确定帧#n中从左边数起第一到第十五像素落在背景区域中。

由于帧#n中二进制对象图像的像素为1，并且帧#n-1中相应的像素为0，因此，序时改变检测器303确定帧#n中从左边数起第六到第九像素落在未覆盖的背景中。

由于帧#n中二进制对象图像的像素为1，帧#n-1中相应的像素为1，并且帧#n+1中相应的像素为1，因此，序时改变检测器303确定帧#n中从左边数起第十到第十三像素落在前景区域中。

由于帧#n中二进制对象图像的像素为1，帧#n-1中相应的像素为0，因此，序时改变检测器303确定帧#n中从左边数起第十四到第十七像素落在覆盖的背景中。

由于帧#n中二进制对象图像的像素为0，因此，序时改变检测器303确定帧#n中从左边数起第十八到第二十一像素落在背景区域中。

参考图41中所示的流程图，下面将描述区域确定器103的区域确定过程。在步骤S301，区域确定器103中的背景图像发生器301提取包含输入图像中的相应于前景对象的图像对象，生成背景图像，并将生成的背景传送到二进制对象图像提取器302。

在步骤S302，二进制对象图像提取器302通过图35A和35B所描述的过程计算输入图像和由背景图像发生器301提供的背景图像之间的相关值。在步骤S303，二进制对象图像提取器302将相关值与阈值th0进行比较，以从相关值和阈值th0得到二进制对象图像。

在步骤S304，序时改变检测器303执行区域确定过程，从而结束例程。

参考图42中所示的流程图，下面将详细描述步骤S304中的区域确定过程。在步骤S321，序时改变检测器303中的区域确定器342确定存储在帧存储器341中的帧#n中的目标像素是否为0。当确定目标像素为0时，例程执行步骤S322。帧#n中的目标像素被设定为落在背景区域中，然后例程结束。

当在步骤S321确定帧#n中的目标像素为1时，例程执行步骤S323。序时改变检测器303中的区域确定器342确定存储在帧存储器341中的帧#n中的目标像素是否为1和帧#n-1中的相应的像素是否为0。当确定存储在帧存储器341中的帧#n内的目标像素为1，并且帧#n-1中相应的像素为0时，例程执行步骤S324。区域确定器342设定帧#n中的目标像素落在覆盖的背景区域中，然后结束例程。

当在步骤S323确定帧#n中的目标像素为0或帧#n-1中的相应的像素为1时，例程执行步骤S325。序时改变检测器303中的区域确定器342确定存储在帧存储器341中的帧#n中的目标像素是否为1和帧#n+1中的相应的像素是否为0。当确定存储在帧存储器341中的帧#n内的目标像素为1，并且帧#n+1中相应的像素为0时，例程执行步骤S326。区域确定器342设定帧#n中的目标像素落在未覆盖的背景区域中，然后结束例程。

当在步骤S325确定帧#n中的目标像素为0或帧#n+1中的相应的像素为1时，例程执行步骤S327。序时改变检测器303中的区域确定器342设定帧#n中的目标像素落在前景区域中，然后结束例程。

这样，区域确定器103基于相应于输入图像的背景图像和相关值确定输入图像的每个像素属于前景区域、背景区域、覆盖的背景区域和未覆盖的背景区域中的哪一个。区域确定器103生成相应于确定结果的区域信息。

图43是举例说明区域确定器103的另一结构的方框图。图43所示的区域确定器103使用从运动检测器102提供的运动矢量和其位置信息。相同的附图标记代表与图31中所示相同的组件，对其的描述被省略。

鲁棒化器361基于由二进制对象图像提取器302提供的二进制对象图像的N帧，来鲁棒化二进制对象图像，并将鲁棒化的二进制对象图像传送到序时改变检测器303。

图44是举例说明鲁棒化器361的结构的方框图。运动补偿器381基于从运动检测器102提供的运动矢量和其位置信息对二进制对象图像的N帧的运动进行补偿，并将运动补偿的二进制对象图像传送到转换器382。

参考图45和46，下面将描述运动补偿器381的运动补偿过程。当执行帧#n的区域确定过程时，输入图45所示的二进制对象图像的帧#n-1、帧#n和帧#n+1。基于从运动检测器102提供的运动矢量，运动补偿器381对图46中所示的二进制对象图像的帧#n-1中和二进制对象图像的帧#n+1中的运动进行补偿，并将运动补偿的二进制对象图像传送到转换器382。

转换器382将第一帧运动补偿的二进制对象图像输出到帧存储器383-1，将第二帧运动补偿的二进制对象输出到帧存储器383-2。同样，转换器382分别将第三到第N-1帧运动补偿的二进制对象图像输出到帧存储器383-3到383-(N-1)，并最后将第N帧运动补偿的二进制对象图像输出到帧存储器383-N。

帧存储器383-1存储第一帧运动补偿的二进制对象图像，并将存储的二进制对象图像输出到加权单元384-1。帧存储器383-2存储第二帧运动补偿的二进制对象图像，并将存储的二进制对象图像输出到加权单元384-2。

帧存储器383-3到383-(N-1)分别存储第三到第N-1帧运动补偿的二进制对象图像，并分别将存储的二进制对象图像输出到加权单元384-3到384-(N-1)。帧存储器383-N存储第N帧运动补偿的二进制对象图像，并将存储的二进制对象图像输出到加权单元384-N。

加权单元384-1将由帧存储器383-1提供的第一帧运动补偿的二进制对象图像的像素值与预定权w1相乘，并将乘积传送到求和单元385。加权单元384-2将由帧存储器383-2提供的第二帧运动补偿的二进制对象图像的像素值与预定权w2相乘，并将乘积传送到求和单元385。

同样，加权单元384-3到加权单元384-(N-1)分别将第三到第N-1帧运动补偿的二进制对象图像的像素值与预定权w3到w(N-1)相乘，并将乘积分别传送到求和单元385。加权单元384-N将第N帧运动补偿的二进制对象图像的像素值与预定权wN相乘，并将乘积传送到求和单元385。

求和单元385对分别乘以了权w1到wN的第一到第N帧运动补偿二进制对象图像的像素求和，并将乘积的和与预定阈值th0进行比较，从而生成二进制对象图像。

鲁棒化器361鲁棒化N个二进制对象图像，并将鲁棒化的对象图像传送到序时改变检测器303。图43所示的区域确定器103执行比图31所示的区域确定器103更精确的区域确定过程，即使输入图像包含噪声也如此。

下面将参考图47中的流程图描述图43中所示的区域确定器103的区域确定过程。步骤S341到步骤S343分别与已经参考图41中的流程图描述的步骤S301到S303相同，其描述这里被省略。

在步骤S344，鲁棒化器361执行鲁棒化过程。

在步骤S345，序时改变检测器303执行区域确定过程，并结束例程。步骤S345中的区域确定过程的细节与参考图42所示的流程图描述的过程相同，因此其描述在这里被省略。

参考图48中的流程图，现在将描述图47中所示的步骤S344中的鲁棒化过程。在步骤S361，运动补偿器381根据从运动检测器102提供的运动矢量和其位置信息执行输入二进制对象图像的运动补偿过程。在步骤S362，帧存储器383-1到383-N中的一个存储从转换器382提供的运动补偿的二进制对象图像。

在步骤S363，鲁棒化器361确定N个二进制对象图像是否已经被存储。当确定N个二进制对象图像还没有被存储时，例程回到步骤S361，以执行对二进制对象图像的运动补偿过程和执行对存储的二进制对象图像的存储过程。

当在步骤S363确定N个二进制对象图像已经被存储时，例程执行步骤S364。加权单元384-1到384-N将N个二进制对象图像与权w1到wN分别相乘，以加权。

在步骤S365，求和单元385对加权的N个二进制对象图像求和。

在步骤S366，求和单元385通过将求和的二进制对象图像与预定阈值th1进行比较而从求和图像中产生二进制对象图像，例程结束。

这样，如图43所示构成的区域确定器103基于鲁棒化的二进制对象图像生成区域信息。

与包含在帧中的每个像素有关，区域确定器103生成表明每个像素属于运动部分、静止部分、未覆盖的背景区域和覆盖的背景区域中的哪一个的区域信息。

图49是举例说明混合比例计算器104的结构的方框图。估算的混合比例处理器401通过计算输入图像中的覆盖的背景区域的模型确定每个像素的估算混合比例，然后将计算的估算混合比例传送到混合比例确定器403。

估算混合比例处理器402通过计算输入图像中的覆盖的背景区域的模型确定每个像素的估算混合比例，然后将计算的估算混合比例传送到混合比例确定器403。

假设前景的对象在快门时间保持匀速运动，那么，属于混合区域的像素的混合比例α具有下面的特性。特别地，混合比例α相对于像素位置的改变而线性变化。例如，如果像素的位置的改变是一维的，混合比例α的改变将由直线表示。如果像素的位置的改变是二维的，混合比例α的改变将由平面表示。

由于一帧的持续时间很短，因此，假设前景的对象是固体的，并保持匀速运动。

混合比例α的梯度与前景的快门时间内的移动量v成反比。

图50举例说明了理想混合比例α。混合区域内的理想混合比例α的梯度1由移动量v的反比例表示。

参考图50，理想混合比例α在背景区域内为1，在前景区域内为0，在混合区域内为大于0但小于1。

参考图51所示的实施例，帧#n中从左边数起第七像素的像素值C06由使用帧#n-1中从左边数起第七像素的像素值P06的方程式(8)表示。

C06＝B06/v+B06/v+F01/v+F02/v

   ＝P06/v+P06/v+F01/v+F02/v                 (8)

$=2/v\·P06+\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}/v$

在方程式(8)中，像素值C06以混合区域中的像素的像素值M表示，像素值P06以背景区域中的像素的像素值B表示。特别地，混合区域中的像素的像素值M和背景区域中的像素的像素值B由方程式(9)和(10)表示。

M＝C06                             (9)

B＝P06                             (10)

方程式(8)中的2/v相应于混合比例α。由于移动量v为4，因此，帧#n中从左边数起第七像素的混合比例α为0.5。

如上所述，目标帧#n中的像素值C被认为是混合区域中的像素值，帧#n前一帧的帧#n-1中的像素值P被认为是背景区域中的像素值。表示混合比例α的方程式(3)如方程式(11)所改写。

C＝α·P+f                         (11)

其中，f代表包含在目标像素中的前景分量的和∑_iFi/v。包含在方程式(11)中的变量为两个，即，混合比例α和前景分量的和f。

图52是举例说明沿时间轴延伸的像素值的模型图，其中，在覆盖的背景中，v的量为4，时间轴上的虚拟除数为4。

与在覆盖的背景区域中的像素值的表示式中相同，在未覆盖的背景区域中，目标帧#n的像素值C被认为是混合区域中的像素值，帧#n后一帧的帧#n+1中的像素值N被认为是在背景区域中的像素值。表示混合比例α的方程式(3)被改写为方程式(12)。

C＝α·N+f                         (12)

背景的对象在上述描述中静止。即使当背景对象移动时，也可以通过使用相应于移动量v的位置中的像素的像素值而使用方程式(8)到(12)。例如，当背景对象的移动量v是2、虚拟除数为2，并且背景对象如图所示向右移动时，方程式(10)中的背景区域中的像素的像素值B为像素值P04。

由于方程式(11)和(12)中的每一个包含两个变量，因此，混合比例α不能在当前的形式中确定。

用于近似在空间的方向上的混合比例α以及前景分量的和f的方程式利用混合比例α的特性而公式化，该混合比例α具有响应像素随前景对象匀速运动在位置上的改变而线性变化的特性。近似混合比例α和前景分量的和f的方程式使用多个落在混合区域中的像素的像素值和落在背景区域的像素的像素值的组合而被求解。

线性逼进的混合比例α的变化由方程式(13)表示。

α＝il+p                           (13)

其中在形成目标像素的混合比例α时，i是从0点处开始目标像素的位置在空间方向上的坐标，1是混合比例α的线的梯度，p是混合比例α的线的截距。在方程式(13)中，坐标i是已知的，但是梯度1和截距p是未知的。

图53举例说明了坐标i、梯度1和截距p之间的相互关系。

通过采用方程式(13)近似混合比例α，多个像素的多个不同的混合比例α由两个变量所表示。在图53所示的实施例中，五个像素的五个混合比例由两个变量表示，即，梯度1和截距p。

现在，采用图54中所示的平面近似混合比例α。当考虑到在图像的水平方向和垂直方向这两个方向上的移动v而使方程式(13)在平面上延伸时，混合比例α以方程式(14)表示。

α＝jm+kq+P                        (14)

其中，j是从0点处开始目标像素的位置在水平方向上的坐标，k是在垂直方向上的坐标，m是混合比例α的平面在水平方向上的梯度，q是混合比例α的平面在垂直方向上的梯度，p是混合比例α的平面的截距。

在图51中所示的帧#n中，方程式(15)到(17)与C05到C07相关地建立。

C05＝α05·B05/v+f05               (15)

C06＝α06·B06/v+f06               (16)

C07＝α07·B07/v+f07               (17)

假设前景分量在临近部分彼此重合，换句话说，假设F01到F03彼此相等，Fc替代F01和F03，则方程式(18)成立。

f(x)＝(1-α(x))·Fc                (18)

其中，x代表在空间方向上的位置。

如果用方程式(14)取代α(x)，方程式(18)将由方程式(19)所表示。

f(x)＝(1-(jm+kq+p))·Fc

    ＝j·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)

    ＝js+kt+u                      (19)

其中(-m·Fc)、(-q·Fc)和(1-p)·Fc分别由方程式(20)到(22)表示。

s＝-m·Fc                          (20)

t＝-q·Fc                          (21)

u＝(1-p)·Fc                       (22)

其中，j是从0点处开始目标像素的位置在水平方向上的坐标，k是在垂直方向上的坐标。

这样，由于假设前景对象在快门时间内匀速运动，并假设前景分量在相邻区域中彼此重合成立，因此，前景分量的和可以由方程式(19)表示。

当混合比例α采用直线近似时，前景分量的和由方程式(23)表示。

f(x)＝is+u                         (23)

如果用方程式(14)和(19)取代方程式(13)中的混合比例α和前景分量的和，像素值M将由方程式(24)表示。

M＝(jm+kq+p)·B+js+kt+u

 ＝jB·m+kB·q+B·p+j·s+k·t+u    (24)

其中，有六个未知变量，即，混合比例α的平面在水平方向上的梯度m，混合比例α的平面在垂直方向上的梯度q，混合比例α的平面的截距p，s，t，和u。

像素值M和像素值B在方程式(24)内对目标像素的附近的像素建立，对多个方程式采用最小二乘法，在该方程式中，建立了像素M和和像素B，以计算混合比例α。

例如，如果在标准方程(normal equation)(24)中对围绕目标像素的3×3的像素建立像素值M或像素值B，其中，该目标像素具有0点处开始在水平方向上的目标像素的坐标j和0点处开始在垂直方向上的目标像素的坐标k，那么，方程式(25)到(33)将成立。

M_-1，-1＝(-1)·B_-1，-1·m+(-1)·B_-1，-1·q+B_-1，-1·p+(-1)·s+(-1)·t+u    (25)

M_0，-1＝(0)·B_0，-1·m+(-1)·B_0，-1·q+B_0，-1·p+(0)·s+(-1)·t+u         (26)

M_+1，-1＝(+1)·B_+1，-1·m+(-1)·B_+1，-1·q+B_+1，-1·p+(+1)·s+(-1)·t+u    (27)

M_-1，0＝(-1)·B_-1，0·m+(0)·B_-1，0·q+B_-1，0·p+(-1)·s+(0)·t+u         (28)

M_0，0＝(0)·B_0，0·m+(0)·B_0，0·q+B0_，0·p+(0)·s+(0)·t+u             (29)

M_+1，0＝(+1)·B_+1，0·m+(0)·B_+1，0·q+B_+1，0·p+(+1)·s+(0)·t+u         (30)

M_-1，+1＝(-1)·B_-1，+1·m+(+1)·B_-1，+1·q+B_-1，+1·p+(-1)·s+(+1)·t+u    (31)

M_0，+1＝(0)·B_0，+1·m+(+1)·B_0，+1·q+B_0，+1·p+(0)·s+(+1)·t+u         (32)

M_+1，+1＝(+1)·B_+1，+1·m+(+1)·B_+1，+1·q+B_+1，+1·p+(+1)·s+(+1)·t+u    (33)

目标像素在水平方向上的坐标j为0，目标像素在垂直方向上的坐标k为0。目标像素的混合比例α等于方程式(14)中j＝0和k＝0时的截距p。

从九个方程式(25)到(33)，可以使用最小二乘法分别计算出水平梯度m、垂直梯度q、截距p、s，t和u，并且截距p作为混合比例α被输出。

下面将详细描述使用最小二乘法计算混合比例α的例程。

如果坐标i和坐标j用单独的坐标x表示，坐标i、坐标j表示，并且坐标x将与方程式(34)相关。

X＝(j+1)·3+(k+1)                  (34)

水平梯度m、垂直梯度q、截距p、s、t和u分别由w0，w1，w2，w3，w4和w5表示，jB，kB，B，j，k和1分别由a0，a1，a2，a3，a4和a5表示。考虑到误差ex，方程式(25)到(33)将改写为方程式(35)。

$\mathrm{Mx}=\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy}+\mathrm{ex}---\left(35\right)$

其中x是截距0到8之一。

方程式(35)导出方程式(36)。

$\mathrm{ex}=\mathrm{Mx}-\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy}---\left(36\right)$

为了使用最小二乘法，误差的平方和现在由方程式(37)定义。

$E=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}{\mathrm{ex}}^2---\left(37\right)$

为了使误差最小化，误差的平方和E相对于变量Wv的偏微分必须为0。这里，v代表整数0到5之一，并且满足方程式(38)的wy被确定。

$\frac{\∂E}{\∂\mathrm{wv}}=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ex}\·\frac{\∂\mathrm{ex}}{\∂\mathrm{wv}}$

$=2\underset{x=0}{\overset{8}{\·\mathrm{\Σ}}}\mathrm{ex}\·\mathrm{av}=0---\left(38\right)$

方程式(36)取代方程式(38)中的ex，然后，生成方程式(39)。

$\underset{x=0}{\overset{8}{\mathrm{\Σ}}}(\mathrm{av}\·\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy})=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{av}\·\mathrm{Mx}---\left(39\right)$

为了计算wy，可以对包含六个方程式的标准方程式采用消除法(高斯-约当消除法)，该六个方程式通过将整数0到5代入方程式(39)而得到。如上所述，w0是水平梯度m，w1是垂直梯度q，w2是截距p，w3是s，w4是t，w5是u。

水平梯度m、垂直梯度q、截距p、s、t和u通过对方程式采用最小二乘法而确定，该方程式中，设定了像素值M和像素值B。

截距p是坐标为i和k为0的中心点的混合比例α，截距p被输出。

在方程式(25)到(33)的讨论中，混合区域中的像素的像素值为M，背景区域中的像素的像素值为B。标准方程必须在目标像素位于覆盖的背景区域中或位于未覆盖的背景区域中的每种情况下列出。

当图51中所示的帧#n中包含在覆盖的背景中的像素的混合比例α被确定时，帧#n中的像素C04到C08和帧#n-1中的像素的像素值P04到P08被代入标准方程式。

当图52中所示的帧#n中包含在未覆盖的背景中的像素的混合比例α被确定时，帧#n中的像素C28到C32和帧#n+1中的像素的像素值N28到N32被代入标准方程式。

当计算图55中所示的包含在覆盖的背景中的像素的混合比例α时，方程式(40)到(48)成立。用于计算混合比例α的像素的像素值为Mc5。

Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u    (40)

Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u      (41)

Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u    (42)

Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u      (43)

Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u        (44)

Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u      (45)

Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u    (46)

Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u      (47)

Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u    (48)

当帧#n中包含在覆盖的背景中的像素的混合比例α被计算时，帧#n-1中相应于帧#n中的像素的像素的背景区域中的像素的像素值Bc1到Bc9用于方程式(40)到(48)。

当计算包含在未覆盖的背景区域中的像素的混合比例α时，下面的方程式(49)到(57)成立。用于计算混合比例α的像素的像素值为Mu5。

Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u    (49)

Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u      (50)

Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u    (51)

Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u      (52)

Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u        (53)

Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u      (54)

Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u    (55)

Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u      (56)

Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u    (57)

当计算帧#n中包含在未覆盖的背景中的像素的混合比例α时，帧#n-1中相应于帧#n中的像素的像素的背景区域中的像素的像素值Bu1到Bu9用于方程式(49)到(57)。

图56是举例说明估算的混合比例处理器401的方框图。输入到估算混合比例处理器401中的图像被传送到延迟电路501和像素值设定器502。

延迟电路221对输入图像延迟一帧，并将延迟的输入图像传送到像素值设定器502。当帧#n被作为输入图像输入时，延迟电路221将帧#n-1提供到像素值设定器502。

像素值设定器502设定对其计算混合比例α的像素的附近的像素的像素值和标准方程中的帧#n-1内的像素值。例如，基于方程式(40)到(48)，像素值设定器502设置标准方程中的像素值Mc1到Mc9和像素值Bc1到Bc9。像素值设定器502将其中设定了像素值的标准方程提供到运算单元503。

运算单元503使用消除法解决由像素值设定器502提供的标准方程，以确定估算混合比例，并输出确定的估算混合比例。

这样，估算混合比例处理器401基于输入图像计算估算混合比例，然后将估算混合比例传送到混合比例确定器403。

估算混合比例处理器402具有与估算混合比例处理器401相同的结构，其描述在这里被省略。

图57举例说明了由估算混合比例处理器401计算的估算混合比例的实施例。参考图57，匀速运动的前景对象的移动量v为11，方程使用7×7像素的方框作为一个单元而形成。然后从方程中计算估算混合比例，并相对于一条线进行说明。

如图50所示，估算混合比例通常在混合区域中线性改变。

混合比例确定器403基于由区域确定器101提供的区域信息设定混合比例，该区域信息指明每个具有要确定的混合比例的像素分别属于前景区域、背景区域、覆盖的背景区域和未覆盖的背景区域中的哪一个。混合比例确定器403在目标像素属于前景区域时将混合比例设定为0，在目标像素属于背景区域时将混合比例设定为1，在目标像素属于覆盖的背景区域时将混合比例设定为由估算混合比例处理器401提供的估算混合比例，在目标像素属于未覆盖的背景区域时将混合比例设定为由估算混合比例处理器402提供的估算混合比例。混合比例确定器403输出响应区域信息确定的混合比例。

参考图58中所示的流程图，下面将描述用于计算混合比例的混合比例计算器102的计算过程。在步骤S501，混合比例计算器102获得从区域确定器101提供的区域信息。在步骤S502，估算混合比例处理器401使用覆盖的背景区域的模型执行混合比例估算过程，并将估算混合比例传送到混合比例确定器403。后面将参考图59中的流程图对混合比例估算过程进行描述。

在步骤S503，估算混合比例处理器402使用未覆盖的背景区域的模型执行混合比例估算过程，并将估算混合比例传送到混合比例确定器403。

在步骤S504，混合比例计算器102确定是否已经对整个帧估算了混合比例。当确定对整个帧的混合比例的估算还没有完成时，例程返回到步骤S502，以执行下一像素的混合比例的估算过程。

当在步骤S504确定对整个帧的混合比例的估算已经完成时，例程执行步骤S505。混合比例确定器403根据区域信息设定混合比例，该区域信息由区域确定器101提供，并指明每个具有要确定混合比例的像素分别属于前景区域、背景区域、覆盖的背景区域和未覆盖的背景区域中的哪一个。混合比例确定器403在目标像素属于前景区域时将混合比例设定为0，在目标像素属于背景区域时将混合比例设定为1，在目标像素属于覆盖的背景区域时将混合比例设定为由估算混合比例处理器401提供的估算混合比例，在目标像素属于未覆盖的背景区域时将混合比例设定为由估算混合比例处理器402提供的估算混合比例。

这样，混合比例计算器102基于由区域确定器101提供的区域信息和输入图像计算混合比例α，其为每个像素的特性量。

混合比例α的使用使得像素值中的前景分量和背景分量可以根据包含在保持原样的运动对象的图像中的运动模糊信息而分离。

下面将参考图59中的流程图对相应于图58中的步骤S502的使用覆盖的背景区域的模型的混合比例估算过程进行描述。

在步骤S521中，像素值设定器502设定包含在输入图像中的像素的像素值，和相应于覆盖的背景区域的模型的标准方程中的包含在由延迟电路221提供的图像中的像素的像素值。

在步骤S522，估算混合比例处理器401确定是否完成了目标像素的像素值的设定。当确定还没有完成像素值的设定时，例程返回步骤S521。重复标准方程中的像素值的设定。

当在步骤S522中确定完成了像素值的设定时，例程执行步骤S523。运算单元173求解其中像素值已经设定的标准方程，从而计算估算混合比例并输出确定的估算比例。

这样，估算混合比例处理器401基于输入图像计算估算混合比例。

图58中所示的步骤S153中的未覆盖的背景的模型的混合比例估算过程从使用未覆盖的背景区域的模型的标准方程的图59中所示的流程图中的过程开始保持不变，其描述在这里被省略。

在上述描述中，背景的对象是静止的。即使相应于背景区域的图像具有运动分量，也可以使用上述的混合比例确定过程。例如，当相应于背景区域的图像匀速运动时，估算混合比例处理器401通过根据运动切换整个图像而执行与在背景的对象静止时相同的处理过程。当背景区域的图像包含随位置不同而不同的运动部分时，估算混合比例处理器401响应各运动选择像素，并执行上述处理过程。

混合比例计算器104可以对所有像素仅执行相应于覆盖的背景区域的模型的混合比例估算过程，并可以输出计算的估算混合比例作为混合比例α。在这种情况下，混合比例α指明属于覆盖的背景区域的像素的背景分量的比例，并指明属于未覆盖的背景区域的像素的前景分量的比例。与未覆盖的背景区域中的像素相关的如此计算的混合比例α和1之间的差值的绝对值被计算，计算的绝对值被设定为混合比例α。信号处理器12由此确定混合比例α，其指明了属于未覆盖的背景的像素的背景区域的比例。

同样，混合比例计算器104可以对所有像素仅执行相应于未覆盖的背景区域的模型的混合比例估算过程，并可以输出计算的估算混合比例作为混合比例α。

下面将描述前景和背景分离器105。图60是举例说明前景和背景分离器105的一个实施例的方框图。传送到前景和背景分离器105的输入图像输入到分离器601、转换器602和转换器604。指明覆盖的背景区域的信息和由区域确定器103得到的指明未覆盖的背景区域的区域信息被传送到分离器601中。指明前景区域的区域信息被传送到转换器602。指明背景区域的区域信息被传送到转换器604。

从混合比例计算器104提供的混合比例α被传送到分离器601。

分离器601基于指明覆盖的背景区域的区域信息、指明未覆盖的背景区域的区域信息和混合比例α从输入图像中分离前景分量，并将分离的前景分量传送到合成器603。此外，分离器601从输入图像中分离背景分量，并将分离的背景分量传送到合成器605。

响应指出前景区域的区域信息，转换器602在输入前景的像素时关闭，并仅将包含在输入图像中的前景的像素传送到合成器603。

响应指出背景区域的区域信息，转换器604在输入背景的像素时关闭，并仅将包含在输入图像中的背景的像素输入到合成器605。

合成器603基于由分离器601提供的前景的分量和由转换器602提供的前景的像素合成前景分图像，并输出合成的前景分图像。由于前景区域和混合区域彼此不重叠，因此，合成器603通过对前景的分量和前景的像素进行或门操作合成前景分图像。

在执行对前景分图像的合成过程的初始化过程中，合成器603在内置帧存储器中存储所有具有零像素值的图像，然后，在前景分图像的合成过程中存储(写入)前景分图像。除了从合成器603输出的前景分图像之外，背景区域的像素也具有0像素值。

合成器605基于由分离器601提供的背景分量和由转换器604提供的背景的像素合成背景分图像，并输出合成的背景分图像。由于背景区域和混合区域彼此不重叠，因此，合成器605通过对背景分量和背景的像素进行或门操作合成背景分图像。

在执行对背景分图像的合成过程的初始化过程中，合成器605在内置帧存储器中存储所有具有零像素值的图像，然后，在背景分图像的合成过程中存储(写入)背景分图像。除了从合成器605输出的背景分图像之外，前景区域的像素也具有0像素值。

图61A是举例说明输入到前景和背景分离器105的输入图像和从前景和背景分离器105输出的前景分图像与背景分图像的图，图61B是举例说明像素的线沿时间轴延伸的模型的图，其中，前景区域中的像素、背景区域中的像素和混合区域中的像素包括在图61A所示中。

参考图61A和图61B，从前景和背景分离器105输出的背景分图像由包含在背景区域中的像素内的前景分量和包含在混合区域中的像素内的前景分量构成。

参考图61A和图61B，从前景和背景分离器105输出的前景分图像由包含在前景区域中的像素内的前景分量和包含在混合区域中的像素内的前景分量构成。

混合区域中的像素的像素值被前景和背景分离器105分成背景分量和前景分量。分离的背景分量形成背景分图像和属于背景区域的像素。分离的前景分量形成前景分图像和落在前景区域中的像素。

在前景分图像中，背景区域中的像素的像素值被设定为0，而前景区域中的像素的像素值和混合区域中的像素的像素值被设定为有意义的值。同样，在背景分图像中，前景区域中的像素的像素值被设定为0，而在背景区域中的像素的像素值和混合区域中的像素的像素值被设定为有意义的值。

下面将描述分离器601从落在混合区域中的像素中分离前景分量和背景分量的分离过程。

图62是举例说明包括两帧的前景分量和背景分量的模型的模型图，该两帧包括所示的从左向右移动的前景对象。在图62所示的图像的模型中，前景的移动量v为4，虚拟除数为4。

帧#n中从左边数起最左边像素和第十四到第十八像素仅包含背景分量，并落在背景区域中。帧#n中从左边数起第二到第四像素包含背景分量和前景分量，并落在未覆盖的背景区域中。帧#n中从左边数起第十一到第十三像素包含背景分量和前景分量，并落在覆盖的背景区域中。帧#n中从左边数起第五到第十像素仅包含前景分量，并落在前景区域中。

帧#n+1中从左边数起第一到第五像素和第十八像素仅包含背景分量，并落在背景区域中。帧#n+1中从左边数起第六到第八像素包含背景分量和前景分量，并落在未覆盖的背景区域中。帧#n+1中从左边数起第十五到第十七像素包含背景分量和前景分量，并落在覆盖的背景区域中。帧#n+1中从左边数起第九到第十四像素仅包含前景分量，并落在前景区域中。

图63举例说明了从覆盖的背景区域中的像素中分离前景分量的过程。如图所示，α1到α18是帧#n中的各像素的混合比例。如图所示，从左边数起第十五到第十七像素落在覆盖的背景区域中。

帧#n中从左边数起第十五像素的像素值C15由方程式(58)表示。

C15＝B15/v+F09/v+F08/v+F07/v

   ＝α15·B15+F09/v+F08/v+F07/v

   ＝α15·P15+F09/v+F08/v+F07/v   (58)

其中，α15是帧#n中从左边数起第十五像素的混合比例。P15是帧#n-1中从左边数起第十五像素的像素值。

由方程式(58)，帧#n中从左边数起第十五像素的前景分量的和f15由方程式(59)表示。

f15＝F09/v+F08/v+F07/v

   ＝C15-α15·P15                 (59)

同样，帧#n中从左边数起第十六像素的前景分量的和f16由方程式(60)表示。帧#n中从左边数起第十七像素的前景分量的和f17由方程式(61)表示。

f16＝C16-α16·P16                 (60)

f17＝C17-α17·P17                 (61)

包含在落在覆盖的背景中的像素的像素值C中的前景分量fc由方程式(62)表示。

fc＝C-α·P                        (62)

其中P是紧接着的在前帧中的相应的像素的像素值。

图64举例说明了从未覆盖的背景区域的像素中分离前景分量的过程。如图所示，α1到α18是帧#n中的各像素的混合比例。如图所示，从左边数起第二到第四像素落在未覆盖的背景区域中。

帧#n中从左边数起第二像素的像素值C02由方程式(63)表示。

C02＝B02/v+B02/v+B02/v+F01/v

   ＝α2·B02+F01/v

   ＝α2·N02+F01/v                (63)

其中，α2是帧#n中从左边数起第二像素的混合比例。N02是帧#n+1中从左边数起第二像素的像素值。

由方程式(63)，帧#n中从左边数起第二像素的前景分量的和f02由方程式(64)表示。

f02＝F01/v

   ＝C02-α2·N02                  (64)

同样，帧#n中从左边数起第三像素的前景分量的和f03由方程式(65)表示。帧#n中从左边数起第四像素的前景分量的和f04由方程式(66)表示。

f03＝C03-α3·N03                  (65)

f04＝C04-α4·N04                  (66)

包含在落在未覆盖的背景中的像素的像素值C中的前景分量fu由方程式(67)表示。

fu＝C-α·N                        (67)

其中N是紧接着的随后帧中的相应的像素的像素值。

这样，基于包含在区域信息中的指出覆盖的背景区域的信息和指出未覆盖的背景区域的信息以及每个像素的混合比例α，分离器601从落在混合区域中的像素中分离出前景分量和背景分量。

图65是举例说明分离器601的结构的一个实施例的方框图。输入到分离器601的图像被传送到帧存储器621，指出覆盖的背景区域和未覆盖的背景区域的区域信息以及由混合比例计算器104提供的混合比例α被传送到分离处理过程块622。

帧存储器621存储以帧为单位的输入图像。当要被处理的帧是帧#n时，帧存储器621存储帧#n-1(即在前紧接着帧#n的帧)、帧#n和帧#n+1(即随后紧接着帧#n的帧)。

帧存储器621将帧#n-1、帧#n和帧#n+1的像素的像素值提供到分离处理过程块622。

基于指出覆盖的背景区域和未覆盖的背景区域的区域信息以及混合比例α，分离处理过程块622对由帧存储器621提供的帧#n-1、帧#n和帧#n+1的像素的像素值执行图63和64所示的运算操作。分离处理过程块622分离出帧#n中落在混合区域中的前景分量和背景分量，并将这些分量传送到帧存储器623。

分离处理过程块622包括未覆盖区域处理器631、覆盖区域处理器632、合成器633和合成器634。

在未覆盖区域处理器631中的乘法器641将由帧存储器621提供的帧#n+1中的像素的像素值乘以混合比例α，然后将乘积输出到转换器642。转换器642当由帧存储器621提供的帧#n中的像素(相应于帧#n+1中的像素)落在未覆盖的背景区域中时关闭，并将由乘法器641提供的乘以混合比例α的像素值传送到运算单元643和合成器634。通过将帧#n+1中的像素的像素值乘以混合比例α而得到的并从转换器642输出的乘积等于帧#n中的相应像素的像素值的背景分量。

运算单元643从由帧存储器621输入的帧#n中的像素的像素值中减去由转换器642提供的背景分量，从而得到前景分量。运算单元643将帧#n中落在未覆盖的背景区域中的像素的前景分量提供到合成器633。

在覆盖区域处理器632中的乘法器651将由帧存储器621提供的帧#n-1中的像素的像素值乘以混合比例α，然后将乘积输出到转换器652。转换器652当由帧存储器621提供的帧#n中的像素(相应于帧#n-1中的像素)落在覆盖的背景区域中时关闭，并将由乘法器641提供的乘以混合比例α的像素值传送到运算单元653和合成器634。通过将帧#n-1中的像素的像素值乘以混合比例α而得到的并从转换器652输出的乘积等于帧#n中的相应像素的像素值的背景分量。

运算单元653从由帧存储器621输入的帧#n中的像素的像素值中减去由转换器652提供的背景分量，从而得到前景分量。运算单元653将帧#n中落在覆盖的背景区域中的像素的前景分量提供到合成器633。

合成器633合成由运算单元643提供的落在未覆盖的背景区域中的像素的前景分量和由运算单元653提供的落在覆盖的背景区域中的像素的前景分量，并将合成的前景分量传送到帧存储器623。

合成器634合成由转换器642提供的落在未覆盖的背景区域中的像素的背景分量和由转换器652提供的落在覆盖的背景区域中的像素的背景分量，并将合成的背景分量传送到帧存储器623。

帧存储器623分别存储由分离处理过程块622提供的帧#n中的混合区域的像素的前景分量和背景分量。

帧存储器623输出存储的帧#n中的混合区域的像素的前景分量和存储的帧#n中的混合区域的像素的背景分量。

混合比例α(即特征量)，的使用使得包含在像素值中的前景分量和背景分量彼此完全分离。

合成器603通过合成从分离器601输出的帧#n中混合区域内的像素的前景分量和前景区域的像素生成前景分图像。合成器605通过合成从分离器601输出的帧#n中混合区域内的像素的背景分量和背景区域的像素生成背景分图像。

图66A是举例说明图62中所示的帧#n中的分离的前景分图像的一个实施例的图。因为在前景从背景分离之前，从左边起最左边的像素和第十四像素仅包含背景分量，因此，这些像素具有零像素值。

在前景和背景分离之前，从左边数起第二到第四像素已经落在未覆盖的背景区域中，并具有零背景分量，同时残留有前景分量。在前景和背景分离之前，从左边数起第十一到第十三像素已经落在覆盖的背景区域中，并具有零背景分量，同时残留有前景分量。从左边数起第五到第十像素仅具有前景分量，并连续具有这些分量。

图66B是举例说明图62中所示的帧#n中的分离的背景分图像的一个实施例的图。仅在前景和背景分离之前，帧#n中从左边起最左边的像素和第十四像素已包含背景分量，并连续具有这些分量。

在前景和背景分离之前，从左边数起第二像素到第四像素已经落在未覆盖的背景区域中，并具有零前景分量，同时残留有背景分量。在前景和背景分离之前，从左边数起第十一到第十三像素已经落在覆盖的背景区域中，并具有零前景分量，同时残留有背景分量。在前景和背景分离之前，从左边数起第五到第十像素仅具有前景分量，并具有零像素值。

下面将参考图67中的流程图对前景和背景分离器105的前景和背景分离过程进行描述。在步骤S601，分离器601中的帧存储器621获得输入图像，并存储要用于前景和背景分离的处理的帧#n和前一帧#n-1以及后一帧#n+1。

在步骤S602，分离器601中的分离处理过程块622获得从混合比例计算器104提供的区域信息。在步骤S603，分离器601中的分离处理过程块622获得从混合比例计算器104提供的混合比例α。

在步骤S604，基于区域信息和混合比例α，未覆盖区域处理器631从由帧存储器621提供的未覆盖的背景区域中的像素的像素值中提取背景分量。

在步骤S605，基于区域信息和混合比例α，未覆盖区域处理器631从由帧存储器621提供的未覆盖的背景区域中的像素的像素值中提取前景分量。

在步骤S606，基于区域信息和混合比例α，覆盖区域处理器632从由帧存储器621提供的覆盖的背景区域中的像素的像素值中提取背景分量。

在步骤S607，基于区域信息和混合比例α，覆盖区域处理器632从由帧存储器621提供的覆盖的背景区域中的像素的像素值中提取前景分量。

在步骤S608，合成器633合成在步骤S605提取的未覆盖的背景区域中的像素的前景分量和在步骤S607提取的覆盖的背景区域中的像素的前景分量。合成的前景分量被传送到合成器603。然后合成器603通过合成由转换器602提供前景区域的像素和由分离器601提供的前景分量，生成前景分图像。

在步骤S609，合成器634合成在步骤S604提取的未覆盖的背景区域中的像素的背景分量和在步骤S606提取的覆盖的背景区域中的像素的背景分量。合成的前景分量被传送到合成器605。然后合成器605通过合成由转换器604提供背景区域的像素和由分离器601提供的背景分量生成背景分图像。

在步骤S610，合成器603输出前景分图像。在步骤S611，合成器605输出背景分图像。然后，例程结束。

这样，基于区域信息和混合比例α，前景和背景分离器105从输入图像中分离出前景分量和背景分量，并输出仅由前景分量构成的前景分图像和仅由背景分量构成的背景分图像。

下面描述对前景分图像的运动模糊的调节。

图68是举例说明运动模糊调节器106的一个实施例的方框图。由运动检测器102提供的运动矢量和其位置信息以及由区域确定器103提供的区域信息被传送到正在处理的单元确定器801和模型发生器802。由前景和背景分离器105提供的前景分图像被传送到像素值设定器804。

正在处理的单元确定器801将运动矢量和生成的正在处理的单元以及运动矢量、其位置信息和区域信息一起传送到模型发生器802。正在处理的单元确定器801将生成的正在处理的单元提供到像素值设定器804。

参考图69中的字母A，由正在处理的单元确定器801生成的正在处理的单元指出在运动方向上以前景分图像的覆盖的背景区域的像素开始并以未覆盖的背景区域中的像素结束的连续排列的像素，或在运动方向上以前景分图像的未覆盖的背景区域的像素开始并以覆盖的背景区域中的像素结束的连续排列的像素。例如，正在处理的单元指出左上点(像素，由正在处理的单元表示，在图像中最左边的位置或最上面的位置)和右下点的两部分数据。

模型发生器802基于运动矢量和输入的正在处理的单元生成模型。特别地，模型发生器802事先存储包含在正在处理的单元中的多个像素、在时间方向上用于像素值的虚拟除数和相应于每个像素的前景分量的数量的多个模型。基于正在处理的单元和在时间方向上用于像素值的虚拟除数，模型发生器802选择指明像素值和前景分量之间的对应关系的模型，如图70所示。

现在，每个正在处理的单元的像素的数量为12，在快门时间内的移动量v为5。模型发生器802将虚拟除数设定为5，并选择包括8个前景分量的模型，其中，最左边的像素具有一个前景分量，从左边数第二像素具有两个前景分量，从左边数起第三像素具有三个前景分量，从左边数起第四像素具有四个前景分量，从左边数起第五像素具有五个前景分量，从左边数起第六像素具有五个前景分量，从左边数起第七像素具有五个前景分量，从左边数起第八像素具有五个前景分量，从左边数起第九像素具有四个前景分量，从左边数起第十像素具有三个前景分量，从左边数起第十一像素具有两个前景分量，从左边数起第十二像素具有一个前景分量。

当提供运动矢量和正在处理的单元时，模型发生器802可以基于运动矢量和正在处理的单元生成模型，而不是从存储的模型中选择模型。

模型发生器802将选择的模型提供给方程式发生器803。

方程式发生器803基于由模型发生器802提供的模型生成方程式。参考图70所示的前景分图像的模型，在假设前景分量的数量是8、每个正在处理的单元的像素数量是12、移动量v为5、虚拟除数为5的条件下，对由方程式发生器803生成的方程式进行讨论。

当前景分量F01/v到F08/v包含在快门时间段内的前景分图像中时，F01/v到F08/v与像素值C01到C12之间的关系可以由方程式(68)到(79)表示。

C01＝F01/v                            (68)

C02＝F02/v+F01/v                      (69)

C03＝F03/v+F02/v+F01/v                (70)

C04＝F04/v+F03/v+F02/v+F01/v          (71)

C05＝F05/v+F04/v+F03/v+F02/v+F01/v    (72)

C06＝F06/v+F05/v+F04/v+F03/v+F02/v    (73)

C07＝F07/v+F06/v+F05/v+F04/v+F03/v    (74)

C08＝F08/v+F07/v+F06/v+F05/v+F04/v    (75)

C09＝F08/v+F07/v+F06/v+F05/v          (76)

C10＝F08/v+F07/v+F06/v                (77)

C11＝F08/v+F07/v                      (78)

C12＝F08/v                            (79)

方程式发生器803通过改变生成的方程式来生成方程式。由方程式发生器803生成的方程式由方程式(80)到(91)表示。

C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (80)

C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (81)

C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (82)

C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (83)

C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v (84)

C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v (85)

C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v (86)

C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v (87)

C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v (88)

C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v (89)

C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v (90)

C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v (91)

方程式(80)到(91)也可以由方程式(92)表示。

$\mathrm{Cj}=\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v---\left(92\right)$

其中，j是每个像素的位置。在该方程式中，j可以为1到12之一。此外，i代表前景值的位置。在该方程式中，i是1到8之一。这里，aij根据i和j的值具有0或1的值。

如果考虑到误差，方程式(92)可以被表示为方程式(93)。

$\mathrm{Cj}=\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v+\mathrm{ej}---\left(93\right)$

其中，ej是目标像素Cj中包含的误差。

方程式(93)也可以表示为方程式(94)。

$\mathrm{ej}=\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v---\left(94\right)$

为了使用最小二乘法，误差的平方和E由方程式(95)定义。

$E=\underset{j=01}{\overset{12}{\mathrm{\Σ}}}{\mathrm{ej}}^2---\left(95\right)$

为了最小化误差，误差的平方和E相对于变量FK的偏微分必须为0。确定满足方程式(96)的FK。

$\frac{\∂E}{\∂\mathrm{Fk}}=2\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{ej}\·\frac{\∂\mathrm{ej}}{\∂\mathrm{Fk}}$

$=2\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\{(\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v)\·(-\mathrm{akj}/v)=0---\left(96\right)$

由于方程式(96)中移动量v为固定值，因此得到方程式(97)。

$\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{akj}\·(\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v)=0---\left(97\right)$

方程式(97)的推导和变换形成方程式(98)。

$\underset{j=01}{\overset{12}{\mathrm{\Σ}}}(\mathrm{akj}\underset{i=01}{\overset{08}{\·\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi})=v\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{akj}\·\mathrm{Cj}---\left(98\right)$

将整数1到8其中之一代换在方程式(98)中的k，得到了八个方程式。八个方程式表示为一个矩阵。该方程式称为标准方程式。

基于最小二乘法由方程式发生器803生成的标准方程的一个例子如方程式(99)所示。

$\left[\begin{array}{cccccccc}5& 4& 3& 2& 1& 0& 0& 0\\ 4& 5& 4& 3& 2& 1& 0& 0\\ 3& 4& 5& 4& 3& 2& 1& 0\\ 2& 3& 4& 5& 4& 3& 2& 1\\ 1& 2& 3& 4& 5& 4& 3& 2\\ 0& 1& 2& 3& 4& 5& 4& 3\\ 0& 0& 1& 2& 3& 4& 5& 4\\ 0& 0& 0& 1& 2& 3& 4& 5\end{array}\right]\left[\begin{array}{c}F01\\ F02\\ F03\\ F04\\ F05\\ F06\\ F07\\ F08\end{array}\right]=v\·\left[\begin{array}{c}\underset{i=08}{\overset{12}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=07}{\overset{11}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=06}{\overset{10}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=05}{\overset{09}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=04}{\overset{08}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=03}{\overset{07}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=02}{\overset{06}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=01}{\overset{05}{\mathrm{\Σ}}}\mathrm{Ci}\end{array}\right]---\left(99\right)$

如果方程式(99)表示为A·F＝V·C，那么，C、A和V是已知的，F是未知的，A和V在模型产生的时间是已知的，C在像素值设定操作期间输入像素值时已知。

通过基于最小二乘法使用标准方程计算前景分量，分散包含在像素C中的误差。

方程式发生器803将如此生成的标准方程提供给像素值设定器804。

基于由正在处理的单元确定器801提供的正在处理的单元，像素值设定器804设定包含在由方程式发生器803提供的矩阵中的前景分图像中的像素值。像素值设定器804将具有设定像素值C的矩阵提供到运算单元805。

运算单元805计算使用消除法(高斯-约当消除法)去除运动模糊的前景分量Fi/v，然后计算去除了运动模糊的前景的相对于i即整数0到8之一的像素值Fi。之后运算单元805将图71所示的由去除了运动模糊的像素值Fi构成的前景分图像输出到运动模糊加法器806和选择器807。

F01到F08分别在图71中所示的去除了运动模糊的前景分图像中的C03到C10中被设定，从而使前景分图像的位置相对于屏幕不会改变。前景分图像由此被设定在任意位置。

运动模糊加法器806通过提供不同于移动量v的运动模糊调节输入v’，或提供为移动量v的一半量的运动模糊调节输入v’，或提供与移动量v无关的运动模糊调节输入v’来调节运动模糊量。例如，参考图72，运动模糊加法器806通过将去除了运动模糊的前景的像素值Fi除以运动模糊调节输入v’计算前景分量Fi/v’，并累加前景分量Fi/v’，然后生成运动模糊调整的像素值。例如当运动模糊调节输入v’为3时，像素值C02为(F01)/v’，像素值V03为(F01+F02)/v’，像素值C04为(F01+F02+F03)/v’，像素值C05为(F02+F03+F04)/v’。

运动模糊加法器806将调节了运动模糊的前景分图像提供到选择器807。

响应由用户输入的选择信号，选择器807在由运算单元805提供的去除了运动模糊的前景分图像和由运动模糊加法器806提供的运动模糊调节的前景分图像之间进行选择。选择器807输出选择的前景分图像。

运动模糊调节器106基于选择信号和运动模糊调节输入v’调节运动模糊量。

例如，当每个正在处理的单元的像素的数量为8时，移动量为4，运动模糊调节器106生成矩阵(100)。

$\left[\begin{array}{ccccc}4& 3& 2& 1& 0\\ 3& 4& 3& 2& 1\\ 2& 3& 4& 3& 2\\ 1& 2& 3& 4& 3\\ 0& 1& 2& 3& 4\end{array}\right]\left[\begin{array}{c}F01\\ F02\\ F03\\ F04\\ F05\end{array}\right]=v\·\left[\begin{array}{c}\underset{i=05}{\overset{08}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=04}{\overset{07}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=03}{\overset{06}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=02}{\overset{05}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=0}{\overset{04}{\mathrm{\Σ}}}\mathrm{Ci}\end{array}\right]---\left(100\right)$

运动模糊调节器106相应于正在处理的单元的数量产生方程，并计算调节了运动模糊量的像素值Fi。同样，当每个正在处理的单元的像素的数量为100时，生成相应于100个像素的方程式，以计算Fi。

图74是举例说明运动模糊调节器106的另一结构的图。相同的附图标记代表与图68中所描述的相同的组件，其描述被省略。

响应选择信号，选择器821在将输入运动矢量和其位置信号提供到正在处理的单元确定器801和模型发生器802以及在将以运动模糊调节输入v’取代运动矢量的幅值的运动矢量和其位置信号提供到正在处理的单元确定器801和模型发生器802之间进行选择。

这样，图74中所示的运动模糊调节器106中的正在处理的单元确定器801到运算单元805根据移动量v和运动模糊调节输入v’调节运动模糊量。例如，当移动量为5时，运动模糊调节输入v’为3，图74中所示的运动模糊调节器106中的正在处理的单元确定器801到运算单元805使用图72中所示的具有运动模糊调节输入v’为3的模型和图74所示的具有移动量v为5的前景分图像。然后，图74中所示的运动模糊调节器106中的正在处理的单元确定器801到运算单元805响应近似1.7的移动量计算具有运动模糊量的图像，因为(移动量v)/(运动模糊调节输入v’)＝5/3。在这种情况下，计算的图像不包含响应移动量v为3的运动模糊，因此，移动量v和运动模糊调节输入v’之间的关系不同于应用于由运动模糊加法器806提供的结果的关系。

如上所述，运动模糊调节器106响应移动量v和正在处理的单元生成方程式，将前景分图像的像素值代入生成的方程式，并计算运动模糊调节的前景分图像。

参考图75中所示的流程图，下面将描述用于调节包含在前景分图像中的运动模糊量的运动模糊调节器106的调节过程。

在步骤S801，运动模糊调节器106中的正在处理的单元确定器801基于运动矢量和区域信息生成正在处理的单元，并将生成的正在处理的单元传送到模型发生器802。

在步骤S802，运动模糊调节器106中的模型发生器802根据移动量v和正在处理的单元选择或生成模型。在步骤S803，方程式发生器803基于选择的模型生成标准方程。

在步骤S804，像素值设定器804将前景分图像的像素值代入生成的标准方程。在步骤S805，像素值设定器804确定相应于正在处理的单元的所有像素的像素值是否都已经被设定。当确定相应于正在处理的单元的所有像素的像素值还没有都被设定时，例程循环到步骤S804，继续执行将像素值代入标准方程的过程。

当在步骤S805确定相应于正在处理的单元的所有像素的像素值已经都被设定时，例程执行步骤S806。基于设定了由像素值设定器804提供的像素值的标准方程，运算单元805计算运动模糊调节的前景分图像的像素值。例程结束。

这样，基于运动矢量和区域信息，运动模糊调节器106调节包含运动模糊的前景图像中的运动模糊量。

包含在作为采样数据的像素值中的运动模糊量由此被调节。

这样，图4中所示的信号处理器12调节包含在输入图像中的运动模糊量。具有图4中所示结构的信号处理器12计算混合比例α，即嵌入信息，然后输出混合比例α。

图76是举例说明运动模糊调节器106的另一结构的方框图。由运动检测器102提供的运动矢量和其位置信息被提供到正在处理的单元确定器901和校正器905，然后将由区域确定器103提供的区域信息传送到正在处理的单元确定器901。由前景和背景分离器105提供的前景分图像被传送到运算单元904。

基于运动矢量、其位置信息和区域信息，正在处理的单元确定器901将生成的正在处理的单元和运动矢量传送到模型发生器902。

模型发生器902基于运动矢量和输入的正在处理的单元生成模型。

方程式发生器903基于由模型发生器902提供的模型生成方程式。

下面将参考图77到79中所示的前景分图像的模型描述由方程式发生器903生成的方程式，其中，前景分量的数量为8，每个正在处理的单元的像素的数量为12，移动量v为5。

当包含在前景分图像中的关于快门时间/v的前景分量为F01/v到F08/v时，像素值C01到C12与F01/v到F08/v的关系由方程式(68)到(79)表示。

关于像素值C12和C11，像素值C12仅包含以方程式(101)表示的前景分量F08/v，像素值C11包含前景分量F08/v和前景分量F07/v的和。前景分量F07/v由方程式(102)确定。

F08/v＝C12                         (101)

F07/v＝C11-C12                     (102)

同样，前景分量F06/v到F01/v由方程式(103)到(108)确定，因为前景分量包含在像素值C01到C10内。

F06/v＝C10-C11                     (103)

F05/v＝C09-C10                     (104)

F04/v＝C08-C09                     (105)

F03/v＝C07-C08+C12                 (106)

F02/v＝C06-C07+C11-C12             (107)

F01/v＝C05-C06+C10-C11             (108)

方程式发生器903生成用于从像素值之间的差值中计算前景分量的方程式(101)到(108)。方程式发生器903将生成的方程式提供到运算单元904。

运算单元904将前景分图像的像素值代入到由方程式发生器903提供的方程式中，并基于设定了像素值的方程式计算前景分量。当方程式发生器903提供方程式(101)到(108)时，运算单元904将像素值C05到C12代入到方程式(101)到(108)。

运算单元904基于设定了像素值的方程式计算前景分量。例如，如图78所示，运算单元904从设定了像素值C05到C12的方程式(101)到(108)中计算前景分量F01/v到F08/v。运算单元904将前景分量F01/v到F08/v提供到校正器905。

校正器905将由运算单元904提供的前景分量与由正在处理的单元确定器901提供的包含在运动矢量中的移动量相乘，从而计算出去除了运动模糊的前景的像素值。例如，一旦接收到由运算单元904提供的前景分量F01/v到F08/v，校正器905就将前景分量F01/v到F08/v中的每一个与等于5的移动量v相乘，从而得到去除了运动模糊的前景的像素值F01到F08。

校正器905将去除了运动模糊的前景像素值形成的前景分图像提供到运动模糊加法器906和选择器907。

运动模糊加法器906通过提供不同于移动量v的运动模糊调节输入v’，例如提供移动量v的一半量的运动模糊调节输入v’，或提供与移动量v无关的运动模糊调节输入v’来调节运动模糊量。例如，参考图72，运动模糊加法器906通过将去除了运动模糊的前景的像素值Fi除以运动模糊调节输入v’计算前景分量Fi/v’，并累加前景分量Fi/v’，然后生成运动模糊调整的像素值。例如，当运动模糊调节输入v’为3时，像素值C02为(F01)/v’，像素值V03为(F01+F02)/v’，像素值C04为(F01+F02+F03)/v’，像素值C05为(F02+F03+F04)/v’。

运动模糊加法器906将调节了运动模糊的前景分图像提供到选择器907。

响应由用户输入的选择信号，选择器907在由运算单元905提供的去除了运动模糊的前景分图像和由运动模糊加法器906提供的运动模糊调节的前景分图像之间进行选择。选择器807输出选择的前景分图像。

运动模糊调节器106基于选择信号和运动模糊调节输入v’调节运动模糊量。

参考图80中所示的流程图，下面将描述用于调节前景中的运动模糊量的图76所示的运动模糊调节器106的调节过程。

在步骤S901，运动模糊调节器106中的正在处理的单元确定器901基于运动矢量和区域信息生成正在处理的单元，然后将生成的正在处理的单元传送到模型发生器902和校正器905。

在步骤S902，运动模糊调节器106中的模型发生器902根据移动量v和正在处理的单元选择或生成模型。在步骤S903，基于选择的模型或生成的模型，方程式发生器903响应前景分图像的像素值之间的差值生成用于计算前景分量的方程式。

在步骤S904，运算单元904将前景分图像的像素值代入生成的标准方程，并基于设定了像素值的方程式从像素值之间的差值中提取前景分量。在步骤S905，运算单元904确定是否已经对正在处理的单元提取了所有的前景分量。当确定对正在处理的单元还没有提取所有的前景分量时，例程循环到步骤S904。然后继续执行前景分量的提取过程。

当在步骤S905确定对正在处理的单元已经提取了所有前景分量时，例程执行步骤S906。响应移动量v，校正器905校正由运算单元904提供的前景分量F01/v到F08/v中的每一个，从而计算去除了运动模糊的前景的像素值F01到F08/v。

在步骤S907，运动模糊加法器906计算调整了运动模糊量的前景的像素值，选择器907在去除了运动模糊的图像和调整了运动模糊的图像之间进行选择，然后输出选择的图像。例程结束。

图76中所示的运动模糊调节器106通过简单计算快速调节前景图像中的运动模糊。

用于部分去除运动模糊的传统技术，如维纳(Wiener)滤波器，在理想条件下是有效的，但在对量化的并包含噪声的实际图像的去模糊中被证明是不充分的。图76中所示的运动模糊调节器在对量化的并包含噪声的实际图像的去模糊中被证明充分的。从而有可能实现对图像的精确的去模糊。

图81是举例说明信号处理器12的功能结构的方框图。

相同的附图标记代表与图4中所描述的相同的组件，因此，其描述在这里被省略。

区域确定器103将区域信息传送到混合比例计算器104和合成器1001。

混合比例计算器104将混合比例α提供到前景和背景分离器105和合成器1001。

前景和背景分离器105将前景分图像传送到合成器1001。

基于由混合比例计算器104提供的混合比例α和由区域确定器103提供的区域信息，合成器1001合成任意背景图像和由前景和背景分离器105提供的前景分图像，并输出背景图像和前景分图像的合成图像。

图82是举例说明合成器1001的结构的图。背景分量发生器1021基于混合比例α和任意背景图像生成背景分图像，并将背景分图像传送到混合区域图像合成器1022。

混合区域图像合成器1022通过合成由背景分量发生器1021提供的背景分图像和前景分图像生成混合区域合成图像，然后将生成的混合区域合成图像传送到图像合成器1023。

基于区域信息，图像合成器1023合成前景分图像、由混合区域图像合成器1022提供的混合区域合成图像和任意背景图像，然后输出合成的图像。

这样，合成器1001从前景分图像合成任意背景图像。

通过基于混合比例α合成前景分图像和任意背景图像得到的图像比仅通过合成图像得到的图像看起来更加自然。

图83是举例说明用于调节运动模糊的信号处理器12的另一功能结构的方框图。图4所示的信号处理器12顺序计算区域确定信息和混合比例α，而图83所示的信号处理器12同时计算区域确定信息和混合比例α。

相同的附图标记代表与图4中方框图所描述的相同的组件，其有关表述在这里被省略。

输入图像被传送到混合比例计算器1101、前景和背景分离器1102、区域确定器103和对象提取器101中的每一个。

响应输入图像，混合比例计算器1101对输入图像的每个像素计算基于像素落在覆盖的背景区域中的假设条件下的估算的混合比例，和基于像素落在未覆盖的背景区域中的假设条件下的估算的混合比例。然后，混合比例计算器1101将基于像素落在覆盖的背景区域中的假设条件下得到的估算的混合比例，和基于像素落在未覆盖的背景区域中的假设条件下得到的估算的混合比例提供到前景和背景分离器1102。

图84是举例说明混合比例计算器1101的结构的方框图。

图84所示的估算混合比例处理器401与图49中所示的估算混合比例处理器401相比保持不变。图84所示的估算混合比例处理器402与图49所示的估算混合比例处理器402相同。

估算混合比例处理器401通过计算覆盖的背景区域的模型计算每个像素的估算混合比例，并输出计算的混合比例。

估算混合比例处理器402通过计算未覆盖的背景区域的模型计算每个像素的估算混合比例，并输出计算的混合比例。

根据在基于像素落在覆盖的背景区域中的假设条件下得到的估算混合比例、在基于像素落在未覆盖的背景区域中的假设条件下得到的估算的混合比例和由区域确定器103提供的区域信息，前景和背景分离器1102从输入图像生成前景分图像，并将生成的前景分图像传送到运动模糊调节器106和选择器107。

图85是举例说明前景和背景分离器1102的方框图。

相同的附图标记代表与图60所示的前景和背景分离器105描述相同的组件，其有关描述在这里被省略。

基于由区域确定器103提供的区域信息，选择器1121在由混合比例计算器1101提供的基于像素落在覆盖的背景区域中的假设条件下得到的估算混合比例和基于像素落在未覆盖的背景区域中的假设条件下得到的估算的混合比例之间进行选择。选择器1121将选择的估算混合比例作为混合比例α提供给分离器601。

基于由选择器1121提供的混合比例α和区域信息，分离器601从落在混合区域中的像素的像素值中提取前景分量和背景分量，并将前景分量提供到合成器603，将背景分量提供到合成器605。

分离器601具有与图65中所示的部件相同的结构。

合成器603合成并输出前景分图像。合成器605合成并输出背景分图像。

图83中所示的运动模糊调节器106具有与图4中所示的组件相同的结构。运动模糊调节器106基于区域信息和运动矢量调节包含在由前景和背景分离器1102提供的前景分图像中的运动模糊量，然后输出运动模糊调节了的前景分图像。

基于响应用户的选择信号，图83中所示的选择器107在由前景和背景分离器110提供的前景分图像和由运动模糊调节器106提供的运动模糊调节了的前景分图像之间进行选择，并输出选择的前景分图像。

图83所示的信号处理器12调节与包含在输入图像中的前景对象调节相对应的在输入中包含的运动模糊量，并输出图像。与第一实施例中所述相同，图83中所示的信号处理器12计算混合比例α，即嵌入信息，并输出计算的混合比例α。

图86是举例说明用于合成前景分图像和任意背景图像的信号处理器12的再一功能结构的方框图。图81中所示的信号处理器12顺序计算区域确定信息和混合比例α，而图86中所示的信号处理器12同时计算区域确定信息和混合比例α。

相同的附图标记代表与图83中的方框图所描述的相同功能，其有关描述在这里被省略。

响应输入图像，图86中所示的混合比例计算器1101对输入图像的每个像素计算基于像素落在覆盖的背景区域中的假设条件下的估算的混合比例，和基于像素落在未覆盖的背景区域中的假设条件下的估算的混合比例。然后，混合比例计算器1101将基于像素落在覆盖的背景区域中的假设条件下得到的估算的混合比例，和基于像素落在未覆盖的背景区域中的假设条件下得到的估算的混合比例提供到前景和背景分离器1102和合成器1201。

根据在基于像素落在覆盖的背景区域中的假设条件下得到的估算混合比例、在基于像素落在未覆盖的背景区域中的假设条件下得到的估算的混合比例和由区域确定器103提供的区域信息，图86所示的前景和背景分离器1102从输入图像生成前景分图像，并将生成的前景分图像传送到合成器1201。

根据在基于像素落在覆盖的背景区域中的假设条件下得到的估算混合比例、在基于像素落在未覆盖的背景区域中的假设条件下得到的估算的混合比例、由混合比例计算器1101提供的两个估算混合比例和由区域确定器103提供的区域信息，合成器1201合成任意背景图像和由前景和背景分离器1102提供的前景分图像。合成器1201输出从背景图像和前景分图像合成的图像。

图87举例说明了合成器1201的结构。相同的附图标记代表与图82中的方框图描述相同的组件，其有关描述在这里被省略。

基于由区域确定器103提供的区域信息，选择器1221在由混合比例计算器1101提供的基于像素落在覆盖的背景区域中的假设条件下得到的估算混合比例和基于像素落在未覆盖的背景区域中的假设条件下得到的估算的混合比例之间进行选择。选择器1121将选择的估算混合比例作为混合比例α提供给背景分量发生器1021。

图87中所示的背景分量发生器1021基于由选择器1221提供的混合比例α和任意背景图像生成背景分图像，然后将背景分图像传送到混合区域图像合成器1022。

图87中所示的混合区域图像合成器1022通过合成由背景分量发生器1021提供的背景分图像和前景分图像生成混合区域合成图像，然后将生成的混合区域合成图像传送到图像合成器1023。

响应区域信息，图像合成器1023通过合成前景分图像、由混合区域图像合成器1022提供的混合区域合成图像和任意背景图像生成合成的图像，然后输出合成的图像。

合成器1201从前景分图像合成任意背景图像。

混合比例α定义为像素值中的背景分量的比例。或者，混合比例α可以是像素值中的前景分量的比例。

前景的对象的运动为从做向右，但是，前景对象的方向并不局限于任何特定的方向。

在上面的描述中，由三位空间和时间轴信息构成的实际空间内的图像投影在使用摄像机的由二维空间和时间轴信息构成的时间空间内。本发明并不局限于该实施例。当具有较多维的第一空间内的第一信息投影为具有较少维的第二空间内的第二信息时，可以校正由投影产生的失真，提取有意义信息，或合成更加自然的图像。

传感器11并不局限于CCD。传感器11可以为固态图像拾取器件，如CMOS(互补型金属氧化物半导体)、BBD(组桶式器件(Bucket Bridge Device))、CID(电荷注入器件)或CPD(电荷触发器件)。传感器11并不局限于包括检测器元件矩阵的传感器，而可以是排列有一行传感元件的传感器。

存储本发明的用于执行信号处理的程序的存储介质包括组合介质(package program)，其用于脱离计算机向用户提供软件程序，如图3所示。组合介质可以是磁盘51(如软盘)、光盘52(如CD-ROM(光盘只读存储器)、DVD(数字通用盘))、磁光盘53(如MD(小型盘))、半导体存储器54。存储介质还包括ROM 22或包含在存储单元28中的硬盘。

本发明包括描述存储在存储介质中的程序的步骤以所描述的顺序顺序执行的过程，和其中步骤平行或分开而不是顺序执行的过程。

产业上的可利用性

根据第一发明，可以检测指出多个对象的混合状态的混合比例。

根据第二发明，可以检测指出多个对象的混合状态的混合比例。

Claims (18)

1、一种图像处理装置，用于处理包含预定数量的像素数据块的图像数据，该像素数据块由具有预定数量像素的图像拾取元件得到，每个像素具有时间积分效果，该图像处理装置包括：

背景像素提取器装置，用于提取目标帧之前或之后的帧的像素数据，相应于图像数据内的目标帧的目标像素，作为对象的背景像素数据，其在图像数据的多个对象中充当背景的作用，

目标帧像素提取器装置，用于提取目标帧内的目标像素的像素数据和目标帧内的目标像素附近的像素的像素数据，

关系方程式发生器装置，用于生成多个代表与目标像素相关的目标像素和目标像素附近的像素的数据与相应于目标像素和目标像素附近的像素的数据的背景像素数据之间的关系的方程式，和

混合比例检测器装置，用于基于关系方程式检测目标像素的混合比例，所述混合比例表示目标像素中背景分量和前景分量的混合状态。

2、根据权利要求1所述的图像处理装置，其中，关系方程式发生器装置基于第一假设和第二假设生成多个方程式，该第一假设认为在包含在目标像素和目标像素附近的像素的像素数据中的图像数据的多个对象中充当前景的对象的组成成分是相同的，该第二假设假设相对于多个对象混合的混合区域内的像素的位置，混合比例的改变是线性的。

3、根据权利要求1所述的图像处理装置，其中，关系方程式发生器装置基于第一假设和第二假设生成多个方程式，该第一假设认为在包含在目标像素和目标像素附近的像素的像素数据中的图像数据的多个对象中充当前景的对象的组成成分是相同的，该第二假设假设相对于多个对象混合的混合区域内的像素的位置，混合比例的改变是平面的。

4、根据权利要求1所述的图像处理装置，其中，混合比例检测器装置通过使用最小二乘法求解多个关系方程式而检测混合比例。

5、根据权利要求1所述的图像处理装置，其中，当位于所述多个对象的前景区域和背景区域之间的、由前景分量和背景分量混和的像素而形成的混合区域内的目标像素属于在其移动方向上形成在前景对象的前端侧的覆盖的背景区域时，背景像素提取器装置提取目标帧之前的帧中的像素数据，作为背景像素数据，而当混合了多个对象的混合区域内的目标像素属于在其移动方向上形成在前景对象的后端侧的未覆盖背景区域时，背景像素提取器装置提取目标帧之后的帧的像素数据，作为背景像素数据。

6、根据权利要求4所述的图像处理装置，进一步包括区域信息发生器装置，用于产生区域信息，识别图像数据内的前景区域、背景区域和包含覆盖背景区域和未覆盖背景区域的混合区域，其中，前景区域由在图像数据中的多个对象中充当前景的对象形成，背景区域由在图像数据中的多个对象中充当背景的对象形成，混合区域由覆盖的背景区域和未覆盖的背景区域形成。

7、一种图像处理方法，用于处理包含预定数量的像素数据块的图像数据，该像素数据块由具有预定数量像素的图像拾取元件得到，每个像素具有时间积分效果，该图像处理方法包括：

背景像素提取步骤，用以提取目标帧之前或之后的帧的像素数据，相应于图像数据内的目标帧的目标像素，作为对象的背景像素数据，其在图像数据的多个对象中充当背景的作用，

目标帧像素提取步骤，用以提取目标帧内的目标像素的像素数据和目标帧内的目标像素附近的像素的像素数据，

关系方程式生成步骤，用以生成多个代表与目标像素相关的目标像素和目标像素附近的像素的数据与相应于目标像素和目标像素附近的像素的数据的背景像素数据之间的关系的方程式，和

混合比例检测步骤，用以基于关系方程式检测目标像素的混合比例，所述混合比例表示目标像素中背景分量和前景分量的混合状态。

8、根据权利要求7所述的图像处理方法，其中，关系方程式生成步骤基于第一假设和第二假设生成多个方程式，该第一假设认为在包含在目标像素和目标像素附近的像素的像素数据中的图像数据的多个对象中充当前景的对象的组成成分是相同的，该第二假设假设相对于多个对象混合的混合区域内的像素的位置，混合比例的改变是线性的。

9、根据权利要求7所述的图像处理方法，其中，关系方程式生成步骤基于第一假设和第二假设生成多个方程式，该第一假设认为在包含在目标像素和目标像素附近的像素的像素数据中的图像数据的多个对象中充当前景的对象的组成成分是相同的，该第二假设假设相对于多个对象混合的混合区域内的像素的位置，混合比例的改变是平面的。

10、根据权利要求7所述的图像处理方法，其中，混合比例检测步骤通过使用最小二乘法求解多个关系方程式而检测混合比例。

11、根据权利要求7所述的图像处理方法，其中，当位于所述多个对象的前景区域和背景区域之间的、由前景分量和背景分量混和的像素而形成的混合区域内的目标像素属于在其移动方向上形成在前景对象的前端侧的覆盖的背景区域时，背景像素提取步骤提取目标帧之前的帧的像素数据，作为背景像素数据，而当混合了多个对象的混合区域内的目标像素属于在其移动方向上形成在前景对象的后端侧的未覆盖背景区域时，背景像素提取步骤提取目标帧之后的帧的像素数据，作为背景像素数据。

12、根据权利要求11所述的图像处理方法，进一步包括区域信息产生步骤，用以生成区域信息，识别图像数据内的前景区域、背景区域和包含覆盖背景区域和未覆盖背景区域的混合区域，其中，前景区域由在图像数据中的多个对象中充当前景的对象形成，背景区域由在图像数据中的多个对象中充当背景的对象形成，混合区域由覆盖的背景区域和未覆盖的背景区域形成。

13、一种图像拾取装置，包括：

图像拾取装置，用于输出由具有预定数量像素的图像拾取元件拾取的对象的图像，作为包含多个像素数据块的图像数据，其中，每个像素具有时间积分效果，

背景像素提取器装置，用于提取目标帧之前或之后的帧的像素数据，相应于图像数据内的目标帧的目标像素，作为对象的背景像素数据，其在图像数据的多个对象中充当背景的作用，

目标帧像素提取器装置，用于提取目标帧内的目标像素的像素数据和目标帧内的目标像素附近的像素的像素数据，

关系方程式发生器装置，用于生成多个代表与目标像素相关的目标像素和目标像素附近的像素的数据与相应于目标像素和目标像素附近的像素的数据的背景像素数据之间的关系的方程式，和

混合比例检测器装置，用于基于关系方程式检测目标像素的混合比例，所述混合比例表示目标像素中背景分量和前景分量的混合状态。

14、根据权利要求13所述的图像拾取装置，其中，关系方程式发生器装置基于第一假设和第二假设生成多个方程式，该第一假设认为在包含在目标像素和目标像素附近的像素的像素数据中的图像数据的多个对象中充当前景的对象的组成成分是相同的，该第二假设假设相对于多个对象混合的混合区域内的像素的位置，混合比例的改变是线性的。

15、根据权利要求13所述的图像拾取装置，其中，关系方程式发生器装置基于第一假设和第二假设生成多个方程式，该第一假设认为在包含在目标像素和目标像素附近的像素的像素数据中的图像数据的多个对象中充当前景的对象的组成成分是相同的，该第二假设假设相对于多个对象混合的混合区域内的像素的位置，混合比例的改变是平面的。

16、根据权利要求13所述的图像拾取装置，其中，混合比例检测器装置通过使用最小二乘法求解多个关系方程式而检测混合比例。

17、根据权利要求13所述的图像拾取装置，其中，当位于所述多个对象的前景区域和背景区域之间的、由前景分量和背景分量混和的像素而形成的混合区域内的目标像素属于在其移动方向上形成在前景对象的前端侧的覆盖的背景区域时，背景像素提取器装置提取目标帧之前的帧的像素数据，作为背景像素数据，而当混合了多个对象的混合区域内的目标像素属于在其移动方向上形成在前景对象的后端侧的未覆盖背景区域时，背景像素提取器装置提取目标帧之后的帧的像素数据，作为背景像素数据。

18、根据权利要求16所述的图像拾取装置，进一步包括区域信息发生器装置，用于产生区域信息，识别图像数据内的前景区域、背景区域和包含覆盖背景区域和未覆盖背景区域的混合区域，其中，前景区域由在图像数据中的多个对象中充当前景的对象形成，背景区域由在图像数据中的多个对象中充当背景的对象形成，混合区域由覆盖的背景区域和未覆盖的背景区域形成。

Images