CN1658239A - 信号处理方法与设备以及记录介质 - Google Patents

Abstract

一种信号处理设备，包括通过将作为第一维的现实世界信号的第一信号作为第一信号投影在传感器上以及由该传感器检测所映射的信号来获取第二维的第二信号的装置，所述第一维低于所述第二维；以及信号处理装置，用于通过执行基于所述第二信号的信号处理，从所述第二信号提取所述投影所掩藏的重要信息。

Description

信号处理方法与设备以及记录介质

本申请是2000年12月28日提交的中国专利申请号为No.00805488.6，题为“信号处理方法与设备以及记录介质”的发明申请的分案申请。

技术领域

本发明涉及一种信号处理方法与设备，并且涉及一种记录介质。更具体地说，本发明涉及一种考虑到由传感器检测到的信号和现实世界之间的差别的信号处理方法与设备以及记录介质。

背景技术

这样的技术广泛地使用于通过传感器检测现实世界的事件以及处理由传感器输出的采样数据，例如与图像、语音、温度、压力、加速度或气味关联的数据。

例如，在物体以较高速度移动的情况下，使用CCD的摄像机成像在预定的静止背景之间的移动的物体时所获得的图像易受到移动模糊(motionblurring)的影响。

例如，在物体以较高速度移动的情况下，使用CCD的摄像机成像在预定的静止背景之前的移动的物体时所获得的图像易受到移动模糊的影响。也就说在用CCD作为传感器检测现实世界时，作为采样数据的图像会产生失真。

抑制这种移动模糊的常规实践是提高例如电子快门的速度，已提供更短的曝光时间。

但在这种方式下升高快门速度的情况下，必须在进行摄影之前调整摄像机的快门速度。因此不能校正以前获得的模糊的图像来获得清晰的图像。

另一方面，如果一物体在静止背景之前移动，那么不仅会发生归因于就是该移动物体的图像的混合的移动模糊，还会发生背景图像和该移动图像的混合。在常规系统中，没有给出任何关于检测背景图像和该移动物体的混合的状态的考虑。

而且，通过传感器获取到具有空间和时间轴的现实世界的信息，并产生数据。这种由传感器获取的数据是在投影在比现实世界的维(dimension)更低的时间和空间中的现实世界的信息时所获得的信息。因此，投影上所获得的信息由于投影而失真。换句话说，传感器输出的数据相对于现实世界的信息失真。此外，因投影而失真的数据也包括用于校正该失真的重要信息。

在对由传感器获取的采样数据进行常规信号处理期间，传感器获得的采样数据被视为最可靠的数据，以至于在后续的数据处理例如传输、记录或再现中，在考虑到由例如数据传输引起的恶化的情况下，唯一关心的是弄清尽量接近原始数据的状态的数据状态。

迄今为止，该传感器输出的采样数据被认为是最可靠的数据，以至于没有进行任何准备比采样数据更高质量的数据的尝试，或执行提取因投影而模糊的重要信息的信号处理。

发明内容

因此本发明的一个目的是提供一种信号处理设备，在其中由传感器输出的采样数据可以无失真，或者可以从该采样数据中提取该重要信息，例如，如果采样数据是图像的采样数据的话，提供对包含在该检测信号中的移动模糊量的调整。

本发明提供一种信号处理设备，包括通过将第一维的现实世界信号的第一信号作为第一信号投影在传感器上以及由该传感器检测所映射的信号来获取第二维的第二信号的装置，第一维低于第二维；以及信号处理装置，用于通过执行基于该第二信号的信号处理，从该第二信号提取投影所掩藏的重要信息。

本发明也提供一种信号处理方法，包括：信号获取步骤，通过将作为第一维的现实世界信号的第一信号投影在传感器上，以及由所述传感器检测所映射的信号来获取第二信号，所述第二信号是低于所述第一维的所述第二维的；以及信号处理步骤，用于通过执行基于所述第二信号的信号处理、以从所述第二信号提取投影所掩藏的重要信息。

本发明也提供在其上已经记录了计算机可读程序的记录介质，该程序包括：信号获取步骤，通过将第一维的现实世界信号的第一信号作为第一信号投影在传感器上以及由该传感器检测所映射的信号来获取第二信号，该信号是低于第一维的第二维的；以及信号处理步骤，用于通过执行基于该第二信号的信号处理、以从该第二信号提取投影所掩藏的重要信息。

本发明也提供一种信号处理设备，包括信号获取装置，通过用传感器检测作为第一维的现实世界信号的第一信号获取第二信号，该信号是低于第一维的第二维的并且包含与该第一信号有关的失真；以及信号处理装置，用于通过对该第二信号执行信号处理，用于产生与该第二信号相比减轻了失真的第三信号。

本发明也提供一种信号处理方法，包括：信号获取步骤，通过用传感器检测作为第一维的现实世界信号的第一信号获取第二信号，所述第二信号是低于第一维的；以及信号处理步骤，用于通过对所述第二信号执行信号处理，用于产生与所述第二信号相比减轻了失真的第三信号。

本发明也提供一种已经在其中记录了计算机可读程序的记录介质，所述计算机程序包括：信号获取步骤，通过用传感器检测作为第一维的现实世界信号的第一信号获取第二信号，所述第二信号是低于第一维的第二维的；以及信号处理步骤，用于通过对所述第二信号执行信号处理，用于产生与所述第二信号相比减轻了失真的第三信号。

附图说明

图1说明本发明的原理；

图2是示出实施本发明的一系统的说明性结构的方框图；

图3是示出图2的信号处理器的说明性结构的方框图；

图4是用于说明图2的系统操作的流程图；

图5说明在图4的步骤S1获取的典型图像；

图6说明混合区域的像素值；

图7说明减去图6的区间D1至D3中的背景的图像分量的结果；

图8说明移动模糊的结构；

图9是一流程图，用于说明图2的系统的另一个典型的处理；

图10是示出信号处理器12的方框图；

图11说明通过传感器摄像；

图12说明像素排列；

图13说明检测器件的操作；

图14说明在成像对应于移动前景的物体和对应于静止背景的物体时所获得的图像；

图15说明一背景区域、一前景区域、一混合区域、一被覆盖的背景区域和一未被覆盖的背景区域；

图16是一示意图，它随在时间轴方向延伸的像素值，示出在成像对应于静止前景的物体时所获得的图像或成像对应于静止背景的物体时所获得的图像中，以相互邻近关系摆放成一行的像素的像素值；

图17是一示意图，示出随对应于被分开示出的快门时间的时间间隔，在时间轴方向延伸的像素值；

图18是一示意图，示出随对应于被分开示出的快门时间的时间间隔，在时间轴方向延伸的像素值；

图19是一示意图，示出随对应于被分开示出的快门时间的时间间隔，在时间轴方向延伸的像素值；

图20示出一前景区域、一背景区域和一混合区域中被提取的像素；

图21示出像素和在时间轴方向上扩展像素值时所获得的模型之间的对应关系；

图22是一示意图，示出在时间轴方向上扩展的像素值，并示出对应于被分开示出的快门周期的时间间隔；

图23是一示意图，示出在时间轴方向上扩展的像素值，并示出对应于被分开示出的快门周期的时间间隔；

图24是一示意图，示出在时间轴方向上扩展的像素值，并示出对应于被分开示出的快门周期的时间间隔；

图25是一示意图，示出在时间轴方向上扩展的像素值，并示出对应于被分开示出的快门周期的时间间隔；

图26是一示意图，示出在时间轴方向上扩展的像素值，并示出对应于被分开示出的快门周期的时间间隔；

图27是一流程图，用于说明调整移动模糊量的处理；

图28是一方框图，示出区域指定单元103的说明性结构；

图29说明一在对应于前景的物体是移动的情况下的图像；

图30是一示意图，示出在时间轴方向上扩展的像素值，并示出对应于被分开示出的快门周期的时间间隔；

图31是一示意图，示出在时间轴方向上扩展的像素值，并示出对应于被分开示出的快门周期的时间间隔；

图32是一示意图，示出在时间轴方向上扩展的像素值，并示出对应于被分开示出的快门周期的时间间隔；

图33说明适用于区域判定的条件；

图34A、34B、34C和34D说明区域指定单元103的区域识别结果；

图35说明区域指定单元103的区域识别结果；

图36是一流程图，用于说明适用于区域识别的处理；

图37是一方框图，示出了混合比计算单元104的说明性结构；

图38示出典型的理想混合比α；

图39是一示意图，示出在时间轴方向上扩展的像素值，并示出对应于被分开示出的快门周期的时间间隔；

图40是一示意图，示出在时间轴方向上扩展的像素值，并示出对应于被分开示出的快门周期的时间间隔；

图41是一示意图，示出在时间轴方向上扩展的像素值，并示出对应于被分开示出的快门周期的时间间隔；

图42说明C、N和P之间的关系；

图43是一方框图，示出被估计的混合比处理器201的结构；

图44示出一典型的被估计的混合比；

图45是一方框图，示出了混合比计算单元104的改进型结构；

图46是一流程图，用于说明适用于计算该被估计的混合比的处理；

图47是一流程图，用于说明适用于该被估计的混合比的操作的处理；

图48是一方框图，示出了前景/背景分离单元105的说明性结构；

图49A和49B示出一输入图像，一前景分量图像和一背景分量图像；

图50是一示意图，示出在时间轴方向上扩展的像素值，并示出对应于被分开示出的快门周期的时间间隔；

图51是一示意图，示出在时间轴方向上扩展的像素值，并示出对应于被分开示出的快门周期的时间间隔；

图52是一示意图，示出在时间轴方向上扩展的像素值，并示出对应于被分开示出的快门周期的时间间隔；

图53是一方框图，示出分离单元251的说明性结构；

图54A和54B说明示出作为相互分离的一前景分量图像和一背景分量图像的典型示例；

图55是一流程图，用于说明适用于将前景和背景相互分离的处理；

图56是一方框图，示出移动模糊调整单元106的说明性结构；

图57说明一处理单元；

图58是一示意图，示出在时间轴方向上扩展的、前景分量图像的像素值并示出对应于被分开示出的快门周期的时间间隔；

图59是一示意图，示出在时间轴方向上扩展的、前景分量图像的像素值并示出对应于被分开示出的快门周期的时间间隔；

图60是一示意图，示出在时间轴方向上扩展的、前景分量图像的像素值并示出对应于被分开示出的快门周期的时间间隔；

图61是一示意图，示出在时间轴方向上扩展的、前景分量图像的像素值并示出对应于被分开示出的快门周期的时间间隔；

图62示出移动模糊调整单元106的改进型结构；

图63是一流程图，用于说明适用于调整包含在前景分量图像中的移动模糊量的处理；

图64是一方框图，示出信号处理器12的改进功能结构；

图65示出合成单元371的结构；

图66是一方框图，示出信号处理器12的另一改进型功能结构；

图67是一方框图，示出混合比计算单元401的结构；

图68是一方框图，示出前景/背景分离单元402的结构；

图69是一方框图，示出信号处理器12的更进一步的改进功能结构；

图70示出合成单元431的结构；

图71示出根据本发明的信号处理设备的另一说明性结构；

图72是一流程图，用于说明适用于通过信号处理器452调整移动模糊量的处理；

图73示出一根据本发明的信号处理设备的说明性结构；

图74示出一压力区域传感器501的结构；

图75说明施加到压力区域传感器501的负荷；

图76说明由压力区域传感器501输出的典型重量(weight)数据；

图77是一流程图，用于说明由信号处理器502执行的负荷计算处理；

图78是一方框图，示出产生每帧都有增加的像素的图像的结构，它作为信号处理器12的另一功能；

图79说明像素排列和对应于在水平密度方面加倍的像素的区域；

图80说明对应于输入到区域A至r的光的图像的图像分量；

图81A、81B、81C和81D说明对应于像素的两个区域的图像分量的计算；

图82示出一典型的输入图像；

图83示出一典型的双水平密度图像；

图84示出一典型的双垂直密度图像；

图85示出一双密度图像；

图86是一流程图，用于说明适用于通过图78所示的信号处理器12产生双密度图像的处理。

具体实现方式

图1说明本发明的原理。正如从图1所见到的那样，由传感器2获取作为具有空间轴和时间轴的现实世界的信息的第一信号，并将其制作成数据。作为传感器2获取的数据3的检测信号是在将现实世界1的信息投影在比现实世界1更低维的时空上时所获得的信息。因此，投影所产生的信息包含由于投影而引起的失真。换句话说，传感器2输出的数据3相对于现实世界1的信息来说发生失真。此外，由于投影而发生了失真的数据3也包括可使用的或校正该失真的重要信息。

因此，根据本发明，传感器2输出的数据由信号处理器4进行处理，由此消除、减少或调整该失真。或者，用信号处理器4处理由传感器2输出的数据以提取该重要信息。

图2示出根据本发明的信号处理设备的一说明性结构。传感器11例如包括摄像机，它拍摄现实世界的图像以输出产生的图像数据给信号处理器12。该信号处理器例如包括个人计算机，用于处理从传感器11输入的数据、调整投影所产生的失真量、指定包含由该投影所掩藏的重要信息的区域、从一指定区域提取该重要信息以及基于所提取的重要信息处理被输入的数据。

该重要信息例如可以是以后将要解释的混合比。

同时，指示出包含由该投影所掩藏的重要信息的区域的信息也可以被认为是重要信息。这里，以后将要解释的区域信息对应于该重要信息。

信号处理器12例如被结构成如图3所示。CPU(中央处理单元)21按照存储在ROM(只读存储器)22或贮存单元28中存储的程序执行各种处理操作。在RAM(随机存取存储器)23中按照需要存储由CPU 21执行的程序或数据。CPU 21、ROM 22和RAM 23互连在一总线24上。

输入/输出接口25经过总线24连接到CPU 21。输入/输出接口25连接到包括键盘、鼠标和麦克风的输入单元26，以及包括显示器和扩音器的输出单元27。CPU 21响应输入单元26输入的命令执行各种处理操作。CPU 21将处理时所获得的图像、语音等输出到输出单元27。

连接到输入/输出接口25的贮存单元28例如由硬盘构成，用于存储由CPU 21执行的程序以及各种数据。通信单元29经过诸如英特网这样的网络与外部设备通信。在本实施例中，通信单元29用于获取传感器11的输出。

为了在贮存单元28中贮存，也可以经过通信单元29获取程序。

连接到输入/输出接口25的驱动器30在磁盘51、光盘52、磁光盘53或半导体存储器54连接到该驱动器时驱动这些器件，以获取记录在其中的程序和数据。这样获取的程序和数据必要时被传输到贮存单元28，以贮存在那里。

参考图4的流程图解释由该信号处理设备基于存储在贮存单元28中的程序实施的操作。首先在步骤S1，传感器11获取的一物体的图像是通过例如通信单元29获取的。信号处理器12的CPU 21发送所获取的图像数据给贮存单元28，以贮存在那里。

图5示出与所获取图像数据关联的一图像。示出在该实施例中的该图像包括排在背景61前面的前景62。这里，该前景是一架以预定速度在静止的背景61前面向该附图右边移动的玩具飞机。结果，前景62的图像是一经受了所谓移动模糊的图像。相反，背景61的图像是静止的，因此是没有移动模糊的清晰的图像。混合区域63是一个图像，它包括作为背景61的物体和作为前景62的物体的混合。

然后在步骤S2，CPU 21检测该物体的混合区域。在图5的实施例中，将混合区域63作为两个物体的混合区域进行检测。

CPU 21在步骤S3判定该物体是否被混合。如果该物体未混合，即，如果没有任何混合区域63，则该图像不是本信息处理设备要处理的，因此结束处理。

相反，如果在步骤步骤S3做出物体被混合的判定，则CPU 21转到步骤步骤S4以在检测到的混合区域中得到物体的混合比。该混合比可以通过得到前景62相对于背景61的移动向量以及通过拟合该移动向量来得到，因此混合区域63中的混合比将在0到1范围内变化。在步骤S5，CPU 21实施分离混合区域63中的物体的处理，在混合区域63中基于所找到的混合比将多个物体混合在一起。

将使用图5的图像作为示例，更进一步详细地解释上述处理。如果绘制关于图5的混合区域63的右边的部分63A的一条线的图像数据，则其结果如图6所示，在其中横坐标表示X坐标(图5的水平方向上的坐标)，而纵坐标表示关于X坐标的像素值。

曲线L1表示关于第一定时的线的像素值，而曲线L2表示关于下一定时的另一线的像素值。类似地，曲线光发射层3和L4表示后续相邻定时的线的像素值。换句话说，图6示出关于在四个相邻定时上所关联的线的像素值方面的变化。

曲线L1示出第一定时中的状态，在这种状态下前景62还没有被成像。因此曲线L1代表背景61的像素。

在曲线L1上，在X坐标140的附近该像素值为大约75，而在X坐标145处增加为大约130。然后该像素值降低，并且在X坐标149的附近该像素值为大约120。当X坐标增加时，该像素值再次增加并在X坐标154的附近达到大约160。然后该像素值再次降低，并且在X坐标162的附近该像素值达到大约130。接下来，在X坐标165的附近，该像素值接近180，而在X坐标170的附近，该像素值再次降低到大约125。接下来，在X坐标172的附近，该像素值增加到大约175，而在X坐标178的附近，该像素值降低到大约60。随后，在X坐标178至195的区间内该像素值在60至80之间轻微波动。在大约195的更右边上的X坐标中，该像素值再次增加到大约160。

关于下一帧的曲线L2，直到145、该像素值都是大约200的常数。接着，在X坐标145至X坐标160之间的范围内，该像素值逐渐降低，在那个X坐标160处该像素值为大约125。然后该曲线经历按照类似于曲线L1的变化的变化。

随后，直到X坐标158附近、曲线光发射层3的像素值都是大约200的常数，并且在X坐标164处该像素值降低到大约164，在这以后其增加到大约190。然后该曲线经历按照类似于曲线L1的变化的变化。

从X坐标140附近到X坐标170附近，曲线L4的像素值都是大约200的常数，并且从X坐标170附近到X坐标180附近该像素值急速降低，X坐标170附近的像素值为大约70。然后该曲线经历按照类似于曲线L1的变化的变化。

曲线L2至L4的像素值的这些变化归因于这样的事实，即虽然在曲线L1的状态下存在只有背景61的图像，但随着前景62的图像的移动即随着时间的消逝，前景62的图像逐渐增加。

特别地，正如从比较下面定时的曲线L1和曲线L2可以看见的那样，直到X坐标147附近，曲线L2至L4的这些值在值方面实际上是相等的。从X坐标147附近开始，曲线L2的值不同于曲线发射层3、L4的值，在X坐标159附近变成等于曲线L1的值。随后，曲线L2的像素值近似等于曲线L1的像素值。即，在对应于从X坐标146至X坐标159的区间D1的区域R1中的曲线L2的值，指示出在一个单元周期中已经从区间D1的左端向右端移动了前景62的最前面部分。

类似地，在对应于从X坐标159至X坐标172的区间D2的区域刚性基底2中的下一定时的曲线反射层3的像素值，指示出已经在过渡时期移动了前景62的最前面部分。在对应于从X坐标172至X坐标184的区间D3的区域R3中的下一定时的曲线L4的像素值，指示出已经在过渡时期移动了前景62的最前面部分。

因此，如果从曲线L2的像素值中减去以前景62与背景61的混合比为基础加权的曲线L1的像素值，则获得示出在图7中的曲线L11。该曲线L11对应于在混合区域63中从前景62的像素减去对应于背景61的值的差，它代表具有0像素值的背景上的前景的图像。同时，在图7中，横坐标和纵坐标分别表示提取的前景的位置和像素值。关于位置，左端和右端分别对应于图6中的区间D1的左端和右端。

类似地，如果在图6中的区间D2中从曲线光反射层3的像素值中减去以该混合比加权的曲线L1的像素值，则获得示出在图7中的曲线L12，反之，如果在图6中的区间D3中从曲线L4减去以该混合比加权的曲线L1的像素值，则获得示出在图7中的曲线L13。如图7所示，曲线L12、L13实际上与曲线L11一致。这指示出前景62正在三个定时单元周期期间以几乎相等的速度移动，并且已经通过加权减法正确地获得了黑背景，该黑背景是具有0像素值的背景上的前景像素值。

如果结合通过参考图8的像素来解释上述操作，在其中横坐标表示部分63A的X坐标，而纵坐标表示从上向下指引的时间轴，由于在本实施例中的移动量为5，因此在t1至t5的时间间隔(快门时间内)中进行曝光。在图8中，b1至bf表示背景61的各自像素的像素值，A1至A6表示前景62的像素值。

即，前景62的像素A1至A6出现在背景61的像素b3至b8的位置，而前景62的像素A1至A6在定时t2处向右移动一个像素，即移动到在背景61的像素b4至b9的位置。

随后当时间从t3流逝到t5时，按照类似方式，以一个像素的间距向右顺序移动前景62的像素A1至A6。在这种情况下，在平均定时t1至t5的各自线的像素时所获得的像素值y1至yf构成成像时获得的像素，即这些像素以下列方程代表的值展示移动模糊：

$y_3=\frac{1}{5}\·a_1+\frac{4}{5}\·b_3---\left(1\right)$

$y_4=\frac{1}{5}\·(a_1+a_2)+\frac{3}{5}\·b_4---\left(2\right)$

$y_5=\frac{1}{5}\·(a_1+a_2+a_3)+\frac{2}{5}\·b_5---\left(3\right)$

$y_6=\frac{1}{5}\·(a_1+a_2+a_3+a_4)+\frac{1}{5}\·b_6---\left(4\right)$

$y_7=\frac{1}{5}\·(a_1+a_2+a_3+a_4+a_5)---\left(5\right)$

$y_8=\frac{1}{5}\·(a_1+a_2+a_3+a_4{+a}_5{+a}_6)---\left(6\right)$

$y_9=\frac{1}{5}\·(a_3{+a}_4{+a}_5+a_6)+\frac{1}{5}\·b_9---\left(7\right)$

$y_a=\frac{1}{5}\·(a_4+a_5+a_6)+\frac{2}{5}\·b_a---\left(8\right)$

$y_b=\frac{1}{5}\·(a_5+a_6)+\frac{3}{5}\·b_b---\left(9\right)$

$y_c=\frac{1}{5}\·a_6+\frac{4}{5}\·b_c---\left(10\right)$

同时，y1、y2、yd、ye和yf分别等于背景像素b1、b2、bd、be和bf。

如果去除背景的像素b1至bf，则混合区域63中的背景61和前景62可以相互分离。即，可以相互分离多个物体。此外，可以通过利用例如最小二乘法，在假定了要通过诸如使用快门时间(帧)的前和后的像素值知道的背景的像素b1至bf下，求解上述方程得到背景像素b1至bf。这使得前景图像免于移动模糊。按照这种方式，可以减少由投影引起的现实世界的信息的失真，以诸如通过分辨率创建处理创建清晰的图像。

在图4中，它是被执行的判别性的处理，即前面的处理用作基础，下面的处理在假设前面的处理结果正确的前提下执行。或者，正如现在参考图9所示的说明性处理所解释的那样，也可以是统计处理。

特别地，当执行统计处理时，CPU 21在步骤S21获取图像数据。这个处理类似于图4中的步骤S1实施的处理。

接下来在步骤S22，CPU 21实施从步骤S21获得图像数据得到前景比背景的混合比的处理。在步骤S23，CPU 21基于步骤S22得到的混合比执行分离前景和背景的处理。

如果使用统计处理，则判定是否存在物体边界的、诸如图4的步骤S23中的处理不是必须要有的，因此使得相互分离前景和背景更快捷。

前面的描述示出了关于如何能够从在拍摄在背景61前面移动的前景62的图像时获得的移动模糊图像中分离和提取前景62的清晰图像的方式。

现在解释一信号处理设备的更特殊的实施例，该信号处理设备用于识别在其中掩藏了重要信息的区域，或者用于从通过判别性的处理自传感器获取的数据中提取这样的被掩藏的重要信息。在下面的实施例中，CCD线传感器或CCR区域传感器对应于该传感器，而区域信息或混合比对应于该重要信息且前景和背景的混合或移动模糊对应于失真。

图10是示出信号处理器12的方框图。

同时，信号处理器12的各个功能由硬件还是由软件实现并不重要。也就是说，本说明书的方框图可以被认为是硬件方框图、或者功能软件方框图。

应该注意到，移动模糊指的是包含在移动物体中的失真，这种失真是正在被成像的现实世界的物体的移动和传感器11特有的成像特性产生的。

在本说明书中，对应于现实世界的一物体的图像称为图像物体。

供给信号处理器12的输入图像供应给物体提取单元101、区域指定单元103、混合比计算单元104和前景/背景分离单元105。

物体提取单元101粗略地提取对应于包含在输入的图像中的前景物体的图像物体，以将提取的图像物体发送到移动检测单元102。物体提取单元101检测对应于包含在输入的图像中的前景物体的图像物体的轮廓，以粗略地提取对一个域该前景物体的图像物体。

物体提取单元101粗略地提取对应于包含在输入的图像中的前景物体的图像物体，以将提取的图像物体传递到移动检测单元102。物体提取单元101基于输入图像和对应于提取的前景物体的图像物体之间的差别，粗略地提取对应于该背景物体的图像物体。

物体提取单元101也可以基于存储在内部的背景存储器中的背景图像和输入图像之间的差别，粗略地提取对应于该前景物体的图像物体和对应于该背景物体的图像物体。

移动检测单元102利用诸如块匹配法、梯度法、相位相关法或像素递归(Pel-Recursive)法，计算对应于粗略地被提取的前景的图像物体的移动向量，以将这样计算出的移动向量和该移动向量的位置信息(指定对应于该移动向量的像素的位置的信息)传递到移动模糊调整单元106。

在移动检测单元102输出的移动向量中，包含对应于移动量v的信息。

移动检测单元102也可以将基于图像物体的移动向量与为图像物体指定像素的像素位置信息一起，输出到移动模糊调整单元106。

移动量v是一个值，用于以像素到像素的间隔最为单元代表对应于移动物体的图像的位置改变。例如，如果移动对应于该前景的物体的图像，使得以相对于在紧接着前一帧的帧中偏移了四个像素的位置显示，对应于该前景的物体的移动量v为4。

同时，当在移动模糊调整单元106中调整关联于移动物体的移动模糊量时，使用物体提取单元101和移动检测单元102。

区域指定单元103将指定输入的图像的每个像素的信息逐个像素地发送到前景区域、背景区域或混合区域之一，用于指示该像素属于前景区域、背景区域或混合区域中的那一个，该信息还发送到混合比计算单元104、前景/背景分离单元105和移动模糊调整单元106。前述信息在下面将称为区域信息。

混合比计算单元104基于该输入图像和从区域指定单元103供给的区域信息，计算包含在混合区域63中的像素的混合比，以将这样计算出的混合比传递给前景/背景分离单元105。这个混合比在下面将被称为混合比α。

该混合比α指示在对应于背景物体的图像的分量的像素值中的比例，如后面将要描述的方程(13)所指示的那样。这些分量在下面也被称为背景分量。

前景/背景分离单元105基于区域指定单元103供给的区域信息和混合比计算单元104供给的混合比α，将输入图像分离成前景分量图像和背景分量图像以将该前景分量图像传递到移动模糊调整单元106和选择单元107，其中前景分量图像仅由关联于前景的图像分量组成，以下也被称为前景分量，而背景分量图像仅由背景分量组成。该被分离出来的前景分量图像也可能是最后的输出。得到比在不考虑常规混合区域的情况下、只能指定前景和背景的常规系统中获得的前景和背景更精确的前景和背景是可能的。

移动模糊调整单元106基于正如从该移动向量中得到的移动量v和该区域信息，判定指示包含在该前景分量图像中的一个或多个像素的处理单元。该处理单元是用于指定一组将要进行调整移动模糊量处理的像素的数据。

移动模糊调整单元106诸如通过去除包含在前景分量图像中的移动模糊、减少移动模糊量或增加移动模糊量，基于输入信号处理器12的移动模糊调整量、前景/背景分离单元105供给的前景分量图像、移动检测单元102供给的移动向量以及对应的位置信息和该处理单元，来调整包含在前景分量图像中的移动模糊量，以将适合于移动模糊量调整的前景分量图像输出到选择单元107。如果有必要，可以不使用带有其位置信息的移动向量。

选择单元107选择关于该移动模糊量进行了调整的、前景/背景分离单元105供给的前景分量图像和移动模糊调整单元106供给的前景分量图像之一，以输出选中的前景分量图像。

参考图11至26来解释发送到信号处理器12的输入图像。

图11说明通过由配备CCD(电荷耦合器件)的CCD摄像机构成的传感器11的摄像，其中CCD是一种固态成像器件。对应于现实世界中的前景的物体在现实世界的背景的物体和传感器11之间移动，例如水平地由左向右移动。

传感器11将对应于前景的物体和对应于背景的物体一起成像。传感器11输出按帧拍摄的图像。例如，传感器11每秒输出30帧图像。传感器11的曝光时间可以设置为1/30秒。曝光时间是自开始将输入到传感器11的光转换成电荷起，至结束将输入的光转换成电荷为止这段时间。这个曝光时间在下面有时称为快门时间。

参考图12，它示出像素排列，A至I表示单独的像素。这些像素排列在对应于一图像的平面内。在传感器11上排列一与一个像素关联的检测元件。当传感器11拍摄图像时，一个检测元件输出与属于该图像的一个像素关联的像素值。例如，检测器件沿X方向的位置对应于在图像中横向上的位置，而沿y方向的位置对应于在图像中纵向上的位置。

参考图13，在对应于快门时间的时间期间，诸如CCD这样的检测器件将输入的光转换成电荷，以存储这样所转换的电荷。该电荷量近似等于输入光的强度和该光被输入的时间期间。该检测器件将对应于快门时间的时间期间，从输入光转换来的、已经被存储的电荷加起来。即，检测器件积分对应于快门时间的时间期间的输入光，以以对应于被积分的光的量累积电荷。这种检测器件被说成具有关于时间的积分效应。

在检测器件中累积的电荷由未示出的电路转换成电压。该电压又转换成诸如数字数据这样的像素值，以输出。因此由传感器11输出的各个像素是映射到一维空间的值中的，它是关于对应于前景或背景的物体的空间延伸部分的快门时间的积分结果。

信号处理器12通过传感器11的这种积累操作，提取掩藏在输出信号中的重要信息，例如混合比α。信号处理器12调整由就是前景图像物体的混合引起的失真量，例如，移动模糊量。信号处理器12也调整由前景图像物体与背景图像物体的混合产生的失真量。

图14说明在成像对应于移动前景的物体和对应于静止背景的物体时所获得的图像。图14A示出在成像对应于移动前景的物体和对应于静止背景的物体时所获得的图像。在图14A示出的实施例中，对应于前景的物体正在水平地、相对于该图像从左到右移动。

图14B是示出对应于图14A所示的图像的单线的像素值的示意图，正如沿时间轴延伸的那样。图14B的横向对应于图14A的空间方向X。

背景区域的像素仅由背景分量，即对应于背景物体的图像的分量构成。前景区域的像素仅由前景分量，即对应于前景的图像的分量构成。

混合区域的像素根据背景和前景分量构成。其像素是根据背景和前景分量构成的的混合区域可以说是失真区域。该混合区域还进一步分成被覆盖的背景区域和未被覆盖的背景区域。

被覆盖的背景区域是沿该前景的前进方向、与最前面部分相互对准的混合区域的一部分，并且是随时间的流逝背景分量被前景掩藏的区域。

另一方面，未被覆盖的背景区域是沿该前景的前进方向、与后面部分相互对准的混合区域的一部分，并且是随时间的流逝背景分量自己出现的区域。

包括前景区域、背景区域、被覆盖的背景区域或未被覆盖的背景区域的图像作为输入图像输入到区域指定单元103、混合比计算单元104和前景/背景分离单元105。

图15说明上述的背景区域、前景区域、混合区域、被覆盖的背景区域和未被覆盖的背景区域。关于图14所示的图像，背景区域为静止部分，前景区域为移动部分，混合区域的被覆盖的背景区域为图像由背景变成前景的那部分区域，而混合区域的未被覆盖的背景区域为图像由前景变成背景的那部分区域。

图16示意性地示出随沿着时间轴方向延伸的所示像素值，在成像对应于静止前景的物体时所获得的图像或成像对应于静止背景的物体时所拍摄的图像中，一行中的相邻像素的像素值。作为排列在一行中的相邻像素，选择排列在图像的单线上的像素是可能的。

如图16所示，F01至F04的像素值是静止前景的物体的像素的像素值。如图16所示，B01至B04的像素值是静止背景的物体的像素的像素值。

在图16中，时间从上到下流逝。图16的矩形上边的位置对应于传感器11开始将输入光转换成电荷的时间，而图16的矩形下边的位置对应于传感器11结束将输入光转换成电荷的时间。即从图16的矩形上边到下边的距离对应于快门时间。

在下面的描述中，假设快门时间等于帧间隔。

图16的横向对应于空间方向X，参考图14进行解释。更具体地说，从图16中的矩形“F01”的左边到矩形“B04”的右边的距离是像素间距的八倍，即八个相邻像素的跨度。

如果前景和背景物体是静止的，那么输入到传感器11的光在对应于快门时间的时间期间不改变。

对应于快门时间的时间跨度被分开成两个或多个相等的时间间隔。例如，如果实际分开的时间间隔数是四，则图16的图表可以表示成图17的图表。实际分开的时间间隔数关联于例如对应于前景的物体的快门时间的移动量v进行设置。例如，如果该移动量v为四，则实际分开的时间间隔数为4，与将对应于快门时间的时间跨度分开成四相一致。

该附图中的最顶行对应于自快门打开时间以来的第一分开时间间隔。第二行对应于自快门打开时间以来的第二分开时间间隔。第三行对应于自快门打开时间以来的第三分开时间间隔，而第四行对应于自快门打开时间以来的第四分开时间间隔。

在这以后，关联于移动量v的快门时间分开也被称为快门时间/v。

当对应于前景的物体处于静止状态时，输入传感器11的光不改变。因此前景分量F01/v等于像素值F01除以实际分开的时间间隔数。类似地，当对应于前景的物体处于静止状态时，前景分量F02/v等于像素值F02除以实际分开的时间间隔数，而前景分量F03/v等于像素值F03除以实际分开的时间间隔数，前景分量F04/v等于像素值F04除以实际分开的时间间隔数。

当对应于背景的物体处于静止状态时，输入传感器11的光不改变。因此背景分量B01/v等于像素值B01除以实际分开的时间间隔数。类似地，当对应于背景的物体处于静止状态时，背景分量B02/v等于像素值B02除以实际分开的时间间隔数，而背景分量B03/v等于像素值B03除以实际分开的时间间隔数，背景分量B04/v等于像素值B04除以实际分开的时间间隔数。

即，当对应于前景的物体处于静止状态时，在对应于快门时间的时间期间，输入传感器11的、对应于前景的光保持不变。因此对应于从快门打开起的快门时间/v的第一前景分量F01/v、对应于从快门打开起的快门时间/v的第二前景分量F02/v、对应于从快门打开起的快门时间/v的第三前景分量F03/v和对应于从快门打开起的快门时间/v的第四前景分量F04/v是等值的。上述关于F01/v成立的描述也对F02/v值F04/v成立。

当对应于背景的物体处于静止状态时，在对应于快门时间的时间期间，输入传感器11的、对应于背景物体的光保持不变。因此对应于从快门打开起的快门时间/v的第一背景分量B01/v、对应于从快门打开起的快门时间/v的第二背景分量B02/v、对应于从快门打开起的快门时间/v的第三背景分量B03/v和对应于从快门打开起的快门时间/v的第四背景分量B04/v是等值的。上述关于B01/v成立的描述也对B02/v值B04/v成立。

在下面的描述中，假设对应于前景的物体正在移动，而对应于背景的物体处于静止状态。

图18示意性地示出在对应于前景的物体正在附图中向右移动时，排列在包括被覆盖的背景区域的一条线上的像素的像素值，被示出的像素值随时间轴方向延伸。在图18中，前景的移动量v为4。由于一帧是一短时期，因此可以假设对应于前景的物体是刚体，并且正在匀速移动。在图18中，移动对应于前景的物体的图像，以使得在紧接前面的基准帧的帧中向右显示四个像素。

在图18中，最左边至从左起第四像素属于前景区域。在图18中，左起第五至左起第七像素属于是被覆盖的背景区域的混合区域。在图18中，最右边的像素属于背景区域。

由于移动对应于前景的物体以隐藏对应于背景的物体，因此随着时间的流逝，包含属于被覆盖的背景区域的像素的像素值中的分量在对应于快门时间的时间间隔的某个时间点，从背景分量图像切换到前景分量图像。

例如，在图18中用粗线框显示出的像素值M由方程(11)代表：

M＝B02/v+B02/v+F07/v+F06/v                           (11)

例如，在图18中用粗线框显示出的像素值M包含对应于一个快门时间/v的背景分量和对应于三个快门时间/v的前景分量，左起第五像素的混合比α为1/4。左起第六像素包含对应于两个快门时间/v的背景分量和对应于两个快门时间/v的前景分量，因此混合比α为1/2。左起第七像素包含对应于三个快门时间/v的背景分量和对应于一个快门时间/v的前景分量，因此混合比α为3/4。

由于对应于前景的物体是刚体，因此匀速移动前景以使得在下一帧中向右显示四个像素，图18中的左起第四像素的、关于自快门打开时间起的第一快门时间/v的第一前景分量F07/v，等于图18中的左起第五像素的、对应于自快门打开时间起的第二快门时间/v的第二前景分量。类似地，前景分量F07/v等于图18中的左起第六像素的、对应于自快门打开时间起的第三快门时间/v的前景分量，以及等于图18中的左起第七像素的、对应于自快门打开时间起的第四快门时间/v的前景分量。

由于对应于前景的物体是刚体，因此匀速移动前景以使得在下一帧中向右显示四个像素，图18中的左起第三像素的、关于自快门打开时间起的第一快门时间/v的第一前景分量F06/v，等于图18中的左起第四像素的、对应于自快门打开时间起的第二快门时间/v的第二前景分量。类似地，前景分量F06/v等于图18中的左起第五像素的、对应于自快门打开时间起的第三快门时间/v的前景分量，以及等于图18中的左起第六像素的、对应于自快门打开时间起的第四快门时间/v的前景分量。

由于对应于前景的物体是刚体，因此匀速移动前景以使得在下一帧中向右显示四个像素，图18中的左起第二像素的、关于自快门打开时间起的第一快门时间/v的第一前景分量F05/v，等于图18中的左起第四像素的、对应于自快门打开时间起的第二快门时间/v的第三前景分量。类似地，前景分量F05/v等于图18中的左起第四像素的、对应于自快门打开时间起的第三快门时间/v的前景分量，以及等于图18中的左起第五像素的、对应于自快门打开时间起的第四快门时间/v的前景分量。

由于对应于前景的物体是刚体，因此匀速移动前景以使得在下一帧中向右显示四个像素，图18中的最左边的像素的、关于自快门打开时间起的第一快门时间/v的第一前景分量F04/v，等于图18中的左起第二像素的、对应于自快门打开时间起的第二快门时间/v的第二前景分量。类似地，前景分量F04/v等于图18中的左起第三像素的、对应于自快门打开时间起的第三快门时间/v的前景分量，以及等于图18中的左起第四像素的、对应于自快门打开时间起的第四快门时间/v的前景分量。

因此对应于该移动物体的前景区域包含移动模糊，并且可以被说成失真区域。

图19示意性地示出在前景正在附图中向右移动的情况下，在包括未被覆盖的背景区域的一条线上的像素的像素值，被示出的像素值随时间轴方向延伸。在图19中，前景的移动量v为4。由于一帧是一短时期，因此可以假设对应于前景的物体是刚体，并且正在匀速移动。在图19中，移动对应于前景的物体的图像，以使得在紧接前面帧的帧中向右显示四个像素。

在图19中，最左边至从左起第四像素属于背景区域。在图19中，左起第五至左起第七像素属于是被覆盖的背景区域的混合区域。在图19中，最右边的像素属于背景区域。

由于移动了对应于前景的物体，该前景隐藏了对应于背景的物体，因而使得从在对应于背景的物体的前面一个位置上移动该对应于前景的物体，随着时间的流逝，包含在属于被覆盖的背景区域的像素的像素值中的分量在对应于快门时间的时间间隔的某个时间点上，被从背景分量图像切换到前景分量图像。

例如，在图19中用粗线框显示出的像素值M由方程(12)代表：

M′＝F02/v+F01/v+B26/v+B26/v                           (12)

例如，左起第五像素包含对应于三个快门时间/v的背景分量和对应于一个快门时间/v的前景分量，左起第五像素的混合比α为3/4。左起第六像素包含对应于两个快门时间/v的背景分量和对应于两个快门时间/v的前景分量，因此混合比α为1/2。左起第七像素包含对应于一个快门时间/v的背景分量和对应于三个快门时间/v的前景分量，因此混合比α为1/4。

如果推广方程(11)、(12)，像素值M可以用下列方程(13)表示：

$M=\mathrm{\α}\·B+\underset{i}{\mathrm{\Σ}}\mathrm{Fi}/v$

式中α为混合比，B为背景的像素值，而Fi/v为前景分量。

由于对应于前景的物体是刚体，并且可以假设以移动量4匀速移动，因此图19中的左起第五像素的、关于自快门打开时间起的第一快门时间/v的第一前景分量F01/v，等于图19中的左起第六像素的、对应于自快门打开时间起的第二快门时间/v的第二前景分量。类似地，前景分量F01/v等于图19中的左起第七像素的、对应于自快门打开时间起的第三快门时间/v的前景分量，以及等于图19中的左起第八像素的、对应于自快门打开时间起的第四快门时间/v的前景分量。

由于对应于前景的物体是刚体，并且可以假设以移动量4匀速移动，因此图19中的左起第六像素的、关于自快门打开时间起的第一快门时间/v的第一前景分量F02/v，等于图19中的左起第七像素的、对应于自快门打开时间起的第二快门时间/v的第二前景分量。类似地，前景分量F02/v等于图19中的左起第八像素的、对应于自快门打开时间起的第三快门时间/v的前景分量。

由于对应于前景的物体是刚体，并且可以假设以移动量4匀速移动，因此图19中的左起第七像素的、关于自快门打开时间起的第一快门时间/v的第一前景分量F03/v，等于图19中的左起第八像素的、对应于自快门打开时间起的第二快门时间/v的第二前景分量。

虽然在参考图17和19的描述中实际分开的时间间隔数为四，但实际分开的时间间隔数对应于移动量v。一般来说，移动量v对应于与前景对应的物体的移动速度。例如，如果对应于前景的物体正在移动使得在紧接着前面的基准帧的帧中向右显示四个像素，则移动量v为4。与移动量v关联起来设置实际分开的时间间隔数为4。类似地，如果对应于前景的物体正在移动使得在紧接着前面的基准帧的帧中向右显示六个像素，则移动量v为6，与实际分开的时间间隔数为六一致。

图20和21示出前景区域、背景区域和混合区域之间的关系，其中混合区域一方面包括被覆盖的背景区域和未被覆盖的背景区域，另一方面又包括对应于分开的快门时间的前景和背景分量，如上所述。

图20示出一象从对应于在静止背景前移动的物体的图像中提取那样，提取前景区域、背景区域和混合区域的像素的示例。在图20所示的实施例中，对应于前景的物体关于该图像水平地移动。

帧#n+1是紧接着帧#n的帧，而帧#n+2是紧接着帧#n+1的帧。

图21示意性地示出在提取前景区域、背景区域和混合区域的像素，而这些区域由是以移动量v为4依次从帧#n至#n+2之一中提取时，和在沿时间轴方向扩展所提取像素的像素值时所获得的模型。

由于移动了对应于前景的物体，因此前景区域的像素值由对应于快门时间/v周期的四个不同前景分量构成。例如，图21所示的前景区域的像素的最左边一个是F01/v、F02/v、F03/v和F04/v。即前景区域的像素包容因移动模糊而破坏。

由于对应于背景的物体处于静止状态，对应于输入到传感器11的背景的光在对应于快门时间的时间期间不改变。在这种情况下，背景的像素值不受移动模糊的影响。

属于由被覆盖的背景区域或未被覆盖的区域组成的混合区域的像素值或像素包括前景和背景分量。

解释包括多帧中的一行中的相邻像素的模型，在其中处于一帧的同一位置的像素的像素值随着移动对应于一物体的图像，在时间轴方向延伸。例如，如果对应于该物体的图像正在水平地相对该图像移动，则排列在该图像上的同一行中的像素可以被选择为以图像中的一行中的像素。

图22示意性地示出在临时扩展排列在对应于静止背景的被拍摄的物体的图像的三个帧的每一个的一行中的像素的像素值时所获得的模型，其中被扩展的像素位于各个帧中的同一位置。帧#n是紧接着帧#n·1的帧，而帧#n+1是紧接着帧#n的帧。其余的帧以类似方式命名。

图22所示的B01至B02的像素值是对应于静止背景的物体的像素的像素值。由于对应于该背景的物体处于静止状态，因此在帧#n·1至#n+1中的对应像素的像素值不改变。例如，在帧#n·1中对应于具有B05像素值的像素的位置的、帧#n中的像素和帧#n+1中的像素是B05的像素值。

图23示出对应于在图23中向右移动的前景的物体的被拍摄的图像的三个帧的每一个的一行中相邻像素的像素值，连同对应于静止背景的物体，其中被示出的像素值沿时间轴方向扩展。显示在图23的模型包括一被覆盖的背景区域。

在图23中，对应于前景的物体是刚体，并且可以假设随着该前景图像被移动而以匀速移动，使得该前景图像在下一帧中向右显示四个像素。因此，该前景的移动量v为4，与实际分开的时间间隔数是4一致。

例如，图23中的帧#n·1的最左边的像素的前景分量，关于自快门打开起的第一快门时间/v，为F12/v，而左起第二像素的前景分量，关于自快门打开起的第二快门时间/v，也为F12/v。图23中的左起第三像素的前景分量，关于自快门打开起的第三快门时间/v，以及图23中的左起第四像素的前景分量，关于自快门打开起的第四快门时间/v都为F12/v。

例如，图23中的帧#n·1的最左边的像素的前景分量，关于自快门打开起的第二快门时间/v，为F11/v，而左起第二像素的前景分量，关于自快门打开起的第三快门时间/v，也为F11/v。图23中的左起第三像素的前景分量，关于自快门打开起的第四快门时间/v为F11/v。

图23中的帧#n·1的最左边的像素的前景分量，关于自快门打开起的第三快门时间/v，为F10/v，而左起第二像素的前景分量，关于自快门打开起的第四快门时间/v，也为F10/v。图23中的最左边的前景分量，关于自快门打开起的第四快门时间/v为F09/v。

由于对应于该背景的物体处于静止状态，因此图23中的帧#n·1的左起第二像素的背景分量，关于自快门打开起的第一快门时间/v，为B01/v。图23中的帧#n·1的左起第三像素的背景分量，关于自快门打开起的第一和二快门时间/v，是B02/v，而图23中的帧#n·1的左起第四像素的背景分量，关于自快门打开起的第一至第三快门时间/v为B03/v。

在图23的帧#n·1中，最左边的像素属于前景区域，而左起第二至第四像素属于为被覆盖的背景区域的混合区域。

图23中的帧#n·1的左起第五至第十二像素属于背景区域，对应的像素值分别为B04至B11。

图23中帧#n·1的第一至第五像素属于背景区域。帧#n的前景区域中的前景分量，关于快门时间/v为F05/v至F12/v之一。

由于对应于前景的物体是刚体，并且可以假设随着该前景图像被移动而以匀速移动，使得该前景图像在下一帧中向右显示四个像素，在图23中的帧#n的左起第五像素的前景分量，关于自快门打开起的第一快门时间/v，为F12/v，而左起第六像素的前景分量，关于自快门打开起的第二快门时间/v，也为F12/v。图23中的左起第七像素的前景分量，关于自快门打开起的第三快门时间/v，以及图23中的左起第八像素的前景分量，关于自快门打开起的第四快门时间/v都为F12/v。

在图23中的帧#n的左起第五像素的前景分量，关于自快门打开起的第二快门时间/v，为F11/v，而左起第六像素的前景分量，关于自快门打开起的第三快门时间/v，也为F11/v。图23中的左起第七像素的前景分量，关于自快门打开起的第四快门时间/v为F11/v。

在图23中的帧#n的左起第五像素的前景分量，关于自快门打开起的第三快门时间/v，为F10/v，而左起第六像素的前景分量，关于自快门打开起的第四快门时间/v，也为F10/v。在图23中的左起第五像素的前景分量，关于自快门打开起的第四快门时间/v为F09/v。

由于对应于该背景的物体处于静止状态，因此图23中的帧#n的左起第六像素的背景分量，关于自快门打开起的第一快门时间/v，为B05/v。图23中的帧#n的左起第七像素的背景分量，关于自快门打开起的第一和二快门时间/v，是B06/v，而图23中的帧#n的左起第八像素的背景分量，关于自快门打开起的第一至第三快门时间/v为B07/v。

在图23的帧#n·1中，左起第一至第九像素属于前景区域，而左起第六至第八像素属于为被覆盖的背景区域的混合区域。

图23中的帧#n+1的左起第一至第九至第十二像素属于前景区域，像素值分别为B08至B11。

图23中帧#n+1的第一至第九像素属于前景区域。帧#n+1的前景区域中的前景分量，关于快门时间/v为F01/v至F12/v之一。

由于对应于前景的物体是刚体，并且可以假设随着该前景图像被移动而以匀速移动，使得该前景图像在下一帧中向右显示四个像素，在图23中的帧#n+1的左起第九像素的前景分量，关于自快门打开起的第一快门时间/v，为F12/v，而左起第十像素的前景分量，关于自快门打开起的第二快门时间/v，也为F12/v。图23中的左起第十一像素的前景分量，关于自快门打开起的第三快门时间/v，以及图23中的左起第十二像素的前景分量，关于自快门打开起的第四快门时间/v都为F12/v。

在图23中的帧#n+1的左起第九像素的前景分量，关于自快门打开起的第二快门时间/v，为F11/v，而左起第十像素的前景分量，关于自快门打开起的第三快门时间/v，也为F11/v。图23中的左起第十一像素的前景分量，关于自快门打开起的第四快门时间/v为F11/v。

在图23中的帧#n+1的左起第九像素的前景分量，关于自快门打开起的第三快门时间/v，为F10/v，而左起第十像素的前景分量，关于自快门打开起的第四快门时间/v，也为F10/v。在图23中的帧n+1的左起第九像素的前景分量，关于自快门打开起的第四快门时间/v为F09/v。

由于对应于该背景的物体处于静止状态，因此图23中的帧#n+1的左起第十像素的背景分量，关于自快门打开起的第一快门时间/v，为B09/v。图23中的帧#n+1的左起第十一像素的背景分量，关于自快门打开起的第一和二快门时间/v，是B10/v，而图2 3中的帧#n+1的左起第十二像素的背景分量，关于自快门打开起的第一至三快门时间/v为B11/v。

在图23的帧#n+1中，左起第十至十二对应于为被覆盖的背景区域的混合区域。

图24示意性地示出在从图23所示的像素值中提取前景分量时所获得的图像。

图25示出对应于在附图中向右移动的前景的被拍摄的图像的三个帧的每一个的一行中的相邻像素，连同该静止背景。在图25中也示出了未被覆盖的背景区域。

在图25中，对应于前景的物体是刚体，并且可以假设随着该前景图像被移动而以匀速移动，以使得该前景图像在下一帧中向右显示四个像素。因此，该前景的移动量v为4。

例如，图25中的帧#n·1的最左边的像素的前景分量，关于自快门打开起的第一快门时间/v，为F13/v，而左起第二像素的前景分量，关于自快门打开起的第二快门时间/v，也为F13/v。图23中的左起第三像素的前景分量，关于自快门打开起的第二快门时间/v，以及图25中的左起第四像素的前景分量，关于自快门打开起的第四快门时间/v都为F13/v。

例如，图23中的帧#n·1的左起第二像素的前景分量，关于自快门打开起的第一快门时间/v，为F14/v，而左起第三像素的前景分量，关于自快门打开起的第二快门时间/v，也为F14/v。图25中的左起第三像素的前景分量，关于自快门打开起的第一快门时间/v为F15/v。

由于对应于该背景的物体处于静止状态，因此图25中的帧#n·1的最左边的像素的背景分量，关于自快门打开起的第二至第四快门时间/v，为B01/v。图25中的帧#n·1的左起第二像素的背景分量，关于自快门打开起的第三和第四快门时间/v，是B26/v，而图25中的帧#n·1的左起第三像素的背景分量，关于自快门打开起的第四快门时间/v为B27/v。

在图25的帧#n·1中，左起第一至第三像素属于为被覆盖的背景区域的混合区域。

图25中的帧#n·1的左起第四至第十二像素属于前景区域，而该帧的前景的前景分量为F13/v至F24/v之一。

图25中帧#n的第一至第四像素属于背景区域，像素值分别为B25至B28。

由于对应于前景的物体是刚体，并且可以假设随着该前景图像被移动而以匀速移动，使得该前景图像在下一帧中向右显示四个像素，在图23中的帧#n的左起第五像素的前景分量，关于自快门打开起的第一快门时间/v，为F13/v，而左起第六像素的前景分量，关于自快门打开起的第二快门时间/v，也为F13/v。图25中的左起第七像素的前景分量，关于自快门打开起的第三快门时间/v，以及图25中的左起第八像素的前景分量，关于自快门打开起的第四快门时间/v都为F13/v。

在图25中的帧#n的左起第六像素的前景分量，关于自快门打开起的第一快门时间/v，为F14/v，而左起第七像素的前景分量，关于自快门打开起的第二快门时间/v，也为F14/v。图25中的左起第八像素的前景分量，关于自快门打开起的第一快门时间/v为F15/v。

由于对应于该背景的物体处于静止状态，因此图25中的帧#n的左起第五像素的背景分量，关于自快门打开起的第二至第四快门时间/v，为B29/v。图2 5中的帧#n的左起第六像素的背景分量，关于自快门打开起的第三和第四快门时间/v，是B30/v，而图23中的帧#n的左起第七像素的背景分量，关于自快门打开起的第四快门时间/v为B31/v。

在图25的帧#n中，左起第一至第九像素属于前景区域，而左起第五至第七像素属于为被覆盖的背景区域的混合区域。

图25中的帧#n+1的左起第八至第十二像素属于前景区域，像素值分别为B25至B32。

图25中的帧#n+1的第一至第八像素属于背景区域，像素值分别为B25至B32。

由于对应于前景的物体是刚体，并且可以假设随着该前景图像被移动而以匀速移动，使得该前景图像在下一帧中向右显示四个像素，在图25中的帧#n+1的左起第九像素的前景分量，关于自快门打开起的第一快门时间/v，为F13/v，而左起第十像素的前景分量，关于自快门打开起的第二快门时间/v，也为F13/v。图25中的左起第十一像素的前景分量，关于自快门打开起的第三快门时间/v，以及图25中的左起第十二像素的前景分量，关于自快门打开起的第四快门时间/v都为F13/v。

在图25中的帧#n+1的左起第十像素的前景分量，关于自快门打开起的第一快门时间/v，为F14/v，而左起第十一像素的前景分量，关于自快门打开起的第二快门时间/v，也为F14/v。图25中的左起第十二像素的前景分量，关于自快门打开起的第一快门时间/v为F15/v。

由于对应于该背景的物体处于静止状态，因此图25中的帧#n+1的左起第九像素的背景分量，关于自快门打开起的第二至四快门时间/v，为B33/v。图25中的帧#n+1的左起第十像素的背景分量，关于自快门打开起的第三和第四快门时间/v，是B34/v，而图25中的帧#n+1的左起第十一像素的背景分量，关于自快门打开起的第四快门时间/v为B35/v。

在图25的帧#n+1中，左起第九至第十一像素对应于为被覆盖的背景区域的混合区域。

在图25中，帧#n+1的左起第十二像素属于前景区域。帧#n+1的前景区域中的关于快门时间/v的前景分量为F13/v至F16/v之一。

图26示意性地示出在从图25所示的像素值中提取前景分量时获得的图像。

回到图10，区域指定单元103利用多个帧的像素值，逐个像素地关联一指示已知图像属于前景区域、背景区域、被覆盖的背景区域或未被覆盖的背景区域的标志，并且将产生的区域信息传递给混合比计算单元104和移动模糊调整单元106。

基于该多帧的像素值和该区域信息，混合比计算单元104为每个包含在混合区域的像素计算混合比α，并将计算出的混合比α发送到前景/背景分离单元105。

基于该多帧的像素值、该区域信息和混合比α，前景/背景分离单元105提取仅由前景分量构成的前景分量图像，以将所提取的分量图像发送到移动模糊调整单元106。

基于从前景/背景分离单元105发送来的前景分量图像、从移动检测单元102发送的移动向量和从区域指定单元103发送来的区域信息，移动模糊调整单元106调整包含在该前景分量图像中的移动模糊量、以输出关于移动模糊进行了调整的前景分量图像。

参考图27的流程，解释调整由信号处理器12引起的移动模糊的处理。在步骤S101，区域指定单元103执行区域指定处理，用于从输入图像的一个像素到另一个像素地产生指示前景区域、背景区域、被覆盖的背景区域或未被覆盖的背景区域中那一个属于输入的图像的像素的区域信息。该区域指定处理将在后面参考图36的流程进行解释。区域指定单元103发送所产生的区域信息到混合比计算单元104。

同时，在步骤S101的区域指定单元103可以从输入图像的一个像素到另一个像素地、基于输入图像产生指示前景区域、背景区域或混合区域中那一个属于输入的图像的像素的区域信息。在这种情况下，在被覆盖的背景区域和未被覆盖的背景区域之间没有区别。在这种情况下，前景/背景分离单元105和移动模糊调整单元106基于移动向量的方向，判定混合区域是被覆盖的背景区域还是未被覆盖的背景区域。例如，如果前景区域、混合区域和背景区域以与该移动向量的方向关联的形式顺序排列，则将该混合区域验证为被覆盖的背景区域，反之，如果背景区域、混合区域和前景区域以与该移动向量的关联方向的形式顺序排列，则将该混合区域验证为未被覆盖的背景区域。

在步骤S102，混合比计算单元104基于输入的图像和区域信息，从包含在彼此混合区域的一个像素中计算混合比α。后面将参考图46的流程详细解释计算该混合比的处理。混合比计算单元104发送所计算出的混合比α到前景/背景分离单元105。

在步骤S103，基于移动向量和区域信息，前景/背景分离单元105从输入的图像中提取前景分量，以将所提取的分量作为前景分量图像发送到移动模糊调整单元106。

在步骤S104，移动模糊调整单元106产生处理单元，用于基于该移动向量和区域信息，在未被覆盖的背景区域、前景区域和被覆盖的背景区域中的每一个的移动方向上相邻地排列的像素图像上指示一个位置，以调整包含在对应于该处理单元的前景分量中的移动模糊量。后面将参考图63的流程解释用于调整该移动模糊量的该处理。

在步骤S105，信号处理器12验证该处理对整个图像来说是否已经完成。如果信号处理器12已经验证该处理对整个图像来说还没有完成，则转到步骤S104以重复调整包含在对应于该处理单元的前景分量中的移动模糊量的处理。

如果在步骤S106验证该处理对整个图像来说已经完成，则终止该处理。

按这种方式，信号处理器12能够互相分开前景和背景，以调整包含在前景分量中的移动模糊量。即，信号处理器12能够调整包含在作为该前景像素的像素值的采样数据中的移动模糊量。

在下面，将解释区域指定单元103、混合比计算单元104、前景/背景分离单元105和移动模糊调整单元106的说明性结构。

图28是一方框图，示出区域指定单元103的说明性结构。帧存储器121以帧为基础存储输入图像。当正在处理的帧为帧#n时，帧存储器121存储帧#n·2作为帧#n的前两帧的帧，存储#n·1作为帧#n的前一帧的帧，存储#n+1作为帧#n的后一帧的帧，以及存储帧#n+2作为帧#n的后两帧的帧。

静止/移动判别单元122-1从帧存储器121读出位于和是被指定区域的帧#n的像素图像上的位置同样的位置处的帧#n+2的像素的像素值，以及位于和是被指定区域的帧#n的像素图像上的位置同样的位置处的帧#n+1的像素的像素值，以计算被读出的像素值的差的绝对值。静止/移动判别单元122-1验证帧#n+2和帧#n+1的像素值之间的差的绝对值是否大于一预定阈值Th。如果验证该差的绝对值大于该阈值Th，则静止/移动判别单元122-1传递指定移动判定的静止/移动判定传递到区域判定单元123-1。如果验证帧#n+2的像素值和帧#n+1的像素值之间的差的绝对值不大于该预定阈值Th，则静止/移动判别单元122-1将指定静止判定的静止/移动判定传递到区域判定单元123-1。

静止/移动判别单元122-2从帧存储器121读出位于和是被指定区域的帧#n的像素图像上的位置同样的位置处的帧#n+1的像素的像素值，以及位于和是被指定区域的帧#n的像素图像上的位置同样的位置处的帧#n+1的像素的像素值，以计算被读出的像素值的差的绝对值。静止/移动判别单元122-2验证帧#n+1和帧#n的像素值之间的差的绝对值是否大于一预定阈值Th。如果验证该差的绝对值大于该阈值Th，则静止/移动判别单元122-2传递指定移动判定的静止/移动判定传递到区域判定单元123-1和区域判定单元123-2。如果验证帧#n+1的像素值和帧#n的像素值之间的差的绝对值不大于该预定阈值Th，则静止/移动判别单元122-1将指定静止判定的静止/移动判定传递到区域判定单元123-1和区域判定单元123-2。

静止/移动判别单元122-3从帧存储器121读出位于和是被指定区域的帧#n的像素图像上的位置同样的位置处的帧#n的像素的像素值，以及位于和是被指定区域的帧#n的像素图像上的位置同样的位置处的帧#n·1的像素的像素值，以计算被读出的像素值的差的绝对值。静止/移动判别单元122-3验证帧#n和帧#n·1的像素值之间的差的绝对值是否大于一预定阈值Th。如果验证该差的绝对值大于该阈值Th，则静止/移动判别单元122-3传递指定移动判定的静止/移动判定传递到区域判定单元123-1和区域判定单元123-3。如果验证帧#n的像素值和帧#n·1的像素值之间的差的绝对值不大于该预定阈值Th，则静止/移动判别单元122-3将指定静止判定的静止/移动判定传递到区域判定单元123-2和区域判定单元123-3。

静止/移动判别单元122-4读出位于和是被指定区域的帧#n的像素图像上的位置同样的位置处的帧#n·1的像素的像素值，以及位于和是被指定区域的帧#n的像素图像上的位置同样的位置处的帧#n·2的像素的像素值，以计算像素值的差的绝对值。静止/移动判别单元122-4验证帧#n·1和帧#n·2的像素值之间的差的绝对值是否大于一预定阈值Th。如果验证帧#n·1的像素值和帧#n·2的像素值之间的差的绝对值不大于该预定阈值Th，则传递指示移动判定的静止/移动判定传递到区域判定单元123-3。如果验证帧#n·1的像素值和帧#n·2的像素值之间的差的绝对值不大于该预定阈值Th，则静止/移动判别单元122-4将指示静止判定的静止/移动判定传递到区域判定单元123-3。

如果从静止/移动判别单元122-1传递来的静止/移动判定指示静止，而从静止/移动判别单元122-2传递来的静止/移动判定指示移动，那么区域判定单元123-1判定被指定的区域的帧#n上的像素属于未被覆盖的背景区域，并在关联于被指定区域的像素的未被覆盖的背景区域判定标志中设置“1”，用于指示该像素属于该未被覆盖的背景区域。

如果从静止/移动判别单元122-1传递来的静止/移动判定指示移动，而从静止/移动判别单元122-2传递来的静止/移动判定指示静止，那么区域判定单元123-1判定被指定的区域的帧#n上的像素不属于未被覆盖的背景区域，并在关联于被指定区域的像素的未被覆盖的背景区域判定标志中设置“0”，用于指示该像素不属于该未被覆盖的背景区域。

区域判定单元123-1以这种方式将具有“1”或“0”的未被覆盖的背景区域判定标志传递到判定标志贮存存储器124。

如果从静止/移动判别单元122-2传递来的静止/移动判定指示静止，而从静止/移动判别单元122-3传递来的静止/移动判定指示静止，那么区域判定单元123-2判定被指定的区域的帧#n上的像素属于该静止区域，并在关联于被指定区域的像素的静止区域判定标志中设置“1”，用于指示该像素属于该未被覆盖的背景区域。

如果从静止/移动判别单元122-2传递来的静止/移动判定指示移动，或者从静止/移动判别单元122-3传递来的静止/移动判定指示移动，那么区域判定单元123-2判定被指定的区域的帧#n上的像素不属于该静止区域，并在关联于被指定区域的像素的静止区域判定标志中设置“0”，用于指示该像素不属于该静止区域。

区域判定单元123-2将具有在其中设置“1”或“0”的静止区域判定标志传递到判定标志贮存存储器124。

如果从静止/移动判别单元122-2传递来的静止/移动判定指示移动，并且从静止/移动判别单元122-3传递来的静止/移动判定指示移动，那么区域判定单元123-2判定被指定的区域的帧#n上的像素属于该移动区域，并在关联于被指定区域的像素的移动区域判定标志中设置“1”，用于指示该像素属于该移动区域。

如果从静止/移动判别单元122-2传递来的静止/移动判定指示静止，或者从静止/移动判别单元122-3传递来的静止/移动判定指示静止，那么区域判定单元123-2判定被指定的区域的帧#n上的像素不属于该移动区域，并在关联于被指定区域的像素的移动区域判定标志中设置“0”，用于指示该像素不属于该移动区域。

区域判定单元123-2将具有在其中设置“1”或“0”的移动区域判定标志传递到判定标志贮存存储器124。

如果从静止/移动判别单元122-3传递来的静止/移动判定指示移动，而从静止/移动判别单元122-4传递来的静止/移动判定指示静止，那么区域判定单元123-3判定被指定的区域的帧#n上的像素属于该未被覆盖的背景区域，并在关联于被指定区域的像素的被覆盖的背景区域判定标志中设置“1”，用于指示该像素属于该被覆盖的背景区域。

如果从静止/移动判别单元122-3传递来的静止/移动判定指示静止，或者从静止/移动判别单元122-4传递来的静止/移动判定指示静止，那么区域判定单元123-3判定被指定的区域的帧#n上的像素属于不该被覆盖的背景区域，并在关联于被指定区域的像素的被覆盖的背景区域判定标志中设置“0”，用于指示该像素不属于该被覆盖的背景区域。

区域判定单元123-2将具有在其中设置“1”或“0”的被覆盖的背景区域判定标志传递到被覆盖的背景区域的判定标志贮存存储器124。

判定标志贮存存储器124存储从区域判定单元123-1发送来的未被覆盖的背景区域判定标志、从区域判定单元123-2发送来的静止区域判定标志、从区域判定单元123-2发送来的移动区域判定标志和从区域判定单元123-3发送来的未被覆盖的背景区域判定标志。

判定标志贮存存储器124发送未被覆盖的背景区域判定标志、静止区域判定标志、移动区域判定标志和被覆盖的背景区域判定标志到合成单元125。基于判定标志贮存存储器124供给的未被覆盖的背景区域判定标志、静止区域判定标志、移动区域判定标志和被覆盖的背景区域判定标志，该合成单元产生一指示各个像素属于未被覆盖的背景区域、静止区域、移动区域和被覆盖的背景区域中的那一个的区域信息，并将该信息传递到判定标志贮存帧存储器126。

判定标志贮存帧存储器126存储从合成单元125供给的区域信息，同时输出存储在其中的区域信息。

参考图29至33，解释用区域指定单元103的典型处理。

当对应于前景的物体正在移动时，对应于图像屏幕上的物体的图像位置一帧一帧地改变。参考图29，对应于帧#n中位置Yn(x，y)的物体的图像定位在下一帧#n+1中的Yn+1(x，y)。

图30示意性地示出沿对应于前景的图像的移动方向相互邻接的像素行的像素值的模型。例如，如果对应于该前景的图像的移动方向相对于图像屏幕是水平的，则图30的示意图示出一模型，在其中在时间轴方向上扩展单线上的相互邻接的像素的像素值。

在图30中，帧#n中的该线与帧#n+1中的一条线相同。

在帧#n中，对应于包含在左起第二至第十三像素中的物体的前景的分量被包括在帧#n+1的左起第六至第十七像素。

属于帧#n中的被覆盖的背景区域的像素是左起第十一至第十三像素，而属于未被覆盖的背景区域的像素是左起第二至第四像素。属于帧#n+1中的被覆盖的背景区域的像素是左起第十五至第十七像素，而属于未被覆盖的背景区域的像素是左起第六至第八像素。

在图30所示的示例中，由于帧#n中的前景分量在帧#n+1中被移动四个像素，因此移动量v为4。实际分开的时间间隔数相当于移动量并等于4。

解释属于被考虑的帧的前后的混合区域的像素的像素值的变化。

在图31所示的帧#n中，该背景是静止的而前景的移动量v为4，属于被覆盖的背景区域的像素是左起第十五至第十七像素。由于移动量v为4，因此在紧接着前面的帧#n·1中左起第十五至第十七像素只包含背景分量，并且属于该背景。在更前面的帧#n·2中左起第十五至第十七像素只包含背景分量，并且属于该背景。

由于对应于该背景的物体是静止的，帧#n·1中的左起第十五像素的像素值不根据帧#n·2中的左起第十五像素的像素值变化。类似地，帧#n·1中的左起第十六像素的像素值不根据帧#n·2中的左起第十六像素的像素值变化，而帧#n·1中的左起第十七像素的像素值不根据帧#n·2中的左起第十七像素的像素值变化。

即，对应于属于被覆盖的背景区域的像素的帧#n·1和帧#n·2的像素仅仅包括背景分量，并且不改变，因此该差的绝对值实际上为0。所以关于对应于帧#n的混合区域的帧#n·1和帧#n·2的像素的静止/移动判定像静止状态那样由静止/移动判别单元122-4产生。

由于帧#n中属于被覆盖的背景区域的像素包含前景分量，所以对应的像素值不同于仅由帧#n·1中的背景分量组成的像素的值。因此，属于帧#n中的混合区域的像素和帧#n·1的对应像素通过静止/移动判别单元122-3验证是移动像素。

当从静止/移动判别单元122-3供给指示移动的静止/移动判定，以及从静止/移动判别单元122-4供给指示静止的静止/移动判定时，区域判定单元123-3判定所关心的像素属于被覆盖的背景区域。

包含在背景是静止的并且前景移动量v为4的帧#n中的未被覆盖的背景区域中的像素是左起第二至第四像素。由于移动量v为4，下一帧#n+1中左起第二至第四像素只包含该背景分量并且属于该背景区域。在往下第二帧#n+2中，左起第二至第四像素只包含该背景分量并且属于该背景区域。

由于对应于该背景的物体是静止的，帧#n+2中的左起第二像素的像素值不根据帧#n+1中的左起第二像素的像素值变化。类似地，帧#n+2中的左起第二像素的像素值不根据帧#n+1中的左起第二像素的像素值变化，而帧#n+2中的左起第三像素的像素值不根据帧#n+1中的左起第四像素的像素值变化。

即，对应于属于未被覆盖的背景区域的像素的帧#n+1和帧#n+2的像素仅仅包括背景分量，并且像素值不改变。因此该差的绝对值近似等于0。所以关于对应于帧#n的混合区域的像素的帧#n+1和帧#n+2的像素由静止/移动判别单元122-1判定是静止像素。

由于帧#n中属于未被覆盖的背景区域的像素包含前景分量，所以与仅由背景分量组成的帧#n+1中的像素的像素值不同。因此，属于帧#n中的混合区域的像素和对应帧#n·1的像素通过静止/移动判别单元122-2验证是移动像素。

按这种方式，从静止/移动判别单元122-2给区域判定单元123-1供给指示移动的结果。如果从静止/移动判别单元122-1供给指示静止的结果，则区域判定单元123-1判定对应的像素属于未被覆盖的背景区域。

图33示出在帧#n中区域指定单元103的判定条件。当处于和正被验证的帧#n的像素的图像上的位置同样的位置的帧#n·2的像素和帧#n·1的像素被判定为静止，同时处于和正被验证的帧#n的像素的图像上的位置同样的位置的帧#n·1的像素和帧#n的像素被判定为移动时，区域指定单元103判定正被验证的帧#n的像素属于被覆盖的背景区域。

当处于和正被验证的帧#n的像素的图像上的位置同样的位置的帧#n·1的像素和帧#n的像素被判定为静止，同时处于和正被验证的帧#n的像素的图像上的位置同样的位置的帧#n的像素和帧#n+1的像素被判定为静止时，区域指定单元103判定正被验证的帧#n的像素属于该静止区域。

当处于和正被验证的帧#n的像素的图像上的位置同样的位置的帧#n·1的像素和帧#n的像素被判定为移动，同时处于和正被验证的帧#n的像素的图像上的位置同样的位置的帧#n的像素和帧#n+1的像素被判定为静止时，区域指定单元103判定正被验证的帧#n的像素属于该移动区域。

当处于和正被验证的帧#n的像素的图像上的位置同样的位置的帧#n的像素和帧#n+1的像素被判定为移动，并且处于和正被验证的帧#n的像素的图像上的位置同样的位置的帧#n+1的像素和处于和正被验证的帧#n的像素的图像上的位置同样的位置的帧#n+1的像素和处于和正被验证的帧#n的像素的图像上的位置同样的位置的帧#n+2的像素被判定为静止时，区域指定单元103判定正被验证的帧#n的像素属于该未被覆盖的背景区域。

图34示出通过区域指定单元103的区域判定的示例。在图34中A，以白色示出被判定属于该被覆盖的背景区域的像素。在图34B中，以白色示出被判定属于该未被覆盖的背景区域的像素。

在图34C中，以白色示出被判定属于该移动区域的像素。在图34D中，以白色示出被判定属于该静止区域的像素。

图35示出代表该混合区域的区域信息，在由判定标志贮存帧存储器126输出的该区域信息中，作为图像。在图35中，以白色示出被判定属于被覆盖的背景区域或未被覆盖的背景区域即混合区域的像素。指示混合区域、由判定标志贮存帧存储器126输出的区域信息，在前景区域和混合区域中指示由非纹理部分包围的纹理部分。

参考图36的流程，解释通过区域指定单元103的区域识别的处理。在步骤S121，帧存储器121获取帧#n·2至帧#n+2，包括帧#n的图像。

在步骤S122，静止/移动判别单元122-3检查处于帧#n·1和帧#n相同位置的像素是否是静止的。如果判定该像素示静止的，该处理过程转移到步骤S123，在其中静止/移动判别单元122-2检查处于帧#n和帧#n+1相同位置的像素是否是静止的。

如果在步骤S123判定处于帧#n和帧#n+1相同位置的像素是静止的，则该处理过程转移到步骤S124，在其中区域判定单元123-2在对应于正被验证的区域中的像素的静止区域判定标志中设置“1”，其中该标志用于指示该像素属于该静止区域。区域判定单元123-2将该静止区域判定标志发送到判定标志贮存存储器124。然后该处理过程转移到步骤S125。

如果在步骤S122判定处于帧#n·1和帧#n相同位置的像素是移动的、或者在步骤S123中判定处于帧#n和帧#n+1相同位置的像素是移动的，那么帧#n的像素不属于静止区域，因此该处理过程跳过步骤S124的处理，转移到步骤S125。

在步骤S125，静止/移动判别单元122-3检查处于帧#n·1和帧#n相同位置的像素是否是移动的。如果该像素被判定是移动的，则该处理过程转移到步骤S126，在其中静止/移动判别单元122-2判定处于帧#n和帧#n+1相同位置的像素是否是移动的。

如果在步骤S126判定处于帧#n和帧#n+1相同位置的像素是移动的，则该处理过程转移到步骤S127，在其中区域判定单元123-2在对应于正被验证的区域中的像素的移动区域判定标志中设置“1”，其中该标志用于指示该像素属于该移动区域。区域判定单元123-2将该移动区域判定标志发送到判定标志贮存存储器124。然后该处理过程转移到步骤S128。

如果在步骤S125判定处于帧#n·1和帧#n相同位置的像素是静止的、或者在步骤S126中判定处于帧#n和帧#n+1相同位置的像素是静止的，那么帧#n的像素不属于该移动区域，因此该处理过程跳过步骤S127的处理，转移到步骤S128。

在步骤S128，静止/移动判别单元122-4检查处于帧#n·2和帧#n·1相同位置的像素是否是静止的。如果该像素被判定是静止的，则该处理过程转移到步骤S129，在其中静止/移动判别单元122-3判定处于帧#n·1和帧#n相同位置的像素是否是移动的。

如果在步骤S129判定处于帧#n·1和帧#n相同位置的像素是移动的，则该处理过程转移到步骤S130，在其中区域判定单元123-3在对应于正被验证的区域中的像素的被覆盖的背景区域判定标志中设置“1”，其中该标志用于指示该像素属于被覆盖的背景区域。区域判定单元123-3将该被覆盖的背景区域判定标志发送到判定标志贮存存储器124。然后该处理过程转移到步骤S131。

如果在步骤S128判定处于帧#n·2和帧#n·1相同位置的像素是移动的、或者在步骤S129中判定处于帧#n·1和帧#n相同位置的像素是静止的，那么帧#n的像素不属于该被覆盖的背景区域，因此该处理过程跳过步骤S130的处理，转移到步骤S131。

在步骤S131，静止/移动判别单元122-2检查处于帧#n和帧#n+1相同位置的像素是否是静止的。如果该像素被判定是移动的，则该处理过程转移到步骤S132，在其中静止/移动判别单元122-1判定处于帧#n+1和帧#n+2相同位置的像素是否是移动的。

如果在步骤S132判定处于帧#n+1和帧#n+2相同位置的像素是移动的，则该处理过程转移到步骤S133，在其中区域判定单元123-1在对应于正被验证的区域中的像素的未被覆盖的背景区域判定标志中设置“1”，其中该标志用于指示该像素属于未被覆盖的背景区域。区域判定单元123-1将该未被覆盖的背景区域判定标志发送到判定标志贮存存储器124。然后该处理过程转移到步骤S134。

如果在步骤S131判定处于帧#n和帧#n+1相同位置的像素是静止的、或者在步骤S132中判定处于帧#n+1和帧#n+2相同位置的像素是移动的，那么帧#n的像素不属于该未被覆盖的背景区域，因此该处理过程跳过步骤S133的处理，转移到步骤S134。

在步骤S134，区域指定单元103检查是否已经为帧#n的像素全体指定了区域。如果判定还没有为帧#n的像素全体指定区域，则该处理过程返回步骤S122，以重复为其余像素的区域指定处理。

如果在步骤S134判定已经为帧#n的像素全体指定了区域，则该处理过程转移到步骤S135，在其中合成单元125基于存储在判定标志贮存存储器124中的未被覆盖的背景区域判定标志和被覆盖的背景区域的判定标志，产生指示混合区域的区域信息，同时也产生指示每个像素属于未被覆盖的背景区域、静止区域、移动区域和被覆盖的背景区域中的哪一个的区域信息。合成单元125在判定标志贮存帧存储器126中设置所产生的信息，已经结束该处理。

按照这种方式，区域指定单元103能够为每个包括在帧内的像素产生区域信息，指示所关心的像素属于移动区域、静止区域、被覆盖的背景区域或者未被覆盖的背景区域。

区域指定单元103也可以对对应于未被覆盖的背景区域和被覆盖的背景区域的区域信息施加逻辑和，以为每个包括在帧内的像素产生包括指示包含在该帧中的已知像素属于移动区域、静止区域或混合区域的标志的区域信息。

如果关联于该前景的物体包括纹理，则区域指定单元103能够更精确地指定该移动区域。

区域指定单元103能够输出指示移动区域的区域信息作为指示前景区域的信息，或者输出指示静止区域的区域信息作为指示该背景区域的区域信息。

在前面假设了对应于背景的物体是静止的。但上述区域指定处理可以应用于甚至关联与该背景区域的图像包含移动的情况。例如，如果对应于该背景区域的图像均匀地移动，则区域指定单元103关联与该移动移动整个图像，以与对应于该背景的物体为静止时所用的相同方式执行该处理。如果与该背景区域关联的图像包含对不同位置有不同的移动，那么区域指定单元103选择对应于该移动的像素以执行上述处理。

图37示出一个示出混合比计算单元104的说明性结构的方框图。被估计的混合比处理器201通过计算对应于被覆盖的背景区域的模型、基于输入的图像，逐个像素地计算被估计的混合比，以传递所计算的被估计的混合比到混合比判定单元203。

被估计的混合比处理单元202计算通过对应于未被覆盖的背景区域的模型的计算、基于输入的图像，逐个像素地计算被估计的混合比，以传递所计算的被估计的混合比到混合比判定单元203。

由于对应于前景的物体可以被假设在快门时间内以等速度移动，所以属于混合区域的像素的混合比α具有下列特性：即混合比α线性地相对于像素位置的变化而变化。如果像素位置的变化是一维的，那么混合比α的变化可以表示成一平面。

由于一帧的周期很短，因此可以假设对应于前景的物体是刚体构件，并且以等速移动。

同时，混合比α的斜率与快门时间内的前景的移动量v成反比。

图38示出理想混合比α的示例。在具有理想混合比α的混合区域中的斜率1可以表示成该移动量v的倒数。

在图39的实施例中，利用帧#n·1中的左起第七像素的像素值P06，通过方程(14)可以将帧#n中的左起第七像素的像素值C06表示：

$C06=B06/v+B06/v+F01/v+F02/v$

$=P06/v+P06/v+F01/v+F02/v---\left(14\right)$

$=2/v\·P06+\underset{i}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}/v$

在方程(14)中，像素值C06被表达成混合区域的像素的像素值M，同时像素值P06被表达成背景区域的像素的像素值B。即，混合区域的像素值M和背景的像素值B可以由方程(15)和(16)分别表示：

                    M＝C06                 (15)

                         C＝αP+f          (16)

在方程(14)，2/v对应于混合比α。由于移动量v为4，所以帧#n中的左起第七像素的混合比α为0.5。

通过假设正在考虑的帧#n的像素值C和帧#n的紧前一帧#n·1的像素值P分别作为混合区域的像素值和背景的像素值，可以将指示混合比α的方程(13)改写成下列方程(17)：

                         C＝αP+f          (17)式中f表示包含在所考虑的像素中的前景分量的总和∑iFi/v。在方程(17)中存在两个变量，即混合比α和前景分量的总和f。

图40示出一模型，在该模型中在未被覆盖的背景区域中的移动量是4，并且随被示出的像素沿该时间轴方向扩展，沿时间轴的实际分开时间间隔数为4。

在未被覆盖的背景区域中，通过假设正在考虑的帧#n的像素值C和紧跟帧#n的帧#n+1的像素值P分别作为混合区域的像素值和背景的像素值，像上面所讨论的被覆盖的背景区域一样，可以将指示混合比α的方程(13)改写成下列方程(18)：

                         C＝αN+f          (18)

虽然在上述描述中假设该背景物体时静止的，但通过使用关联于该背景移动量v的像素的像素值，即使该背景物体时移动的，方程(14)至(18)也可以应用。例如，如果当对应于该背景的物体的移动量v为2并且实际分开的时间间隔数也为2，则对应于该背景的物体在附图中向右移动，方程(16)中的该背景区域的像素的像素值B为像素值P04。

由于方程(17)和(18)都包含两个变量，所以不能直接得到混合比α。应该注意到，图像通常展示出较强的空间相关性，因此相互邻近的像素是近似相同的像素值。

由于前景分量展示出较强的空间相关性，所以改进该方程以使得通过前景分量总和的混合比α将从前面的帧或后续的帧导出。

图41的帧#n的左起第七像素的像素值Mc可以用下列方程(19)表示：

$\mathrm{Mc}=\frac{2}{v}\·B06+\underset{i=11}{\overset{12}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(19\right)$

式中右边第一项2/v对应于混合比α。通过使用后续帧#n+1的像素值，方程(19)的右边的第二项可以用方程(20)表示：

$\underset{i=11}{\overset{12}{\mathrm{\Σ}}}\mathrm{Fi}/v=\mathrm{\β}\·\underset{i=7}{\overset{110}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(20\right)$

这里通过使用前景分量的空间相关性，假设下列方程(21)成立：

         F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12          (21)它可以用于改写方程(20)为：

$\underset{i=11}{\overset{12}{\mathrm{\Σ}}}\mathrm{Fi}/v=\frac{2}{v}F---\left(22\right)$

$=\mathrm{\β}\·\frac{4}{v}F$

结果，β可以用下列方程(23)表示成

                            β＝22/4                        (23)

通常，如果假设关于混合区域的前景分量相等，如由方程(21)所示，则下列方程(24)：

                            β＝1·α                                                   (24)

通过内分比、对混合区域的像素全体成立。

如果方程(24)成立，那么方程(17)可以像方程(25)那样展开：

$C=\mathrm{\α}\·N+f$

$=\mathrm{\α}\·N+(1-\mathrm{\α})\·\underset{i=\mathrm{\γ}}{\overset{\mathrm{\γ}+V-1}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(25\right)$

$=\mathrm{\α}\·N+(1-\mathrm{\α})\·P$

如果方程(24)成立，那么方程(18)可以像方程(26)那样展开：

$C=\mathrm{\α}\·P+f$

$=\mathrm{\α}\·P+(1-\mathrm{\α})\·\underset{i=\mathrm{\γ}}{\overset{\mathrm{\γ}+V-1}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(26\right)$

$=\mathrm{\α}\·P+(1-\mathrm{\α})\·N$

在方程(25)和(26)中，由于C、N和P是已知的像素值，因此在方程(25)和(26)中只包含一个变量，即混合比α。方程(2 5)和(26)中的C、N和P之间的关系示出在图42中。应该注意到，C、N和P分别是正在考虑的帧#n的一个像素的像素值、其空间方向上的位置与被考虑的像素的位置互相对准的帧#n+1的一个像素的像素值以及其空间方向上的位置与被考虑的像素的位置互相对准的帧#n·1的一个像素的像素值。

因此，方程(25)和(26)的每一个中包含每一个变量，因而可以利用这三帧的各像素的像素值来计算混合比α。通过解方程(25)和(26)来计算校正混合比α的条件是：有关于该混合区域的前景分量相等，也就是一系列两倍于移动量x相邻的像素的各个像素值是常数，其中的像素在静止状态下成像的前景的图像物体中，并且位于与该前景的移动方向关联的图像物体的边界上。

属于被覆盖的背景区域的像素的混合比α由方程(27)来计算，而属于未被覆盖的背景区域的像素的混合比α由下列方程(27)和(28)来计算

                    α＝(C·N)/(P·N)               (27)

                    α＝(C·P)/(N·P)               (28)

在示出被估计的混合比处理器201的结构的方框图43中，帧存储器221以帧为基础存储输入图像，并馈送紧跟在被作为输入图像输入的帧的一帧到帧存储器222和混合比计算单元223。

帧存储器222存储以帧为基础存储输入图像并传递紧接着从帧存储器221供给的下一帧的一帧到混合比计算单元223。

因此，如果帧#n+1正在被作为输入图像输入到混合比计算单元223，那么帧存储器221传递帧#n到混合比计算单元223，同时帧存储器222传递帧#n·1到混合比计算单元223。

混合比计算单元223通过关于正在考虑的帧#n的像素的像素值C、空间位置与所考虑的像素的空间位置互相对准的帧#n+1的像素的像素值、空间位置与所考虑的像素的空间位置互相对准的帧#n·1的像素的像素值计算方程(27)，来计算所考虑的像素的被估计的混合比。并输出所计算出来的被估计的混合比。例如，如果该背景处于静止状态，则混合比计算单元223从正在考虑的帧#n的像素的像素值C、在帧中的位置与所考虑的像素的位置相同的帧#n+1的像素的像素值N、在帧中的位置与所考虑的像素的位置相同的帧#n·1的像素的像素值P，计算所考虑的像素的被估计的混合比，并输出所计算出来的被估计的混合比。

按这种方式，被估计的混合比处理器201基于输入图像计算被估计的混合比，以将所计算出来的被估计的混合比传递到混合比判定单元203。

被估计的混合比处理单元202类似于被估计的混合比处理器201，但被估计的混合比处理器201按照方程(27)计算所考虑的像素的被估计的混合比，而被估计的混合比处理单元202按照方程(28)计算所考虑的像素的被估计的混合比，因此为了简洁起见，省略了对应的描述。

图44示出一由被估计的混合比处理器201计算的被估计的混合比的示例。图44示出对于单线、关于对应于以等于11的恒定速度移动的一物体的前景的移动量v的被估计的混合比。

应该看到，被估计的混合比在该混合区域中接近线性地变化，如图38所示。

回到图37，混合比判定单元203基于来自区域指定单元103的区域信息设置混合比α，其中来自区域指定单元103的区域信息指示作为计算混合比α的基础从区域指定单元103供给的像素属于前景区域、背景区域、被覆盖的背景区域或未被覆盖的背景区域中的哪个。如果作为计算的基础的像素分别属于前景区域或属于背景区域，则混合比判定单元203分别将混合比设置为0或1。另一方面，如果作为计算的基础的像素属于被覆盖的背景区域，则混合比判定单元203将被估计的混合比处理器201供给的被估计的混合比设置为混合比α，而如果作为计算的基础的像素属于未被覆盖的背景区域，则混合比判定单元203将被估计的混合比处理单元202供给的被估计的混合比设置为混合比α。混合比判定单元203输出基于区域信息设置的该混合比α。

在示出混合比计算单元104的另一个结构的方框图45中，选择单元231基于从区域指定单元103供给的区域信息，将属于被覆盖的背景区域的像素和有关的前面和后续帧的像素传递到被估计的混合比处理器232。选择单元231基于从区域指定单元103供给的区域信息，将属于未被覆盖的背景区域的像素和有关的前面和后续帧的像素传递到被估计的混合比处理器233。

被估计的混合比处理器232基于从选择单元231输入的像素值、通过按照方程(27)的计算，计算属于被覆盖的背景区域的所考虑的像素的被估计的混合比，以将计算出来的被估计的混合比传递到选择单元234。

被估计的混合比处理器233基于从选择单元231输入的像素值、通过按照方程(28)的计算，计算属于未被覆盖的背景区域的所考虑的像素的被估计的混合比，以将计算出来的被估计的混合比传递到选择单元234。

选择单元234基于来自区域指定单元103的区域信息设置混合比α，其中来自区域指定单元103的区域信息指示作为计算混合比α的基础从区域指定单元103供给的像素属于前景区域、背景区域、被覆盖的背景区域或未被覆盖的背景区域中的哪个。如果作为计算的基础的像素分别属于前景区域或属于背景区域，则混合比判定单元203分别将混合比设置为0或1。另一方面，如果作为计算的基础的像素属于被覆盖的背景区域，则选择单元234将被估计的混合比处理器232供给的被估计的混合比设置为混合比α，而如果作为计算的基础的像素属于未被覆盖的背景区域，则将被估计的混合比处理器233供给的被估计的混合比设置为混合比α。选择单元234输出所选择、并且基于区域信息设置的该混合比α。

具有图45的改进结构的混合比计算单元104在图像上逐个像素地计算混合比α，以输出所计算的混合比α。

参考图46的流程图，解释用于计算其结构示出在图37中的混合比计算单元104的混合比α的处理。在步骤S151，混合比计算单元104获取从区域指定单元103供给的区域信息。在步骤S151，混合比计算单元104获取从区域指定单元103供给的区域信息。在步骤S152，被估计的混合比判定单元203用对应于被覆盖的背景区域的一种模型计算被估计的混合比，以将所计算的被估计的混合比传递到被估计的混合比处理器201。用于计算该被估计的混合比的这种处理将在后面通过参考图47的流程详细进行解释。

在步骤S153，被估计的混合比处理单元202用对应于被覆盖的背景区域的一种模型计算被估计的混合比，以将所计算的被估计的混合比传递到混合比判定单元203。

在步骤S154，混合比计算单元104检查是否已经对整个帧估计了混合比α。如果发现没有对整个帧估计混合比α，则处理过程转到步骤S152以执行对下一像素的、估计混合比α的处理。

如果在步骤S154判定已经对整个帧估计了混合比α，那么该处理过程转到步骤S155，在其中混合比判定单元203基于区域指定单元103供给的区域信息设置混合比α，并且它指示该像素属于前景区域、背景区域、被覆盖的背景区域或未被覆盖的背景区域中的哪个。如果作为计算的基础的像素分别属于前景区域或属于背景区域，则混合比判定单元203分别将混合比设置为0或1。另一方面，如果作为计算的基础的像素属于被覆盖的背景区域，则混合比判定单元203将被估计的混合比处理器201供给的被估计的混合比设置为混合比α，而如果作为计算的基础的像素属于未被覆盖的背景区域，则混合比判定单元203将被估计的混合比处理单元202供给的被估计的混合比设置为混合比α。然后结束该处理。

按这种方式，混合比计算单元104能够基于区域指定单元103供给的区域信息和输入图像，将混合比α作为每个像素的特征值进行计算。

用图45所示的混合比计算单元104计算混合比α的处理类似于通过参考图46的流程解释的处理，因此不进行具体解释。

参考图47的流程，解释类似于图46的步骤S152的、用于通过对应于被覆盖的背景区域的模型估计该混合比的处理。

在步骤S171，混合比计算单元223从帧存储器221获取帧#n的被考虑的像素的像素值C。

在步骤S172，混合比计算单元223从帧存储器222获取帧#n·1的被考虑的像素的像素值C。

在步骤S173，混合比计算单元223获取对应于包含在输入图像的被考虑的像素的帧#n+1的像素值N。

在步骤S174，混合比计算单元223基于帧#n的被考虑的像素的像素值C、帧#n·1的像素的像素值P和帧#n+1的像素的像素值N，计算被估计的混合比。

在步骤S175，混合比计算单元223检查是否已经完成了对整个帧进行计算被估计的混合比的处理。如果判定没有完成对整个帧进行计算被估计的混合比的处理，则该处理过程转到步骤S171，以重复为下一个像素计算被估计的混合比的处理。

如果在步骤S175认定已经完成了对整个帧进行计算被估计的混合比的处理，则结束该处理。

按这种方式，被估计的混合比处理器201能够基于输入图像计算被估计的混合比。

图46的步骤S153中通过对应于未被覆盖的背景区域的模型估计混合比的处理类似于使用对应于未被覆盖的背景区域的模型的方程的处理，如图47的流程所示，因此不进行具体解释。

同时，由于图45所示的被估计的混合比处理器232和被估计的混合比处理器233通过执行类似于图47的流程的处理的处理，来计算被估计的混合比，因此为了简单，省略对应的操作。

在前面的解释中，假设了对应于背景的物体是处于静止状态的。但是找到混合比α的处理也可以用于对应于背景的图像包含移动的情况。例如，如果对应于背景区域的图像正在匀速移动，则被估计的混合比处理器201与背景的该移动协调地移动整个图像，以就象对应于该背景的物体处于静止状态一样执行该处理。另一方面，如果对应于该背景区域的图像包含对于一个位置与另一位置来说不同的背景移动，那么被估计的混合比处理器201将关联与该背景移动的像素选择为对应于属于混合区域的像素的像素，以执行上述处理。

图37或45所示的混合比计算单元104的结构仅仅是说明性的。

混合比计算单元104也能够只执行用于通过对应于被覆盖的背景区域的模型来估计混合比的处理、以将所计算出的被估计的混合比作为混合比α输出。在这种情况下，混合比α分别为属于被覆盖的背景区域的像素和属于未被覆盖的背景区域的像素指示前景和背景的比例。如果计算出所计算的混合比α和1的差的绝对值以将计算出的该绝对值设置为混合比α，则信号处理器12能够得到为属于未被覆盖的背景区域的像素指示背景分量的比例值的混合比α。

也能够只执行用于通过对应于未被覆盖的背景区域的模型为全体像素来估计混合比的处理、以将所计算出的被估计的混合比作为混合比α输出。

现在解释前景/背景分离单元105。在示出前景/背景分离单元105的说明性结构的方框图48中，馈送给前景/背景分离单元105的输入图像被施加到分离单元251、开关252和开关254。来自区域指定单元103的、指定指示被覆盖的背景区域信息的信息和指示未被覆盖的背景区域信息的信息的区域信息被馈送到分离单元251，而指示前景信息的区域信息和指示背景区域的区域信息被分别传递到开关252、开关254。

将从混合比计算单元104供给的混合比α发送到分离单元251。

分离单元251基于指示被覆盖的背景区域信息的区域信息、指示未被覆盖的背景区域信息的区域信息和混合比α，从输入图像分离前景分量，并将所分出的前景分量供给合成单元253，同时从输入的图像分离出背景分量以将所分出的背景分量传递到合成单元255。

当输入对应于前景的像素时，基于指示前景区域的区域信息闭合开关252，以仅仅传递对应于包含在输入图像中的前景的像素到合成单元253。

当输入对应于背景的像素时，基于指示背景区域的区域信息闭合开关254，以仅仅传递对应于包含在输入图像中的背景的像素到合成单元255。

合成单元253基于来自分离单元251对应于前景的分量以及来自开关252对应于前景的分量合成一前景分量图像，以输出合成的前景分量图像。由于该前景区域和混合区域不重叠，所以合成单元253对对应于该前景的分量和对应于该前景的像素应用逻辑和处理，以合成前景分量图像。

在用于合成前景分量图像的处理中首先被执行的初始化处理中，合成单元253在内帧存储器中存储一带有全部零像素值的图像，以在用于合成前景分量图像的处理中存储(改写)前景分量图像。因此，在对应于背景区域的像素中，在合成单元253输出的前景分量图像中，0作为像素值存储。

合成单元255基于对应于背景的、来自分离单元251的分量以及来自开关254的分量合成背景分量图像，以输出合成的背景分量图像。由于该背景区域和混合区域不重叠，所以合成单元255对对应于该背景的分量和对应于该背景的像素应用逻辑和处理，以合成背景分量图像。

在用于合成背景分量图像的处理中首先被执行的初始化处理中，合成单元255在内帧存储器中存储一带有全部零像素值的图像，以在用于合成背景分量图像的处理中存储(改写)背景分量图像。因此，在对应于前景区域的像素中，在合成单元255输出的背景分量图像中，0作为像素值存储。

图49示出一馈送到前景/背景分离单元105的输入图像，以及从前景/背景分离单元105输出的前景分量图像和背景分量图像。

图49A示意性地示出显示的图像，而图49B示意性地示出在沿时间轴扩展包括属于该前景区域的像素、属于该背景区域的像素和混合区域中的像素的单线像素时获得一模型。

参考图49A和49B，从前景/背景分离单元105输出的背景图像由包含在属于该背景区域的像素和属于混合区域的像素中的背景分量组成。

参考图49A和49B，从前景/背景分离单元105输出的前景成分图像由包含在属于该前景区域的像素和属于混合区域的像素中的前景分量组成。

混合区域的像素的像素值通过前景/背景分离单元105分离成背景分量和前景分量。因此而分离出来的背景分量与属于背景区域的像素一起构成背景分量图像。分离出来的前景分量与属于前景区域的像素一起构成前景分量图像。

按这种方式，关联于背景区域的前景分量图像的像素的像素值设置为0，而在对应于前景区域的像素和对应于混合区域的像素中设置有意义的像素值。同样，关联于前景区域的背景分量图像的像素的像素值设置为0，而在对应于背景区域的像素和对应于混合区域的像素中设置有意义的像素值。

解释在从属于混合区域的像素中分离前景和背景分量时通过分离单元251执行的处理。

图50示意性地示出显示包括对应于在附图中从左向右移动的物体的前景的两帧的前景和背景分量的图像模型。在图50的图像模型中，由于实际分开的时间间隔是4，所以前景的移动量为4。

在帧#n中，最左边的像素和左起第十四至第十八像素仅仅包括背景分量，并且属于背景区域。在帧#n中，左起第二至第四像素包括背景和前景分量，并且属于未被覆盖的背景区域。在帧#n中，左起第十一至第十三像素包括背景和前景分量并且属于被覆盖的背景区域。在帧#n，左起第五至第十像素只包括前景分量并且属于被覆盖的背景区域。

在帧#n+1中，左起第一至第五像素和左起第十八像素仅仅包括背景分量，并且属于背景区域。在帧#n+1中，左起第六至第八像素包括背景和前景分量，并且属于未被覆盖的背景区域。在帧#n+1中，左起第十五至第十七像素包括背景和前景分量并且属于被覆盖的背景区域。在帧#n+1，左起第九至第十四像素只包括前景分量并且属于被覆盖的背景区域。

图51说明了用于从属于被覆盖的背景区域的像素中分离前景分量的处理。在图51中，α1至α8代表关联于帧#n的各个像素的混合比值。在图51中，左起第十五至第十七像素属于被覆盖的背景区域。

帧#n的左起第十五的像素值C15由下列方程(29)表示：

C15＝B15/v+F09/v+F08/v+F07/v

   ＝α15·B15+F09/v+F08/v+F07/v

                     ＝α15·P15+F09/v+F08/v+F07/v    (29)

式中，α15是帧#n左起第十五像素的混合比，P15是帧#n·1的左起第十五像素的混合比。

基于方程(29)，帧#n的第十五像素的前景分量的总和f15由方程(30)表示：

               f15＝F09/v+F08/v+F07/v

                     ＝C15·α15·P15                 (30)

类似地，帧#n的左起第十六像素的前景分量的总和f16和帧#n的第十七像素的前景分量的总和f17分别由方程(31)和(32)表示：

               f16＝C16·α16·P16                    (31)

               f17＝C17·α17·P17                    (32)

按这种方式，包含在属于被覆盖的背景区域中的像素的像素值C中的前景分量fc可以由方程(33)计算：

                   fc＝C·α·P                       (33)

图52说明了用于从属于未被覆盖的背景区域的像素中分离前景分量的处理。在图52中，α1至α18代表关联于帧#n的各个像素的混合比值。在图52中，左起第二至第四像素属于未被覆盖的背景区域。

帧#n的左起第二像素的像素值C02由下列方程(34)表示：

           C15＝B02/v+B02/v+B02/v+F01/v

              ＝α2·B02+F01/v

                     ＝α2·N02+F01/v                 (34)

式中，α2是帧#n的左起第二像素的混合比，N02是帧#n+1的左起第二像素的混合比。

基于方程(34)，帧#n的左起第二像素的前景分量的总和f02由方程(35)表示：

f02＝F01/v

                          ＝C02·α2·N02              (35)

类似地，帧#n的左起第三像素的前景分量的总和f03和帧#n的左起第四像素的前景分量的总和f04分别由方程(36)和(37)表示：

                     f03＝C03·α3·N03                (36)

                     f04＝C04·α4·N04                (37)

包含在属于未被覆盖的背景区域中的像素的像素值C中的前景分量fu由下列方程(38)计算：

                     fu＝C·α·N                      (38)

式中，N是下一帧的对应像素的像素值。

按这种方式，分离单元251能够基于包含在该区域信息中指示被覆盖的背景区域的信息和指示被覆盖的背景区域的信息以及基于像素的混合比α，从属于混合区域的像素中分离前景分量和背景分量。

在示出适用于执行上述处理的分离单元251的说明性结构的图53中，输入到分离单元251的图像被输入到帧存储器301，而指示被覆盖的背景区域和未被覆盖的背景区域的信息以及混合比α输入到分离处理模块302。

帧存储器301以帧为基础存储输入图像。如果处理的物体是帧#n，则帧存储器301存储帧#n的紧前一帧#n·1、#n和紧跟#n的下一帧#n+1。

帧存储器301将对应于帧#n·1、帧#n和帧#n+1的像素传递到分离处理模块302。

基于指示被覆盖的背景区域的信息和未被覆盖的背景区域的信息以及基于混合比α，如图51和52所示，分离处理模块302对从帧存储器301供给的、帧#n·1、#n和帧#n+1的对应像素的像素值执行计算，以从属于帧#n的混合区域的像素中分离前景和背景分量，并传递分离出的分量到帧存储器303。

分离处理模块302由未被覆盖的背景区域处理器311、被覆盖的区域处理器312、合成单元313和合成单元314构成。

未被覆盖的区域处理器311包括乘法器321，它将由帧存储器301供给的帧#n+1的像素的像素值与混合比α相乘，以将产生的乘积传递到开关322，开关322在从帧存储器301供给的帧#n的像素(对应于帧#n+1的像素)位于未被覆盖的背景区域时是闭合的，以将被从乘法器321发送的混合比α乘过的像素传递到运算单元323和合成单元314。来自开关322的被混合比α乘过的帧#n+1的像素的像素值等于帧#n的对应的像素的像素值的背景分量。

运算单元323从帧存储器301供给的帧#n的像素的像素值中减去开关322供给的背景分量，以得到前景分量。运算单元323传递属于未被覆盖的背景区域的帧#n的像素的前景分量到合成单元313。

被覆盖的区域处理器312包括乘法器331它将由帧存储器301供给的帧#n·1的像素的像素值与混合比α相乘，以将产生的乘积传递到开关332，开关322在从帧存储器301供给的帧#n的像素(对应于帧#n·1的像素)位于被覆盖的背景区域时是闭合的，以将被从乘法器331发送的混合比α乘过的像素传递到运算单元333和合成单元313。来自开关332的被混合比α乘过的帧#n·1的像素的像素值等于帧#n的对应的像素的像素值的背景分量。

运算单元333从帧存储器301供给的帧#n的像素的像素值中减去开关322供给的背景分量，以得到前景分量。运算单元333传递属于被覆盖的背景区域的帧#n的像素的前景分量到合成单元313。

合成单元313将来自运算单元323的属于未被覆盖的背景区域的像素的前景分量合成到属于被覆盖的背景区域的像素的前景分量，以传递产生的总和到帧存储器303。

合成单元314将来自运算单元323的属于未被覆盖的背景区域的像素的背景分量合成到属于被覆盖的背景区域的来自开关332的像素的背景分量，以传递产生的总和到帧存储器303。

帧存储器303存储由分离处理模块302供给的帧#n的混合区域的像素的前景和背景分量。

帧存储器303输出被存储的帧#n的混合区域的像素的前景分量和被存储的帧#n的混合区域的像素的背景分量。

通过将混合比α用作特征值，包含在像素值中的前景和背景分量可以完全彼此分离。

合成单元253将由分离单元251输出的帧#n的混合区域的像素的前景分量和属于前景区域的像素互相合成，以产生前景分量图像。合成单元255将由分离单元251输出的帧#n的混合区域的像素的背景分量和属于背景区域的像素互相合成，以产生背景分量图像。

图54示出对应于图50的帧#n的背景分量图像的一个示例以及前景分量图像的一个示例。

图54A示出对应于图50的帧#n的前景分量图像的一个示例。最左边的像素和左起第十四像素的像素值在前景/背景分离之前仅仅包括背景分量，因此它们等于0。

在前景/背景分离之前属于未被覆盖的背景区域的左起第二至第四像素，背景分量为0而前景分量保持原封不动。在前景/背景分离之前属于被覆盖的背景区域的左起第十一至第十三像素，背景分量为0而前景分量保持原封不动。因为这些像素仅仅包括背景分量，所以左起第五至第十像素保持原封不动。

图54B示出对应于图50的帧#n的背景分量图像的一个示例。最左边的像素和左起第十四像素在前景/背景分离之前仅仅包括背景分量，因此它们保持原封不动。

在前景/背景分离之前属于未被覆盖的背景区域的左起第二至第四像素，前景分量为0而背景分量保持原封不动。在前景/背景分离之前属于被覆盖的背景区域的左起第十一至第十三像素，背景分量为0而前景分量保持原封不动。因为这些像素仅仅包括前景分量，所以左起第五至第十像素的像素值仅仅包括前景分量。

参考图55的流程，解释由前景/背景分离单元105用于前景/背景分离的处理。在步骤S201，分离单元251的帧存储器301获取输入的图像并将进行前景/背景分离处理的帧#n与其前面的帧#n·1和后面的帧#n+1一起存储。

在步骤S202，分离单元251的分离处理模块302获取从混合比计算单元104供给的区域信息。在步骤S203，分离单元251的分离处理模块302获取从混合比计算单元104传递来的混合比α。

在步骤S204，未被覆盖的区域处理器311基于帧存储器301供给的该区域信息和混合比α、属于未被覆盖的背景区域的像素的像素值提取背景分量。

在步骤S205，未被覆盖的区域处理器311基于帧存储器301供给的该区域信息和混合比α、属于未被覆盖的背景区域的像素的像素值提取前景分量。

在步骤S206，被覆盖的区域处理器312基于帧存储器301供给的该区域信息和混合比α、属于被覆盖的背景区域的像素的像素值提取背景分量。

在步骤S207，被覆盖的区域处理器312基于帧存储器301供给的该区域信息和混合比α、属于被覆盖的背景区域的像素的像素值提取前景分量。

在步骤S208，合成单元313合成属于未被覆盖的背景区域、由步骤S205的处理提取的前景分量和属于被覆盖的背景区域、由步骤S207的处理提取的前景分量。将合成的前景分量传递到合成单元253，它接着合成属于经由开关252供给的前景区域的像素和从分离单元251供给的前景分量，以产生前景分量图像。

在步骤S209，合成单元314合成属于未被覆盖的背景区域、由步骤S204的处理提取的背景分量和属于被覆盖的背景区域、由步骤S206的处理提取的背景分量。将合成的背景分量传递到合成单元255，它接着合成属于经由开关254供给的背景区域的像素和从分离单元251供给的背景分量，以产生背景分量图像。

在步骤S210，合成单元253输出该前景分量图像。在步骤S211，合成单元255输出该背景分量图像，以终止该处理。

按这种方式，前景/背景分离单元105能够基于区域信息和混合比α，从输入的图像分离前景分量和背景分量以输出仅由前景分量组成的前景分量图像和仅由背景分量组成的背景分量图像。

解释从前景分量图像调整移动模糊量。

在示出移动模糊调整单元106的说明性结构的方框图56中，将从移动检测单元102供给的移动向量，对应的位置信息和从区域指定单元103供给的区域信息传递到处理单元判定单元351和模型建立单元352。发送从前景/背景分离单元105供给的前景分量图像到加法单元354。

处理单元判定单元351基于移动向量、对应的位置信息和区域信息，将所产生的处理单元和移动向量一起传递到模型建立单元352。

由处理单元判定单元351产生的处理单元表示从对应于前景分量图像的被覆盖的背景区域的像素起始、沿移动方向延伸到对应于未被覆盖的背景区域的像素的相邻像素，或者从对应于前景分量图像的未被覆盖的背景区域的像素起始、沿移动方向延伸到对应于被覆盖的背景区域的像素的相邻像素，例如图57所示。该处理单元例如由左上点和右下点构成。左上点是由该处理单元指定的像素的位置，位于图像的最左边或最上边的点。

模型建立单元352基于移动向量和输入的处理单元执行模型建立(modelling)。更具体地说，模型建立单元352在开始时可以拥有相当于包含在该处理单元中的像素、在时间轴方向的像素值的实际分开间隔数以及基于像素的前景分量数的多个模型，以根据该处理单元和时间轴方向的像素值的实际分开间隔数选择指定像素值和前景分量之间的对应关系的模型，如图58所示。

例如，由于对应于处理单元的像素数为12并且该快门时间中的移动量v为5，所以模型建立单元352选择总共八个前景分量，最左边的像素包括一个前景分量、左起第二像素包括两个前景分量、左起第三像素包括三个前景分量、左起第四像素包括四个前景分量、左起第五像素包括五个前景分量、左起第六像素包括五个前景分量、左起第七像素包括五个前景分量、左起第八像素包括五个前景分量、左起第九像素包括四个前景分量、左起第十像素包括三个前景分量、左起第十一像素包括两个前景分量以及左起第十二像素包括一个前景分量。

代替从预先存储的模型中选择，在供给移动向量和处理单元时，模型建立单元352可以基于该移动向量和处理单元产生模型。

模型建立单元352发送选中的模型到方程产生单元353。

方程产生单元353基于模型建立单元352供给的模型产生一方程。参考图58所示的前景分量图像的模型，解释由方程产生单元353在前景分量为8、对应于处理单元的像素数为12、移动量v为5并且实际分开间隔数为5时，产生的方程。

当对应于包含在前景成分图像中的快门时间/v的前景分量是F01/v至F08/v，前景分量F01/v至F08/v和像素值C01至C12之间的关系被表示成方程(39)至(50)：

C01＝F01/v                             (39)

C02＝F02/v+F01/v                       (40)

C03＝F03/v+F02/v+F01/v                 (41)

C04＝F04/v+F03/v+F02/v+F01/v           (42)

C05＝F05/v+F04/v+F03/v+F02/v+F01/v     (43)

C06＝F06/v+F05/v+F04/v+F03/v+F02/v     (44)

C07＝F07/v+F06/v+F05/v+F04/v+F03/v     (45)

C08＝F08/v+F07/v+F06/v+F05/v+F04/v     (46)

C09＝F08/v+F07/v+F06/v+F05/v                  (47)

C10＝F08/v+F07/v+F06/v                        (48)

C11＝F08/v+F07/v                              (49)

C12＝F08/v                                    (50)

方程产生单元353改进所产生的这些方程，以产生方程组。由方程产生单元353产生的方程组由方程(51)至(62)指示：

C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v                                     (51)

C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v                                     (52)

C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v                                     (53)

C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v                                     (54)

C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v                                     (55)

C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v                                     (56)

C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v                                     (57)

C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v                                     (58)

C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v                                     (59)

C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v                                     (60)

C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v                                     (61)

C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v                                     (62)

方程(51)至(62)也可以由方程(63)表示：

$\mathrm{Cj}=\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v---\left(63\right)$

式中j指示像素位置。在这种情况下，j假设为值1至12之一。另一方面，i表示前景值的位置，并且假设为值1至8之一。aij具有关联于i和j值的值0或1。

如果考虑到误差，则方程(63)可以由方程(64)表示：

$\mathrm{Cj}=\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v+\mathrm{ej}---\left(64\right)$

式中ej包含在所考虑的像素C_j中的误差。

方程(64)可以改写成方程(65)：

$\mathrm{ej}=\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v---\left(65\right)$

为了应用最小二乘和(least square sum)，误差E的平方和被定义为由方程(66)指示的形式：

$E=\underset{j=01}{\overset{12}{\mathrm{\Σ}}}{\mathrm{ej}}^2---\left(66\right)$

为了使该误差极小，只要误差平方和E关于变量Fk的偏导数值为0就足够了。得到Fk满足方程(67)：

$\frac{\∂E}{\∂\mathrm{Fk}}=2\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{ej}\·\frac{\∂\mathrm{ej}}{\∂\mathrm{Fk}}$

$=2\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\{(\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v)\·(-\mathrm{akj}/v)=0---\left(67\right)$

由于方程(67)中的移动量v为常数，所以可以导出方程(68)：

$\underset{j=0}{\overset{12}{\mathrm{\Σ}}}\mathrm{akj}(\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v)=0---\left(68\right)$

展开方程(68)并移项，可以获得方程(69)：

$\underset{j=01}{\overset{12}{\mathrm{\Σ}}}(\mathrm{akj}\·\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi})=v\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{akj}\·\mathrm{Cj}---\left(69\right)$

通过代入整数1至8之一，方程(69)展开成八个方程。产生的八个方程可以借助于称为法方程的专用方程用矩阵表示。

由方程产生单元353基于最小二乘法产生的法方程的一个示例是下列方程(70)：

$\left[\begin{array}{cccccccc}5& 4& 3& 2& 1& 0& 0& 0\\ 4& 5& 4& 3& 2& 1& 0& 0\\ 3& 4& 5& 4& 3& 2& 1& 0\\ 2& 3& 4& 5& 4& 3& 2& 1\\ 1& 2& 3& 4& 5& 4& 3& 2\\ 0& 1& 2& 3& 4& 5& 4& 3\\ 0& 0& 1& 2& 3& 4& 5& 4\\ 0& 0& 0& 1& 2& 3& 4& 5\end{array}\right]\left[\begin{array}{c}F01\\ F02\\ F03\\ F04\\ F05\\ F06\\ F07\\ F08\end{array}\right]=v\·\left[\begin{array}{c}\underset{i=08}{\overset{12}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=07}{\overset{11}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=06}{\overset{10}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=05}{\overset{09}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=04}{\overset{08}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=03}{\overset{07}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=02}{\overset{06}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=01}{\overset{05}{\mathrm{\Σ}}}\mathrm{Ci}\end{array}\right]---\left(70\right)$

如果方程(70)被表达成A·F＝v·C，则C、A和v已知，而F未知。另一方面，在模型建立阶段A和v已知，则在加法运算中输入像素值时，C成为已知的。

通过借助基于最小二乘法的法方程计算前景分量，可以有效散射包含在像素值C中的误差。

方程产生单元353将所产生的法方程发送到加法单元354。

基于从处理单元判定单元351供给的处理单元，加法单元354设置在方程产生单元353供给的矩阵方程中、包含在前景分量图像中的像素值C。加法单元354将已经在其中设置了像素值C的矩阵发送到运算单元355。

运算单元355通过基于诸如高斯-若当(Gauss-Jordan)消去法这样的求解方法，计算无移动模糊Fi/v的前景分量，以得到对应于作为无移动模糊的前景的像素值的i的整数0至8之一的Fi，以将由无移动模糊Fi的像素值组成的前景分量图像输出到移动模糊相加单元356和选择单元357。

同时，在无移动模糊的前景分量图像中，将F01至F08设置到C03至C10，以使得不产生相对于图像屏幕的前景分量图像的位置方面的变化。可以设置任意位置。

移动模糊相加单元356能够通过给予不同于移动量v的移动模糊调整量v′以调整移动模糊量的值来调整移动模糊量，例如，该移动模糊调整量v′等于移动量v的一半，或者该移动模糊调整量v′与移动量v无关。例如，移动模糊相加单元356将无移动模糊的前景的像素值Fi除以移动模糊调整值v′，来计算前景分量Fi/v′，并且将这些前景分量Fi/v′求和，以产生适合于移动模糊量调整的像素值，如图60所示。例如，如果该移动模糊调整量v′为3，则像素值C02为(F01/v′)、像素值C03为(F01+F02)/v′、像素值C04为(F01+F02+F03)/v′以及像素值C05为(F01+F02+F03+F04)/v′。

移动模糊相加单元356将适合于移动模糊量调整的前景分量图像发送到选择单元357。

基于对应于用户选择的选择信号，选择单元357在从运算单元355发送来的、无移动模糊前景分量图像和从移动模糊相加单元356发送的、适合于移动模糊量调整的前景分量图像中选择之一，以输出所选的前景分量图像。

因此移动模糊调整单元106能够基于该选择信号和该移动模糊调整量v′调整移动模糊量。

例如，如果关联于选择信号获得像素数为八，并且移动量v为四，如图61所示，则移动模糊调整单元106能够产生矩阵方程(71)：

$\left[\begin{array}{ccccc}4& 3& 2& 1& 0\\ 3& 4& 3& 2& 1\\ 2& 3& 4& 3& 2\\ 1& 2& 3& 4& 3\\ 0& 1& 2& 3& 4\end{array}\right]\left[\begin{array}{c}F01\\ F02\\ F03\\ F04\\ F05\end{array}\right]=v\·\left[\begin{array}{c}\underset{i=05}{\overset{08}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=04}{\overset{07}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=03}{\overset{06}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=02}{\overset{05}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=01}{\overset{04}{\mathrm{\Σ}}}\mathrm{Ci}\end{array}\right]---\left(71\right)$

因此移动模糊调整单元106建立了一系列对应于处理单元的长度的方程，以计算适合于移动模糊量调整的像素值Fi。按照这种方式，如果包含在处理单元中的像素数是100，则移动模糊调整单元106产生关联于这100个像素的100个方程，以计算Fi。

在图62中示出了移动模糊调整单元106的另一种结构。与图56所示的配件类似的配件或部分由同样的参考号指示，不再进行具体解释。

选择单元361传递输入的移动向量和对应的、位置信号到处理单元判定单元351和模型建立单元352。或者，选择单元361用移动模糊调整量v′替代移动向量的幅度，以直接传递该移动向量、已经用移动模糊调整量v′替代的幅度和对应的、位置信号到处理单元判定单元351和模型建立单元352。

通过这种处理，图62的移动模糊调整单元106的处理单元判定单元351至355能够调整关联于移动量v和移动模糊调整量v′的移动模糊量。例如，如果移动模糊量为5并且移动模糊调整量v′为3，则图62的移动模糊调整单元106的处理单元判定单元351至355以图58的移动量为5、按照图60所示的、对应于移动模糊调整量v′为3的模型，执行针对前景分量图像的处理，以计算包含对应于(移动量v)/(移动模糊调整量v′)＝5/3(即近似于1.7)的移动量v的移动模糊的图像。由于所计算出的图像无对应于移动量v为3的移动模糊，所以直接注意到这样的事实：移动量v和移动模糊调整量v′之间的关系根据移动模糊相加单元356的结果而具有不同的意义。

移动模糊调整单元106产生一个关联于移动量v和该处理单元的方程，并且在所产生的方程中设置前景分量图像的像素值，以计算适合于移动模糊量调整的前景分量图像。

参考图63的流程，解释用于通过移动模糊调整单元106调整前景分量图像的移动模糊量的处理。

在步骤S251，移动模糊调整单元106的处理单元判定单元351基于移动向量和区域信息产生一处理单元，以将所产生的处理单元发送到模型建立单元352。

在步骤S252，移动模糊调整单元106的模型建立单元352选择和产生关联于移动量v和处理单元的模型。在步骤S253，方程产生单元353基于所选的模型产生法方程。

在步骤S254，加法单元354在所产生的法方程中设置前景分量图像的像素值。在步骤S255，加法单元354验证是否已经设置了处理单元的全部像素的像素值。如果验证为没有设置完处理单元的全部像素的像素值，则该处理过程返回步骤S254，以重复在法方程中设置像素值的处理。

如果在步骤S255中判定已经设置了对应于处理单元的全部像素的像素值，则该处理过程返回到步骤S256，在其中运算单元355基于来自加法单元354已经设置了像素值的法方程，计算适合于移动模糊量调整的前景的像素值，以终止该处理。

按照这种方式，移动模糊调整单元106能够基于移动向量和区域信息，从包含移动模糊的的前景分量图像中调整移动模糊量。

即，移动模糊调整单元106能够调整在作为采样数据的像素值中的移动模糊量。

同时，示出在图56中的移动模糊调整单元106的结构仅仅是一个示例，不意味着限制本发明。

结构示出在图10的信号处理器12能够调整包含在输入图像中的模糊量。该结构示出在图10的信号处理器12能够计算混合比α作为掩藏信息，以输出所计算出的混合比α。

图64是一方框图，示出信号处理器12的功能的改进型结构。

与图10所示的配件类似的配件或部分由同样的记号指示，不再进行具体解释。

区域指定单元103将区域信息发送到混合比计算单元104和合成单元371。

混合比计算单元104将该区域信息发送到前景/背景分离单元105和合成单元371。

前景/背景分离单元105将前景分量图像发送到合成单元371。

基于混合比计算单元104供给的混合比α和区域指定单元103供给的区域信息，合成单元371合成从前景/背景分离单元105供给的任意背景图像和前景分量图像，以输出根据该任意背景图像和前景分量图像合成的图像。

图65示出合成单元371的结构。背景分量产生单元381基于混合比α和可选背景图像产生一背景分量图像，以传递所产生的背景分量图像到混合区域图像合成单元382。

混合区域图像合成单元382合成从背景分量产生单元381供给的背景分量图像和该前景分量图像，以产生将被传递到图像合成单元383的混合区域合成图像。

基于区域信息，图像合成单元383合成该前景分量图像、从混合区域图像合成单元382供给的混合区域合成图像和一任意背景图像，以产生和输出合成的图像。

按这种方式，合成单元371能够将该前景分量图像合成到任意背景图像。

基于作为特征值的混合比α在将前景分量图像与任意背景图像合成时所获得的图像，比直接合成这些像素示获得的图像更自然。

图66以一方框图示出适用于调整移动模糊量的信号处理器12的功能的一改进型结构。图10所示的信号处理器12计算混合比α并且接着指定该区域，而图66所示的信号处理器12指定该区域并且以并行处理计算混合比α。

类似于图10的方框图中所示的功能的功能用同样的参考标号表示，不再进行具体解释。

将输入的图像发送到混合比计算单元401、前景/背景分离单元402、区域指定单元103和物体提取单元101。

基于输入的图像，混合比计算单元401为包含在输入图像中的每一个像素计算：在假设像素属于被覆盖的背景区域的情况下被估计的混合比，以及在假设像素属于未被覆盖的背景区域的情况下所计算的被估计的混合比，以将在假设像素属于被覆盖的背景区域的情况下的被估计的混合比和在假设像素属于未被覆盖的背景区域的情况下的被估计的混合比供给前景/背景分离单元402。

图67以一方框图示出混合比计算单元401的结构。

图67所示的被估计的混合比处理器201类似于图37所示的被估计的混合比处理器201。图67所示的被估计的混合比处理单元202和图37所示的被估计的混合比处理单元202相同。

被估计的混合比处理器201基于输入的图像、用对应于被覆盖的背景区域的模型的算法，逐个像素地计算被估计的混合比，以输出所计算出的被估计的混合比。

被估计的混合比处理单元202基于输入的图像、用对应于未被覆盖的背景区域的模型的算法，逐个像素地计算被估计的混合比，以输出所计算出的被估计的混合比。

基于混合比计算单元401供给的、在假设像素属于被覆盖的背景区域的情况下被估计的混合比以及在假设像素属于未被覆盖的背景区域的情况下被估计的混合比，以及基于区域指定单元103供给的区域信息，前景/背景分离单元402从输入图像产生一前景分量图像，以传递所产生的前景分量图像到移动模糊调整单元106和选择单元107。

图68是一方框图，示出前景/背景分离单元402的说明性结构。

与图48所示的前景/背景分离单元105的配件类似的配件或部分由同样的参考标号指示，不再进行具体解释。

基于区域指定单元103供给的区域信息，选择单元421选择从混合比计算单元401供给的、在假设像素属于被覆盖的背景区域的情况下被估计的混合比以及在假设像素属于未被覆盖的背景区域的情况下被估计的混合比之一，并将所选择的混合比作为混合比α传递到分离单元251。

基于选择单元421供给的混合比α和区域信息，分离单元251从属于混合区域的像素值分离该前景分量和背景分量，以将被提取前景分量发送到合成单元253，并且将背景分量发送到合成单元255。

分离单元251可以以类似于图53所示的结构配置。

合成单元253合成和输出前景分量图像。合成单元255合成和输出背景分量图像。

图66所示的移动模糊调整单元106可以配置成图10那样。基于区域信息和移动向量，移动模糊调整单元106调整前景/背景分离单元402供给的移动模糊量，以输出适合于移动模糊量调整的前景分量图像。

基于对应于用户的选择的选择信号，选择单元107从适合于移动模糊量调整的、前景/背景分离单元402供给的前景分量图像和来自移动模糊调整单元106的前景分量图像中选择之一，以输出选择的前景分量图像。

按这种方式，结构如图66所示的信号处理器12能够调整对应于包含在输入图像中的前景物体的物体的图像，以输出产生的图像。结构如图66所示的信号处理器12能够像第一实施例中那样，将混合比α作为掩藏信息进行计算，以输出所计算出的混合比α。

图69是一方框图，示出适用于将前景分量图像合成到任意背景图像的信号处理器12的功能的改进型。图64所示的信号处理器12顺序地执行区域识别和混合比α计算，而图69所示的信号处理器12并行地执行区域识别和混合比α计算。

与图66所示的方框图中功能类似的功能由同样的参考标号表示，不再进行具体解释。

基于输入的图像，图69所示的混合比计算单元401对包含在输入图像中的每一个像素，计算在假设像素属于被覆盖的背景区域的情况下的被估计的混合比，以及在假设像素属于未被覆盖的背景区域的情况下的被估计的混合比，以将在假设像素属于被覆盖的背景区域的情况下的被估计的混合比和在假设像素属于未被覆盖的背景区域的情况下的被估计的混合比供给前景/背景分离单元402和合成单元431。

基于从混合比计算单元401供给的在假设像素属于被覆盖的背景区域的情况下的被估计的混合比，以及在假设像素属于未被覆盖的背景区域的情况下的被估计的混合比，并基于区域指定单元103供给的区域信息，图69所示的前景/背景分离单元402从输入图像中产生前将分量图像，以将所产生的前景分量图像传递到合成单元431。

基于从混合比计算单元401供给的在假设像素属于被覆盖的背景区域的情况下的被估计的混合比，以及在假设像素属于未被覆盖的背景区域的情况下的被估计的混合比，并基于区域指定单元103供给的区域信息，合成单元431合成从前景/背景分离单元402供给的一任意背景区域和一前景分量图像，以输出根据该任意背景区域和前景分量图像合成的图像。

图70示出合成单元431的结构。与图65所示的方框图中功能类似的功能由同样的参考标号表示，不再进行具体解释。

基于区域指定单元103供给的区域信息，选择单元441选择从混合比计算单元401供给的、在假设像素属于被覆盖的背景区域的情况下被估计的混合比以及在假设像素属于未被覆盖的背景区域的情况下被估计的混合比之一，并将所选择的混合比作为混合比α传递到背景分量产生单元381。

基于选择单元441供给的混合比α和任意背景分量图像，图70所示的背景分量产生单元381产生背景分量图像，以将所产生的图像传递到混合区域图像合成单元382。

图70所示的混合区域图像合成单元382将背景分量产生单元381供给的背景分量图像合成到前景分量图像，以产生混合区域合成图像，它被传递到图像合成单元383。

基于该区域信息，图像合成单元383合成该前景分量图像、混合区域图像合成单元382供给的混合区域合成图像以及一任意背景图像，以产生和输出合成图像。

按这种方式，合成单元431能够将该前景分量图像合成到一任意背景图像。

虽然混合比α作为包含在像素值中的背景分量的比例进行解释，但它也可以是包含在像素值中的前景分量的比例。

虽然作为前景的物体的移动方向被解释成从左至右，当然这个方向不是限制性的。

解释这样一个实施例，在该实施例中，移动模糊量的总量包含在温度或压力数据中，通过类似于由信号处理器12所执行的处理进行处理。

图71示出根据本发明的信号处理设备的一说明性结构。温度记录器件451检测从一物体辐射的IR(红外线)射线，其中的物体是正在由诸如IR CCD这样的密封的IR传感器测量的物体，以产生对应于检测到的IR射线的波长和强度。温度记录器件451模拟/数字转换所产生的信号、以比较转换过信号与对应于基准温度的基准数据，从而产生指示物体的各个点的温度的温度数据，输出所产生的温度数据到信号处理器452。

类似于传感器11，温度记录器件451具有关于空间和时间的积分效应。

温度记录器件451传递到信号处理器452的温度数据的配置类似于电影画面的图像数据，并且是这样的数据，即在这些数据中指示正在被测量的物体的各个点的温度的值(对应于图像数据的像素值)沿关联于图像数据帧的空间方向以两维形式排列，并且也在时间方向排列。

信号处理器452调整包含在输入温度数据中的失真，这种失真是已经作为正在被测量的物体的移动结果产生的。例如，信号处理器452提取正在被测量的物体的所希望的点的更精确的温度。

图72是一流程图，示出用于通过信号处理器452调整移动模糊量的处理。在步骤S301，信号处理器452获取温度数据，在该数据中指示正在被测量的物体的各个点的温度的值以两维形式排列。基于该温度数据，信号处理器452产生指定移动的数据。

在步骤S302，信号处理器452指定温度数据的区域到仅包括指示对应于所希望的物体的温度值的前景区域、仅包括指示对应于非所希望的物体的温度值的背景区域以及包括对应于所希望的物体的温度信息和对应于非所希望的物体的温度信息的混合区域。

在步骤S303，信号处理器452检测该温度值是否属于该温度数据。如果信号处理器452判定指示值的温度属于混合区域，则信号处理器452转到步骤S304，以利用类似于图27的步骤S102的处理计算混合比α。

在步骤S305，信号处理器452利用类似于图27的步骤S103的处理，来分离对应于希望进行温度度量的物体的温度信息，然而该处理转到步骤S306。

为了在步骤S305中分离温度信息，可以将该温度信息基于基尔霍夫(Kirchhoff)定律或诸如斯蒂芬-玻尔兹曼(Stephen-Boltzmann)定律这样的、指定物体温度和辐射的IR射线之间关系的定律，转换成从希望进行温度度量的物体辐射的IR射线的能量，以分离被转化的IR射线的能量，然后从新将被分离的能量转换成温度。通过先于分离转换成IR射线能量，信号处理器452能够比直接分离温度信息分离出更精确的温度信息。

如果在步骤S303中，指示包含在该温度数据中的值的温度不属于混合区域，那么就没有必要分离对应于希望测量温度的物体的温度信息。因此，跳过步骤S304和步骤S305的处理，并且该处理转到步骤S306。

在步骤S306，信号处理器452从指示属于前景温度的温度的值和关于使得该温度度量对应于所希望的物体的温度的信息，产生温度数据，用于使得温度度量对应于所希望的物体。

在步骤S307，信号处理器452利用类似于步骤S251的处理的处理，产生对应于所产生的温度数据的模型。

在步骤S308，信号处理器452利用类似于图63的步骤S252至步骤S255的处理的处理，基于所产生的模型，调整包含在对应于需要进行温度度量的物体的温度数据中的移动模糊量，以终止该处理。

按这种方式，信号处理器452调整包含在由正在被测量的物体的移动产生的温度数据中的移动模糊量，以计算各个物体部分的更精确的温度差。

图73示出一根据本发明的信号处理设备的说明性结构，用于称重度量。压力区域传感器501由多个压力传感器构成，以测量每个单元的平坦区域的负荷，即压力。压力区域传感器501具有由多个压力传感器511-1-1至511-M-N的底面上的二维阵列组成的结构。当正在被测量重量的物体512移动到压力区域传感器501时，压力区域传感器501测量施加到压力传感器511-1-1至511-M-N中的每一个上的压力，以为压力传感器511-1-1至511-M-N中的每一个被测量的范围产生重量数据，然后将所产生的重量数据输出到信号处理器502。

压力传感器511-1-1至511-M-N中的每一个都由使用当外力施加到透明弹性材料或所谓的光弹性材料时生产的双折射的传感器构成。

图75说明施加到组成压力区域传感器501的各个压力传感器511-1-1至511-M-N的物体512的每一部分的重量关联的负荷。

对应于图75中的物体512的最左边部分的重量的负荷A被施加到压力传感器511-m-1。对应于物体512的左起第二部分的重量的负荷b被施加到压力传感器511-m-2。对应于物体512的左起第四部分的重量的负荷c被施加到压力传感器511-m-3。对应于物体512的左起第四部分的重量的负荷d被施加到压力传感器511-m-4。

对应于物体512的左起第二部分的重量的负荷e被施加到压力传感器511-m-5。对应于物体512的左起第四部分的重量的负荷f被施加到压力传感器511-m-6。对应于物体512的左起第四部分的重量的负荷g被施加到压力传感器511-m-7。

由压力区域传感器501输出的重量数据对应于压力传感器511-1-1至511-M-N的的排列，并且由在空间方向排成两维的重量值构成。

图76说明在物体512正在移动时，以具有积分效应的压力区域传感器501，由压力区域传感器501输出的典型重量数据。

在压力传感器511-m-1上在度量的单位时间中，施加对应于物体512的最左边部分的重量的负荷A，值A作为指示包括在重量数据中的重量的值输出。

在度量的单位时间中，给压力传感器511-m-2施加对应于物体512的左起第二部分的重量的负荷b和对应于物体512的最左边部分的重量的负荷d，因此压力传感器511-m-2输出值A+b作为指示包括在重量数据中的重量的值。

在度量的单位时间中，给压力传感器511-m-3施加对应于物体512的左起第三部分的重量的负荷c、对应于物体512的左起第二部分的重量的负荷b和接着对应于物体512的左起第二部分的重量的负荷A，因此压力传感器511-m-2输出值A+b+c作为指示包括在重量数据中的重量的值。

在度量的单位时间中，给压力传感器511-m-4施加对应于物体512的左起第四部分的重量的负荷d、对应于物体512的左起第三部分的重量的负荷c、对应于物体512的左起第二部分的重量的负荷b和接着对应于物体512的最左边部分的重量的负荷A，因此压力传感器511-m-2输出值A+b+c+d作为指示包括在重量数据中的重量的值。

在度量的单位时间中，给压力传感器511-m-5施加对应于物体512的左起第五部分的重量的负荷e、对应于物体512的左起第四部分的重量的负荷d、对应于物体512的左起第三部分的重量的负荷c和接着对应于物体512的左起第二部分的重量的负荷b，因此压力传感器511-m-5输出值b+c+d+e作为指示包括在重量数据中的重量的值。

在度量的单位时间中，给压力传感器511-m-6施加对应于物体512的左起第六部分的重量的负荷f、对应于物体512的左起第五部分的重量的负荷e、对应于物体512的左起第四部分的重量的负荷d和接着对应于物体512的左起第三部分的重量的负荷c，因此压力传感器511-m-6输出值c+d+e+f作为指示包括在重量数据中的重量的值。

在度量的单位时间中，给压力传感器511-m-7施加对应于物体512的左起第七部分的重量的负荷g、对应于物体512的左起第六部分的重量的负荷f、对应于物体512的左起第五部分的重量的负荷e和接着对应于物体512的左起第四部分的重量的负荷d，因此压力传感器511-m-7输出值d+e+f+g作为指示包括在重量数据中的重量的值。

在度量的单位时间中，给压力传感器511-m-8施加对应于物体512的左起第七部分的重量的负荷g、对应于物体512的左起第六部分的重量的负荷f和接着对应于物体512的左起第五部分的重量的负荷e，因此压力传感器511-m-8输出值e+f+g作为指示包括在重量数据中的重量的值。

在度量的单位时间中，给压力传感器511-m-9施加对应于物体512的左起第七部分的重量的负荷g和对应于物体512的左起第六部分的重量的负荷f，因此压力传感器511-m-9输出值f+g作为指示包括在重量数据中的重量的值。

在度量的单位时间中，给压力传感器511-m-10施加对应于物体512的左起第七部分的重量的负荷g，因此压力传感器511-m-10输出值g作为指示包括在重量数据中的重量的值。

压力区域传感器501输出重量数据，该重量数据由压力传感器511-m-1输出的值A、压力传感器511-m-2输出的值A+b、压力传感器511-m-3输出的值A+b+c、压力传感器511-m-4输出的值A+b+c+d、压力传感器511-m-4输出的值b+c+d+e、由压力传感器511-m-3输出的值A+b+c、压力传感器511-m-4输出的值A+b+c+d、压力传感器511-m-5输出的值b+c+d+e、压力传感器511-m-6输出的值c+d+e+f、压力传感器511-m-7输出的值d+e+f+g、压力传感器511-m-8输出的值e+f+g、压力传感器511-m-9输出的值f+g和压力传感器511-m-10输出的值g组成。

信号处理器502从压力区域传感器501供给的重量数据中，调整由正在被测量的物体512的移动产生的失真。例如，信号处理器502提取正在被测量的物体512的所希望的点的更精确的重量。例如信号处理器502从值A、A+b、A+b+c、A+b+c+d、b+c+d+e、c+d+e+f、d+e+f+g、e+f+g、f+g和g组成的重量数据中提取负荷A和b。

参考图77的流程，解释用于计算由信号处理器502执行的处理。

在步骤S401，信号处理器502获取由压力区域传感器501输出的重量数据。在步骤S402，信号处理器502基于从压力区域传感器501获取的重量数据判定物体512的负荷是否正在被施加到压力区域传感器501。如果判定物体512的负荷是正在被施加到压力区域传感器501，则信号处理器502转到步骤S403来基于重量数据的变化获取物体512的移动。

在步骤S404，信号处理器502获取沿由步骤S403中的处理获取的移动的方向、包含在重量数据中的压力传感器511的单线数据。

在步骤S405，信号处理器502计算对应于物体512的各个部分的重量的负荷，以终止该处理。信号处理器502通过与参考图63的流程解释过的处理类似的处理计算对应于物体512的各个部分的重量的负荷。

如果在步骤S402中，物体512的负荷未被施加到压力区域传感器501，则不存在任何要被处理的重量数据，因此终止该处理。

按这种方式，该重量度量系统能够计算对应于移动物体的每个部分的重量的正确负荷。

解释在空间方向产生较高分辨率的图像的信号处理器12。

图78是一方框图，作为信号处理器12的另一个功能、示出通过增加每帧的像素数来产生高分辨率图像的图像的配置。

帧存储器701以帧为基础存储输入的图像，并将所存储的图像发送到像素值产生器702和相关性计算单元703。

相关性计算单元703计算在横向上互相邻接的、包含在从帧存储器701供给的图像中的像素值的相关值，以将所计算出的相关值发送到像素值产生器702。像素值产生器702基于相关性计算单元703供给的相关值，从中心像素的像素值计算双密度图像分量，以用所计算出的图像分量作为像素值产生水平双密度图像。像素值产生器702将所产生的水平双密度图像发送的帧存储器704。

帧存储器704存储从像素值产生器702供给的该水平双密度图像，以将所存储的水平双密度图像发送到像素值产生器705和相关性计算单元706。

相关性计算单元706计算在纵向上互相邻接的、包含在从帧存储器704供给的图像中的像素值的相关值，以将所计算出的相关值发送到像素值产生器705。像素值产生器705基于相关性计算单元703供给的相关值，从中心像素的像素值计算双密度图像分量，以用所计算出的图像分量作为像素值产生水平双密度图像。像素值产生器705输出所产生的水平双密度图像。

解释用于由像素值产生器702产生水平密度图像的处理。

图79示出配备在作为CCD的传感器11中的一种像素排列，以及水平双密度图像的像素数据区域。在图79中，A至I指示独立的像素。区域A至r中的每一个表示在经线方向对分独立像素A至I所获得的一光接收区域。和像素A至I中的每一个的光接收区域的宽度21一致，区域A至r中的每一个的宽度是I。像素值产生器702计算关联于区域A至r的像素数据的像素值。

图80说明对应于区域A至r的入射光的像素数据。在图80中，f′(x)表示关联于输入光和空间上微小的域的、空间上理想的像素值。

如果用理想的像素值f′(x)的均匀积分(uniform integration)表示像素数据的像素值，则关联于区域i的像素数据的像素值Y1由方程(72)表示：

$Y1=f\left(x\right)\mathrm{dx}\frac{1}{e}---\left(72\right)$

而关联于区域j的图像数据的像素值Y2和像素E的像素值Y3由方程(73)和(74)分别表示：

$Y2=\underset{x2}{\overset{x3}{\∫}}f\left(x\right)\mathrm{dx}\frac{1}{e}---\left(73\right)$

和

$Y3=\underset{x1}{\overset{x3}{\∫}}f\left(x\right)\mathrm{dx}\frac{1}{2e}---\left(74\right)$

$=\frac{Y1+Y2}{2}$

在上述方程(72)至(74)中，x1、x2和x3分别是像素E的光接收区域、区域i和区域j的各个边界的空间坐标。

通过改进方程(74)，可以导出方程(75)、(76)：

                    Y1＝2·Y3·Y2             (75)

                    Y2＝2·Y3·Y1             (76)

因此，如果已知像素E的像素值Y3和对应于区域j的像素数据的像素值Y2，则可以从方程(75)可以计算对应于区域i的像素数据的像素值Y1。此外，如果已知像素E的像素值Y3和对应于区域i的像素数据的像素值Y1，则可以从区域j计算出对应于区域j的像素数据的像素值Y2。

如果已知对应于一个像素的像素值和对应于该像素的两个区域的像素数据的像素值之一，则可以计算对应于该像素的另一像素区域的另一像素数据的像素值。

参考图81，解释计算对应于一个像素的两个区域的像素数据的像素值的方法。图81A示出像素D、E和F之间的相关性以及空间上理想的像素值f′(x)。

由于像素D至F拥有积分效应，并且一个像素输出一个像素值，所以按图81B那样输出每一个像素值。由像素E输出的像素值对应于像素值f′(x)在光接收区域的范围中的积分值。

相关性计算单元703产生像素D的像素值和像素E的像素值之间的相关值以及像素E的像素值和像素F的像素值之间的相关值，以传递所产生的相关值到像素值产生器702。基于像素D的像素值和像素E的像素值之间的差或像素E的像素值和像素F的像素值之间的差，计算由相关性计算单元703计算的相关值。当邻接的像素的像素值互相接近时，这些像素可以被认为具有较高的相关性。即，像素值之间的较小的差值指示较强的相关性。

因此，如果像素D的像素值和像素E的像素值之间的差或像素E的像素值和像素F的像素值之间的差直接用作相关值，那么该相关值即较小差值展示较强的相关性。

例如，如果像素D的像素值和像素E的像素值之间的相关性比像素E的像素值和像素F的像素值之间的相关性强，则像素值产生器702将像素D的像素值除以2，以将产生的值作为区域i的像素数据使用。

基于像素E的像素值和区域i的像素值，像素值产生器702按照方程(75)或(76)计算区域j的像素数据的像素值，如图81D所示。

像素值产生器702例如为像素D计算区域g的像素数据的像素值以及区域h的像素数据的像素值，以计算区域i的像素数据的像素值以及区域j的像素数据的像素值，然后接着计算区域k的像素数据的像素值以及区域1的像素数据的像素值等等，以像上述那样计算该图像中的像素数据的像素值来产生一包含所计算出的像素数据的像素值的水平双密度图像，以将所产生的水平双密度图像供应给帧存储器704。

类似于像素值产生器702，像素值产生器705从相关性计算单元706供给的、水平双密度图像的三个纵向排列的像素的像素值的相关性，以及该三个像素的像素值，计算对应于纵向分开该像素的光接收区域时获得的两个区域的图像数据的像素值，从而产生双密度图像。

当给像素值产生器702馈送例如图82所示的图像时，像素值产生器702产生例如图83所示的双密度图像。

当给像素值产生器705馈送例如图82所示的一图像时，像素值产生器705产生例如图84所示的一图像。当给像素值产生器705馈送例如图83所示的一水平双密度图像时，像素值产生器705产生例如图85所示的一双密度图像。

图86是一流程图，用于说明适用于通过图78所示结构的信号处理器12产生双密度图像的处理。在步骤S601，信号处理器12获取输入图像以将其存储在帧存储器701。

在步骤S602，相关性计算单元703基于存储在帧存储器701中的像素值选择作为考虑的像素的图像中的像素之一，并找到水平地邻接于所考虑的像素的像素。在步骤S603，像素值产生器702从展示较强相关性即较高相关值的像素值中，产生位于水平双密度图像的单边上的像素数据的像素值。

基于CCD的特性，像素值产生器702在步骤S604产生水平双密度图像的其他像素数据的像素值。具体地说，像素值产生器702基于由步骤S603的处理计算出的像素值和输入图像的图像数据的像素值、按照参考图80进行解释的方程(75)和(76)计算水平双密度图像的其他像素数据的像素值。由步骤S603和步骤S604的处理产生的、关于被考虑的像素的水平双密度图像的图像数据，被存储在帧存储器704。

在步骤S605，像素值产生器702检查整个图像的处理是否已经结束。如果判别整个图像的处理已经结束，则该处理过程返回步骤S602，以选择下一像素作为被考虑的像素来重复产生水平双密度图像的处理。

如果在步骤S605判别整个图像的处理已经结束，则相关性计算单元706选择作为被考虑的像素的图像中的像素之一，以基于存储在帧存储器704的水平双密度图像的像素值、得到在纵向上邻接于被考虑的像素的像素相关值。在步骤S607，像素值产生器705从该较强的相关性的像素值、基于相关性计算单元706供给的相关值产生该双密度图像的单边的像素值。

在步骤S608，像素值产生器705像在步骤S604那样，基于CCD的特性产生该双密度图像的其他像素值。具体地说，像素值产生器702基于由步骤S607的处理计算出的像素值、以及该水平双密度图像的像素数据的像素值，按照参考图80解释过的方程(75)和(76)，计算该双密度图像的其他图像数据的像素值。

在步骤S609，像素值产生器705判定整个图像的处理是否已经结束。如果判定整个图像的处理还没有结束，则该处理过程返回步骤S606，以选择下一像素作为被考虑的像素来重复产生水平双密度图像的处理。

如果在步骤S609判定整个图像的处理已经结束，则像素值产生器705输出所产生的双密度图像以结束该处理。

按这种方式，在垂直方向和水平方向的像素数都被加倍的双密度图像可以由信号处理器12从输入图像产生，信号处理器12的结构示出在图78中。

结构示出在图78中的信号处理器12能够通过执行考虑到关于该空间的像素相关性和CCD的积分效应的信号处理，产生高空间分辨率的图像。

在以上描述中，具有三维空间的真实空间的图像和时间轴信息被映射在具有两维空间的时空和使用摄像机的时间轴信息上。然而本发明不限于这个实施例，并且可以应用到由从较高阶的第一维的第一信息投影到较低阶的第二维所引起的失真的校正、重要信息的提取或者多个自然图像的合成。

传感器11也可以是例如BBD(组桶式器件)、CID(电荷注入器件)或CDD(电荷启动器件)这样的传感器，而不限于CCD。传感器11也可以是检测器件排成一行而不是矩阵的传感器。

已经在其中记录了用于执行本发明的信号处理的程序的记录介质不仅可以由被发行以用于脱离计算机供应该程序的给用户的数据包介质构造，包括诸如软盘这样的、已经在其上记录了该程序的磁盘51，诸如CD-ROM、致密盘、只读存储器或DvD(数字视频盘)这样的光盘52，诸如MD(小型盘)或半导体存储器54这样的磁光盘53。而且该记录介质还可以由以在计算机中预编译的状态供应给用户的、在其上已经记录了的程序ROM 22以及包括在贮存单元28中的硬盘构造。

应该注意，在本说明书中，用于启动记录于一记录介质中的程序的步骤不仅包括以年月日的顺序指定的顺序实施该处理，而且包括不需要以年月日的顺序进行而是以并行或批处理形式进行的处理。

因此，基于指定仅由构成图像数据中的前景物体的前景物体分量构成的前景区域的区域信息、仅由构成图像数据中的背景物体的背景物体分量构成的前景区域的区域信息，和基于图像数据的前景物体分量和背景物体分量混合而成的混合区域，以及基于该图像数据，设置包括在前景物体的移动方向的前端形成的被覆盖的背景区域和在前景物体的后端形成的未被覆盖的背景区域的混合区域、由位于至少一条在与前景物体的移动方向一致的方向上、从被覆盖的背景区域的外端延伸到未被覆盖的背景区域的外端的直线上的像素数据构成的、以前景区域居为中心的处理单元。然后通过在所判定的处理单元中设置像素的像素值，基于该处理单元和一预定分割数分割混合区域的前景物体分量时获得的未知的分割值，产生法方程。用最小二乘法解该法方程，以产生适合于移动模糊量调整的前景物体分量，从而调整该移动模糊量。

此外，作为对应于现实世界中的前景的前景采样数据提取出现在位于被考虑的检测数据的前面和后面的检测数据的采样数据，在其中存在正在被考虑的采样数据，同时作为对应于现实世界中的背景的背景采样数据提取出现在位于被考虑的检测数据的前面和后面的的检测数据的采样数据，在其中存在正在被考虑的采样数据，并且基于被考虑的采样数据、前景采样数据和背景采样数据检测被考虑的采样数据的混合比，从而允许混合比检测。

基于该检测数据给定静止/移动判定，包含采样数据的混合区域包括现实世界中的多个物体的混合物，从而允许混合比检测。

通过检测具有映射在第二维比第一维低的传感器上的第一维的现实世界的第一信号，获取第二维的第二信号，并且关于该第二信号执行该信号处理，从而允许从该第二信号提取由于投影而隐藏的重要信息。

由于通过由一比第一维低的第二维的第二信号并且出现相对于第一信号的失真的传感器检测具有第一维的现实世界的第一信号，获取该第二信号，并且减轻了相对于该第二信号中的失真的第三信号通过基于第二信号的处理被产生，所以可能减轻该信号失真。

在该检测信号中，指定仅由构造前景物体的前景物体分量组成的前景区域、仅由构造背景物体的背景物体分量组成的背景区域以及由该前景物体分量和该背景物体分量组成的混合区域，至少在混合区域中检测前景物体分量和背景物体分量的混合比，以及基于指定的结果和混合比互相分离前景物体分量和背景物体分量，因此允许将该前景和背景物体作为较高质量的数据利用。

在该检测信号中，指定仅由构造前景物体的前景物体分量组成的前景区域、仅由构造背景物体的背景物体分量组成的背景区域以及由该前景物体分量和该背景物体分量组成的混合区域，以及基于指定的结果判别至少混合区域中的前景和背景物体分量的混合比，因此允许作为重要信息的混合比的检测。

检测由构造前景物体的前景物体分量和由构造背景物体的背景物体分量组成的混合区域中的前景和背景物体分量的混合比，以及基于该混合比互相分离前景和背景物体分量，因此允许将该前景和背景物体作为较高质量的数据利用。

Claims (45)

1.一种信号处理设备，包括

通过将作为第一维的现实世界信号的第一信号作为第一信号投影在传感器上以及由该传感器检测所映射的信号来获取第二维的第二信号的装置，所述第一维低于所述第二维；以及

信号处理装置，用于通过执行基于所述第二信号的信号处理，从所述第二信号提取所述投影所掩藏的重要信息。

2.根据权利要求1的信号处理设备，其中所述重要信息是用于调整投影所产生的失真的信息。

3.根据权利要求2的信号处理设备，其中所述传感器由多个具有时间积分效应的检测元件构成；

所述获取装置为所述各个检测元件当用所述传感器检测时，获取多个检测信号作为所述第二信号；

所述失真是由该时间积分效应引起的失真。

4.根据权利要求3的信号处理设备，其中在每个预定时间单元由所述传感器的多个检测元件进行检测时，所述获取装置获取多个时间单元的检测信号；

所述信号处理装置基于所述多个时间单元的多个检测信号，为所希望的时间的所述第二信号提取所述重要信息。

5.根据权利要求1的信号处理设备，其中所述第二信号是图像信号。

6.根据权利要求1的信号处理设备，其中所述信号处理装置包括区域指定装置，用于在所述第二信号中指定一重要区域和其他区域，并将指定指定的区域的区域信息作为所述重要信息输出，所述重要区域包含由所述投影所隐藏的重要信息。

7.根据权利要求6的信号处理设备，其中所述区域信息作为所述其他区域指定仅由构造前景物体的前景物体分量构成的前景区域，作为所述其他区域指定仅由构造背景物体的背景物体分量构成的背景区域，并且指定从所述前景物体分量和背景物体分量混合而成的混合区域。

8.根据权利要求7的信号处理设备，其中所述区域信息包含用于将所述混合区域判别为被覆盖背景区域和未被覆盖背景区域的信息。

9.根据权利要求6的信号处理设备，其中所述信号处理装置还包括重要信息提取装置，用于从包含由所述区域指定装置指定的重要信息的区域中提取所述重要信息。

10.根据权利要求9的信号处理设备，其中所述重要信息指定由仅由构造该前景物体的前景物体分量组成的前景区域、仅由构造该背景物体的背景物体分量组成的背景区域和从所述前景物体分量和背景物体分量混合而成的混合区域构成的所述第二信号的混合区域中的所述前景分量和背景分量的混合比。

11.根据权利要求9的信号处理设备，其中所述信号处理装置还包括失真调整装置，用于基于所述重要信息、调整由所述投影在所述第二信号中产生的失真量。

12.根据权利要求9的信号处理设备，其中所述失真调整装置减少所述失真量。

13.根据权利要求9的信号处理设备，其中所述失真调整装置消除所述失真。

14.根据权利要求9的信号处理设备，其中所述失真是所述前景物体中产生的移动模糊。

15.根据权利要求14的信号处理设备，其中所述信号处理装置还包括物体移动检测装置，用于检测所述前景物体的移动量；以及

其中所述失真调整装置基于所述前景物体的移动量，调整作为所述失真的移动模糊量。

16.根据权利要求1的信号处理设备，其中所述信号处理装置提取，作为所述重要信息的，仅由构造该前景物体的前景物体分量组成的前景区域、仅由构造该背景物体的背景物体分量组成的背景区域和从所述前景物体分量和背景物体分量混合而成的混合区域构成的所述第二信号的混合区域中的所述前景分量和背景分量的混合比。

17.根据权利要求16的信号处理设备，其中所述信号处理装置还包括失真调整装置，用于基于所述重要信息调整由所述投影在所述第二信号中产生的失真量。

18.根据权利要求17的信号处理设备，其中所述失真调整装置减少所述失真量。

19.根据权利要求17的信号处理设备，其中所述失真调整装置消除所述失真。

20.根据权利要求1 7的信号处理设备，其中所述失真是所述前景物体中产生的移动模糊。

21.根据权利要求20的信号处理设备，其中所述信号处理装置还包括物体移动检测装置，用于检测所述前景物体的移动量；以及

其中所述失真调整装置基于所述前景物体的移动量，调整作为所述失真的移动模糊量。

22.根据权利要求16的信号处理设备，其中所述信号处理装置基于所述第二信号提取作为所述重要信息的所述混合比；

所述信号处理装置从所述第二信号提取指示所述前景区域、背景区域和混合区域的所述区域信息作为所述重要信息。

23.根据权利要求22的信号处理设备，其中所述信号处理装置基于所述混合比和所述区域信息，分离仅由所述前景物体分量组成的前景物体与仅由背景物体分量组成的背景物体。

24.根据权利要求23的信号处理设备，其中所述信号处理装置还包括失真调整装置，用于调整作为在所述前景物体中产生的所述失真的移动模糊。

25.根据权利要求24的信号处理设备，其中所述信号处理装置还包括物体移动检测装置，用于检测所述前景物体的移动量；

所述失真调整装置基于所述前景物体的移动量，调整为所述失真的移动模糊量。

26.根据权利要求23的信号处理设备，其中所述信号处理装置将所述前景物体与任意背景图像合成。

27.一种信号处理方法，包括：

信号获取步骤，通过将作为第一维的现实世界信号的第一信号投影在传感器上，以及由所述传感器检测所映射的信号来获取第二信号，所述第二信号是低于所述第一维的所述第二维的；以及

信号处理步骤，用于通过执行基于所述第二信号的信号处理、以从所述第二信号提取投影所掩藏的重要信息。

28.一种已经在其中记录了计算机可读程序的记录介质，所述程序包括：

信号获取步骤，通过将作为第一维的现实世界信号的第一信号投影在传感器上，以及由所述传感器检测所映射的信号来获取第二信号，所述第二信号是低于所述第一维的所述第二维的；以及

信号处理步骤，用于通过执行基于所述第二信号的信号处理、以从所述第二信号提取投影所掩藏的重要信息。

29.一种信号处理设备，包括

信号获取装置，通过用传感器检测作为第一维的现实世界信号的第一信号获取第二信号，所述第二信号是低于所述第一维的第二维的，并且包含与所述第一信号有关的失真；以及

信号处理装置，用于通过对所述第二信号执行信号处理，用于产生与所述第二信号相比减轻了失真的第三信号。

30.根据权利要求29的信号处理设备，其中所述传感器由多个具有作为所述失真时间积分效应的检测元件构成；

所述信号获取装置为所述各个检测元件获取由所述传感器检测到的多个检测信号作为所述第二信号；

所述信号处理装置对所述第二信号执行信号处理，以产生由对应于所述检测信号的多个采样数据构成的、减轻了时间积分效应的第三信号。

31.根据权利要求30的信号处理设备，其中如果所述传感器检测到现实世界中的第一物体和执行关于第一物体的相对移动的第二物体，则由于所述传感器的时间积分效应，所述信号装置通过所述信号处理减轻由所述第一物体和第二物体的混合而在所述第一和第二物体之间的边界的附近引起的失真。

32.根据权利要求31的信号处理设备，其中所述获取装置在每个预定时间单元用所述传感器的多个检测元件检测时，获取多个时间单元的所述检测信号；

所述信号处理装置基于多个时间单元的检测信号，通过所述信号处理减轻在由对应于所希望的时间单元的所述第二信号表示的所述第一和第二物体之间的边界附近引起的失真。

33.根据权利要求30的信号处理设备，其中如果所述传感器检测到现实世界中的第一物体和执行关于第一物体的相对移动的第二物体，则所述信号装置从混合在所述第二信号中的所述第一和第二物体中分离所述第一和第二物体之一，以将所分离的所述第一和第二物体之一作为所述第三信号输出。

34.根据权利要求29的信号处理设备，其中所述传感器利用光电转换将电磁波、包括光作为所述第一信号转换成图像信号，作为所述第二信号。

35.根据权利要求29的信号处理设备，其中所述传感器是用于测量温度的温度记录器件。

36.根据权利要求29的信号处理设备，其中所述传感器是压力传感器。

37.根据权利要求29的信号处理设备，其中所述传感器每隔预定的时间间隔产生所述第二信号。

38.根据权利要求29的信号处理设备，其中所述传感器具有每一个都有空间积分效应的多个检测元件；

所述获取装置对所述第二信号执行信号处理，以产生由多个减轻了空间积分效应的检测信号组成的第三信号，作为由投影所引起的失真。

39.根据权利要求38的信号处理设备，其中所述传感器是多个以预定方向排列的检测元件，其中预定的方向至少是一个方向；

所述信号处理装置包括

相关性检测装置，用于检测在所述预定的方向上相互邻接的所述第二信号的两个采样数据之间的相关性；以及

双密度采样产生装置，用于基于所述两个邻接的采样数据的较高的相关性的单边的采样值、为各个被考虑的采样数据产生第一采样值，作为较高相关性的采样值，基于所述被考虑的采样数据的采样值和所述第一采样值、为各个被考虑的采样数据产生第二采样值，作为较高相关性边的采样值，以及输出所述第一和第二采样值作为对应于在考虑的所述采样的所述第三信号的两个采样值。

40.根据权利要求39的信号处理设备，其中所述传感器配备有以矩阵排列的所述多个检测元件；

在该矩阵排列中，所述预定的方向是水平方向和垂直方向中的至少一个。

41.根据权利要求40的信号处理设备，其中所述信号处理装置在水平和垂直方向加倍该密度。

42.根据权利要求39的信号处理设备，其中所述相关性是所述采样数据的差。

43.根据权利要求39的信号处理设备，其中所述获取装置从所述多个检测元件中，每个预定的时间获取所述第二信号。

44.一种信号处理方法，包括：

信号获取步骤，通过用传感器检测作为第一维的现实世界信号的第一信号获取第二信号，所述第二信号是低于第一维的；以及

信号处理步骤，用于通过对所述第二信号执行信号处理，用于产生与所述第二信号相比减轻了失真的第三信号。

45.一种已经在其中记录了计算机可读程序的记录介质，所述计算机程序包括：

信号获取步骤，通过用传感器检测作为第一维的现实世界信号的第一信号获取第二信号，所述第二信号是低于第一维的第二维的；以及

信号处理步骤，用于通过对所述第二信号执行信号处理，用于产生与所述第二信号相比减轻了失真的第三信号。

Images