CN1313974C - 图像处理设备和方法,以及图像捕获设备 - Google Patents

图像处理设备和方法,以及图像捕获设备 Download PDF

Info

Publication number
CN1313974C
CN1313974C CNB028027523A CN02802752A CN1313974C CN 1313974 C CN1313974 C CN 1313974C CN B028027523 A CNB028027523 A CN B028027523A CN 02802752 A CN02802752 A CN 02802752A CN 1313974 C CN1313974 C CN 1313974C
Authority
CN
China
Prior art keywords
pixel
frame
target
background
prospect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028027523A
Other languages
English (en)
Other versions
CN1471691A (zh
Inventor
近藤哲二郎
石桥淳一
泽尾贵志
永野隆浩
藤原直树
三宅彻
和田成司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1471691A publication Critical patent/CN1471691A/zh
Application granted granted Critical
Publication of CN1313974C publication Critical patent/CN1313974C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Abstract

可能检测其中出现混合的区域。目标提取单元251从输入图像提取前景目标，以便产生由前景图像目标和指示该目标属于背景区域的一个值组成的区域指定的目标。运动补偿器252根据提供的运动矢量和其位置信息补偿区域指定目标的运动。相减单元254从属于由目标提取单元251提供的帧#n中的区域指定目标的前景区域的像素的像素值中减去属于由帧存储器253提供的帧#n-1中的区域指定目标的前景区域对应位置的像素的像素值，以便确定在属于该前景区域的像素之间的帧间差。阈值处理器255根据该帧差值检测混合区域。本发明可应用到用于处理图像的信号处理设备。

Description

图像处理设备和方法，以及图像捕获设备
技术领域
本发明涉及图像处理设备和方法、以及图像捕获设备，尤其涉及考虑到在检测器检测的信号和实景之间差异的图像处理设备和方法、以及图像捕获设备。
背景技术
用于检测出现在由传感器提取的实景中的成分并且用于处理从该图像传感器输出的采样数据的技术已被广泛使用。
例如，如果一个目标的移动速度相当高，则在利用摄像机捕获在预定的静止背景前面的该移动目标而获得的图像中将出现运动模糊。
然而，当一个目标在一个静止背景前面移动时，不仅出现由该运动物体本身的混合引起的运动模糊，而且出现该背景图像和该移动目标图像的混合。迄今，尚未考虑用于涉及该背景图像和运动物体的混合状态的处理。
发明内容
本发明建立在上面描述的背景上的。因此，本发明的一个目的是使得有可能检测其中出现混合的区域。
本发明的一个图像处理设备包括：运动补偿装置，用于从补偿图像数据产生的区域指定目标的帧的运动；  以及区域检测装置，用于根据在相邻运动补偿帧中的相应位置的像素数据之间的差值检测混合区域。
当该差值大于或等于阈值时，该区域检测装置可以检测至少像素数据所属的该混合区域。
该区域检测装置可以根据该检测的混合区域的时间的变化进一步检测其中与前景对应的目标的前景目标成分随着时间增加的覆盖的背景区域以及其中与背景对应的目标的背景目标成分随着时间增加的未覆盖的背景区域。
该区域检测装置可以根据与每一个帧中的像素数据对应的运动矢量进一步检测其中与前景对应的目标的前景目标成分随着时间增加的覆盖的背景区域以及其中与背景对应的目标的背景目标成分随着时间增加的未覆盖的背景区域。
该图像处理设备可以进一步包括用于检测该运动矢量的运动矢量检测装置。
该图像处理设备可以进一步包括混合比计算装置，用于计算指示其中该目标被混合在该像素数据中的状态的混合比。
该图像处理设备可以进一步包括分离装置，用于根据该混合比从该混合区域的像素数据中至少分离出与前景对应的目标的前景目标成分。
该图像处理设备可以进一步包括运动模糊调整装置，用于调整在该分离的前景目标成分中的运动模糊量。
该图像处理设备可以进一步包括合成装置，用于根据该混合比把另一期望目标与该分离的前景目标成分合成。
该运动补偿装置可以通过移动围绕指定帧的周边帧而执行运动补偿，使得在该指定帧中的多个目标的背景目标被放置在与该周边帧中的背景目标相同的像素位置。该区域检测装置可以根据在该运动补偿的周边帧和该指定帧之间的差值而至少检测该混合区域。
该区域检测装置可以提供有静止/移动确定装置，用于根据在该运动补偿的周边帧和该指定帧中的对应像素位置的像素数据之间的差值而执行静止或运动确定。根据该静止/移动确定装置的确定，该区域检测装置可以检测该像素位置是在仅由形成多个目标中的前景目标的前景目标成分组成的前景区域、仅由形成该背景目标的背景目标成分组成的背景区域或该混合区域的哪一个中。
根据该静止/移动确定装置的确定，该区域检测装置可以指定在该混合区域中的未覆盖的背景区域和覆盖的背景区域，该未覆盖的背景区域形成在该前景目标移动方向的后端，该覆盖的背景区域形成在该前景目标移动方向的前端。
本发明的一种图像处理方法包括：运动补偿步骤，补偿从图像数据产生的区域指定目标的帧的运动；以及区域检测步骤，用于根据在相邻运动补偿帧中的相应位置的像素数据之间的差值检测混合区域。
在该区域检测步骤中，当该差值大于或等于阈值时，可以检测至少像素数据所属的该混合区域。
在该区域检测步骤中，根据该检测的混合区域的时间变化，可以进一步检测其中与前景对应的目标的前景目标成分随着时间增加的覆盖的背景区域和其中与背景对应的目标的背景目标成分随着时间增加的未覆盖的背景区域。
在该区域检测步骤中，根据与在每一帧中的像素数据对应的运动矢量，可以进一步检测其中与前景对应的目标的前景目标成分随着时间增加的覆盖的背景区域和其中与背景对应的目标的背景目标成分随着时间增加的未覆盖的背景区域。
该图像处理方法可以进一步包括用于检测该运动矢量的运动矢量检测步骤。
该图像处理方法可以进一步包括混合比计算步骤，计算指示其中该目标被混合在该像素数据中的状态的混合比。
该图像处理方法可以进一步包括分离步骤，根据该混合比从该混合区域的像素数据中分离至少与前景对应的目标的前景目标成分。
该图像处理方法可以进一步包括运动模糊调整步骤，调整在该分离的前景目标成分中的运动模糊量。
该图像处理方法可以进一步包括合成步骤，用于根据该混合比把另一期望目标与该分离的前景目标成分合成。
在该运动补偿步骤中，可以通过移位围绕指定帧的周边帧来执行运动补偿，使得在该指定帧中的背景目标被放置在与在该周边帧中的背景目标相同的像素位置。在该区域检测步骤中，可以根据在该运动补偿的周边帧和该指定帧之间的差值而至少检测该混合区域。
该区域检测步骤可以包括静止/移动确定步骤，用于根据在该运动补偿的周边帧和该指定帧中的对应像素位置的像素数据之间的差值而执行静止或运动确定。在该区域检测步骤中，可以根据该静止/移动确定步骤的确定，检测该像素位置是在仅由形成多个目标中的前景目标的前景目标成分组成的前景区域、仅由形成该背景目标的背景目标成分组成的背景区域或该混合区域的哪一个中。
根据该静止/移动确定步骤中的确定，在该区域检测步骤中可以指定在该混合区域中的未覆盖的背景区域和覆盖的背景区域，该未覆盖的背景区域形成在该前景目标移动方向的后端，该覆盖的背景区域形成在该前景目标移动方向的前端。
本发明的一个记录介质中的程序，包括：运动补偿步骤，补偿图像数据帧的运动；以及区域检测步骤，用于根据在运动补偿帧中的相应位置像素数据之间的差值检测混合区域。
在该区域检测步骤中，当该差值大于或等于阈值时，可以检测至少像素数据所属的该混合区域。
在该区域检测步骤中，根据该检测的混合区域的时间变化，可以进一步检测其中与前景对应的目标的前景目标成分随着时间增加的覆盖的背景区域和其中与背景对应的目标的背景目标成分随着时间增加的未覆盖的背景区域。
在该区域检测步骤中，根据与在每一帧中的像素数据对应的运动矢量，可以进一步检测其中与前景对应的目标的前景目标成分随着时间增加的覆盖的背景区域和其中与背景对应的目标的背景目标成分随着时间增加的未覆盖的背景区域。
该程序可以进一步包括检测该运动矢量的运动矢量检测步骤。
该程序可以进一步包括混合比计算步骤，计算指示其中该目标被混合在该像素数据中的状态的混合比。
该程序可以进一步包括一个分离步骤，根据该混合比从该混合区域的像素数据分离至少与前景对应的目标的前景目标成分。
该程序可以进一步包括运动模糊调整步骤，调整在该分离的前景目标成分中的运动模糊量。
该程序可以进一步包括合成步骤，用于根据该混合比把另一期望目标与该分离的前景目标成分合成。
在该运动补偿步骤中，可以通过移位围绕指定帧的周边帧来执行运动补偿，使得在该指定帧中的多个目标的背景目标被放置在与在该周边帧中的背景目标相同的像素位置。在该区域检测步骤中，根据在该运动补偿的周边帧和该指定帧之间的差值而至少检测该混合区域。
该区域检测步骤可以包括静止/移动确定步骤，用于根据在该运动补偿的周边帧和该指定帧中的对应像素位置的像素数据之间的差值而执行静止或运动确定。在该区域检测步骤中，可以根据该静止/移动确定步骤的确定，检测该像素位置是在仅由形成多个目标中的前景目标的前景目标成分组成的前景域、仅由形成该背景目标的背景目标成分组成的背景区域或该混合区域的哪一个中。
根据该静止/移动确定步骤中的确定，在该区域检测步骤中可以指定在该混合区域中的未覆盖的背景区域和覆盖的背景区域，该未覆盖的背景区域形成在该前景目标移动方向的后端，该覆盖的背景区域形成在该前景目标移动方向的前端。
使得计算机执行下列步骤的程序：运动补偿步骤，补偿图像数据帧的运动；以及区域检测步骤，用于根据在运动补偿帧中的相应位置像素数据之间的差值检测混合区域。
在该区域检测步骤中，当该差值大于或等于阈值时，可以检测至少像素数据所属的该混合区域。
在该区域检测步骤中，根据该检测的混合区域的时间变化，可以进一步检测其中与前景对应的目标的前景目标成分随着时间增加的覆盖的背景区域和其中与背景对应的目标的背景目标成分随着时间增加的未覆盖的背景区域。
在该区域检测步骤中，根据与在每一帧中的像素数据对应的一个运动矢量，可以进一步检测其中与前景对应的目标的前景目标成分随着时间增加的覆盖的背景区域和其中与背景对应的目标的背景目标成分随着时间增加的未覆盖的背景区域。
该程序可以进一步包括检测该运动矢量的运动矢量检测步骤。
该程序可以进一步包括混合比计算步骤，计算指示其中该目标被混合在该像素数据中的状态的混合比。
该程序可以进一步包括分离步骤，根据该混合比从该混合区域的像素数据分离至少与前景对应的目标的前景目标成分。
该程序可以进一步包括运动模糊调整步骤，调整在该分离的前景目标成分中的运动模糊量。
该程序可以进一步包括合成步骤，根据该混合比把另一期望目标与该分离的前景目标成分合成。
在该运动补偿步骤中，可以通过移位围绕指定帧的周边帧来执行运动补偿，使得在该指定帧中的多个目标的背景目标被放置在与在该周边帧中的背景目标相同的像素位置。在该区域检测步骤中，根据在该运动补偿的周边帧和该指定帧之间的差值而至少检测该混合区域。
该区域检测步骤可以包括静止/移动确定步骤，用于根据在该运动补偿的周边帧和该指定帧中的对应像素位置的像素数据之间的差值而执行静止或运动确定。在该区域检测步骤中，可以根据该静止/移动确定步骤的确定，检测该像素位置是在仅由形成多个目标中的前景目标的前景目标成分组成的前景区域、仅由形成该背景目标的背景目标成分组成的背景区域或该混合区域的哪一个中。
根据该静止/移动确定步骤中的确定，在该区域检测步骤中可以指定在该混合区域中的未覆盖的背景区域和覆盖的背景区域，该未覆盖的背景区域形成在该前景目标移动方向的后端，该覆盖的背景区域形成在该前景目标移动方向的前端。
本发明的一个图像捕获设备包括：图像捕获装置，用于输出由图像捕获部件所捕获的包括预定数量的像素的目标(subject)图像，作为由预定数量像素数据形成的图像数据，该像素具有时间积分功能；运动补偿装置，用于补偿从图像数据产生的区域指定目标的帧的运动；和区域检测装置，根据在该相邻运动补偿帧中的相应位置的像素数据之间的差值，用于以其中多个目标被混合在该实景中的像素数据从图像数据中检测混合区域。
当该差值大于或等于阈值时，该区域检测装置可以检测至少像素数据所属的该混合区域。
该区域检测装置可以根据该检测的混合区域的时间的变化而进一步检测其中与前景对应的目标的前景目标成分随着时间增加的覆盖的背景区域以及其中与背景对应的目标的背景目标成分随着时间增加的未覆盖的背景区域。
该区域检测装置可以根据与每一个帧中的像素数据对应的运动矢量进一步检测其中与前景对应的目标的前景目标成分随着时间增加的覆盖的背景区域以及其中与背景对应的目标的背景目标成分随着时间增加的未覆盖的背景区域。
该图像捕获设备可以进一步包括用于检测该运动矢量的运动矢量检测装置。
该图像捕获设备可以进一步包括混合比计算装置，用于计算指示其中该目标被混合在该像素数据中的状态的混合比。
该图像捕获设备可以进一步包括分离装置，用于根据该混合比从该混合区域的像素数据中至少分离出与前景对应的目标的前景目标成分。
该图像捕获设备可以进一步包括运动模糊调整装置，用于调整在该分离的前景目标成分中的运动模糊量。
该图像捕获设备可以进一步包括合成装置，用于根据该混合比把另一期望目标与该分离的前景目标成分合成。
该运动补偿装置可以通过移动围绕指定帧的周边帧而执行运动补偿，使得在该指定帧中的多个目标的背景目标被放置在与该周边帧中的背景目标相同的像素位置。该区域检测装置可以根据在该运动补偿的周边帧和该指定帧之间的差值而至少检测该混合区域。
该区域检测装置可以提供有静止/移动确定装置，用于根据在该运动补偿的周边帧和该指定帧中的对应像素位置的像素数据之间的差值而执行静止或运动确定。根据该静止/移动确定装置的确定，该区域检测装置可以检测该像素位置是在仅由形成多个目标中的前景目标的前景目标成分组成的前景区域、仅由形成该背景目标的背景目标成分组成的背景区域或该混合区域的哪一个中。
根据该静止/移动确定装置的确定，该区域检测装置可以指定在该混合区域中的未覆盖的背景区域和覆盖的背景区域，该未覆盖的背景区域形成在该前景目标移动方向的后端，该覆盖的背景区域形成在该前景目标移动方向的前端。
根据在该运动补偿的帧中的相应位置的像素数据之间差值，补偿图像数据的帧的运动，并且检测混合区域。
这将使得能够检测其中出现混合的混合区域。
附图说明
图1示出根据本发明的信号处理设备的实施例。
图2是表示该信号处理设备的框图。
图3示出由传感器执行的图像捕获。
图4示出像素的排列。
图5示出检测装置的操作。
图6A示出通过捕获对应运动前景的目标和对应静止背景的目标的图像而获得的图像。
图6B示出通过捕获对应运动前景的目标和对应静止背景的目标的图像而获得的图像的模式。
图7示出背景区域、前景区域、混合区域、覆盖背景区域、和未覆盖背景区域。
图8示出通过在时间方向上扩展图像中彼此邻接对准的像素的像素值而获得的模式，该图像是通过对于对应静止的前景的目标和对应静止背景的目标进行图像捕获而获得的图像。
图9示出其中像素值被在时间方向上扩展并且对应于快门时间的周期被分割的模式。
图10示出其中像素值被在时间方向上扩展并且对应于快门时间的周期被分割的模式。
图11示出其中像素值被在时间方向上扩展并且对应于快门时间的周期被分割的模式。
图12示出提取在前景区域、背景区域以及混合区域中的像素的一个实例。
图13示出在像素和通过在时间方向上扩展该像素值而获得的模式之间的关系。
图14示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的模式。
图15示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的模式。
图16示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的模式。
图17示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的模式。
图18示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的模式。
图19示出用于调整运动模糊量的处理的流程图。
图20是说明区域指定单元103的结构的框图。
图21是更详细地说明区域指定单元103的结构的框图。
图22示出由运动捕获部分222实现的处理。
图23示出当与前景对应的目标移动时的图像。
图24示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的模式。
图25示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的模式。
图26示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的模式。
图27示出用于进行区域确定的条件。
图28A示出由该区域指定单元103进行区域指定获得的结果的一个实例。
图28B示出由该区域指定单元103进行区域指定获得的结果的一个实例。
图28C示出由该区域指定单元103进行区域指定获得的结果的一个实例。
图28D示出由该区域指定单元103进行区域指定获得的结果的一个实例。
图29示出由该区域指定单元103进行区域指定获得的结果的一个实例。
图30是说明该区域指定处理的流程图。
图31是说明该区域指定处理的流程图。
图32是说明区域指定单元103的另一结构的框图。
图33示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的模式。
图34示出区域指定的目标的实例。
图35示出运动补偿区域指定的目标的实例。
图36示出由阈值处理器255实现的处理的实例。
图37是表示时间改变检测器256的结构的框图。
图38示出由该时间改变检测器256实现的确定处理。
图39示出由该时间改变检测器256实现的确定处理。
图40示出用于进行混合区域确定的条件。
图41是说明由该区域指定单元103执行的区域指定处理的流程图。
图42是详细地说明用于检测覆盖的背景区域或未覆盖的背景区域的处理的流程图。
图43是说明区域指定单元103的又一结构的框图。
图44示出由标识单元281执行的确定处理。
图45是详细地说明用于检测覆盖的背景区域或未覆盖的背景区域的处理的流程图。
图46是表示混合比计算器104的结构的实例的框图。
图47示出该理想混合比α的一个实例。
图48示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的模式。
图49示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的模式。
图50示出使用前景成分之间的相关性的近似。
图51说明C、N和P之间的关系。
图52是表示估计混合比处理器401的结构的框图。
图53示出作为示例的估计的混合比。
图54是说明该混合比计算器104的另一结构的框图。
图55是说明该混合比计算处理的流程图。
图56是说明用于计算该估计混合比的处理的流程图。
图57示出用于近似该混合比α的直线。
图58示出用于近似该混合比α的平面。
图59示出当计算该混合比α时在多个帧中的像素的关系。
图60是说明该混合比估计处理器401的另一结构的框图。
图61示出作为示例的估计的混合比。
图62是说明通过使用对应于覆盖的背景区域的一个模式的混合比估计处理的流程图。
图63是说明前景/背景分离器105的结构的一个实例的框图。
图64A示出输入图像、前景成分图像以及背景成分图像。
图64B示出输入图像、前景成分图像和背景成分图像的模式。
图65示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的模式。
图66示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的模式。
图67示出其中像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的模式。
图68是表示分离部分601的结构的一个实例的框图。
图69A示出分离的前景成分图像的一个实例。
图69B示出分离的背景成分图像的一个实例。
图70是说明用于分离前景和背景的处理流程图。
图71是说明运动模糊调整单元106的结构的一个实例的框图。
图72示出处理单元。
图73示出其中前景成分图像的像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的模式。
图74示出其中前景成分图像的像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的模式。
图75示出其中前景成分图像的像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的模式。
图76示出其中前景成分图像的像素值被在时间方向上扩展并且对应于该快门时间的周期被分割的模式。
图77示出运动模糊调整单元106的另一结构的实例。
图78是表示处理的流程图，其中由该运动模糊调整单元106执行用于调整在前景成分图像中包含的运动模糊量。
图79是说明运动模糊调整单元106的结构的另一实例的框图。
图80示出一个模式的实例，其中指示了在像素值和前景成分之间的关系。
图81示出前景成分的计算。
图82示出前景成分的计算。
图83是说明用于消除包含在前景中的运动模糊的处理的流程图。
图84是说明该信号处理设备的功能的另一结构的框图。
图85示出合成器1001的结构。
图86是说明该信号处理设备的功能的又一结构的框图。
图87是说明混合比计算器1101的结构的框图。
图88是表示前景/背景分离器1102的结构的框图。
图89是说明该信号处理设备的功能的又一结构的框图。
图90示出合成器1201的结构。
具体实施方式
图1示出根据本发明的信号处理设备的实施例。CPU(中央处理单元)21根据存储在ROM(只读存储器)22或存储单元28中的程序而执行各种类型的处理。由该CPU 21执行程序和数据按照需要被存储在RAM(随机存取存储器)23中。CPU 21、ROM 22、RAM 23通过总线24彼此连接。
输入/输出接口25也通过总线24连接到该CPU 21。由键盘、鼠标、麦克风等组成的输入单元26和由显示器、扬声器等组成的输出单元27被连接到该输入/输出接口25。该CPU 21响应从该输入单元26输入的命令执行各种类型的处理。该CPU 21随后把作为处理的结果获得的图像或声音输出到输出单元27。
连接到该输入/输出接口25的存储单元28由例如硬盘组成，并且存储由CPU 21执行的程序和各种类型的数据。通信单元29通过互联网络或另一网络与外部装置通信。在本实例中，通信单元29用作获取单元，用于获取传感器的输出。
另外，可以通过该通信单元29获得程序并且该程序存储在存储单元28中。
当把如磁盘51、光盘52、磁光盘53、半导体存储器54等附加到驱动器30时，连接到该输入/输出接口25的驱动器30驱动这种记录介质，并且获得存储在该对应介质中的程序或数据。如果有必要，该获得的程序或者数据被传送到该存储单元28并且存储在其中。
图2是表示该信号处理设备的框图。
该信号处理设备的各个功能是由硬件或软件实现并不重要。即，本说明书的框图可以是硬件框图或软件功能框图。
在本说明书中，对应于该实景中的目标而捕获的图像被称为图像目标。
提供到该信号处理设备的输入图像被提供到目标提取单元101、区域指定单元103、混合比计算器104和前景/背景分离器105。
该目标提取单元101提取与包括在该输入图像中的前景目标相对应的粗略图像目标，并且把该提取的图像目标提供到运动检测器102。该目标提取单元101检测例如包括在该输入图像中的该前景图像目标的轮廓，以便提取对应于该前景目标的粗略图像目标。
该目标提取单元101提取与包括在该输入图像中的该背景目标相对应的该粗略图像目标，并且把该提取的图像目标提供到该运动检测器102。该目标提取单元101从例如在该输入的图像和提取的对应于该前景目标的图像目标之间的差值提取对应于该背景目标的粗略图像目标。
另外，例如该目标提取单元101可以从存储在一个内置背景存储器中的背景图像和该输入图像之间的差异提取对应于该前景目标的该粗略图像目标和对应于该背景目标的该粗略图像目标。
根据例如数据块匹配、梯度、相位相关技术或像素递归(pel-recursive)技术，运动检测器102计算对应于前景目标的粗略提取图像的运动矢量，并且把计算的运动矢量和运动矢量位置信息(用于指定与运动矢量对应的像素的信息)提供到该区域指定单元103和运动模糊调整单元106。
从该运动检测器102输出的该运动矢量包含与运动量V对应的信息。
该运动检测器102可以把每一图像目标的运动矢量连同的指定该图像目标的像素的像素位置信息一起输出到该运动模糊调整单元106。
该运动量v是以像素间距为单元指示在与运动目标对应的图像中的位置改变的值。例如，如果对应于前景的目标图像正在移动，使得其被定位在该随后帧中时显示在相距基准帧四个像素远的位置，则该对应于该前景的目标图像的运动量v是4。
当对应于运动目标而调整运动模糊的量时，需要该目标提取单元101和该运动检测器102。
区域指定单元103确定该输入图像的每一像素属于前景区域、背景区域或混合区域的哪一个，并且把指示每一像素所属的区域的信息(下文称作″区域信息″)提供到该混合比计算器104、前景/背景分离器105和运动模糊调整单元106。
混合比计算器104根据输入图像和从区域指定单元103提供的区域信息计算与包含在混合区域63中的像素相对应的混合比(下文称之为″混合比α″)，并且把产生的混合比提供到该前景/背景分离器105。
混合比α是指示对应于该背景目标的该图像成分(在下文称为″背景成分″)与该像素值的比例的一个值，如下面所示的方程式(3)所示。
根据从该区域指定单元103提供的该区域信息和由该混合比计算器104提供的混合比α，该前景/背景分离器105把该输入图像分离成仅由对应于前景目标图像成分形成的前景成分图像(下文也称为″前景成分″)和仅由背景成分形成的背景成分图像，并且把该前景成分图像提供到该运动模糊调整单元106和选择器107。该分离的前景成分图像可以被设置为最终输出。如此将能够获得比仅指定前景和背景而不考虑混合区域的已知方法更精确的前景和背景。
根据从运动矢量获得的运动量v并且根据该区域信息，运动模糊调整单元106确定处理指示包含在该前景成分图像中的至少一个像素的单元。该处理单元是指定将要经受该运动模糊调整的一组像素的数据。
根据输入到该信号处理设备的将进行的运动模糊的调整量、从前景/背景分离器105提供的前景成分图像、从运动检测器102提供的运动矢量和其位置信息以及处理单元，该运动模糊调整单元106通过移去、减小或增加包含在该前景成分图像中的运动模糊而调整包括在该前景成分图像中的运动模糊量。然后该运动模糊调整单元106把其中的运动模糊量被调整的前景成分图像输出到该选择器107。运动矢量和其位置信息的使用不是必需的。
运动模糊是由在实景中将要捕获的目标的移动和该传感器的图像捕获特性引起的在对应于运动目标的图像中包含的失真。
例如根据反映用户选择的选择信号，选择器107在从前景/背景分离器105提供的前景成分图像和从运动模糊调整单元106提供的调整了运动模糊量的前景成分图像中选择之一，并且输出该选择的前景成分图像。
下面将参考图3至18讨论提供到信号处理设备的一个输入图像。
图3示出由传感器执行的图像捕获。该传感器例如是由属于固态图像捕获装置的具有CCD(电荷耦合器件)面传感器的CCD摄像机组成。对应于实景中的前景目标111在对应于背景的目标112和该传感器之间从左到右地水平移动。
传感器捕获对应于前景的目标111的图像和对应于背景的目标112的图像。传感器以帧为单元输出捕获的图像。例如，该传感器输出具有30帧/每秒的一个图像。该传感器的曝光时间可以是1/30秒。曝光时间是从该传感器开始把输入光转换成电荷之时到结束该从输入光到该电荷的转换之时的时间间隔。曝光时间在下文也被称为″快门时间″。
图4示出该像素的排列。图4中，符号A至I表示各个像素。这些像素排列在与图像对应的一个平面上。在传感器上排列着与每一像素对应的检测元件。当传感器捕获图像时，每一检测元件输出一个与形成该图像的像素相对应的像素值。例如，检测元件的X方向的位置对应于图像上水平方向的位置，而检测元件的Y方向的位置对应于图像上垂直方向的位置。
例如图5中所示，诸如CCD的检测元件在与快门时间相对应的间隔内把输入光转换成电荷，并且存储转换的电荷。电荷量基本上与输入光的强度和输入光的间隔成正比。检测元件在与快门时间相对应的间隔中，把从输入光转换而来的电荷加入该存储的电荷中。即，检测元件在与快门时间相对应的间隔中，积分输入光，并且存储与积分光量相对应的的电荷。可以认为，检测元件具有对于时间的积分效应。
在检测元件中存储的电荷由图中未示出的电路转换成电压值，再把电压值转换成诸如数字数据等的像素值，并且输出该像素值。因此，从传感器输出的每一像素值都是投射在线性空间中的值，它是相对于快门时间积分与前景或背景相对应的目标的一个确定的三维部分所得的结果。
信号处理设备提取由该传感器的存储操作而嵌入在输出信号中的重要信息，例如混合比α。该信号处理设备调整由于前景图像目标本身的混合引起的失真量，例如运动模糊量。信号处理设备还调整由于前景图像目标与背景图像目标的混合引起的失真量。
图6A和6B示出通过捕获与前景对应的运动目标和与背景对应的静止目标而获得的图像。图6A示出通过捕获对应前景的运动目标和对应背景的静止目标而获得的图像。在图6A示出的实例中，对应于前景的目标相对于屏幕从左向右水平移动。
图6B是与图6A所示的图像的一行相对应的像素值沿着时间方向展开而获得的一个模式。图6B中的水平方向对应于图6A中的空间X方向。
背景区域中的像素值仅由背景成分，即，与背景目标相对应的图像成分组成。前景区域中的像素值仅由前景成分，即，与前景目标相对应的图像成分组成。
混合区域的像素值由背景成分和前景成分组成。由于混合区域内的像素值是由背景成分和前景成分组成，所以可称作″失真区域″。该混合区域进一步划分为覆盖背景区域和未覆盖背景区域。
该覆盖背景区域是在与前景目标运动的方向上的前端对应的位置上的混合区域，其中背景成分在时间上逐渐被该前景所覆盖。
相反，未覆盖背景区域是在前景目标运动的方向的后端相对应的混合区域，其中该背景成分随着时间逐渐显现。
如上所述，包括前景区域、背景区域、覆盖背景区域、或未覆盖背景区域的图像被作为输入图像输入到区域指定单元103、混合比计算器104、和前景/背景分离器105。
图7示出如上所述的背景区域、前景区域、混合区域、覆盖背景区域、和未覆盖背景区域。在与图6A所示的图像对应的区域中，背景区域是静止部分，前景区域是运动部分，混合区域的覆盖背景区域是从背景变成前景的部分，而混合区域的未覆盖背景区域是从前景变成背景的部分。
图8是沿着时间方向扩展对于与静止前景相对应的目标和与静止背景相对应的目标进行进行捕获所得的图像中，彼此邻接对准成的像素的像素值的一个模式。例如，当像素彼此对准邻接对准时，可选择屏幕上排列在一行上的像素。
图8的F01到F04所示的像素值是与静止前景目标相对应的像素值。图8的B01到B04所示的像素值是与静止背景目标相对应的像素值。
图8的垂直方向代表自上而下的经过时间。图8中矩形上侧位置对应于传感器开始把输入光转换成电荷的时间，而图8中矩形的下侧位置对应于传感器结束把输入光转换成电荷的时间。即，图8中矩形的自上而下之距离对应于快门时间。
下面假定例如快门时间等于帧长而描述图8所示的像素。
图8中的水平方向对应于图6A中的空间X方向。更具体地说，在8所示实例中，从由“F01”表示的矩形的左侧到由“B04”表示的矩形的右侧的距离是像素间距的8倍长，也就是说，对应于8个连续像素的间隔。
当前景目标和背景目标是静止时，输入到传感器的光在与快门时间相对应的间隔内不发生改变。
把对应于快门时间的时间间隔分割成长度相等的两个或多个时间间隔。例如，如果虚拟分割部分的数目是4，则图8所示的模式可以用图9所示的模式来表示。能够根据在快门时间内与前景相对应的目标的运动量v而设置虚拟分割部分的数目。例如，当运动量v是4时该虚拟分割数是4，并且把与快门时间相对应的间隔分割成4个部分。
图9中的最高行对应于从快门已经开启时的第一分割的间隔。图9中的第二行对应于从快门已经开启时的第二分割的间隔。图9中的第三行对应于从快门已经开启时的第三分割的间隔。图9中的第四行对应于从快门已经开启时的第四分割的间隔。
根据运动量v划分的快门时间在下文中也被称为″快门时间/v″。
在与前景相对应的目标保持静止的情况下，由于输入传感器的光不发生改变，因此前景成分F01/v等于像素值F01除以虚拟分割部分数所得的值。类似地，在与前景相对应的目标保持静止的情况下，前景成分F02/v等于像素值F02除以虚拟分割部分数所得的值，前景成分F03/v等于像素值F03除以虚拟分割部分数所得的值，以及前景成分F04/v等于像素值F04除以虚拟分割部分数所得的值。
在与背景相对应的目标保持静止的情况下，由于输入传感器的光不发生改变，因此背景成分B01/v等于像素值B01除以虚拟分割部分数所得的值。类似地，在与背景相对应的目标保持静止的情况下，背景成分B02/v等于像素值B02除以虚拟分割部分数所得的值，背景成分B03/v等于像素值B03除以虚拟分割部分数所得的值，以及背景成分B04/v等于像素值B04除以虚拟分割部分数所得的值。
更具体地说，当与前景相对应的目标保持静止时，输入该传感器的对应于前景目标的光在对应于快门时间的时间间隔中不改变。因此，与从快门打开时算起的第1快门时间/v相对应的前景成分F01/v、与从快门打开时算起的第2快门时间/v相对应的前景成分F01/v、与从快门打开时算起的第3快门时间/v相对应的前景成分F01/v、和与从快门打开时算起的第4快门时间/v相对应的前景成分F01/v变成同一个值。F02/v到F04/v具有与在F01/v情况下相同的关系。
当与背景相对应的目标保持静止时，输入该传感器的对应于背景目标的光在对应于快门时间的时间间隔中不改变。因此，与从快门打开时算起的第1快门时间/v相对应的背景成分B01/v、与从快门打开时算起的第2快门时间/v相对应的背景成分B01/v、与从快门打开时算起的第3快门时间/v相对应的背景成分B01/v、和与从快门打开时算起的第4快门时间/v相对应的背景成分B01/v变成同一个值。相同的关系应用于B02/v至B04/v。
现在描述在与对背景相对应的目标保持静止而与前景相对应的目标发生移动的情况。
图10示出当与前景相对应的目标在图10中向右移动时，在时间方向上扩展包括覆盖背景区域的一行上的像素的像素值获得一个模式。图10中，运动量v是4。由于一帧是一个短的时间间隔，所以可以假设与前景相对应的目标是以恒速移动的刚体。在图10中，与前景相对应的目标图像发生移动，致使被显示在相对于给定帧的下一个帧中向右4个像素的位置上。
在图10中，最左边像素到从左边算起第4个像素属于前景区域。在图10中，从最左算起第5个像素到第7个像素属于混合区域的覆盖背景区域。图10中，最右侧像素属于该背景区域。
由于与前景相对应的像素发生移动，致使其随着时间的推移而覆盖了与背景相对应的目标。因此，在与快门时间相对应的间隔中的某个确定时刻，包含在属于覆盖背景区域的像素的像素值中的成分从背景成分变成前景成分。
例如，图10中用粗线框包围的像素值M由下面的方程式(1)表示：
M＝B02/v+B02/v+F07/v+F06/v           (1)
例如，从左边算起第5个像素包括与一个快门时间/v相对应的背景成分和与三个快门时间/v相对应的前景成分，因此从左边算起第5个像素的混合比α是1/4。从左边算起第6个像素包括与二个快门时间/v相对应的背景成分和与二个快门时间/v相对应的前景成分，因此从左边算起第6个像素的混合比α是1/2。从左边算起第7个像素包括与三个快门时间/v相对应的背景成分和与一个快门时间/v相对应的前景成分，因此从左边算起第7个像素的混合比α是3/4。
可以假设与前景相对应的目标是刚体，并且前景目标作恒速运动而使其被显示在下一个帧中向右4个像素的位置上。因此，例如图10中从左边算起第4个像素从快门打开算起的第1快门时间/v的前景成分F07/v等于图10中与从左边算起第5个像素从快门打开算起的第2快门时间/v相对应的前景成分。类似地，前景成分F07/v等于图10中与从左边算起第6个像素从快门打开算起的第3快门时间/v相对应的前景成分、以及图10中与从左边算起第7个像素从快门打开算起的第4快门时间/v相对应的前景成分。
可以假设与前景相对应的目标是刚体，并且前景目标作恒速运动而使其被显示在下一个帧中向右4个像素的位置上。因此，例如图10中从左边算起第3个像素从快门打开算起的第1快门时间/v的前景成分F06/v等于图10中与从左边算起第4个像素从快门打开算起的第2快门时间/v相对应的前景成分。类似地，前景成分F06/v等于图10中与从左边算起第5个像素从快门打开算起的第3快门时间/v相对应的前景成分、以及图10中与从左边算起第6个像素从快门打开算起的第4快门时间/v相对应的前景成分。
可以假设与前景相对应的目标是刚体，并且前景目标作恒速运动而使其被显示在下一个帧中向右4个像素的位置上。因此，例如图10中从左边算起第2个像素从快门打开算起的第1快门时间/v的前景成分F05/v等于图10中与从左边算起第3个像素从快门打开算起的第2快门时间/v相对应的前景成分。类似地，前景成分F05/v等于图10中与从左边算起第4个像素从快门打开算起的第3快门时间/v相对应的前景成分、以及图10中与从左边算起第5个像素从快门打开算起的第4快门时间/v相对应的前景成分。
可以假设与前景相对应的目标是刚体，并且前景目标作恒速运动而使其被显示在下一个帧中向右4个像素的位置上。因此，例如图10中最左边的像素从快门打开算起的第1快门时间/v的前景成分F04/v等于图10中与从左边算起第2个像素从快门打开算起的第2快门时间/v相对应的前景成分。类似地，前景成分F04/v等于图10中与从左边算起第3个像素从快门打开算起的第3快门时间/v相对应的前景成分、以及图10中与从左边算起第4个像素从快门打开算起的第4快门时间/v相对应的前景成分。
如上所述，由于与运动目标相对应的前景区域包括运动模糊，因此其也可以称为一个″失真区域″。
图11示出当与前景相对应的目标在图11中向右移动时，通过时间方向上扩展包括未覆盖的背景区域的一行上的像素获得的一个模式。图11中，运动量v是4。由于一帧是一个短的时间间隔，所以可以假设与前景相对应的目标是以恒速移动的刚体。在图11中，与前景相对应的目标图像发生右移动，当其被显示在下一帧时，使其位于相对于基准帧的向右4个像素的位置上。
在图11中，最左边像素到从左边算起第4个像素属于背景区域。在图11中，从最左算起第5个像素到第7个像素属于混合区域，它是未覆盖背景区域。图11中，最右侧像素属于该前景区域。
与覆盖了与背景相对应的目标的前景相对应的目标发生移动，使得其将随着时间的经过从与背景相对应的目标上逐渐被移走。因此，在与快门时间相对应的间隔中的某个确定时刻，包含在属于未覆盖背景区域的像素的像素值中的成分从前景成分变成背景成分。
例如，图11中用粗线框包围的像素值M’由下面的方程式(2)表示：
M’＝F02/v+F01/v+B26/v+B26/v        (2)
例如，从左边算起第5个像素包括与三个快门时间/v相对应的背景成分和与一个快门时间/v相对应的前景成分，因此从左边算起第5个像素的混合比α是3/4。从左边算起第6个像素包括与两个快门时间/v相对应的背景成分和与两个快门时间/v相对应的前景成分，因此从左边算起第6个像素的混合比α是1/2。从左边算起第7个像素包括与一个快门时间/v相对应的背景成分和与三个快门时间/v相对应的前景成分，因此从左边算起第7个像素的混合比α是1/4。
当方程式(1)和(2)被统一时，该像素值M能够通过方程式(3)表示：
M = α · B + Σ i Fi / v - - - ( 3 )
其中α是混合比、B表示背景的像素值，而Fi/v表示前景成分。
可以假设与前景相对应的目标是以恒速运动的刚体，并且运动量v是4。因此，例如图11中从左边算起第5个像素从快门打开算起的第1快门时间/v的前景成分F01/v等于图11中与从左边算起第6个像素从快门打开算起的第2快门时间/v相对应的前景成分。类似地，前景成分F01/v等于图11中与从左边算起第7个像素从快门打开算起的第3快门时间/v相对应的前景成分、以及图11中与从左边算起第8个像素从快门打开算起的第4快门时间/v相对应的前景成分。
可以假设与前景相对应的目标是以恒速运动的刚体，并且运动量v是4。因此，例如图11中从左边算起第6个像素从快门打开算起的第1快门时间/v的前景成分F02/v等于图11中与从左边算起第7个像素从快门打开算起的第2快门时间/v相对应的前景成分。类似地，前景成分F02/v等于图11中与从左边算起第8个像素从快门打开算起的第3快门时间/v相对应的前景成分
可以假设与前景相对应的目标是以恒速运动的刚体，并且运动量v是4。因此，例如图11中从左边算起第7个像素从快门打开算起的第1快门时间/v的前景成分F03/v等于图11中与从左边算起第8个像素从快门打开算起的第2快门时间/v相对应的前景成分。
已经参考图9到图11描述了虚拟分割部分的数目是4的情况。虚拟分割部分的数目与运动量v对应。运动量v一般对应于与前景相对应的目标的移动速度。例如，如果与前景相对应的目标正在发生移动，致使当其位于下一帧时被显示在相对于给定帧中向右4个像素的位置上的情况下，则运动量v是4。根据运动量v，虚拟分割部分的数目也设置为4。类似地，当与前景相对应的目标正在发生移动，致使当其位于下一帧时被显示在相对于给定帧中向右6个像素的位置上时，运动量v是6，虚拟分割数目也设置为6。
图12和13示出上述讨论的前景区域、背景区域、以及包括覆盖背景或未覆盖背景的混合区域相对于与该快门时间的分割间隔对应的前景成分和背景成分的关系。
图12示出了从包括与在静止背景的前面移动的目标相对应的前景的图像中提取的前景区域、背景区域、和混合区域的像素的例子。在图12所示的实例中，与A所表示的前景相对应的目标相对于屏幕水平移动。
帧#n+1是接在帧#n之后的帧，而帧#n+2是接在帧#n+1之后的帧。
从帧#n至#n+2之一提取前景区域、背景区域、和混合区域中的像素，并且运动量v设置为4。通过在时间方向上扩展所提取像素的像素值而获得的一个模式在图13中示出。
由于与前景相对应的目标发生移动，前景区域中的像素值由与快门时间/v相对应的4个不同前景成分组成。例如，图13所示的前景区域的像素的最左边像素由F01/v、F02/v、F03/v、和F04/v组成。即，该前景中的像素包括运动模糊。
由于与背景相对应的目标保持静止，因此，输入传感器的、与背景相对应的光在与快门时间相对应的间隔内不发生改变。在此情况中，背景区域中的像素值不包含运动模糊。
构成覆盖背景区域或未覆盖背景区域的混合区域中的像素值由前景成分和背景成分组成。
下面描述在与目标相对应的图像正在发生移动的情况下，当多个帧重叠时，通过沿着时间方向扩展像素的像素值而获得的一个模式，这些像素在多个帧中彼此邻接对准，并且定位在同一位置上。例如，当与目标对应的图像相对于屏幕水平移动时，在屏幕上对准的像素能够被选择作为该彼此邻接对准的像素。
图14是通过沿着时间方向扩展像素而获得的一个模式，这些像素在通过捕获与静止背景对应的目标获得的图像的三个帧中彼此对准邻接，并且当这些帧重叠时，在这些帧中处在相同的位置。帧#n是接在帧#n-1之后的帧，而帧#n+1是接在帧#n之后的帧。其它帧用相同的方式表示。
图14所示的像素值B01至B12是与静止背景目标对应的像素值。由于与背景相对应的目标保持静止，因此，在帧#n-1到帧#n+1中，相应像素的像素值不发生改变。例如，在与帧#n-1中具有像素值B05的像素的相对应的位置上的帧#n中的像素和帧#n+1中的像素分别具有像素值B05。
图15是通过沿着时间方向扩展像素而获得的一个模式，这些像素在由捕获与静止背景对应的目标一起的、与图15中右移的前景对应的目标而获得的图像的三个帧中彼此对准邻接，并且当这些帧重叠时，在这些帧中处在相同的位置。图15示出的模式包括覆盖的背景区域。
在图15中，可以假定与前景相对应的目标是以恒速运动的刚体，并且假定其移动使得其被显示在随后帧中向右4个像素的位置上。因此，运动量v是4，并且虚拟分割部分也是4。
例如，图15中的帧#n-1的最左边像素从快门打开算起的第1快门时间/v的前景成分是F12/v，图15中从左边算起第2个像素从快门打开算起的第2快门时间/v的前景成分也是F12/v。图15中从左边算起第3个像素从快门打开算起的第3快门时间/v的前景成分以及图15中与从左边算起第4个像素从快门打开算起的第4快门时间/v相对应的前景成分是F12/v。
与从快门已经打开算起的第2快门时间/v对应的图15中的帧#n-1中的最左边像素的前景成分是F11/v。与从快门打开算起的第3快门时间/v对应的图15中从左边算起第2个像素的前景成分也是F11/v。从图15中左边算起第3个像素从快门打开算起的第4快门时间/v的前景成分是F11/v。
与从快门已经打开算起的第3快门时间/v对应的图15中的帧#n-1中的最左边像素的前景成分是F10/v。与从快门打开算起的第4快门时间/v对应的图15中从左边算起第2个像素的前景成分也是F10/v。与从快门已经打开算起的第4快门时间/v对应的图15中的帧#n-1中的最左边像素的前景成分是F09/v。
由于与背景相对应的目标保持静止，所以与从快门打开算起的第1快门时间/v对应的图15中的帧#n-1中从左边算起第2个像素的背景成分是B01/v。图15中的帧#n-1中从左边算起第3个像素从快门打开算起的第1和第2快门时间/v的背景成分是B02/v。与从快门打开算起的第1至第3快门时间/v对应的图15中的帧#n-1中从左边算起第4个像素的背景成分是B03/v。
在图15中的帧#n-1中，最左边的像素属于前景区域，而从左边算起的第二至第四像素属于混合区域，它是覆盖的背景区域。
从图15中的帧#n-1左边算起的第5至12像素属于背景区域，而该像素值分别是B04至B11。
从图15中的帧#n左边算起的第1至第5像素属于前景区域。在帧#n的前景区域中的该快门时间/v中的前景成分是F05/v至F12/v的任意之一。
可以假定与前景相对应的目标是以恒速运动的刚体，并且假定其移动使得该前景图像在随后帧中被显示向右4个像素的位置上。因此，图15中的帧#n中从左边算起第5个像素从快门打开算起的第1快门时间/v的前景成分是F12/v，图15中从左边算起第6个像素从快门打开算起的第2快门时间/v的前景成分也是F12/v。图15中从左边算起第7个像素从快门打开算起的第3快门时间/v的前景成分以及图15中与从左边算起第8个像素从快门打开算起的第4快门时间/v相对应的前景成分是F12/v。
与从快门打开算起的第2快门时间/v对应的图15中的帧#n中从左边算起第5个像素的前景成分是F11/v。与从快门打开算起的第3快门时间/v对应的图15中从左边算起第6个像素的前景成分也是F11/v。与从快门打开算起的第4快门时间/v对应的图15中从左边算起第7个像素的前景成分是F11/v。
与从快门打开算起的第3快门时间/v对应的图15中的帧#n中从左边算起第5个像素的前景成分是F10/v。与从快门打开算起的第4快门时间/v对应的图15中从左边算起第6个像素的前景成分也是F10/v。与从快门打开算起的第4快门时间/v对应的图15中的帧#n中从左边算起第5个像素的前景成分是F09/v。
由于与背景相对应的目标保持静止，图15中的帧#n中从左边算起第6个像素从快门打开算起的第1快门时间/v的背景成分是B05/v。图15的帧#n中从左边算起第7个像素从快门打开算起的第1和第2快门时间/v的背景成分是B06/v。与从快门打开算起的第1至第3快门时间/v对应的图15中的帧#n中从左边算起第8个像素的背景成分是B07/v。
在图15的帧#n中，从左边算起的第6至第8像素属于混合区域，它是覆盖的背景区域。
从图15中的帧#n左边算起的最左边第9至第12像素属于背景区域，并且该像素值分别是B08至B11。
从图15中的帧#n+1左边算起的第1至第9像素属于前景区域。在帧#n+1的前景区域中的该快门时间/v中的前景成分是F01/v至F12/v任意之一。
可以假定与前景相对应的目标是以恒速运动的刚体，并且假定其移动使得该前景图像在随后帧中被显示在向右4个像素的位置上。因此，图15中的帧#n+1中从左边算起第9个像素从快门打开算起的第1快门时间/v的前景成分是F12/v，并且图15中从左边算起第10个像素从快门打开算起的第2快门时间/v的前景成分也是F12/v。图15中从左边算起第11个像素从快门打开算起的第3快门时间/v的前景成分以及图15中与从左边算起第12个像素从快门打开算起的第4快门时间/v相对应的前景成分是F12/v。
与从快门打开算起的第2快门时间/v对应的图15中的帧#n+1中从左边算起第9个像素的前景成分是F11/v。从图15中从左边算起第10个像素从快门打开算起的第3快门时间/v的前景成分也是F11/v。与从快门打开算起的第4快门时间/v对应的图15中从左边算起第11个像素的前景成分是F11/v。
图15中的帧#n+1中从左边算起第9个像素从快门打开算起第3快门时间/v的前景成分是F10/v。与从快门打开算起的第4快门时间/v对应的图15中从左边算起第10个像素的前景成分也是F10/v。图15中的帧#n+1中从左边算起第9个像素从快门打开算起第4快门时间/v的前景成分是F09/v。
由于与背景相对应的目标保持静止，所以图15中的帧#n+1中从左边算起第10个像素从快门打开算起的第1快门时间/v的背景成分是B09/v。图15中的帧#n+1中从左边算起第11个像素从快门打开算起的第1和第2快门时间/v的背景成分都是B10/v。图15中的帧#n+1中从左边算起第12个像素从快门打开算起的第1到第3快门时间/v的背景成分是B 11/v。
在图15的帧#n+1中，从左边算起的第10至第12像素属于混合区域，它是覆盖的背景区域。
图16是通过从图15示出的像素值提取前景成分而获得的图像的模式。
图17是通过沿着时间方向扩展像素而获得的模式，这些像素在由捕获与静止背景对应的目标一起的、与图17中右移的前景对应的目标而获得的图像的三个帧中彼此对准邻接，并且当这些帧重叠时，在这些帧中处在相同的位置。图17所示的模式包含未覆盖的背景区域。
在图17中，可以假定与前景相对应的目标是以恒速运动的刚体，并且假定其移动使得其被显示在随后帧中向右4个像素的位置上。因此，该运动量v是4。
例如，图17中的帧#n-1的最左边像素从快门打开算起的第1快门时间/v的前景成分是F13/v，图17中从左边算起第2个像素从快门打开算起的第2快门时间/v的前景成分也是F13/v。图17中从左边算起第3个像素从快门打开算起的第3快门时间/v的前景成分以及图17中与从左边算起第4个像素从快门打开算起的第4快门时间/v相对应的前景成分是F13/v。
从图17中的帧#n-1左边算起的第2像素从快门打开算起的第1快门时间/v的前景成分是F14/v。从图17中从左边算起第3个像素从快门打开算起的第2快门时间/v的前景成分也是F14/v。从图17中从左边算起第3个像素从快门打开算起的第1快门时间/v的前景成分是F15/v。
由于与背景相对应的目标保持静止，所以图17中的帧#n-1中的最左边像素从快门打开算起的第2到4快门时间/v的背景成分是B25/v。图17中的帧#n-1中从左边算起第2个像素从快门打开算起的第3和第4快门时间/v的背景成分是B26/v。图17中的帧#n-1中从左边算起第3个像素从快门打开算起的第4快门时间/v的背景成分是B27/v。
在图17的帧#n-1中，从最左边的像素至第3像素属于混合区域，它是未覆盖的背景区域。
从图17中的帧#n-1左边算起的第4至第12像素属于前景区域。该帧的前景成分是F13/v至F24/v的任何之一。
从图17中的帧#n左边算起的最左边像素至第4像素属于背景区域，并且该像素值分别是B25至B28。
可以假定与前景相对应的目标是以恒速运动的刚体，并且假定其移动使得该目标在随后帧中被显示向右4个像素的位置上。因此，图17中的帧#n中从左边算起第5个像素从快门打开算起的第1快门时间/v的前景成分是F13/v，图17中从左边算起第6个像素从快门打开算起的第2快门时间/v的前景成分也是F13/v。图17中从左边算起第7个像素从快门打开算起的第3快门时间/v的前景成分以及图17中与从左边算起第8个像素从快门打开算起的第4快门时间/v相对应的前景成分是F13/v。
与从快门打开算起的第1快门时间/v对应的图17中的帧#n中从左边算起第6个像素的前景成分是F14/v。从图17中从左边算起第7个像素从快门打开算起的第2快门时间/v的前景成分也是F14/v。从图17中从左边算起第8个像素从快门打开算起的第1快门时间/v的前景成分是F15/v。
由于与背景相对应的目标保持静止，所以图17中的帧#n中从左边算起第5个像素从快门打开算起的第2至第4快门时间/v的背景成分是B29/v。图17中的帧#n中从左边算起第6个像素从快门打开算起的第3和第4快门时间/v的背景成分是B30/v。图17的帧#n中从左边算起第7个像素从快门打开算起的第4快门时间/v的背景成分是B31/v。
在图17的帧#n中，从左边算起的第5像素至第7像素属于混合区域，它是未覆盖的背景区域。
从图17中的帧#n左边算起的第8至第12像素属于前景区域。与快门时间/v的时间间隔对应的帧#n的前景区域中的值是F13/v至F20/v任何之一。
从图17中的帧#n+1左边算起的最左边像素至第8像素属于背景区域，并且该像素值分别是B25至B32。
可以假定与前景相对应的目标是以恒速运动的刚体，并且假定其移动使得该目标在随后帧中被显示向右4个像素的位置上。因此，图17中的帧#n+1中从左边算起第9个像素从快门打开算起的第1快门时间/v的前景成分是F13/v，并且图17中从左边算起第10个像素从快门打开算起的第2快门时间/v的前景成分也是F13/v。图17中从左边算起第11个像素从快门打开算起的第3快门时间/v的前景成分以及图17中与从左边算起第12个像素从快门打开算起的第4快门时间/v相对应的前景成分是F13/v。
与从快门打开算起的第1快门时间/v对应的图17中的帧#n+1中从左边算起第10个像素的前景成分是F14/v。从图17中从左边算起第11个像素从快门打开算起的第2快门时间/v的前景成分也是F14/v。从图17中从左边算起第12个像素从快门打开算起的第1快门时间/v的前景成分是F15/v。
由于与背景相对应的目标保持静止，所以从图17的帧#n+1左边算起第9个像素从快门打开算起的第2至第4快门时间/v的背景成分是B33/v。图17中的帧#n+1中从左边算起第10个像素从快门打开算起的第3和第4快门时间/v的背景成分是B34/v。图17的帧#n+1中从左边算起第11个像素从快门打开算起的第4快门时间/v的背景成分是B35/v。
在图17的帧#n+1中，从左边算起的第9至第11像素属于混合区域，它是未覆盖的背景区域。
从图17中的帧#n+1左边算起的第12像素属于前景区域。在帧#n+1的前景区域中的该快门时间/v中的前景成分是F13/v至F16/v的任意之一。
图18是通过从图17示出的像素值提取前景成分而获得的图像的模式。
再返回参考图2，通过使用多个帧的像素值，区域指定单元103指定指示该输入图像的各个像素所属前景区域、背景区域、覆盖的背景区域或未覆盖的背景区域的哪一个的标志，并且把该标志作为区域信息提供到该混合比计算器104和运动模糊调整单元106。
混合比计算器104根据多个帧中的像素值和区域信息，针对包含在混合区域内的每一个像素计算混合比α，并且把计算的混合比α提供到前景/背景分离器105。
根据多个帧的像素值、区域信息和混合比α，该前景/背景分离器105提取仅包括该前景成分的该前景成分图像，并且把该前景成分图像提供到该运动模糊调整单元106。
根据从前景/背景分离器105提供的前景成分图像、运动检测器102提供的运动矢量和从区域指定单元103提供的区域信息，该运动模糊调整单元106调整包含在该前景成分图像中的运动模糊量，并且随后输出其中的运动模糊被调整的该前景成分图像。
下面参考图19的流程图描述由信号处理设备执行的运动模糊量调整处理。在步骤S11中，区域指定单元103根据输入图像执行区域指定处理，以便产生指示该输入图像的每一像素属于前景区域、背景区域、覆盖的背景区域或未覆盖的背景区域的哪一个的区域信息。下面给出该区域指定处理的细节。该区域指定单元103把产生的区域信息提供到该混合比计算器104。
在步骤S11中，该区域指定单元103可以根据该输入图像产生区域信息，指示该输入图像的每一像素属于该前景区域、背景区域、或混合区域的哪一个(不考虑每一像素是否属于覆盖的背景区域或未覆盖的背景区域)。在此情况中，前景/背景分离器105和运动模糊调整单元106根据该运动矢量的方向确定该混合区域是否为覆盖的背景区域或未覆盖的背景区域。例如，如果该输入图像按照运动矢量的方向以前景区域、混合区域、和背景区域的次序放置，则确定该混合区域是覆盖的背景区域。如果该输入图像按照运动矢量的方向以背景区域、混合区域、和前景区域的次序放置，则确定该混合区域是未覆盖的背景区域。
在步骤S12中，混合比计算器104根据该输入图像和该区域信息计算针对该混合区域中包含的每一像素的混合比α。下面给出该混合比计算过程的细节。该混合比计算器104把产生的混合比α提供到该前景/背景分离器105。
在步骤S13中，根据该区域信息和该混合比α，该前景/背景分离器105从该输入图像提取该前景成分，并且把该前景成分作为前景成分图像提供到该运动模糊调整单元106。
在步骤S14中，根据运动矢量和区域信息，该运动模糊调整单元106产生处理单元，该处理单元指示在运动方向排列的并且属于该未覆盖背景区域、该前景区域、该覆盖背景区域任何之一的连续像素的位置，并且调整包括在与该处理单元对应的前景成分中的运动模糊量。下面给出用于调整运动模糊量的处理的细节。
在步骤S15中，信号处理设备确定该处理对于整体屏幕来说是否结束。如果确定该处理对于整体屏幕还没有结束，处理进到步骤S14，并且重复对于与的处理单元对应的该前景成分的运动模糊量的调整处理。
如果在步骤S15中确定该处理对于整个屏幕已结束，则结束该处理。
以此方式，信号处理设备能够通过分离前景和背景而调整在前景中包含的运动模糊量。即，该信号处理设备能够通调整包含在指示该前景像素的像素值的采样数据中的运动模糊量。
下面描述区域指定单元103、混合比计算器104、前景/背景分离器105和运动模糊调整单元106的每一个的结构。
图20是表示区域指定单元103的结构的框图。图20所示的区域指定单元103不使用运动矢量。
背景运动补偿器201检测在输入图像中的背景的运动，并且根据该检测的背景运动使得该输入图像平行移动。背景运动补偿器201根据该背景的运动把平行移动的输入图像提供到区域指定处理器202。
提供到区域指定处理器202的图像在该屏幕上与背景匹配。
根据从背景运动补偿器201提供的在屏幕上匹配该背景的图像，该区域指定处理器202产生区域信息，指示每一像素属于未覆盖的背景区域、静止区域、移动区域或覆盖的背景区域的哪一个，并且输出该产生的区域信息。
图21是详细地说明区域指定单元103的结构的框图。背景运动补偿器201由帧存储器221、运动捕获部分222-1至222-4、和图像移位部分223-1至223-4组成。
区域指定处理器202由帧存储器224、静止/移动确定部分225-1至225-4、区域确定部分226-1至226-3、确定标志存储帧存储器227、合成器228和确定标志存储帧存储器229组成。
帧存储器221以帧单元存储输入图像。当要处理的图像是帧#n时，帧存储器221存储在帧#n两帧之前的帧#n-2、在帧#n一帧之前的帧#n-1、帧#n、在帧#n一帧之后的帧#n+1、在帧#n两帧之后的帧#n+2。
运动捕获部分222-1从存储在帧存储器221中的帧#n+2获得具有预定像素数量的指定数据块。根据该指定数据块，运动捕获部分222-1从存储在帧存储器221中的帧#n的图像中检取在图案上匹配该指定数据块的图像部分。根据在帧#n+2中的指定数据块的位置和在帧#n中的在图案上匹配该指定数据块的该图像部分的位置，该运动捕获部分222-1产生运动矢量。
运动捕获部分222-2从存储在帧存储器221中的帧#n+1获得具有预定像素数量的指定数据块。根据该指定数据块，运动捕获部分222-2从存储在帧存储器221中的帧#n的图像中检取在图案上匹配该指定数据块的图像部分。根据在帧#n+1中的指定数据块的位置和在帧#n中的在图案上匹配该指定数据块的该图像部分的位置，该运动捕获部分222-2产生运动矢量。
运动捕获部分222-3从存储在帧存储器221中的帧#n-1获得具有预定像素数量的指定数据块。根据该指定数据块，运动捕获部分222-3从存储在帧存储器221中的帧#n的图像中检取在图案上匹配该指定数据块的图像部分。根据在帧#n-1中的指定数据块的位置和在帧#n中的在图案上匹配该指定数据块的该图像部分的位置，该运动捕获部分222-3产生运动矢量。
运动捕获部分222-4从存储在帧存储器221中的帧#n-2获得具有预定像素数量的指定数据块。根据该指定数据块，运动捕获部分222-4从存储在帧存储器221中的帧#n的图像中检取在图案上匹配该指定数据块的图像部分。根据在帧#n-2中的指定数据块的位置和在帧#n中的在图案上匹配该指定数据块的该图像部分的位置，该运动捕获部分222-4产生运动矢量。
在下面描述中，如果运动捕获部分222-1至222-4不必要分别标识的话，则被简单地称之为运动捕获部分222。
例如，如图22所示，运动捕获部分222把图像的一帧划分为由图22中的A表示的m像素乘n像素构成的多个部分。在每一划分的部分中，选择由M像素乘N像素构成的指定数据块，如图22中由B表示的那样。
运动捕获部分222从对应的图像帧中检取在图案上匹配每一划分部分中的指定数据块的图像部分，以便产生每一指定数据块的运动矢量。该运动捕获部分222根据针对每一指定数据块产生的该运动矢量产生对应于两个帧的运动矢量。例如，该运动捕获部分222计算该指定数据块的所产生的运动矢量的平均值，以便使用所得到的运动矢量作为与两个帧对应的运动矢量。
通常，在输入图像中的背景图像目标大于前景图像目标，并且运动捕获部分222能够输出与该背景图像目标运动对应的运动矢量。
通过执行在两个图像帧之间的全屏幕数据块匹配，该运动捕获部分222可以产生对应于该背景图像目标运动的一个运动矢量。
另外，运动捕获部分222可以根据该提取的图像目标从该输入图像提取背景图像目标，并且可以产生与该背景图像目标的运动对应的运动矢量。
根据与从运动捕获部分222-1提供的背景图像目标相对应的运动矢量，图像移位部分223-1平行地移位存储在帧存储器221中的帧#n+2，并且把帧#n+2的产生图像提供到区域指定处理器202的帧存储器224。
根据与从运动捕获部分222-2提供的背景图像目标相对应的运动矢量，图像移位部分223-2平行地移位存储在帧存储器221中的帧#n+1，并且把帧#n+1的产生图像提供到区域指定处理器202的帧存储器224。
根据与从运动捕获部分222-3提供的背景图像目标相对应的运动矢量，图像移位部分223-3平行地移位存储在帧存储器221中的帧#n-1，并且把帧#n-1的产生图像提供到区域指定处理器202的帧存储器224。
根据与从运动捕获部分222-4提供的背景图像目标相对应的运动矢量，图像移位部分223-4平行地移位存储在帧存储器221中的帧#n-2，并且把帧#n-2的产生图像提供到区域指定处理器202的帧存储器224。
帧存储器221把帧#n的图像提供到区域指定处理器202的帧存储器224。
从图像移位部分223-1至223-4提供到区域指定处理器202的帧存储器224的图像以及从帧存储器221提供的图像在屏幕上匹配该背景。
区域指定处理器202的帧存储器224以帧单位存储从图像移位部分223-1至223-4提供的图像或从帧存储器221提供的图像。
静止/移动确定部分225-1读出与该像素被确定所属的区域中的帧#n的一个目标像素在同一位置的帧#n+2的像素的像素值，并且从该帧存储器224读出与帧#n的目标像素处在相同位置的帧#n+1的像素的像素值，并且计算这两个像素值之间的差的绝对值。静止/移动确定部分225-1确定帧#n+2的像素值和帧#n+1的像素值之间的差的绝对值是否大于预置的阈值Th。如果其确定该差是大于阈值Th，则把表示″移动″的静止/移动确定提供到区域确定部分226-1。如果其确定该#n+2的像素的像素值和帧#n+1的像素的像素值之间的差的绝对值小于或等于该阈值Th，则静止/移动确定部分225-1把表示″静止″的静止/移动确定提供到区域确定部分226-1。
静止/移动确定部分225-2读出该像素被确定所属的区域中的帧#n的一个目标像素的像素值，并且从该帧存储器224读出与帧#n的目标像素处在相同位置的帧#n+1的像素的像素值，并且计算这两个像素值之间的差的绝对值。静止/移动确定部分225-2确定帧#n+1的像素值和帧#n的像素值之间的差的绝对值是否大于预置的阈值Th。如果其确定这两个像素值之间的差的绝对值大于该阈值Th，则把表示″移动″的静止/移动确定提供到区域确定部分226-1和区域确定部分226-2。如果其确定该#n+1的像素的像素值和帧#n的像素的像素值之间的差的绝对值小于或等于该阈值Th，则静止/移动确定部分225-2把表示″静止″的静止/移动确定提供到区域确定部分226-1和区域确定部分226-2。
静止/移动确定部分225-3读出该像素被确定所属的区域中的帧#n的一个目标像素的像素值，并且从该帧存储器224读出与帧#n的目标像素处在相同位置的帧#n-1的像素的像素值，并且计算这两个像素值之间的差的绝对值。静止/移动确定部分225-3确定帧#n的像素值和帧#n-1的像素值之间的差的绝对值是否大于预置的阈值Th。如果其确定这两个像素值之间的差的绝对值大于该阈值Th，则把表示″移动″的静止/移动确定提供到区域确定部分226-2和区域确定部分226-3。如果其确定该#n的像素的像素值和帧#n-1的像素的像素值之间的差的绝对值小于或等于该阈值Th，则静止/移动确定部分225-3把表示″静止″的静止/移动确定提供到区域确定部分226-2和区域确定部分226-3。
静止/移动确定部分225-4读出与该像素被确定所属的区域中的帧#n的一个目标像素在同一位置的帧#n-1的像素的像素值，并且从该帧存储器224读出与帧#n的目标像素处在相同位置的帧#n-2的像素的像素值，并且计算这两个像素值之间的差的绝对值。静止/移动确定部分225-4确定帧#n-1的像素值和帧#n-2的像素值之间的差的绝对值是否大于预置的阈值Th。如果其确定这两个像素值之间的差的绝对值大于该阈值Th，则把表示″移动″的静止/移动确定提供到区域确定部分226-3。如果其确定帧#n-1的像素的像素值和帧#n-2的像素的像素值之间的差的绝对值小于或等于阈值Th，则该静止/移动确定部分225-4把表示″静止″的静止/移动确定提供到区域确定部分226-3。
当从静止/移动确定部分225-1提供的该静止/移动确定表示″静止″并且从静止/移动确定部分225-2提供的静止/移动确定表示″移动″时，该区域确定部分226-1确定该帧#n的目标像素属于未覆盖的背景区域，并且在与该目标像素相关的未覆盖背景区域确定标志中设置″1″，表示该目标像素属于未覆盖的背景区域。
当从静止/移动确定部分225-1提供的该静止/移动确定表示″移动″或从静止/移动确定部分225-2提供的静止/移动确定表示″静止″时，该区域指定单元226-1确定该帧#n的目标像素不属于未覆盖的背景区域，并且在与该目标像素相关的未覆盖背景区域确定标志中设置″0″，表示该目标像素不属于未覆盖的背景区域。
区域确定部分226-1把如上述讨论的被设置为″1″或″0″的该未覆盖背景区域确定标志提供到确定标志存储帧存储器227。
当从静止/移动确定部分225-2提供的该静止/移动确定表示″静止″并且从静止/移动确定部分225-3提供的静止/移动确定表示″静止″时，该区域确定部分226-2确定该帧#n的目标像素属于静止区域，并且在与该目标像素相关的静止区域确定标志中设置″1″，表示该像素属于静止区域。
当从静止/移动确定部分225-2提供的该静止/移动确定指示″移动″或从静止/移动确定部分225-3提供的静止/移动确定表示″移动″时，该区域确定部分226-2确定该帧#n的目标像素不属于静止区域，并且在与该目标像素相关的静止区域确定标志中设置″0″，表示该像素不属于静止区域。
区域确定部分226-2把如上述讨论的被设置为″1″或″0″的静止区域确定标志提供到该确定标志存储帧存储器227。
当从静止/移动确定部分225-2提供的静止/移动确定表示″移动″并且从静止/移动确定部分225-3提供的静止/移动确定表示″移动″时，该区域确定部分226-2确定该帧#n的目标像素属于移动区域，并且在与目标像素相关的移动区域确定标志中设置″1″，表示该目标像素属于移动区域。
当从静止/移动确定部分225-2提供的该静止/移动确定指示″静止″或从静止/移动确定部分225-3提供的静止/移动确定表示″静止″时，该区域确定部分226-2确定该帧#n的目标像素不属于移动区域，并且在与该目标像素相关的移动区域确定标志中设置″0″，表示该像素不属于移动区域。
区域确定部分226-2把如上述讨论的被设置为″1″或″0″的移动区域确定标志提供到确定标志存储帧存储器227。
当从静止/移动确定部分225-3提供的该静止/移动确定表示″移动″并且从静止/移动确定部分225-4提供的静止/移动确定表示″静止″时，该区域确定部分226-3确定该帧#n的目标像素属于覆盖的背景区域，并且在与该目标像素相关的覆盖背景区域确定标志中设置″1″，表示该目标像素属于覆盖的背景区域。
当从静止/移动确定部分225-3提供的该静止/移动确定表示″静止″或从静止/移动确定部分225-4提供的静止/移动确定表示″移动″时，该区域确定部分226-3确定该帧#n的目标像素不属于覆盖的背景区域，并且在与该目标像素相关的覆盖背景区域确定标志中设置″0″，表示该目标像素不属于覆盖的背景区域。
区域确定部分226-3把如上述讨论的被设置为″1″或″0″的该覆盖背景区域确定标志提供到该确定标志存储帧存储器227。
因此，该确定标志存储帧存储器227存储从区域确定部分226-1提供的未覆盖背景区域确定标志、从区域确定部分226-2提供的静止区域确定标志、从区域确定部分226-2提供的移动区域确定标志和从区域确定部分226-3提供的覆盖背景区域确定标志。
确定标志存储帧存储器227把存储在其中的该未覆盖背景区域确定标志、静止区域确定标志、运动区域确定标志和覆盖背景区域确定标志提供到合成器228。根据从该确定标志存储帧存储器227提供的该未覆盖背景区域确定标志、静止区域确定标志、移动区域确定标志和覆盖背景区域确定标志，合成器228产生区域信息，指示每一像素属于该未覆盖的背景区域、静止区域、移动区域或覆盖的背景区域的哪一个，并且把该区域信息提供到一个确定标志存储帧存储器229。
该确定标志存储帧存储器229存储从该合成器228提供的区域信息，并且还输出存储在其中的该区域信息。
下面参考图23至27描述由区域指定单元103执行处理的实例。
当与该前景对应的目标移动时，对应于该目标的图像的位置在屏幕上随每一帧改变。如图23中所示，在帧#n中，对应于定位在图像中的确定区域的位置的目标的图像，如由Yn(x1，y1)表示，被定位在跟随帧#n之后的帧#n+1中的Yn+1(x2，y2)。
图24中示出通过在时间方向上扩展像素的像素值获得的一个模式，这些像素是在与前景目标对应的图像的移动方向上彼此邻接对准的像素。例如，如果对应于该前景目标的图像的移动方向相对于屏幕是水平方向，则图24所示的模式是通过在时间方向上扩展在一行上彼此邻接放置的像素的像素值而获得的一个模式。
在图24中，在帧#n中的行等于在帧#n+1中的行。
与包含在从帧#n左边算起的第2到第13像素中的目标对应的前景成分被包含在从帧#n+1左边算起第6至第17像素中。
在帧#n中，属于覆盖的背景区域的像素是从左边算起的第11至第13像素，而属于未覆盖的背景区域的像素是从左边算起的第2至第4像素。在帧#n+1中，属于覆盖的背景区域的像素是从左边算起的第15至第17像素，而属于未覆盖的背景区域的像素是从左边算起的第6至第8像素。
在图24所示实例中，因为包含中帧#n中的前景成分在帧#n+1中移动了4个像素，所以运动量v是4。根据运动量v，虚拟分割部分的数目是4。
现在描述属于该混合区域的像素在指定帧之前和之后的帧中的像素值的改变。
图25中，属于其中该背景是静止而在前景中的运动量v是4的帧#n的覆盖的背景区域的像素是从左边算起的第15至第17像素。由于运动量v是4，在先前帧#n-1中从左边算起的第15至第17像素仅包含背景成分，并且属于背景区域。在帧#n-1之前的帧#n-2中从左边算起的第15至第17像素仅包含背景成分，并且属于该背景区域。
由于对应于该背景的目标是静止的，所以在帧#n-1中从左边算起的第15像素的像素值与帧#n-2中从左边算起的第15像素的像素值是相同的。类似地，在帧#n-1中从左边算起的第16像素的像素值与帧#n-2中从左边算起的第16像素的像素值是相同的，并且在帧#n-1中从左边算起的第17像素的像素值与帧#n-2中从左边算起的第17像素的像素值是相同的。
即，与属于帧#n中的覆盖的背景区域的像素对应的帧#n-1和帧#n-2中的像素仅包括背景成分，并且其像素值不改变。因此，该像素值之间的差值的绝对值几乎是0。因此，由该静止/移动确定部分225-4针对与属于在帧#n中的混合区域的像素对应的帧#n-1和帧#n-2中的像素作出的静止/移动确定是″静止″。
由于属于帧#n中的覆盖的背景区域的像素包括前景成分，所以其像素值不同于仅包含背景成分的帧#n-1的像素值。相应地，由该静止/移动确定部分225-3针对属于在帧#n中的混合区域的像素以及帧#n-1中的对应像素作出的静止/移动确定是″移动″。
如上述讨论，当从该静止/移动确定部分225-3提供表示″移动″的静止/移动判定结果、以及由该静止/移动确定部分225-4提供表示″静止″的静止/移动判定结果时，该区域确定部分226-3确定该对应像素属于覆盖的背景区域。
图26中，在背景是静止而在前景中的运动量是4的帧#n中，包含在未覆盖的背景区域中的像素是从左边算起的第2至第4像素。由于运动量v是4，在随后帧#n+1中从左边算起的第2至第4像素仅包含背景成分，并且属于背景区域。在随后帧#n+1的帧#n+2中，从左边算起的第2至第4像素仅包括背景成分，并且属于背景区域。
由于对应于该背景的目标是静止的，所以在帧#n+2中从左边算起的第2像素的像素值与帧#n+1中从左边算起的第2像素的像素值是相同的。类似地，在帧#n+2中从左边算起的第3像素的像素值与帧#n+1中从左边算起的第3像素的像素值是相同的，并且在帧#n+2中从左边算起的第4像素的像素值与在帧#n+1中从左边算起的第4像素的像素值是相同的。
即，与属于帧#n中的未覆盖的背景区域的像素对应的在帧#n+1和帧#n+2中的像素仅包括背景成分，并且像素值不改变。因此，该像素值之间的差值的绝对值几乎是0。因此，由该静止/移动确定部分225-1针对与属于在帧#n中的混合区域的像素对应的帧#n+1和帧#n+2中的像素作出的静止/移动确定是″静止″。
由于属于帧#n中的未覆盖的背景区域的像素包括前景成分，所以其像素值不同于仅包含背景成分的帧#n+1的像素值。相应地，由该静止/移动确定部分225-2针对属于在帧#n中的混合区域的像素以及帧#n+1中的对应像素作出的静止/移动确定是″移动″。
如上述讨论，当从该静止/移动确定部分225-2提供表示″移动″的静止/移动判定结果、以及由该静止/移动确定部分225-1提供表示″静止″的静止/移动判定结果时，该区域确定部分226-1确定该对应像素属于未覆盖的背景区域。
图27示出由该区域指定单元103针对帧#n作出的确定条件。当对于帧#n-2中处在与将要被处理的帧#n中的一个像素相同图像位置的像素以及对于帧#n-1中处在与帧#n中的该像素相同图像位置的像素的判定结果是静止时，并且当对于帧#n中的该像素和在帧#n-1中处在与帧#n中的该像素相同图像位置的像素的判定结果是移动时，该区域指定单元103确定在帧#n中的该像素属于覆盖的背景区域。
当对于帧#n中的该像素和帧#n-1中处在与帧#n中的该像素相同图像位置的像素的判定结果是静止时，并且当对于帧#n中的该像素和在帧#n+1中处在与帧#n中的该像素相同图像位置的像素的判定结果是静止时，该区域指定单元103确定在帧#n中的该像素属于静止区域。
当对于帧#n中的该像素和帧#n-1中处在与帧#n中的该像素相同图像位置的像素的判定结果是移动时，并且当对于帧#n中的该像素和在帧#n+1中处在与帧#n中的该像素相同图像位置的像素的判定结果是移动时，该区域指定单元103确定在帧#n中的该像素属于移动区域。
当对于帧#n中的该像素和帧#n+1中处在与帧#n中的该像素相同图像位置的像素的判定结果是移动时，并且当对于帧#n+1中处在与帧#n中的该像素相同图像位置的像素和在帧#n+2中处在与帧#n中的该像素相同图像位置的像素的判定结果是静止时，该区域指定单元103确定在帧#n中的该像素属于未覆盖的背景区域。
图28A至28D示出通过区域指定单元103获得的该区域判定结果的实例。图28A中，被确定为属于覆盖的背景区域的像素以白色表示。图28B中，被确定为属于未覆盖的背景区域的像素以白色表示。
图28C中，被确定为属于移动区域的像素以白色表示。图28D中，被确定为属于静止区域的像素以白色表示。
图29以图像的形式示出指示从确定标志存储帧存储器229输出的区域信息中选择的混合区域的区域信息。图29中，被确定为属于覆盖的背景区域或未覆盖的背景区域的像素，即被确定为属于混合区域的像素以白色表示。从确定标志存储帧存储器229输出的指示混合区域的区域信息指定该混合区域以及具有由没有该前景区域中的纹理的部分围绕的纹理的部分。
下面参照图30以及31的流程图描述由区域指定单元103执行的区域指定处理。在步骤S201中，帧存储器221获得包括帧#n的帧#n-2至帧#n+2的一个图像。帧存储器221把帧#n提供到帧存储器224。
在步骤S202中，运动捕获部分222-1根据存储在帧存储器221中的帧#n+2的图像和帧#n的图像获得帧#n+2和帧#n之间的背景的运动矢量。运动捕获部分222-1把该运动矢量提供到图像移位部分223-1。
在步骤S203中，图像移位部分223-1根据从运动捕获部分222-1提供的运动矢量平行地移动存储在帧存储器221中的帧#n+2的图像，并且把产生的帧#n+2的图像提供到帧存储器224。
在步骤S204中，运动捕获部分222-2根据存储在帧存储器221中的帧#n+1的图像和帧#n的图像获得帧#n+1和帧#n之间的背景的运动矢量。运动捕获部分222-2把该运动矢量提供到图像移位部分223-2。
在步骤S205中，图像移位部分223-2根据从运动捕获部分222-2提供的运动矢量平行地移动存储在帧存储器221中的帧#n+1的图像，并且把产生的帧#n+1的图像提供到帧存储器224。
在步骤S206中，运动捕获部分222-3根据存储在帧存储器221中的帧#n-1的图像和帧#n的图像获得帧#n-1和帧#n之间的背景的运动矢量。运动捕获部分222-3把该运动矢量提供到图像移位部分223-3。
在步骤S207中，图像移位部分223-3根据从运动捕获部分222-3提供的运动矢量平行地移位存储在帧存储器221中的帧#n-1的图像，并且把产生的帧#n-1的图像提供到帧存储器224。
在步骤S208中，运动捕获部分222-4根据存储在帧存储器221中的帧#n-2的图像和帧#n的图像获得帧#n-2和帧#n之间的背景的运动矢量。运动捕获部分222-4把该运动矢量提供到图像移位部分223-4。
在步骤S209中，图像移位部分224-3根据从运动捕获部分222-4提供的运动矢量平行地移位存储在帧存储器221中的帧#n-2的图像，并且把产生的帧#n-2的图像提供到帧存储器224。
在步骤S210中，静止/移动确定部分225-3确定对于相同位置的帧#n-1中的像素和帧#n中的像素来说该判定结果是否为静止。如果其确定该判定结果为静止，则处理进到到步骤S211，其中该静止/移动确定部分225-2确定对于相同位置的帧#n中的像素和帧#n+1中的像素来说该判定结果是否为静止。
如果在步骤S211中其确定对于在相同位置定位的帧#n中的像素和帧#n+1中的像素的判定结果为静止，则处理进到步骤S212。在步骤S204中，该区域确定部分226-2在与将要处理的像素相关的静止区域确定标志中设置″1″，指示该将要处理的像素属于静止区域。该区域确定部分226-2把该静止区域确定标志提供到确定标志存储帧存储器227，并且该处理进入到步骤S213。
如果在步骤S210中确定对于在同一位置定位的帧#n-1中的像素和帧#n中的像素来说该判定结果是移动，或如果在步骤S211中确定对于在同一位置定位的帧#n中的像素和帧#n+1中的像素来说该判定结果是移动，则将要处理的像素不属于静止区域。相应地，跳过步骤S212的处理，并且该处理进到步骤S213。
在步骤S213中，静止/移动确定部分225-3确定对于相同位置定位的帧#n-1中的像素和帧#n中的像素来说该判定结果是否为移动。如果其确定该判定结果为移动，则处理进到到步骤S214，其中该静止/移动确定部分225-2确定对于相同位置定位的帧#n中的像素和帧#n+1中的像素来说该判定结果是否为移动。
如果在步骤S214中其确定对于在相同位置定位的帧#n中的像素和帧#n+1中的像素的判定结果为移动，则处理进到步骤S215。在步骤S215中，该区域确定部分226-2在与将要处理的像素相关的移动区域确定标志中设置″1″，指示该将要处理的像素属于移动区域。该区域确定部分226-2把该移动区域确定标志提供到确定标志存储帧存储器227，并且该处理进入到步骤S216。
如果在步骤S213中确定对于在同一位置定位的帧#n-1中的像素和帧#n中的像素来说该判定结果是静止，或如果在步骤S214中确定对于在同一位置定位的帧#n中的像素和帧#n+1中的像素来说该判定结果是静止，则在帧#n中的像素不属于移动区域。相应地，跳过步骤S215的处理，并且该处理进到步骤S216。
在步骤S216中，静止/移动确定部分225-4确定对于相同位置定位的帧#n-2中的像素和帧#n-1中的像素来说该判定结果是否为静止。如果其确定该判定结果为静止，则处理进到到步骤S217，其中该静止/移动确定部分225-3确定对于相同位置定位的帧#n-1中的像素和帧#n中的像素来说该判定结果是否为移动。
如果在步骤S217中其确定对于在相同位置定位的帧#n-1中的像素和帧#n中的像素的判定结果为移动，则处理进到步骤S218。在步骤S218中，该区域确定部分226-3在与将要处理的像素相关的覆盖背景区域确定标志中设置″1″，指示该将要处理的像素属于覆盖的背景区域。该区域确定部分226-3把该覆盖背景区域确定标志提供到该确定标志存储帧存储器227，并且该处理进到步骤S219。
如果在步骤S216中确定对于在同一位置定位的帧#n-2中的像素和帧#n-1中的像素来说该判定结果是移动，或如果在步骤S217中确定对于在同一位置定位的帧#n-1中的像素和帧#n中的像素来说该判定结果是静止，则在帧#n中的像素不属于覆盖的背景区域。相应地，跳过步骤S218的处理，并且该处理进到步骤S219。
在步骤S219中，静止/移动确定部分225-2确定对于相同位置定位的帧#n中的像素和帧#n+1中的像素来说该判定结果是否为移动。如果在步骤S219中确定该判定结果为移动，则处理进到到步骤S220，其中该静止/移动确定部分225-1确定对于相同位置定位的帧#n+1中的像素和帧#n+2中的像素来说该判定结果是否为静止。
如果在步骤S220中其确定对于在相同位置定位的帧#n+1中的像素和帧#n+2中的像素的判定结果为静止，则处理进到步骤S221。在步骤S221中，该区域确定部分226-1在与将要处理的像素相关的未覆盖背景区域确定标志中设置″1″，指示该将要处理的像素属于未覆盖的背景区域。该区域确定部分226-1把该未覆盖背景区域确定标志提供到该确定标志存储帧存储器227，并且该处理进到步骤S222。
如果在步骤S219中确定对于在同一位置定位的帧#n中的像素和帧#n+1中的像素来说该判定结果是静止，或如果在步骤S220中确定对于帧#n+1中的像素和帧#n+2中的像素来说该判定结果是移动，则在帧#n中的像素不属于未覆盖的背景区域。相应地，跳过步骤S221的处理，并且该处理进到步骤S222。
在步骤S222，该区域指定单元103确定是否指定了在帧#n中的全部像素的区域。如果其确定尚未指定在帧#n中的全部像素的区域，则处理返回到步骤S210，并且对于该剩余的像素重复该区域指定处理。
如果在步骤S222中确定指定了在帧#n中的全部像素的区域，则处理进到步骤S223。在步骤S223中，根据存储在确定标志存储帧存储器227中的该未覆盖背景区域确定标志和覆盖背景区域确定标志，合成器228产生指示该混合区域的区域信息，并且还产生指示每一像素属于该未覆盖的背景区域、静止区域、移动区域或覆盖的背景区域的哪一个的区域信息，并且在该确定标志存储帧存储器229中设置该产生的区域信息。随后结束该处理。
如上述讨论，该区域指定单元103能够产生指示在一个帧中包含的每一像素属于该移动区域、静止区域、未覆盖的背景区域或覆盖的背景区域的哪一个的区域信息。由于该区域指定单元103能够在该区域指定处理之前使得背景图像目标的位置的匹配，因而能够产生更精确的区域信息。
该区域指定单元103可以对与该未覆盖的背景区域对应的区域信息和与覆盖的背景区域对应的区域信息执行逻辑“或(OR)”操作以便产生与混合区域对应的区域信息，然后可以产生包括指示该帧中包含的各个像素属于该移动区域、静止区域或混合区域的哪一个的标志的区域信息。
当对应于该前景的目标具有一个纹理时，该区域指定单元103能够更精确地指定该移动区域。
该区域指定单元103能够输出指示该移动区域的区域信息作为指示该前景区域的区域信息，并且输出指示该静止区域的区域信息作为指示该背景区域的区域信息。
图32是说明区域指定单元103的另一结构的框图。目标提取单元251从输入图像提取对应于前景目标的前景图像目标。该目标提取单元251还在除与前景图像目标对应的像素之外的像素中设置一个值，指示其它像素属于背景区域，以便产生包括该前景图像目标和指示该像素属于该背景区域的该值的区域指定目标，并且把该区域指定目标提供到运动检测器252和相减单元254。
该目标提取单元251检测例如与包括在该输入图像中的该前景图像对应的该图像目标的轮廓，以便提取对应于该前景目标的图像目标。另外，例如该目标提取单元251可能从存储在内置背景存储器中的背景图像和该输入图像之间的差提取对应于那前景目标的图像目标。
另外，例如该目标提取单元251可以检测该输入图像的运动，并且在静止像素中设置一个值，指示该像素属于背景区域，以便产生包括前景图像目标和指示该像素属于该背景区域的值的区域指定的目标。
从该目标提取单元251输出的、包括在该区域指定的目标中的该图像目标包括属于该前景区域的像素和属于该混合区域的像素。
通过在时间方向上扩展像素的像素值而获得的模式的实例在图33中示出，这些像素在与前景目标对应的图像目标的运动方向上彼此邻接对准。例如，如果对应于该前景目标的图像目标的移动方向相对于屏幕是水平方向，则图33所示的模式是通过在时域中扩展在一行上的彼此邻接放置的像素的像素值而获得的模式。
在图33中，在帧#n中的行与在帧#n-1中的行是同一行。
在帧#n中，与从左边算起第6至第17像素包含的前景目标对应的前景成分被包含在帧#n-1从左边算起第2至第13像素中。
在帧#n-1中，属于覆盖的背景区域的像素是从左边算起的第11至第13像素，而属于未覆盖的背景区域的像素是从左边算起的第2至第4像素。
在帧#n中，属于覆盖的背景区域的像素是从左边算起的第15至第17像素，而属于未覆盖的背景区域的像素是从左边算起的第6至第8像素。
在帧#n-1中，属于背景区域的像素是从左边算起的第1像素和从左边算起的第14至21像素。
在帧#n中，属于背景区域的像素是从左边算起的第1至第5像素和从左边算起的第18至21像素。
根据图33示出的该实例的由目标提取单元251提取的该区域指定目标的实例在图34中示出。
当输入图像的指定像素是移动像素时，即属于包括前景成分的该前景区域的像素或属于混合区域的像素时，目标提取单元251在该区域指定的目标的对应像素中设置输入图像的指定像素的像素值而不作修改。
当该输入图像的指定像素是静止像素时，目标提取单元251把一个值设置成该区域指定的目标的对应于像素，表明该像素属于背景区域。
具有包含前景成分的像素或其值表明该像素属于背景区域的像素的区域指定的目标被提供到运动补偿器252和相减单元254。
该运动补偿器252根据从运动检测器102提供的运动矢量和其位置信息补偿从该目标提取单元251提供的该区域指定的目标的运动。图35示出由该运动补偿器252运动补偿的帧#n-1的该区域指定的目标的一个实例。在帧#n-1中属于该运动补偿区域指定目标的前景区域的像素位置对应于在帧#n中属于该区域指定目标的前景区域的像素的位置。类似地，在帧#n-1中属于该运动补偿区域指定目标的混合区域的像素位置对应于在帧#n中属于该区域指定目标的混合区域的像素的位置。
运动补偿器252把该运动补偿的区域指定目标提供到帧存储器253。
帧存储器253以帧单位存储该运动补偿的区域指定目标。当与帧#n的该前景目标相对应的区域指定目标从目标提取单元251提供到相减单元254时，帧存储器253把先前属于帧#n的、帧#n-1的该运动补偿的区域指定目标提供到相减单元254。
相减单元254从属于该目标提取单元251提供的帧#n的区域指定目标的前景区域的一个像素的像素值中减去在该相应位置的、并且属于从帧存储器253提供的帧#n-1的区域指定目标的前景区域的一个像素的像素值。随后，该相减单元254确定该属于前景区域的像素之间的帧间差。
相减单元254从属于该目标提取单元251提供的帧#n的区域指定目标的混合区域的一个像素的像素值中减去在该相应位置的、并且属于从帧存储器253提供的帧#n-1的区域指定目标的混合区域的一个像素的像素值。随后，该相减单元254确定该属于混合区域的像素之间的帧间差。
如果表示帧#n的区域指定目标的像素属于该背景区域的一个值被设置，则该相减单元254将不执行相减。
相减单元254在区域指定目标的对应像素中设置属于前景区域的像素之间的帧间差或属于混合区域的像素之间的帧间差，并且把其中设置了属于前景区域的像素之间的帧间差、属于混合区域的像素之间的帧间差、或指示该像素属于该背景区域的一个值的区域指定目标提供到阈值处理器255。
该阈值处理器255把该输入的阈值Th与设置在从相减单元254提供的该区域指定目标的像素中的、属于前景区域的像素之间的帧间差或属于混合区域的像素之间的帧间差相比较。如果其确定在该区域指定的目标中的帧间差大于阈值Th，则该阈值处理器255在该区域指定目标的对应像素中设置一个值，指示该像素属于混合区域。
如果其确定在该区域指定的目标中的帧间差小于或等于阈值Th，则该阈值处理器255在该区域指定目标对应像素中设置一个值，指示该像素属于前景区域。
该阈值处理器255把该区域指定目标输出到外部单元或时间变化检测器256作为包括指示该混合区域的信息的区域信息，在该区域指定目标中，指示该像素属于背景区域的值、指示该像素属于混合区域的值和指示该像素属于前景区域的值的任何之一被设置在每一像素中。
图36示出由阈值处理器255实现的处理的实例。如图36所示，经历运动补偿之后，在帧#n-1中属于前景区域并且由前景成分F01/v、F02/v、F03/v和F04/v组成的一个像素P04的位置匹配在帧#n中属于前景区域并且由前景成分F01/v、F02/v、F03/v和F04/v组成的一个像素C04的位置。
经历运动补偿之后，在帧#n-1中属于前景区域并且由前景成分F02/v、F03/v、F04/v和F05/v组成的一个像素P05的位置匹配在帧#n中属于前景区域并且由前景成分F02/v、F03/v、F04/v和F05/v组成的一个像素C05的位置。
类似地，在经历运动补偿之后，在帧#n-1中属于前景区域的像素P06、P07、P08和P09的位置匹配在帧#n中分别具有相同的值并且属于前景区域的像素C06、C07、C08和C09的位置。
由于在属于前景区域的像素之间的帧间差为零，所以该阈值处理器255确定该帧间差小于或等于阈值Th，并且在像素C04、C05、C06、C07、C08和C09中设置一个值，指示该像素属于前景区域。
同时，在经历运动补偿之后，在帧#n-1中属于混合区域的像素P01的位置对应于在帧#n中属于前景区域的像素C01的位置。由于像素P01包含该背景成分B02/v同时该像素C01包含背景成分B06/v，所以相减单元254输出在该背景成分B02/v和该背景成分B06/v之间的帧间差。
背景成分B02/v不同于背景成分B06/v，并且阈值处理器255确定该帧间差大于阈值Th，并且在像素C01中设置一个值，表示该像素属于混合区域。
在经历运动补偿之后，在帧#n-1中属于混合区域的像素P02的位置对应于在帧#n中属于前景区域的像素C02的位置。由于像素P02包含该背景成分B03/v同时该像素C02包含背景成分B07/v，所以相减单元254输出在该背景成分B03/v和该背景成分B07/v之间的帧间差。
背景成分B03/v不同于背景成分B07/v，并且阈值处理器255确定该帧间差大于阈值Th，并且在像素C02中设置一个值，表示该像素属于混合区域。
类似地，相减单元254输出在背景成分B04/v和背景成分B08/v之间的属于混合区域的像素C03的帧间差、在背景成分B11/v和背景成分B15/v之间的属于混合区域的像素C10的帧间差、在背景成分B12/v和背景成分B16/v之间的属于混合区域的像素C11的帧间差、以及在背景成分B13/v和背景成分B17/v之间的属于混合区域的像素C12的帧间差。
因此，阈值处理器255在像素C03、C10、C11、和C12中设置一个值，表明该像素属于混合区域。
根据从阈值处理器255提供的包括该指示该混合区域的信息的区域信息，时间改变检测器256进一步指定覆盖的背景区域和未覆盖的背景区域，以便产生包括指示该覆盖的背景区域和该未覆盖的背景区域的信息的区域信息。
图37是表示时间改变检测器256的结构的框图。当确定在帧#n中的一个像素的区域时，帧存储器261存储从阈值处理器255提供的包括指示关于帧#n-1和帧#n的混合区域的信息的区域信息。
根据存储在帧存储器261中的包括指示关于帧#n-1加帧#n的混合区域的信息的区域信息，区域确定部分262确定在帧#n中属于混合区域的每一像素是否属于覆盖的背景区域或未覆盖的背景区域。随后，区域确定部分262产生包括指示该覆盖的背景区域和未覆盖的背景区域的信息的区域信息，并且输出该产生的区域信息。
如图38和39所示，当对应于帧#n中属于混合区域的一个像素的在帧#n-1中的一个像素属于前景区域时，在帧#n中属于混合区域的该像素属于该未覆盖的背景区域。
当对应于帧#n中属于混合区域的一个像素的在帧#n-1中的一个像素属于背景区域时，在帧#n中属于混合区域的该像素属于该覆盖的背景区域。
在图38中，符号A表示未覆盖的背景区域，符号B表示前景区域。在图38中，符号C表示覆盖的背景区域，符号D表示背景区域。
如图40所示，当在帧#n-1中的对应像素属于前景区域时，该区域确定部分262确定在帧#n中属于该混合区域的一个像素属于该未覆盖的背景区域，并且当在帧#n-1中的对应像素属于背景区域时，确定在帧#n中属于该混合区域的一个像素属于该覆盖的背景区域。
下面参照图41的流程图描述由区域指定单元103执行的区域指定处理。在步骤S251中，区域指定单元103的目标提取单元251根据输入图像通过例如检测该前景图像目标的轮廓而提取对应于该前景目标的前景图像目标。该目标提取单元251还在属于该背景区域的像素中设置一个值，指示该像素属于背景区域，以便产生区域指定目标。该目标提取单元251把产生的区域指定目标提供到运动补偿器252和相减单元254。
在步骤S252中，运动补偿器252根据从运动检测器102提供的运动矢量和其位置信息补偿从该目标提取单元251提供的该区域指定的目标的运动。该运动补偿器252把该运动补偿的区域指定目标提供到帧存储器253。该帧存储器253存储该运动补偿的区域指定目标，并且把该存储的区域指定目标提供到相减单元254。
在步骤S253中，相减单元2S4确定在从目标提取单元251提供的帧#n的区域指定目标和从帧存储器253提供的帧#n-1的运动补偿的区域指定目标之间的差值，并且把该产生的差值提供到阈值处理器255。
在步骤S254中，阈值处理器255根据该阈值Th从在该帧#n的区域指定目标和帧#n-1的运动补偿的区域指定目标之间的差值检测该混合区域，并且把包括指示该混合区域的信息的区域信息输出到外部单元或把该区域信息提供到时间改变检测器256。
在步骤S255中，时间改变检测器256根据包括指示该混合区域的信息的区域信息，检测覆盖的背景区域或未覆盖的背景区域，以便产生包括指示该覆盖的背景区域或该未覆盖的背景区域的信息的区域信息。所产生的区域信息被输出，随后结束该处理。
下面参照图42的流程图详细描述对应于图41中的步骤S255的用于检测在一个将要处理的混合区域中的覆盖的背景区域或未覆盖的背景区域的处理。
在步骤S261中，时间改变检测器256的区域确定部分262确定在先前帧中对应于属于混合区域的一个指定像素的像素是否属于前景区域。如果其确定在先前帧中的该对应像素属于前景区域，则该处理进到步骤S262，确定该指定像素属于未覆盖的背景区域，并且结束该处理。
如果在步骤S261中确定在先前帧中的该对应像素属于背景区域，则该处理进到步骤S263，其中该区域确定部分262确定该指定像素属于覆盖的背景区域，并且结束该处理。
如上述讨论，根据在包括指定帧的一个帧中的对应于前景目标的前景图像目标、以及在包含该指定像素的帧的先前帧中的经历了运动补偿的前景图像目标，该区域指定单元103能指定该指定像素属于该前景区域、背景区域或混合区域的哪一个，以便产生对应于该结果的区域信息。
根据包含该指定像素的帧的先前帧的区域信息，该区域指定单元103还能够确定属于该混合区域的一个指定像素是否属于该未覆盖的背景区域，或该指定像素是否属于覆盖的背景区域。
图43是说明区域指定单元103的又一结构的框图。类似于图32所示的那些部分用相同的参考数字表示，因此省略其说明。
根据从运动检测器102提供的运动矢量和其位置信息以及从阈值处理器255提供的包括指示该混合区域的信息的区域信息，标识单元281标识覆盖的背景区域或未覆盖的背景区域，以便产生包括指示该覆盖的背景区域或该未覆盖的背景区域的信息的区域信息，并且输出该产生的区域信息。
图44示出由该标识单元281执行的确定处理。图44中，符号A和B分别指示未覆盖的背景区域和覆盖的背景区域。图44中，符号a和b表示指定的像素。图44中，符号V表示一个运动矢量。
当一个指定像素定位在对应于前景目标的前景图像目标运动方向的前端时，该指定像素属于覆盖的背景区域。当一个指定像素定位在对应于前景目标的前景图像目标运动方向的后端时，该指定像素属于未覆盖的背景区域。因此，根据属于该混合区域的一个指定像素的位置，当其定位由该运动矢量标定(pointed)的一个像素属于该前景区域时，该标识单元281确定该指定的像素属于该未覆盖的背景区域。当属于混合区域的一个指定像素的位置由该运动矢量标定时，根据属于该前景区域的一个预定像素的位置，该标识单元281确定该指定像素属于该覆盖的背景区域。
下面参照图45的流程图描述由标识单元281执行的用于检测在一个将要处理的混合区域中的覆盖的背景区域或未覆盖的背景区域的处理。
在步骤S281中，标识单元281确定该指定像素是否定位在该前景目标的移动方向的前端。如果确定该指定像素被定位在该前景目标的移动方向的前端，则处理进到步骤S282，确定该指定像素属于覆盖的背景区域，然后结束该处理。
如果在步骤S281中确定该指定像素不是被定位在该前景目标的移动方向的前端，则意味着该指定像素是定位在该前景目标的移动方向的后端。随后该处理进到步骤S283，该标识单元281确定该指定像素属于未覆盖的背景区域。然后结束该处理。
如上述讨论，该区域指定单元能够根据该运动矢量确定属于混合区域的一个指定像素是否属于覆盖的背景区域或未覆盖的背景区域。
图46是说明该混合比计算器104的结构的框图。通过根据该输入图像计算覆盖的背景区域的模式，估计混合比处理器401针对每一像素计算估计的混合比，并且把该计算的估计混合比提供到混合比确定部分403。
通过根据该输入图像计算未覆盖的背景区域的模式，该估计混合比处理器402针对每一像素计算该估计的混合比，并且把该计算的估计混合比提供到该混合比确定部分403。
由于能够假设与前景对应的目标在该快门时间之内以恒速移动，所以属于混合区域的该像素的混合比α展现下面的特征。即该混合比α根据在像素中的位置的变化而线性地改变。如果像素中的位置改变是一维的，则在该混合比α中的变化将能够线性地表示。如果像素中的位置改变是二维的，则在该混合比α中的变化将能够在平面上表示。
由于一个帧周期是短暂的，所以能够假设对应于前景的目标是以恒速运动的刚体。
混合比α的梯度反比于在前景的快门时间中的运动量v。
图47中示出理想混合比α的一个实例。在混合区域中的理想混合比α的梯度1能够由运动量v的倒数表示。
如图47所示，理想混合比α在背景区域中具有的值是1，在前景区域中的值是0，而在混合区域中的值是大于0小于1的值。
在图48所示实例中，通过使用在帧#n-1中从左算起的第7像素的像素值P06由方程式(4)表示在帧#n中从左算起的第7像素的像素值C06。
C 06 = B 06 / v + B 06 / v + F 01 / v + F 02 / v
= P 06 / v + P 06 / v + F 01 / v + F 02 / v
= 2 / v · P 06 + Σ i = 1 2 Fi / v - - - ( 4 )
在方程式(4)中，像素值C06由混合区域中的像素的像素值M表示，同时该像素值P06由在背景区域中的像素的像素值B表示。即，在该混合区域中的像素的像素值M和在背景区域中的像素的像素值B能够分别由方程式(5)和(6)表示。
M＝C06              (5)
B＝P06              (6)
在方程式(4)中，2/v对应于该混合比α。由于运动量v是4，所以从帧#n左边算起的第7像素的混合比α是0.5。
如上述讨论，在指定帧#n中的像素值C被认为是在该混合区域中的像素值，在帧#n之前的帧#n-1的像素值P被认为是在该背景区域中的像素值。因此，指示该混合比α的方程式(3)能够由方程式(7)表示：
C＝α·P+f          (7)
方程式(7)中的f表示包含在该指定像素中的该前景成分∑i Fi/v的取和。包含在方程式(7)中的变量是两个因数，即混合比α和前景成分的取和f。
类似地，通过在时间方向扩展未覆盖背景区域中的运动量是4以及虚拟分割部分的数量是4的像素值而获得的模式在图49中示出。
随着覆盖背景区域的显示，在该未覆盖背景区域中，指定帧#n的像素值C被认为是在该混合区域中的像素值，而帧#n的下一帧#n+1的像素值N被认为是背景区域的像素值。因此，指示该混合比α的方程式(3)能够由方程式(8)表示：
C＝a·N+f           (8)
已经描述的实施例假定该背景目标是静止的。然而，通过使用与背景的运动量v对应定位的一个像素的像素值，方程式(4)至(8)能够被用于其中的背景目标是运动的情况。例如现在假设在图48中对应于背景的目标的运动量v是2，并且虚拟分割部分的数量是2。在此情况中，当与背景对应的物体移到图48右边时，该背景区域中的像素的像素值B在方程式(6)中由像素值P04表示。
由于方程式(7)和(8)的每个都包含两个变量，所以如果不修改该方程式就不能确定该混合比α。通常，图像在空间具有强相关性，其中定位在互相接近位置上的像素基本上具有相同的像素值。
由于前景成分在空间中的强相关，为了从先前或随后帧得到前景成分的取和f，一个修改的方程式被用于确定该混合比α。
在图50中示出的帧#n中从左边算起的该第七像素的像素值Mc能够用方程式(9)表示：
Mc = 2 v · B 06 + Σ i = 11 12 Fi / v - - - ( 9 )
在方程式(9)右侧的第一项中，2/v对应于该混合比α。方程式(9)右侧的第二项通过使用随后帧#n+1的像素值由方程式(10)表示：
Σ i = 11 12 Fi / v = β · Σ i = 7 10 Fi / v - - - ( 10 )
假设方程式(11)是使用该前景成分的空间相关性获得的。
       F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12        (11)
通过使用方程式(11)，方程式(10)能够被方程式(12)表示：
Σ i = 11 12 Fi / v = 2 v · F = β · 4 v · F - - - ( 12 )
因此β能够由方程式(13)表示：
                      β＝2/4                           (13)
通常，如果假设与混合区域相关的的前景成分等于方程式(11)给定的前景成分，则由于该内在的比例而使得方程式(14)对于混合区域中的全部像素都成立：
                      β＝1-α                          (14)
如果方程式(14)成立，则方程式(7)能够被扩展为方程式(15)给定的形式：
C = α · P + f
= α · P + ( 1 - α ) · Σ i = γ γ + V - 1 Fi / v
= α · P + ( 1 - α ) · N - - - ( 15 )
类似地，如果方程式(14)成立，则方程式(8)能够被扩展为方程式(16)给出的形式：
C = α · N + f
= α · N + ( 1 - α ) · Σ i = γ γ + V - 1 Fi / v
= α · N + ( 1 - α ) · P - - - ( 16 )
在方程式(15)和(16)中，C、N和P是已知像素值，并且方程式(15)和(16)中仅包含的变量是混合比α。方程式(15)和(16)中的C、N和P之间的关系在图51中示出。符号C表示在混合比α被确定的帧#n中的一个指定像素的像素值。符号N表示在帧#n+1中的空间方向上对应于该指定像素的一个像素的像素值。符号N表示在帧#n-1中的空间方向上对应于该指定像素的一个像素的像素值。
由于在方程式(15)和(16)的每一个中包含一个变量，所以在该三个帧中的像素的像素值可用于确定混合比α。在与混合区域相关的前景成分是相等的条件下，即在前景目标静止、定位在该前景目标移动方向上的图像目标的边界的连续像素的像素值是恒定时捕获一个前景图像目标的条件下，能够通过求解方程式(15)和(16)确定正确的混合比α，其中的连续像素的数量是运动量v的两倍。
如上述讨论，属于覆盖的背景区域的像素的混合比α由方程式(17)确定，而属于未覆盖的背景区域的像素的混合比α由方程式(18)确定：
α＝(C-N)/(P-N)      17)
α＝(C-P)/(N-P)      (18)
图52是表示估计混合比处理器401的结构的框图。帧存储器421以帧单位存储输入图像，并且把在作为输入图像输入的帧之前的一个帧提供到帧存储器422和混合比计算器423。
帧存储器422以帧单位存储输入图像，和把在从帧存储器421提供的帧之前的一个帧提供到混合比计算器423。
当帧#n+1作为输入图像输入到该混合比计算器423时，帧存储器421把帧#n提供到该混合比计算器423，并且该帧存储器422把帧#n-1提供到混合比计算器423。
根据帧#n中的指定像素的像素值C、帧#n+1中在该指定像素对应空间位置的像素的像素值N、帧#n-1中在该指定像素对应空间位置的像素的像素值P，该混合比计算器423计算方程式(17)，以便确定一个指定像素的估计混合比，并且输出该产生的估计混合比。例如，当背景是静止时，根据在帧#n中的指定像素的像素值C、在帧#n+1中在与该指定像素相同的帧间(inter-frame)位置定位的像素的像素值N、以及在帧#n-1中在与该指定像素相同的帧间位置定位的像素的像素值P，该混合比计算器423确定一个指定像素的估计混合比，并且输出该产生的估计混合比。
以此方式，该估计混合比处理器401能够根据该输入图像计算该估计的混合比，并且把该估计的混合比提供到该混合比确定部分403。
除了估计混合比处理器402计算方程式(18)以便确定一个指定像素的估计的混合比而估计混合比处理器401计算方程式(17)以便确定的一个指定像素的估计的混合比之外，估计混合比处理器402类似于该估计混合比处理器401，因此其说明被省略。
图53示出由估计混合比处理器401确定的估计的混合比的示例。图53所示的估计的混合比示出在相对于一个目标的该前景的运动量v是以恒速11移动的情况中的每一行中。
如图47所示，可以发现在该混合区域中的该估计混合比基本上是线性变化的。
返回到图46，根据从区域指定单元103提供的并且指示将被计算混合比α的像素属于前景区域、背景区域、覆盖的背景区域或未覆盖的背景区域的哪一个的区域信息，该混合比确定部分403设置该混合比α。当该对应像素属于该前景区域时，该混合比确定部分403设置该混合比α为0，并且当对应像素属于该背景区域时，设置该混合比α为1。当该对应像素属于覆盖的背景区域时，该混合比确定部分403把从该估计混合比处理器401提供的该估计的混合比设置为混合比α。当该对应像素属于未覆盖的背景区域时，该混合比确定部分403把从该估计混合比处理器402提供的该估计的混合比设置为混合比α。该混合比确定部分403输出已经根据该区域信息设置的该混合比α。
图54是说明该混合比计算器104的另一结构的框图。根据从区域指定单元103提供的区域信息，选择器441把属于覆盖的背景区域的像素以及在先前和随后帧中的对应像素提供到估计混合比处理器442。根据从区域指定单元103提供的区域信息，选择器441把属于未覆盖的背景区域的像素以及在前面和跟随帧中的对应像素提供到估计混合比处理器443。
根据从选择器441输入的像素值，估计混合比处理器442计算方程式(17)以便确定属于该覆盖的背景区域的该指定像素的估计的混合比，并且把产生的估计的混合比提供到选择器444。
根据从选择器441输入的像素值，估计混合比处理器443计算方程式(18)以便确定属于该未覆盖的背景区域的该指定像素的估计的混合比，并且把产生的估计的混合比提供到该选择器444。
当该指定像素属于前景区域时，根据从区域指定单元103提供的区域信息，选择器444选择为0的估计混合比并且将其设置作为混合比α，并且当该指定像素属于该背景区域时选择为1的估计混合比并且将其设置作为该混合比α。当该指定像素属于覆盖的背景区域时，该选择器444选择从该估计混合比处理器442提供的该估计的混合比，并且将其设置为混合比α。当该指定像素属于未覆盖的背景区域时，该选择器444选择从该估计混合比处理器443提供的该估计的混合比，并且将其设置为混合比α。该选择器444然后输出根据该区域信息通过选择而设置的该混合比α。
如上述讨论，如图54所示的混合比计算器104能够计算该图像包含的每一像素的混合比α，并且输出该计算的混合比α。
下面参照图55的流程图讨论如图46所示构成的混合比计算器104所执行的用于该混合比α的计算处理。在步骤S401中，混合比计算器104获得从区域指定单元103提供的区域信息。在步骤S402中，估计混合比处理器401通过使用对应于覆盖的背景区域的一个模式执行对该混合比进行估计的处理，并且把估计的混合比提供到混合比确定部分403。下面参照图56的流程图详细讨论该混合比的估计处理。
在步骤S403中，估计混合比处理器402通过使用对应于未覆盖的背景区域的一个模式执行对该混合比进行估计的处理，并且把估计的混合比提供到混合比确定部分403。
在步骤S404中，该混合比计算器104确定是否已经针对整个帧估计了混合比。如果确定尚未针对整个帧估计混合比，则该处理返回到步骤S402，并且执行针对下一像素的混合比估计处理。
如果在步骤S404中确定已经针对整个帧估计了混合比，则该处理进到步骤S405。在步骤S405中，根据从区域指定单元103提供的并且指示将被计算混合比α的像素属于前景区域、背景区域、覆盖的背景区域或未覆盖的背景区域的哪一个的区域信息，该混合比确定部分403设置该混合比α。当该对应像素属于该前景区域时，该混合比确定部分403设置该混合比α为0，并且当对应像素属于该背景区域时，设置该混合比α为1。当该对应像素属于覆盖的背景区域时，该混合比确定部分403把从该估计混合比处理器401提供的该估计的混合比设置为混合比α。当该对应像素属于未覆盖的背景区域时，该混合比确定部分403把从该估计混合比处理器402提供的该估计的混合比设置为混合比α。然后结束该处理。
如上述讨论，根据从区域指定单元103提供的区域信息和输入图像，混合比计算器104能够计算指示对应于每一像素的特征量的混合比α。
由图54所示配置的混合比计算器104执行的该估计混合比α的计算处理类似于参照图55的流程图讨论过的处理，因此省略其说明。
现参照图56的流程图给出图55的步骤S402使用覆盖背景区域的一个模式的混合比估计处理。
在步骤S421中，混合比计算器423从帧存储器421获得帧#n中的一个指定像素的像素值C。
在步骤S422中，混合比计算器423从帧存储器421获得帧#n-1中对应该指定像素的一个像素的像素值P。
在步骤S423中，混合比计算器423获得帧#n+1中对应包含在该输入图像中的该指定像素的一个像素的像素值N。
在步骤S424中，根据帧#n中的指定像素的像素值C、帧#n-1中的像素的像素值P以及帧#n+1中的像素的像素值N，该混合比计算器423计算该估计的混合比。
在步骤S425中，该混合比计算器423确定是否完成针对整个帧的估计混合比计算处理。如果其确定估计混合比计算处理没有对于整个帧结束，则该处理返回步骤S421，并且重复下一个像素的估计混合比的计算处理。
如果在步骤S425中确定该估计混合比计算处理已针对整个帧完成，则结束该处理。
如上述讨论，估计混合比处理器401能够根据该输入图像计算该估计的混合比。
在图55的步骤S403中通过使用对应于未覆盖背景区域的一个模式的混合比估计处理类似于图56的流程图所示的通过使用对应于该未覆盖背景区域的一个模式的该方程的处理，因此省略其说明。
图54示出的估计混合比处理器442和443执行类似于图56的流程图中示出的计算该估计混合比的处理，因此其说明被省略。
已经描述的实施例假定对应于该背景的目标是静止的。但是，即使对应于该背景区域的图像包含运动，也能够应用上述用于计算本混合比α的处理。例如，如果对应于该背景区域的图像是在均匀运动，该估计混合比处理器401根据此背景运动移动整个图像，并且以和其中对应于该背景的目标是静止的情况相类似的方式执行处理。如果对应于背景区域的图像包括局部不同的背景运动，则该估计混合比处理器401将选择对应于该背景运动的像素作为属于该混合区域的像素，并且执行上述的处理。
仅通过使用对应于该覆盖的背景区域的一个模式，该混合比计算器104就可以执行对于全部像素的混合比估计处理，并且输出该计算的估计混合比作为该混合比α。在此情况中，混合比α指示属于该覆盖的背景区域的该像素的背景成分的比例，并且指示属于该未覆盖的背景区域的像素的前景成分的比例。考虑属于该未覆盖的背景区域的像素，确定该计算混合比α和1之间的差的绝对值，并且该计算的绝对值被设置为混合比α。随后，该信号处理设备能够确定混合比α，表示属于该未覆盖的背景区域的像素的背景成分的比例。
类似地，通过仅使用对应于该未覆盖的背景区域的一个模式，该混合比处理器104可以对于全部像素执行混合比估计处理，并且输出该计算的估计混合比作为混合比α。
下面描述通过使用线性改变的混合比α计算该混合比α的混合比计算器104。
如上所述，由于方程式(7)和(8)的每一个包含两个变量，所以不修改该方程式就不能确定该混合比α。
由于对应于该前景的目标以恒速移动，所以混合比α根据该像素的位置改变而线性变化。通过利用此特性，其中该混合比α和前景成分的取和f在空间的方向上被近似的一个方程式能够成立。通过利用属于该混合区域的像素的像素值和属于该背景区域的像素的像素值的多个设置，求解其中的混合比α和前景成分的取和f被近似的该方程式。
当该混合比α中的变化近似为一条直线时，该混合比α能够由方程式(19)表示。
α＝i1+p              (19)
在方程式(19)中，i表示当该指定像素的位置被设置为0时的空间指数(index)，1表示该混合比α的直线的梯度，p表示该混合比α的直线的截距并且还表示该指定像素的混合比α。在方程式(19)中，系数i是已知的，而梯度1和截距P是未知的。
系数i、梯度1和截距p之间的关系在图57中示出。在图57中，白点表示指定像素，黑点表示与指定像素接近定位的像素。
通过按照方程式(19)近似该混合比α，能够用两个变量表示用于多个像素的多个不同的混合比α。在图57所示实例中，用于5个像素的5个混合比由两个变量，即梯度1和截距P表示。
当该混合比α在图58所示平面中被近似时，通过考虑与两个方向对应的运动v，即该图像的水平方向和垂直方向，方程式(19)被扩展到平面，并且能够通过方程式(20)表示该混合比α。图58中，白点表示该指定像素。
α＝jm+kq+p                       (20)
在方程式(20)中，当指定像素的位置被设置为0时，j是水平方向中的系数而k是垂直方向中的系数。在方程式(20)中，m表示该平面中的混合比α的水平梯度，而q表示该平面中的混合比α的垂直梯度。在方程式(20)中，p表示平面中的混合比α的截距。
例如，在图48所示的帧#n中，方程式(21)至(23)能够分别适用于C05至C07。
C05＝α05·B05/v+f05              (21)
C06＝α06·B06/v+f06              (22)
C07＝α07·B07/v+f07              (23)
假定定位互相紧密靠近的前景成分彼此相等，即F01到F03相等，则以Fc替代F01到F03而使得方程式(24)成立。
f(x)＝(1-α(x))·Fc               (24)
在方程式(24)中，x表示在空间方向中的位置。
当α(x)由方程式(20)替换时，方程式(24)能够通过方程式(25)表示。
f(x)＝(1-(jm+kq+p))·Fc
＝j·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)
＝js+kt+u                         (25)
在方程式(25)中，(-m·Fc)、(-q·Fc)、和(1-P)·Fc被替代，分别由方程式(26)至(28)表示。
s＝-m·Fc                         (26)
t＝-q·Fc                         (27)
u＝(1-p)·Fc                      (28)
在方程式(25)中，当指定像素的位置为0时，j是水平方向中的系数而k是垂直方向中的系数。
如上述讨论，由于可以假设对应于前景的目标在快门时间间隔之内以恒速移动，并且位置互相接近的前景成分是均匀的，所以前景成分的取和能够由方程式(25)近似。
当由一条直线近似该混合比α时，前景成分的取和能够由方程式(29)表示。
f(x)＝is+u                        (29)
由使用方程式(20)和(25)替换方程式(9)中的混合比α和前景成分的取和，像素值M能够由方程式(30)表示。
M＝(jm+kq+p)·B+js+kt+u
＝jB·m+kB·q+B·p+j·s+k·t+u    (30)
在方程式(30)中，未知变量是六个因数，例如该平面中的混合比α的水平梯度m、该平面中的混合比α的垂直梯度q和该平面中的混合比α的截距p、s、t和u。
更具体地说，根据与指定像素邻近的像素，像素值M或像素值B被设置在方程式(30)给出的法方程中。然后，通过最小二乘法求解其中设置了像素值M或像素值B的多个法方程，从而计算混合比α。
例如假设该指定像素的水平系数j设置为0，并且该指定像素的垂直系数k设置为0。然后，针对与指定像素邻近定位的3×3像素在方程式(30)给定的法方程中设置像素值M或像素值B，从而获得方程式(31)至(39)。
M-1，-1＝(-1)·B-1，-1·m+(-1)·B-1，-1·q+B-1，-1·p+(-1)·s+(-1)·t+u    (31)
M0，-1＝(0)·B0，-1·m+(-1)·B0，-1·q+B0，-1·p+(0)·s+(-1)·t+u         (32)
M+1，-1＝(+1)·B+1，-1·m+(-1)·B+1，-1·q+B+1，-1·p+(+1)·s+(-1)·t+u    (33)
M-1，0＝(-1)·B-1，0·m+(0)·B-1，0·q+B-1，0·p+(-1)·s+(0)·t+u         (34)
M0，0＝(0)·B0，0·m+(0)·B0，0·q+B0，0·p+(0)·s+(0)·t+u              (35)
M+1，0＝(+1)·B+1，0·m+(0)·B+1，0·q+B+1，0·p+(+1)·s+(0)·t+u         (36)
M-1，+1＝(-1)·B-1，+1·m+(+1)·B-1，+1·q+B-1，+1·p+(0)·s+(+1)·t+u     (37)
M0，+1＝(0)·B0，+1·m+(+1)·B0，+1·q+B0，+1·p+(-1)·s+(+1)·t+u        (38)
M+1，+1＝(+1)·B+1，+1·m+(+1)·B+1，+1·q+B+1，+1·p+(+1)·s+(+1)·t+u    (39)
由于该指定像素的水平系数j是0，并且指定像素的垂直系数k是0，所以该指定像素的混合比α等于当在方程式(20)中的j是0和k是0时的值，即该混合比α等于在方程式(20)中的截距p。
因此，根据方程式(31)至(39)的这九个方程，通过该最小二乘法计算水平梯度m、垂直梯度q和截距p、s、t和u，并且把截距p作为混合比α输出。
通过应用最小二乘法对于该混合比α的具体计算处理如下。
当系数i和系数k由单一系数x表示时，系数i、系数k和系数x的关系能够由方程式(40)表示。
x＝(j+1)·3+(k+1)                   (40)
现假定水平地梯度m、垂直梯度q以及截距p、s、t和u分别地由变量w0、w1、w2、w3、w4和w5表示，并且jB、kB、B、j、k和l分别由a0、a1、a2、a3、a4和a5表示。考虑到误差ex，方程式(31)至(39)能够修改成方程式(41)。
Mx = Σ y = 0 5 ay · wy + ex - - - ( 41 )
在方程式(41)中，x是从0到8的任意整数。
方程式(42)可从方程式(41)得到。
ex = Mx - Σ y = 0 5 ay · wy - - - ( 42 )
由于应用最小二乘法，所以定义的误差平方和E由如下方程式(43)表示。
E = Σ x = 0 8 ex 2 - - - ( 43 )
为了最小化该误差，误差平方和E关于变量Wv的偏微分值应该是0。v是从0到5的任何整数之一。因此，确定wy使得满足方程式(44)。
∂ E ∂ Wv = 2 · Σ x = 0 8 ex · ∂ ex ∂ Wv
= 2 · Σ x = 0 8 ex · av = 0 - - - ( 44 )
把方程式(42)代入方程式(44)，获得方程式(45)。
Σ x = 0 8 ( av · Σ y = 0 5 ay · wy ) = Σ x = 0 8 av · Mx - - - ( 45 )
例如，对通过把从0到5的整数之一代入方程式(45)中的v而获得六个方程式使用消除法(高斯-约旦消除)，从而获得wy。如上所述，w0是水平梯度m，w1是垂直梯度q，w2是截距p，w3是s，w4是t而w5是u。
如上述讨论，通过把最小二乘法用于其中设置了像素值M和像素值B的方程式，能够确定水平梯度m、垂直梯度q、截距p、s、t和u。
通过假设包含在混合区域中的像素的像素值是M以及包含在背景区域中的像素的像素值是B，已经参照方程式(31)至(39)给出说明。在此情况中，需要针对其中该指定像素包含在覆盖背景区域中、或这指定像素包含在未覆盖背景区域中的每一中情况设置法方程。
例如，如果包含在图48所示的帧#n中的未覆盖的背景区域中的像素的混合比α被确定，则在帧#n中的像素的像素值C04至C08和在帧#n-1中的像素的像素值P04至P08被设置在该法方程中。
如果包含在图49所示的帧#n中的覆盖的背景区域中的像素的混合比α被确定，则在帧#n中的像素的像素值C28至C32和在帧#n+1中的像素的像素值N28至N32被设置在该法方程中。
而且，如果计算包含在图59示出的覆盖背景区域中的像素的混合比α，则设置下列方程式(46)至(54)。在图59中，白点表示认为属于是背景的像素，黑点表示认为是属于混合区域的像素。计算其混合比α的像素的像素值是Mc5。
Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·P+(-1)·s+(-1)·t+u    (46)
Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u      (47)
Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u    (48)
Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u      (49)
Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u        (50)
Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u      (51)
Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u    (52)
Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u      (53)
Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u    (54)
为了计算在帧#n中的覆盖背景区域中包含的像素的混合比α，在方程式(46)至(54)分别使用对应于帧#n中的像素的帧#n-1中的背景区域的像素的像素值Bc1至Bc9。
当计算包含在图59所示的未覆盖的背景区域中的像素的混合比α时，下面方程式(55)至(63)能够成立。计算其混合比α的像素的像素值是Mu5。
Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u    (55)
Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u      (56)
Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u    (57)
Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u      (58)
Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u        (59)
Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u      (60)
Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u    (61)
Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u      (62)
Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u    (63)
为了计算在帧#n中的未覆盖的背景区域中包含的像素的混合比α，在方程式(55)至(63)使用分别对应于帧#n中的像素的帧#n+1中的背景区域的像素的像素值Bu1至Bu9。
图60是表示估计混合比处理器401的结构的框图。输入到估计混合比处理器401的图像被提供到延迟电路501和加法器502。
延迟电路501将输入图像延迟一帧，并且提供该图像到加法器502。当把帧#n提供到加法器502作为输入图像时，延迟电路501把帧#n-1提供到加法器502。
加法器502在该法方程中设置与计算了混合比α的像素相邻的像素的像素值，以及#n-1帧的像素值。例如，加法器502根据方程式(46)至(54)分别在法方程中设置像素值Mc1至Mc9和像素值Bc1至Bc9。加法器502把其中设置了像素值的法方程提供到计算器503。
通过使用消除法求解从加法器502提供的法方程，计算器503确定该估计的混合比，并且输出该确定的估计混合比。
以此方式，该估计混合比处理器401能够根据该输入图像计算该估计的混合比，并且把该估计的混合比提供到该混合比确定部分403。
估计混合比处理器402的构成类似于估计混合比处理器401，因此省略其说明。
图61示出由估计混合比处理器401计算的估计的混合比的一个实例。图61示出每行的估计混合比的情况，其中相对于恒速移动的目标的前景运动量v是11，并且其中该方程式是以7×7的像素数据块单元设置的。
如图60所示，可以发现在该混合区域中的该估计混合比基本上是线性变化的。
现在参照图62的流程图描述具有图60示出结构的估计混合比处理器401通过使用覆盖的背景区域的模式的混合比估计处理。
在步骤S521中，加法器502在与覆盖的背景区域的模式相对应的法方程中设置包含在输入图像中的像素值和包含在从延迟电路501提供的图像中的像素值。
在步骤S522中，估计混合比处理器401确定该目标像素的设置是否结束。如果确定该目标像素的设置没有结束，则处理返回到步骤S521，并且重复用于在该法方程中设置该像素值的处理。
如果在步骤S522中确定对于该目标像素的像素值的设置已经结束，则该处理进到步骤S523。在步骤S523中，计算器503根据其中设置了像素值的法方程而计算该估计的混合比，并且输出该计算的混合比。
如上述讨论，具有图60所示结构的估计混合比处理器401能够根据该输入图像计算该估计的混合比。
通过使用对应于未覆盖背景区域的一个模式而执行的混合比估计处理类似于图62的流程图所示的通过使用对应于该未覆盖背景区域的模式的法方程的处理，因此省略其说明。
已经描述的实施例假定对应于该背景的目标是静止的。但是，即使对应于该背景区域的图像包括运动，也能应用上述混合比计算处理。例如，如果对应于该背景区域的图像是在均匀运动，则该估计混合比处理器401将根据此运动而移动整个图像，并且以和其中对应于该背景的目标是静止的情况相类似的方式执行处理。如果对应于背景区域的图像包括局部不同的运动，则该估计混合比处理器401将选择对应于该运动的像素作为属于该混合区域的像素，并且执行上述的处理。
如上所述，根据提供到区域指定单元101的输入图像和区域信息，混合比计算器102能够计算是对应于每一像素的特征量的混合比α。
通过利用该混合比α，有可能分离包含在一个像素值中的前景成分和背景成分，同时保持包含在与该运动目标对应的图像中的运动模糊信息。
通过组合基于该混合比α的图像，还有可能产生包含与运动目标的速度一致并且忠实反映实景的正确运动模糊的一个图像。
下面讨论前景/背景分离器105。图63是说明该前景/背景分离器105的结构实例的框图。提供到该前景/背景分离器105的输入图像被提供到分离部分601、开关602和开关604。从区域指定单元103提供的并且指示该覆盖背景区域和未覆盖背景区域的区域信息被提供到该分离部分601。指示该前景区域的区域信息被提供到开关602。指示该背景区域的区域信息被提供到开关604。
从混合比计算器104提供的混合比α被提供到该分离部分601。
根据指示该覆盖背景区域的区域信息、指示该未覆盖背景区域的区域信息和混合比α，该分离部分601从输入图像中分离该前景成分，并且把该分离的前景成分提供到合成器603。分离部分601还从该输入图像分离该背景成分，并且把分离的背景成分提供到合成器605。
当根据指示该前景区域的区域信息输入对应于该前景的一个像素时，该开关602被关闭，并且只把与包含在该输入图像中的前景对应的像素提供到合成器603。
当根据指示该背景区域的区域信息输入对应于该背景的一个像素时，该开关604被关闭，并且只把与包含在该输入图像中的背景对应的像素提供到合成器605。
根据从分离部分601提供的前景成分和与从开关602提供的前景对应的像素，合成器603合成一个前景成分图像，并且输出该合成前景成分图像。由于该前景区域不与该混合区域重叠，所以该合成器603把例如逻辑″或″施加到该前景成分和该前景像素，从而合成该前景成分图像。
在针对该前景成分图像进行的合成处理的开始执行的初始化处理中，合成器603在内置帧存储器中存储像素值全为0的图像。随后，在合成该前景成分图像的处理中，合成器603存储该前景成分图像(用该前景成分图像重写该先前的图像)。因此，0被存储在与从合成器603输出的前景成分图像中的背景区域对应的像素中。
根据从分离部分601提供的背景成分和与从开关604提供的背景相对应的像素，合成器605合成一个背景成分图像，并且输出该合成的背景成分图像。由于该背景区域不与该混合区域重叠，所以该合成器605把例如逻辑″或″施加到该背景成分和该背景像素，从而合成该背景成分图像。
在针对该背景成分图像进行的合成处理的开始执行的初始化处理中，合成器605在内置帧存储器中存储像素值全为0的图像。随后，在合成该背景成分图像的合成处理中，合成器605存储该背景成分图像(用该背景成分图像重写该先前的图像)。因此，0被存储在与从合成器605输出的背景成分图像中的前景区域对应的像素中。
图64A示出输入到前景/背景分离器105中的输入图像以及从该前景/背景分离器105输出的该前景成分图像和该背景成分图像。图64B示出输入到前景/背景分离器105中的输入图像的一个模式以及从该前景/背景分离器105输出的该前景成分图像和该背景成分图像。
图64A是表示将要被显示的图像的示意图，而图64B是通过在时间方向上扩展排列在一行中的像素而获得的一个模式，包括对应于图64A的属于前景区域的像素、属于背景区域的像素和属于混合区域的像素。
如图64A和64B所示，从前景/背景分离器105输出的背景成分图像包括属于在混合区域的像素中包含的背景区域和背景成分的像素。
如图64A和64B所示，从前景/背景分离器105输出的前景成分图像包括属于在混合区域的像素中包含的前景区域和前景成分的像素。
通过该前景/背景分离器105把在该混合区域中的像素的像素值分成背景成分和前景成分。分离的背景成分与属于该背景区域的像素一起形成该背景成分图像。分离的前景成分与属于该前景区域的像素一起形成该前景成分图像。
如上述讨论，在该前景成分图像中，对应于该背景区域的像素的像素值被设置为0，并且在对应于该前景区域的像素和对应于该混合区域的像素中设置重要的像素值。类似地，在该背景成分图像中，对应于该前景区域的像素的像素值被设置为0，并且在对应于该背景区域的像素和对应于该混合区域的像素中设置重要的像素值。
下面给出由分离部分601执行从属于该混合区域的像素中分离该前景成分和该背景成分的处理。
图65示出以两帧表示前景成分和背景成分的一个图像的模式，包括图65中的从左到右移动的一个前景目标。在图65中示出图像的模式中，运动量v是4，并且虚拟分割部分数目是4。
在帧#n中，最左边的像素和从左边算起的第14至第18像素仅包括背景成分并且属于背景区域。在帧#n中，从左边算起的第2至第4像素包括背景成分和前景成分，并且属于未覆盖背景区域。在帧#n中，从左边算起的第11至第13像素包括背景成分和前景成分，并且属于覆盖背景区域。在帧#n中，从左边算起的该第5至第10像素仅包括前景成分，并且属于前景区域。
在帧#n+1中，从左边算起的第1至第5像素和从左边算起的第18像素仅包括背景成分，并且属于背景区域。在帧#n+1中，从左边算起的第6至第8像素包括背景成分和前景成分，并且属于未覆盖背景区域。在帧#n+1中，从左边算起的第15至第17像素包括背景成分和前景成分，并且属于覆盖背景区域。在帧#n+1中，从左边算起的第9至第14像素仅包括前景成分，并且属于前景区域。
图66示出用于从属于该覆盖背景区域的像素中分离该前景成分的处理。在图66中，α1至α18表示帧#n的各个像素的混合比。在图66中，从左边算起的第15至第17像素属于该覆盖的背景区域。
在帧#n中从左边算起的该第15像素的像素值C15能够用方程式(64)表示：
C15＝B15/v+F09/v+F08/v+F07/v
＝α15·B15+F09/v+F08/v+F07/v
＝α15·P15+F09/v+F08/v+F07/v             (64)
其中，α15表示从帧#n左边算起第15像素的混合比，而P15表示从帧#n-1左边算起第15像素的像素值。
根据方程式(64)，从帧#n中的左边算起的该第15像素的前景成分的取和f15可以由方程式(65)表示。
F15＝F09/v+F08/v+F07/v
＝C15-α15·P15                           (65)
类似地，帧#n中从左边算起的第16像素的前景成分的取和f16能够由方程式(66)表示，并且帧#n中从左边算起的第17像素的前景成分的取和f17能够由方程式(67)表示。
f16＝C16-α16·P16                        (66)
f17＝C17-α17·P17                        (67)
以此方式，包含在属于该覆盖背景区域的像素的像素值C中的前景成分fc能够由方程式(68)表示：
fc＝C-α·P                               (68)
其中P表示在先前帧中对应像素的像素值。
图67示出用于从属于该未覆盖的背景区域的像素中分离该前景成分的处理。在图67中，α1至α18表示帧#n的各个像素的混合比。在图67中，从左边算起的第2至第4像素属于该未覆盖的背景区域。
在帧#n中从左边算起的该第2像素的像素值C02能够用方程式(69)表示：
C02＝B02/v+B02/v+B02/v+F01/v
＝α2·B02+F01/v
＝α2·N02+F01/v                          (69)
其中，α2表示从帧#n左边算起第2像素的混合比，而N02表示从帧#n+1左边算起第2像素的像素值。
根据方程式(70)，从帧#n中的左边算起的第2像素的前景成分的取和f02可以由方程式(70)表示。
f02＝F01/v
＝C02-α2·N02               (70)
类似地，帧#n中从左边算起的第3像素的前景成分的取和f03能够由方程式(71)表示，并且帧#n中从左边算起的第4像素的前景成分的取和f04能够由方程式(72)表示。
f03＝C03-α3·N03            (71)
f04＝C04-α4·N04            (72)
以此方式，包含在属于该未覆盖背景区域的像素的像素值C中的前景成分fu能够由方程式(73)表示：
fu＝C-α·N                  (73)
其中N表示在随后帧中对应像素的像素值。
如上述讨论，根据包含在该区域信息中的指示覆盖背景区域的信息和指示未覆盖背景区域的信息和用于每一像素的混合比α，该分离部分601能够从属于该混合区域的像素中分离前景成分以及从属于该混合区域的像素中分离背景成分。
图68是表示用于执行上述处理的该分离部分601的结构实例框图。输入到该分离部分601的图像被提供到帧存储器621，并且从该混合比计算器104提供的指示该覆盖背景区域和未覆盖背景区域的区域信息以及混合比α被提供到分离处理块622。
帧存储器621以帧单位存储输入图像。当将要处理的一个帧是帧#n时，该帧存储器621存储在帧#n之前的帧#n-1、帧#n以及在帧#n之后的帧#n+1。
帧存储器621把在帧#n-1、帧#n和帧#n+1中的对应像素提供到分离处理块622。
根据指示覆盖背景区域和未覆盖背景区域的区域信息以及该混合比α，该分离处理块622把参照图66和67讨论的计算应用到从该帧存储器621提供的帧#n-1、帧#n和帧#n+1中的对应像素的像素值，以便从属于在帧#n中的混合区域的像素分离该前景成分和背景成分，并且把它们提供到帧存储器623。
分离处理块622由未覆盖区域处理器631、覆盖区域处理器632、合成器633和合成器634组成。
未覆盖区域处理器631的乘法器641把在从帧存储器621提供的帧#n+1中的像素的像素值与混合比α相乘，并且输出该结果像素值到开关642。当从帧存储器621提供的帧#n的像素(对应于帧#n+1中的像素)属于该未覆盖背景区域时该开关642闭合，并且把从该乘法器641提供的由该混合比α相乘的像素值提供到计算器643和合成器634。由从开关642输出的混合比α与该帧#n+1中的像素的像素值相乘而获得的值等于在帧#n中的对应像素的像素值的背景成分。
计算器643从由帧存储器621提供的帧#n中的像素的像素值减去由开关642提供的背景成分，以便获得前景成分。计算器643把属于该未覆盖背景区域的帧#n中的像素的前景成分提供到合成器633。
覆盖区域处理器632的乘法器651把在从帧存储器621提供的帧#n-1中的像素的像素值与混合比α相乘，并且输出该结果像素值到开关652。当从帧存储器621提供的帧#n的像素(对应于帧#n-1中的像素)属于该覆盖背景区域时该开关652闭合，并且把从该乘法器651提供的由该混合比α相乘的像素值提供到计算器653和合成器634。通过把帧#n-1中的像素的像素值与从开关652输出的混合比α相乘而获得的值等于在帧#n中的对应像素的像素值的背景成分。
计算器653从由帧存储器621提供的帧#n中的像素的像素值减去由开关652提供的背景成分，以便获得前景成分。计算器653把属于该覆盖背景区域的帧#n中的像素的前景成分提供到合成器633。
合成器633把属于未覆盖背景区域并且从计算器643提供的像素的前景成分与属于覆盖背景区域并且从计算器653提供的像素的前景成分相组合，并且把该合成的前景成分提供到该帧存储器623。
合成器634把属于未覆盖背景区域并且从开关642提供的像素的背景成分与属于覆盖背景区域并且从开关652提供的像素的背景成分相组合，并且把该合成的背景成分提供到该帧存储器623。
该帧存储器623存储在从该分离处理块622提供的帧#n的混合区域中的像素的前景成分和背景成分。
帧存储器623输出该存储的在帧#n中的混合区域中的像素的前景成分以及该存储的在帧#n中的混合区域中的像素的背景成分。
通过利用表示特征量的混合比α，包含在像素值中的前景成分和背景成分能够被完全分离。
合成器603把在从分离部分601输出的帧#n中的混合区域中的像素的前景成分与属于该前景区域的像素相组合，以便产生一个前景成分图像。合成器605把在从分离部分601输出的帧#n中的混合区域中的像素的背景成分与属于该背景区域的像素相组合，以便产生背景成分图像。
图69A示出对应于图65中的帧#n的前景成分图像的一个实例。在前景和背景被分离之前，最左边的像素和从左边算起的第14像素仅包括背景成分，因此该像素值被设置为0。
在该前景和该背景被分离之前，从左边算起的第2和第4像素属于该未覆盖背景区域。因此，该背景成分被设置为0，并且该前景成分被保持。在该前景和该背景被分离之前，从左边算起的第11至第13像素属于该覆盖背景区域。因此，该背景成分被设置为0，并且该前景成分被保持。从左边算起的第5至第10像素仅包括前景成分，因此被保持。
图69B示出对应于图65中的帧#n的背景成分图像的一个实例。在该前景和该背景被分离之前，最左边的像素和从左边算起的第14像素仅包括背景成分，因此该背景成分被保持。
在该前景和该背景被分离之前，从左边算起的第2至第4像素属于该未覆盖背景区域。因此，该前景成分被设置为0，并且该背景成分被保持。在该前景和该背景被分离之前，从左边算起的第11至第13像素属于该覆盖背景区域。因此，该前景成分被设置为0，并且该背景成分被保持。从左边算起的第5至第10像素仅包括前景成分，因此该像素值被设置为0。
下面参照图70的流程图描述由前景/背景分离器105执行的用于分离前景和背景的处理。在步骤S601中，分离部分601的帧存储器621获得输入图像，并且把被分离前景和背景的帧#n与先前帧#n-1和随后帧#n+1一起存储。
在步骤S602中，分离部分601的分离处理块622获得从混合比计算器104提供的区域信息。在步骤S603中，分离部分601的分离处理块622获得从混合比计算器104提供的混合比α。
在步骤S604中，未覆盖区域处理器631根据该区域信息和该混合比α从属于该帧存储器621提供的未覆盖背景区域的像素的像素值中提取该背景成分。
在步骤S605中，未覆盖区域处理器631根据该区域信息和该混合比α从属于该帧存储器621提供的未覆盖背景区域的像素的像素值中提取该前景成分。
在步骤S606中，覆盖区域处理器632根据该区域信息和该混合比α从属于该帧存储器621提供的覆盖背景区域的像素的像素值中提取该背景成分。
在步骤S607中，覆盖区域处理器632根据该区域信息和该混合比α从属于该帧存储器621提供的覆盖背景区域的像素的像素值中提取该前景成分。
在步骤S608中，合成器633把属于在处理步骤S605中提取的未覆盖背景区域的像素的前景成分与属于在处理步骤S607中提取的覆盖背景区域的像素的前景成分相组合。合成的前景成分被提供到合成器603。合成器603进一步把属于通过开关602提供的前景区域的像素与从该分离部分601提供的前景成分相组合，以便产生前景成分图像。
在步骤S609中，合成器634把属于在处理步骤S604中提取的未覆盖背景区域的像素的背景成分与属于在处理步骤S606中提取的覆盖背景区域的像素的背景成分相组合。合成的背景成分被提供到合成器605。合成器605进一步把属于通过开关604提供的背景区域的像素与从该分离部分601提供的背景成分相组合，以便产生背景成分图像。
在步骤S610中，合成器603输出该前景成分图像。在步骤S611中，合成器605输出该背景成分图像。然后结束该处理。
如上述讨论，前景/背景分离器105能够根据该区域信息和该混合比α从该输入图像中分离该前景成分和该背景成分，并且输出仅包括前景成分的前景成分图像和仅包括背景成分的背景成分图像。
下面描述前景成分图像的运动模糊量的调整。
图71是说明该运动模糊调整单元106的结构的实例的框图。从运动检测器102提供的运动矢量和其位置信息以及从区域指定单元103提供的区域信息被提供到处理单元确定部分801、模式形成部分802。从该前景/背景分离器105提供的区域信息被提供到加法器804。
处理单元确定部分801把根据该运动矢量和位置信息以及区域信息产生的处理单元连同该运动矢量一起提供到模式形成部分802。处理单元确定部分801把产生的处理单元提供到加法器804。
如图72中由A所示一个实例表示的那样，由处理单元确定部分801产生的处理单元表示在从与该前景成分图像的覆盖背景区域对应的像素开始直到与未覆盖背景区域对应的像素为止的移动方向上排列的连续像素，或表示在从对应于未覆盖背景区域的像素开始直到对应于覆盖背景区域的像素为止的移动方向上排列的连续像素。处理单元由两段数据形成，例如表示左上方的点(最左边的位置，或在由该处理的单元指定的图像中的最高像素)和右下方的点。
模式形成部分802根据运动矢量和输入的处理单元形成一个模式。更具体地说，该模式形成部分802例如可以根据在处理的单元中包含的像素数量、在时间方向上像素值的虚拟划分的部分的数量和用于每个像素的前景成分的数量预先存储多个模式。该模式形成部分902随即可以根据该处理的单元和在时间方向上像素值的虚拟分割的部分的数量而选择其中指定了该像素值和前景成分之间的相关性的模式，例如图73所示。
例如现在假设与处理的单元对应的像素的数量是12，并且假设在快门时间中的运动量v是5。随后，模式形成部分802把虚拟划分部分的数量设置到5，并且选择由八个前景成分类型形成的一个模式，使得最左边的像素包含1个前景成分，从左边算起的第2像素包括两个前景成分，从左边算起的第3像素包括3个前景成分，从左边算起的第4像素包括4个前景成分，从左边算起的第5像素包括5个前景成分，从左边算起的第6像素包括5个前景成分，从左边算起的第7像素包括5个前景成分，从左边算起的第8像素包括5个前景成分，从左边算起的第9像素包括4个前景成分，从左边算起的第10像素包括3个前景成分，从左边算起的第11像素包括两个前景成分，从左边算起的第12像素包括1个前景成分。
当提供运动矢量和处理的单元时，模式形成部分802可以不从该预先存储模式中选择模式，而是根据该运动矢量和处理的单元产生一个模式。
模式形成部分802把选择的模式提供到方程发生器803。
方程发生器803根据从模式形成部分802提供的模式产生一个方程式。下面参考图73所示的前景成分图像的模式描述该方程式发生器803产生的方程式，其中前景成分的数量是8、对应于处理的单元的像素的数量是12而运动量v是5。
当包含在与快门时间/v对应的前景成分图像中的前景成分是F01/v至F08/v时，F01/v至F08/v与像素值C01至C12之间的关系能够由方程式(74)至(85)表示。
C01＝F01/v                                     (74)
C02＝F02/v+F01/v                               (75)
C03＝F03/v+F02/v+F01v                          (76)
C04＝F04/v+F03/v+F02/v+F01v                    (77)
C05＝F05/v+F04/v+F03/v+F02/v+F01v              (78)
C06＝F06/v+F05/v+F04/v+F03/v+F02/v                (79)
C07＝F07/v+F06/v+F05/v+F04/v+F03/v                (80)
C08＝F08/v+F07/v+F06/v+F05/v+F04/v                (81)
C09＝F08/v+F07/v+F06/v+F05/v                      (82)
C10＝F08/v+F07/v+F06/v                            (83)
C11＝F08/v+F07/v                                  (84)
C12＝F08/v                                        (85)
方程式发生器803通过修改所产生的方程式而产生一个方程式。由方程式产生器803产生的方程式由方程式(86)-(97)表示：
C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v
        +0·F06/v+0·F07/v+0·F08/v               (86)
C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v
        +0·F06/v+0·F07/v+0·F08/v               (87)
C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v
        +0·F06/v+0·F07/v+0·F08/v               (88)
C04＝1·F01/v+1·F02/V+1·F03/v+1·F04/v+0·F05/v
        +0·F06/v+0·F07/v+0·F08/v               (89)
C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v
        +0·F06/V+0·F07/V+0·F08/v               (90)
C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v
        +1·F06/v+0·F07/v+0·F08/v               (91)
C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v
        +1·F06/v+1·F07/v+0·F08/v               (92)
C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v
        +1·F06/v+1·F07/v+1·F08/v               (93)
C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v
        +1·F06/v+1·F07/v+1·F08/v               (94)
C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v
        +1·F06/v+1·F07/v+1·F08/v               (95)
C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v
        +0·F06/v+1·F07/v+1·F08/v               (96)
C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v
        +0·F06/v+0·F07/v+1·F08/v                  (97)
方程式(86)至(97)能够由方程式(98)表示。
Cj = Σ i = 01 08 aij · Fi / v - - - ( 98 )
在方程式(98)中，j表示像素的位置。在本实例中，j具有从1到12之一的值。在方程式(98)中，i表示前景值的位置。在本实例中，i有从1到8之一的值。在方程式(98)中，根据i和j的值，aij具有0或1值。
考虑到误差，方程式(98)能够由方程式(99)表示。
Ci = Σ i = 01 08 aij - Fi / v + ej - - - ( 99 )
在方程式(99)中，ej表示包含在指定像素Cj中的误差。
方程式(99)能够被修改成方程式(100)。
ej = Cj - Σ i = 01 08 aij - Fi / v - - - ( 100 )
为了应用最小二乘法，该误差的平方和E被定义为方程式(101)。
E = Σ j = 01 12 ej 2 - - - ( 101 )
为了最小化该误差，误差平方和E对变量Fk的偏微分值应该是0。Fk的确定要满足方程式(102)。
∂ E ∂ Fk = 2 · Σ j = 01 12 ej · ∂ ej ∂ Fk
= 2 · Σ j = 01 12 { ( Cj - Σ i = 01 08 aij · Fi / v ) · ( - akj / v ) } = 0 - - - ( 102 )
在方程式(102)中，运动量v是一个定值，能够推导出方程式(103)。
Σ j = 01 12 akj · ( Cj - Σ i = 01 08 aij · Fi / v · ) = 0 - - - ( 103 )
扩展方程式(103)并且转置该项，能够获得方程式(104)。
Σ j = 01 12 ( akj · Σ i = 01 08 aij · Fi ) = v Σ j = 01 12 akj · Cj - - - ( 104 )
通过把从1到8的各个整数代入方程式(104)中的k，方程式(104)被扩展成八个方程式。获得的8个方程式能够由一个矩阵方程表示。此方程式称为″法方程″。
根据最小二乘法由该方程式产生器803产生的该法方程的实例由方程式(105)表示。
5 4 3 2 1 0 0 0 4 5 4 3 2 1 0 0 3 4 5 4 3 2 1 0 2 3 4 5 4 3 2 1 1 2 3 4 5 4 3 2 0 1 2 3 4 5 4 3 0 0 1 2 3 4 5 4 0 0 0 1 2 3 4 5 F 01 F 02 F 03 F 04 F 05 F 06 F 07 F 08 = v · Σ i = 08 12 Ci Σ i = 07 11 Ci Σ i = 06 10 Ci Σ i = 05 09 Ci Σ i = 04 08 Ci Σ i = 03 07 Ci Σ i = 02 06 Ci Σ i = 01 05 Ci - - - ( 105 )
当方程式(105)由A·F＝v·C表示时，C、A和v是已知的，而F是未知的。当模式形成时，A和v是已知的，而在附加处理中当像素值被输入时，C变成已知的。
通过基于最小二乘法的法方程计算该前景成分，可以分配像素C中包含的误差。
如上述讨论，方程式发生器803把产生的该法方程提供到加法器804。
根据从处理单元确定部分801提供的处理的单元，加法器804在从方程式发生器803提供的矩阵方程中设置包含在前景成分图像中的像素值C。加法器804把其中像素值C被设置的矩阵提供到计算器805。
计算器805计算该前景成分Fi/v，通过根据例如消除方法(高斯约旦消除)的解法，从该前景成分Fi/v消除运动模糊，以便获得与i对应的被消除了运动模糊的像素值Fi，i表示从0到8的整数之一。随后该计算器805把由没有运动模糊的像素值Fi构成的前景成分图像，例如图74中的前景成分图像，输出到个运动模糊加法器806和选择器807。
在图74所示的没有运动模糊的前景成分图像中，把F01至F08分别地设置在C03至C10中的原因是该前景成分图像相对于该屏幕不改变位置。但是，F01至F08可以设置在任何期望的位置。
通过相加量v′，运动模糊加法器806能够调整运动模糊量，由v′调整运动模糊，该相加量v′不同于运动量v，比如运动模糊被调整的量v′是运动量v的一半，或运动模糊被调整的量v′与运动量v无关。例如，如图75所示，运动模糊加法器806通过量v′划分没有运动模糊的前景像素值Fi，由此调整运动模糊，以便获得前景成分Fi/v′。运动模糊加法器806随后计算该前景成分Fi/v’的取和，从而产生其中的运动模糊量被调整的像素值。例如，当运动模糊被调整的量v′是3时，像素值C02被设置为(F01)/v′，像素值C3被设置为(F01+F02)/v′，像素值C04被设置为(F01+F02+F03)/v′，而像素值C05被设置为(F02+F03+F04)/v′。
该运动模糊加法器806把其中运动模糊量被调整的该前景成分图像提供到选择器807。
根据反映用户选择的选择信号，选择器807在从计算器805提供的消除了运动模糊的前景成分图像和从运动模糊加法器806提供的调整了运动模糊量的前景成分图像中选择之一，并且输出该选择的前景成分图像。
如上述讨论，运动模糊调整单元106能够根据选择信号和运动模糊被调整的量v′而调整运动模糊量。
而且，例如当对应于处理的单元的像素的数量是8、运动量v是4时，如图76所示，该运动模糊调整单元106产生由方程式(106)表示的矩阵方程。
4 3 2 1 0 3 4 3 2 1 2 3 4 3 2 1 2 3 4 3 0 1 2 3 4 F 01 F 02 F 03 F 04 F 05 = v · Σ i = 05 08 Ci Σ i = 04 07 Ci Σ i = 03 06 Ci Σ i = 02 05 Ci Σ i = 01 04 Ci - - - ( 106 )
以此方式，通过根据该处理的单元的长度而建立该方程式，运动模糊调整单元106计算像素值Fi，该像素值中的运动模糊量被调整。类似地，比如，当包含在处理的单元中的像素的数量是100时，产生对应于100个像素的方程式以便计算Fi。
图77示出运动模糊调整单元106的另一结构的实例。与图71所示相同的部分用一样的参考数字表示，因此省略其说明。
根据一个选择信号，选择器821直接把输入运动矢量和其位置的信号提供到处理单元确定部分801和模式形成部分802。另外选择器821可以用调整运动模糊的量v’代替运动矢量的幅值，随后把运动矢量和其位置信号提供到处理单元确定部分801和模式形成单元802。
据此设计，图77所示的该运动模糊调整单元106的计算器805和处理单元确定部分801能够根据运动量v和调整运动模糊的量v′调整运动模糊量。例如，当运动量v是5、运动模糊调整量v’是3时，根据图75所示的其中运动模糊调整量v’是3的模式，图77所示的运动模糊调整单元106的处理单元确定部分801至计算器805对于图73所示运动量v是5的前景成分图像执行计算。结果是，获得包含具有(运动量v)/(运动模糊调整量v’)＝5/3的即大约1.7的运动量v的运动模糊的图像。在此情况中，该计算的图像不包括对应于运动量v是3的运动模糊。因此，应该指出，运动量v和运动模糊被调整的量v’之间的关系不同于该运动模糊加法器806的结果。
如上述讨论，该运动模糊调整单元106根据运动量v和处理的单元产生该方程式，并且在该产生的方程式中设置前景成分图像的像素值，从而计算其中的运动模糊量被调整的前景成分图像。
下面参考图78的流程图描述由该运动模糊调整单元106执行的用于调整包含在该前景成分图像中的运动模糊量的处理。
在步骤S801中，运动模糊调整单元106的处理单元确定部分801根据该运动矢量和区域信息产生处理的单元，并且把该产生的处理的单元提供到模式形成部分802。
在步骤S802中，运动模糊调整单元106的模式形成部分802根据运动量v和处理的单元，选择或产生该模式。在步骤S803中，方程式产生器803根据该选择的模式产生法方程。
在步骤S804中，加法器804在产生的法方程中设置该前景成分图像的像素值。在步骤S805中，加法器804确定是否设置了对应于处理单元的全部像素的像素值。如果其确定还没有设置对应于该处理单元的全部像素的像素值，则处理返回到步骤S804，重复用于在该法方程中设置该像素值的处理。
如果在步骤S805中确定设置了对应于该处理单元的全部像素的像素值，则处理进到步骤S806。在步骤S806中，计算器805根据其中设置了从加法器804提供的像素值的法方程而计算其中运动模糊量被调整的该前景的像素值。然后结束该处理。
如上述讨论，运动模糊调整单元106能够根据运动矢量和区域信息来调整包含运动模糊的该前景的运动模糊量。
即，其有可能调整包含在像素值中的、即包含在采样数据中的运动模糊量。
如上面描述内容可见，图2所示的信号处理设备能够调整包含在该输入图像中的运动模糊量。如图2所示构成的信号处理设备能够计算作为嵌入信息的混合比α，并且输出该计算的混合比α。
图79是说明运动模糊调整单元106的结构的另一实例的框图。从运动检测器102提供的运动矢量和其位置信息被提供到处理单元确定部分901和调整部分905。从区域指定单元103提供的区域信息被提供到该处理单元确定部分901。从该前景/背景分离器105提供的前景成分图像被提供到计算器904。
处理单元确定部分901把根据运动矢量和其位置信息以及区域信息产生的处理单元连同运动矢量一起提供到模式形成部分902。
模式形成部分902根据运动矢量和输入的处理单元形成一个模式。更具体地说，该模式形成部分902例如可以根据在处理的单元中包含的像素数量、在时间方向上虚拟划分的像素值的部分的数量和每个像素的前景成分的数量预先存储多个模式。该模式形成部分902随即可以根据该处理的单元和在时间方向上虚拟分割的像素值的部分的数量而选择其中指定了该像素值和前景成分之间的相关性的模式，例如在图80中的模式。
例如现在假设与处理的单元对应的像素的数量是12，并且假设运动量v是5。随后，模式形成部分902把虚拟划分部分的数量设置到5，并且选择由八个前景成分类型形成的一个模式，使得最左边的像素包含1个前景成分，从左边算起的第2像素包括两个前景成分，从左边算起的第3像素包括3个前景成分，从左边算起的第4像素包括4个前景成分，从左边算起的第5像素包括5个前景成分，从左边算起的第6像素包括5个前景成分，从左边算起的第7像素包括5个前景成分，从左边算起的第8像素包括5个前景成分，从左边算起的第9像素包括4个前景成分，从左边算起的第10像素包括3个前景成分，从左边算起的第11像素包括两个前景成分，从左边算起的第12像素包括1个前景成分。
当提供运动矢量和处理的单元时，模式形成部分902可以不从该预先存储模式中选择模式，而是根据该运动矢量和处理的单元产生一个模式。
方程式发生器903根据从模式形成部分902提供的模式产生方程式。
现在参考图80至82所示的前景成分图像描述该方程式发生器903产生的方程式的一个实例，其中前景成分的数量是8、对应于处理的单元的像素的数量是12而运动量v是5。
如上所述，当包含在与快门时间/v对应的前景成分图像中的前景成分是F01/v至F08/v时，F01/v至F08/v与像素值C01至C12之间的关系能够由方程式(74)至(85)表示。
考虑像素值C12和C11，像素值C12仅包含前景成分F08/v，如方程式(107)表示，而像素值C11包括该前景成分F08/v和前景成分F07/v的乘积和。因此，前景成分F07/v可见于方程式(108)。
F08/v＝C12                                (107)
F07/v＝C11-C12                            (108)
类似地，考虑包含在像素值C10至C01中的前景成分，该前景成分F06/v到F01/v可分别见于方程式(109)至(114)。
F06/v＝C10-C11                            (109)
F05/v＝C09-C10                            (110)
F04/v＝C08-C09                            (111)
F03/v＝C07-C08+C12                        (112)
F02/v＝C06-C07+C11-C12                    (113)
F01/v＝C05-C06+C10-C11                    (114)
如方程式(107)至(114)的实例所示，方程式发生器903利用像素值之间差值产生用于计算该前景成分的方程式。方程式发生器903把产生的该法方程提供到计算器904。
计算器904在从方程式产生器903提供的方程式中设置前景成分图像的像素值，以便根据其中设置了像素值的方程式而获得该前景成分。例如，当从方程式产生器903提供方程式(107)至(114)时，计算器904在方程式(107)至(114)中设置像素值C05至C12。
计算器904根据其中设置了像素值的方程式计算该前景成分。例如，根据其中设置了像素值C05至C12的方程式(107)至(114)的计算，该计算器904计算该前景成分F01/v至F08/v，如图81所示。计算器904把该前景成分F01/v至F08/v提供到调整部分905。
调整部分905把从计算器904提供的前景成分与从该处理单元确定部分901提供的运动矢量中包含的运动量v相乘，以便获得消除了运动模糊的前景像素值。例如，当从计算器904提供该前景成分F01/v至F08/v时，该调整部分905把前景成分F01/v至F08/v的每一个与运动量v，即5，相乘，以便获得其运动模糊被消除的前景像素值F01至F08，如图82所示。
调整部分905把由如上所述没有计算运动模糊的前景像素值构成的前景成分图像提供到运动模糊加法器906和选择器907。
通过使用运动模糊被调整的量v′，运动模糊加法器906能够调整运动模糊量，量v′不同于运动量v，比如运动模糊被调整的量v′是运动量v的值的一半，或运动模糊被调整的量v′与运动量v无关。例如，如图75所示，运动模糊加法器906通过量v′划分没有运动模糊的前景像素值Fi，由此调整运动模糊，以便获得前景成分Fi/v′。运动模糊加法器906随后计算该前景成分Fi/v’的取和，从而产生其中的运动模糊量被调整的像素值。例如，当运动模糊被调整的量v′是3时，像素值C02被设置为(F01)/v′，像素值C3被设置为(F01+F02)/v′，像素值C04被设置为(F01+F02+F03)/v′，而像素值C05被设置为(F02+F03+F04)/v′。
该运动模糊加法器906把其中运动模糊量被调整的该前景成分图像提供到选择器907。
根据反映用户选择的选择信号，选择器907在从调整部分905提供的消除了运动模糊的前景成分图像或从运动模糊加法器906提供的调整了运动模糊量的前景成分图像中选择之一，并且输出该选择的前景成分图像。
如上述讨论，运动模糊调整单元106能够根据选择信号和运动模糊被调整的量v′而调整运动模糊量。
下面参照图83的流程图描述由图79中所示构成的运动模糊调整单元106执行的调整前景的运动模糊量的处理。
在步骤S901中，运动模糊调整单元106的处理单元确定部分901根据该运动矢量和区域信息产生处理的单元，并且把该产生的处理的单元提供到模式形成部分902和调整部分905。
在步骤S902中，运动模糊调整单元106的模式形成部分902根据运动量v和处理的单元，选择或产生该模式。在步骤S903中，根据选择的或产生的模式，方程式产生器903利用在前景成分图像的像素值之间的差值产生用于计算该前景成分的方程式。
在步骤S904中，计算器904在该产生的方程式中设置前景成分图像的像素值，并且根据其中设置了像素值的方程式，通过使用在该像素值之间的差值而提取该前景成分。在步骤S905中，计算器904确定是否已经提取了对应于处理的单元的全部前景成分。如果确定其尚未提取对应于处理的单元的全部前景成分，则处理返回到步骤S904，重复提取该前景成分的处理。
如果在步骤S905中确定已经提取了与该处理的单元对应的全部前景成分，则该处理进到步骤S906。在步骤S906中，调整部分905根据运动量v调整从计算器904提供的前景成分F01/v至F08/v的每一个，以便获得被消除了运动模糊的前景像素值F01/v至F08/v。
在步骤S907中，运动模糊加法器906计算调整了运动模糊量的前景像素值，并且该选择器907选择没有运动模糊的图像或其中调整了运动模糊量的图像，并且输出该选择的图像。然后结束该处理。
如上所述，如图79所示构成的运动模糊调整单元106能够根据更简单的计算而更迅速地调整包括运动模糊的前景图像的运动模糊。
当使用在理想状态中时，用于局部消除运动模糊的已知技术，例如维纳(Wiener)滤波器是有效的，但是对于量化的并且包含噪音的实际图像来说是不足够的。相比之下，如图79所示构成的运动模糊调整单元106对被量化和包含噪音的实际图像来说证明是足以有效的。因此有可能以高精度消除运动模糊。
图84是说明该信号处理设备的功能的另一结构的框图。
类似于图2所示相同的部分用相同的参考数字表示，因此省略其说明。
该区域指定单元103把区域信息提供到该混合比计算器104和合成器1001。
该混合比计算器104把混合比α提供到该前景/背景分离器105和合成器1001。
该前景/背景分离器105把该前景成分图像提供到该合成器1001。
根据从混合比计算器104提供的混合比α和从区域指定单元103提供的区域信息，合成器1001把一个确定的背景图像与从前景/背景分离器105提供的前景成分图像组合，并且输出其中组合了该确定背景图像和该前景成分图像的该合成图像。
图85示出该合成器1001的结构。根据该混合比α和一个确定的背景图像，背景成分产生器1021产生背景成分图像，并且把该背景成分图像提供到混合区域图像合成部分1022。
该混合区域图像合成部分1022把从该背景成分产生器1021提供的背景成分图像与该前景成分图像组合，以便产生混合区域合成图像，并且把该产生的混合区域合成图像提供到图像合成部分1023。
根据该区域信息，图像合成器1023组合该前景成分图像、从该混合区域图像合成部分1022提供的混合区域合成图像、以及确定的背景图像，以便产生并且输出合成图像。
如上述讨论，该合成器1001能够把前景成分图像与一个确定的背景图像进行组合。
根据属于是特征量的该混合比α通过把前景成分图像与确定背景图像相组合而获得的图像比通过简单地组合像素而获得的图像看上去更自然。
图86是表示用于调整运动模糊量的信号处理设备的功能的另一结构的框图。图2所示的信号处理设备顺序地执行区域指定操作和对于混合比α的计算。相比之下，图86所示的信号处理设备同时地执行区域指定操作和对于混合比α的计算。
与图2所示框图中相类似的功能元件用相同的参考数字表示，因此省略其说明。
输入图像被提供到混合比计算器1101、前景/背景分离器1102、区域指定单元103和目标提取单元101。
根据该输入图像，该混合比计算器1101计算当假设输入图像中包含的每一像素都属于该覆盖的背景区域时的估计混合比，以及当假设输入图像中包含的每一像素都属于该未覆盖的背景区域时的估计混合比，并且把如上所述计算的该估计的混合比提供到该前景/背景分离器1102。
图87是说明该混合比计算器1101的结构实例的框图。
图87所示的估计混合比处理器401与图46所示的估计混合比处理器401相同。图87所示的估计混合比处理器402与图46所示的估计混合比处理器402相同。
通过根据输入图像计算对应于该覆盖的背景区域的一个模式，该估计混合比处理器401计算每一像素的估计的混合比，并且输出该计算的估计混合比。
通过根据输入图像计算对应于该未覆盖的背景区域的一个模式，该估计混合比处理器402计算每一像素的估计的混合比，并且输出该计算的估计混合比。
根据从混合比计算器1101提供的当假设该像素属于该覆盖的背景区域时计算的该估计的混合比、从混合比计算器1101提供的当假设该像素属于该未覆盖的背景区域时计算的该估计的混合比、以及从区域指定单元103提供的区域信息，该前景/背景分离器1102从该输入图像产生该前景成分图像，并且把该产生的前景成分图像提供到运动模糊调整单元106和选择器107。
图88是说明该前景/背景分离器1102的结构实例的框图。
类似于图63所示的前景/背景分离器105的那些元件用相同的参考数字表示，因此省略其说明。
根据从区域指定单元103提供的区域信息，选择器1121选择从混合比计算器1101提供的当假设该像素属于覆盖的背景区域时计算的该估计的混合比、或从混合比计算器1101提供的当假设该像素属于未覆盖的背景区域时计算的该估计的混合比，并且把该选择的估计的混合比提供到该分离部分601作为混合比α。
根据从选择器1121提供的混合比α和区域信息，分离部分601从属于该混合区域的像素的像素值中提取前景成分和背景成分，并且把该提取的前景成分提供到合成器603，并且还把该背景成分提供到合成器605。
分离部分601的构成可以类似于图68示出的相应部分。
合成器603合成该前景成分图像并且输出该合成的图像。合成器605合成该背景成分图像并且输出该合成的图像。
图86中所示的运动模糊调整单元106的构成可以类似于图2中所示的运动模糊调整单元。根据该区域信息和运动矢量，运动模糊调整单元106调整包含在从前景/背景分离器1102提供的前景成分图像中的运动模糊量，并且输出其中调整了运动模糊量的前景成分图像。
根据例如反映用户的选择的选择信号，图86所示的选择器107选择从前景/背景分离器1102提供的前景成分图像或从运动模糊调整单元106提供的其中的运动模糊量被调整的前景成分图像，并且输出该选择的前景成分图像。
如上述讨论，图86所示的信号处理设备能够调整包含在与输入图像的前景目标对应的一个图像中的运动模糊量，并且输出该产生的前景目标图像。如在第一实施例中那样，如图86所示构成的信号处理设备能够计算作为嵌入信息的混合比α，并且输出该计算的混合比α。
图89示出对于把前景成分图像与一个确定的背景图像组合的信号处理设备的另一功能结构的框图。图84所示的信号处理设备以串行方式执行区域指定操作以及混合比α的计算。相比之下，图89所示的信号处理设备以并行方式执行区域指定操作以及混合比α的计算。
与图86所示框图表示的相类似的功能元件用相同的参考数字表示，因此省略其说明。
根据该输入图像，图89所示的混合比计算器1101计算当假设输入图像中包含的每一像素都属于该覆盖的背景区域时的估计混合比，以及当假设输入图像中包含的每一像素都属于该未覆盖的背景区域时的估计混合比，并且把如上所述计算的该估计的混合比提供到该前景/背景分离器1102和合成器1201。
根据从混合比计算器1101提供的当假设该像素属于该覆盖的背景区域时计算的该估计的混合比、从混合比计算器1101提供的当假设该像素属于该未覆盖的背景区域时计算的该估计的混合比、以及从区域指定单元103提供的区域信息，图89所示的前景/背景分离器1102从该输入图像产生该前景成分图像，并且把该产生的前景成分图像提供到合成器1201。
根据从混合比计算器1101提供的当假设该像素属于该覆盖的背景区域时计算的该估计的混合比、从混合比计算器1101提供的当假设该像素属于该未覆盖的背景区域时计算的该估计的混合比、以及从区域指定单元103提供的区域信息，该合成器1201把一个确定的背景图像与从该前景/背景分离器1102提供的前景成分图像相组合，并且输出该其中组合了该确定的背景图像和该前景成分图像的合成图像。
图90示出该合成器1201的结构。与图85框图类似的那些功能组件用相同的参考数字表示，并且因此省略其说明。
根据从区域指定单元103提供的区域信息，选择器1221选择从混合比计算器1101提供的当假设该像素属于覆盖的背景区域时计算的该估计的混合比、或从混合比计算器1101提供的当假设该像素属于未覆盖的背景区域时计算的该估计的混合比，并且把该选择的估计的混合比提供到该背景成分产生器1021作为混合比α。
图90所示的背景成分产生器1021根据从选择器1221提供的该混合比α和确定的背景图像而产生背景成分图像，把该背景成分图像提供到混合区域图像合成部分1022。
图90所示的该混合区域图像合成部分1022把从该背景成分产生器1021提供的背景成分图像与该前景成分图像组合，以便产生该混合区域合成图像，并且把该产生的混合区域合成图像提供到该图像合成部分1023。
根据该区域信息，图像合成部分1023把前景成分图像、从该混合区域图像合成部分1022提供的混合区域合成图像以及该背景图像相组合，以便产生并且输出合成的图像。
以此方式，该合成器1201能够把前景成分图像与一个确定的背景图像组合。
上面已经讨论了通过设置混合比α为包含在像素值中的背景成分的比例的实施例。但是，该混合比α可被设置为包含在该像素值中的前景成分的比例。
上面已经讨论了通过设置前景目标的移动方向为从左到右的方向的实施例。然而，该运动方向并不局限于上述方向。
在上述描述中，通过使用摄像机，把具有三维空间和时间轴信息的一个实际空间图像投影在具有二维空间和时间轴信息的一个时间-空间上。然而本发明并不局限于此实例，并且能够被用于下列情况。当一维空间中的大量的第一信息被投影在一个二维空间中的较小量的第二信息上时，能够校正由该投影产生的失真，能够提取重要的信息，或能够合成一个更自然的图像。
在此处使用的传感器不局限于CCD，可以是其它类型的传感器，例如固态图像捕获装置，例如BBD(斗链器件(Bucket Bridge Device))、CID(电荷注入器件)或CPD(电荷栅偏(priming)器件)或CM0S(互补金属-氧化物半导体电路)。而且，该检测器不必须是其中的检测器件以矩阵排列的传感器，而可以是其中的检测器件被以行排列的传感器。
其中记录有用于执行本发明信号处理的程序的记录介质可以由其中记录了程序的封装介质组成，如图1所示，其被分配用于把程序提供到与计算机分离的用户，例如磁盘51(包括软(注册商标)磁盘)、光盘52(CD-ROM(致密盘-只读存储器)和DVD(数字通用盘))、磁光盘53(包括MD(小型盘)(注册商标))、或半导体存储器54。记录介质也可以由包含在存储单元28中的ROM 22或硬盘组成，其中记录了该程序，这种记录介质被提供给用户而被预先存储在该计算机。
形成记录在记录介质中的程序的步骤可以根据说明书描述的次序顺序地执行。但是，它们不必须以时间顺序的方式执行，而是可以同时或分别地执行。
工业上实用性
根据本发明，能够检测其中出现混合的一个区域。

Claims (30)

1.一种图像处理设备，从由图像捕获器件获得的预定数量像素数据段组成的图像数据中检测混合区域，该像素数据段包括预定数量的具有时间积分功能的像素，该混合区域以其中前景分量和背景分量被混合在实景中的像素数据而被获得，所说的图像处理设备包括：
运动补偿装置，用于补偿从该图像数据产生的区域指定目标的运动；和
区域检测装置，用于根据在相邻运动补偿的帧中的相应位置的像素数据之间的差值检测该混合区域。
2.根据权利要求1的图像处理设备，其中当该差值大于或等于阈值时，所说的区域检测装置检测至少该像素数据所属的该混合区域。
3.根据权利要求2的图像处理设备，其中所说的区域检测装置根据该检测的混合区域的时间的变化进一步检测其中与前景对应的目标的前景目标成分随着时间增加的覆盖的背景区域以及其中与背景对应的目标的背景目标成分随着时间增加的未覆盖的背景区域。
4.根据权利要求2的图像处理设备，其中所说的区域检测装置根据与每一个帧中的像素数据对应的运动矢量进一步检测其中与前景对应的目标的前景目标成分随着时间增加的覆盖的背景区域以及其中与背景对应的目标的背景目标成分随着时间增加的未覆盖的背景区域。
5.根据权利要求4的图像处理设备，进一步包括用于检测该运动矢量的运动矢量检测装置。
6.根据权利要求1的图像处理设备，进一步包括混合比计算装置，用于计算指示其中背景分量和前景分量被混合在该像素数据中的状态的混合比。
7.根据权利要求6的图像处理设备，进一步包括分离装置，用于根据该混合比从该混合区域的像素数据中至少分离出与前景对应的目标的前景目标成分。
8.根据权利要求7的图像处理设备，进一步包括运动模糊调整装置，用于调整在该分离的前景目标成分中的运动模糊量。
9.根据权利要求7的图像处理设备，进一步包括合成装置，用于根据该混合比把背景目标与该分离的前景目标成分合成。
10.根据权利要求1的图像处理设备，其中所说的运动补偿装置通过移动围绕指定帧的周边帧而执行运动补偿，使得在该指定帧中的多个目标的背景目标被放置在与该周边帧中的背景目标的相同的像素位置；和
所说的区域检测装置根据在该指定帧和该运动补偿的周边帧中的相应位置的像素数据之间的差值而至少检测该混合区域。
11.一种图像处理方法，从由图像捕获器件获得的预定数量像素数据段组成的图像数据中检测混合区域，该像素数据段包括预定数量的具有时间积分功能的像素，该混合区域以其中前景分量和背景分量被混合在实景中的像素数据而被获得，所说的图像处理方法包括：
运动补偿步骤，补偿从图像数据产生的区域指定目标的运动；和
区域检测步骤，根据在该相邻运动补偿的帧中的相应位置的像素数据之间的差值检测该混合区域。
12.根据权利要求11的图像处理方法，其中，在所说的区域检测步骤中，当所说的差值大于或等于阈值时，检测至少像素数据所属的混合区域。
13.根据权利要求12的图像处理方法，其中，在所说的区域检测步骤中，根据该检测的混合区域的时间变化，进一步检测其中的与前景对应的目标的前景目标成分随着时间增加的覆盖的背景区域以及其中的与背景对应的目标的背景目标成分随着时间增加的未覆盖的背景区域。
14.根据权利要求12的图像处理方法，其中，在所说的区域检测步骤中，根据与每一帧中的像素数据对应的运动矢量，进一步检测其中的与前景对应的目标的前景目标成分随着时间增加的覆盖的背景区域以及其中的与背景对应的目标的背景目标成分随着时间增加的未覆盖的背景区域。
15.根据权利要求14的图像处理方法，进一步包括用于检测该运动矢量的运动矢量检测步骤。
16.根据权利要求11的图像处理方法，进一步包括混合比计算步骤，计算指示其中背景分量和前景分量被混合在该像素数据中的状态的混合比。
17.根据权利要求16的图像处理方法，进一步包括分离步骤，用于根据该混合比从该混合区域的像素数据中至少分离出与前景对应的目标的前景目标成分。
18.根据权利要求17的图像处理方法，进一步包括运动模糊调整步骤，调整在该分离的前景目标成分中的运动模糊量。
19.根据权利要求17的图像处理方法，进一步包括合成步骤，根据该混合比把背景目标与该分离的前景目标成分合成。
20.根据权利要求11的图像处理方法，其中，在所说的运动补偿步骤中，通过移位围绕指定帧的周边帧来执行运动补偿，使得在该指定帧中的多个目标的背景目标被放置在与该周边帧中的背景目标相同的像素位置；以及
在所说的区域检测步骤中，根据在该指定帧和该运动补偿的周边帧中的相应位置的像素数据之间的差值而至少检测该混合区域。
21.一个图像捕获设备包括：
图像捕获装置，用于输出由图像捕获部件所捕获的包括预定数量的像素的目标图像，作为由预定数量像素数据段形成的图像数据，该像素具有时间积分功能；
运动补偿装置，用于补偿从该图像数据产生的区域指定目标的运动；以及
区域检测装置，根据在相邻运动补偿的帧中的相应位置的像素数据之间的差值，以其中前景分量和背景分量被混合在实景中的像素数据从该图像数据中检测混合区域。
22.根据权利要求21的图像捕获设备，其中当该差值大于或等于阈值时，所说的区域检测装置检测至少该像素数据所属的该混合区域。
23.根据权利要求22的图像捕获设备，其中所说的区域检测装置根据该检测的混合区域的时间的变化进一步检测其中与前景对应的目标的前景目标成分随着时间增加的覆盖的背景区域以及其中与背景对应的目标的背景目标成分随着时间增加的未覆盖的背景区域。
24.根据权利要求22的图像捕获设备，其中所说的区域检测装置根据与每一个帧中的像素数据对应的运动矢量进一步检测其中与前景对应的目标的前景目标成分随着时间增加的覆盖的背景区域以及其中与背景对应的目标的背景目标成分随着时间增加的未覆盖的背景区域。
25.根据权利要求24的图像捕获设备，进一步包括用于检测该运动矢量的运动矢量检测装置。
26.根据权利要求21的图像捕获设备，进一步包括混合比计算装置，用于计算指示其中背景分量和前景分量被混合在该像素数据中的状态的混合比。
27.根据权利要求26的图像捕获设备，进一步包括分离装置，用于根据该混合比从该混合区域的像素数据中至少分离出与前景对应的目标的前景目标成分。
28.根据权利要求27的图像捕获设备，进一步包括运动模糊调整装置，用于调整在该分离的前景目标成分中的运动模糊量。
29.根据权利要求27的图像捕获设备，进一步包括合成装置，用于根据该混合比把背景目标与该分离的前景目标成分合成。
30.根据权利要求21的图像捕获设备，其中所说的运动补偿装置通过移动围绕指定帧的周边帧而执行运动补偿，使得在该指定帧中的多个目标的背景目标被放置在与该周边帧中的背景目标的相同的像素位置；以及
所说的区域检测装置根据在该指定帧和该运动补偿的周边帧中的相应位置的像素数据之间的差值而至少检测该混合区域。
CNB028027523A 2001-06-20 2002-06-19 图像处理设备和方法,以及图像捕获设备 Expired - Fee Related CN1313974C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP186407/01 2001-06-20
JP2001186407A JP4596216B2 (ja) 2001-06-20 2001-06-20 画像処理装置および方法、記録媒体、並びにプログラム
JP186407/2001 2001-06-20

Publications (2)

Publication Number Publication Date
CN1471691A CN1471691A (zh) 2004-01-28
CN1313974C true CN1313974C (zh) 2007-05-02

Family

ID=19025856

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028027523A Expired - Fee Related CN1313974C (zh) 2001-06-20 2002-06-19 图像处理设备和方法,以及图像捕获设备

Country Status (7)

Country Link
US (1) US7612909B2 (zh)
EP (1) EP1408451B1 (zh)
JP (1) JP4596216B2 (zh)
KR (1) KR100864338B1 (zh)
CN (1) CN1313974C (zh)
CA (1) CA2419670C (zh)
WO (1) WO2003001452A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4432274B2 (ja) * 2001-04-12 2010-03-17 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596219B2 (ja) * 2001-06-25 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP1798689B1 (en) * 2001-06-26 2008-12-03 Sony Corporation Image processing apparatus and method, and image-capturing apparatus
JP4596225B2 (ja) * 2001-06-27 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596220B2 (ja) 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4217174B2 (ja) * 2004-02-13 2009-01-28 パナソニック株式会社 動画符号化装置および動画符号化方法
WO2005079062A1 (ja) * 2004-02-13 2005-08-25 Sony Corporation 画像処理装置と画像処理方法およびプログラム
KR20060119707A (ko) * 2004-02-13 2006-11-24 소니 가부시끼 가이샤 화상 처리 장치와 화상 처리 방법 및 프로그램
US7483551B2 (en) * 2004-02-24 2009-01-27 Lockheed Martin Corporation Method and system for improved unresolved target detection using multiple frame association
WO2005093654A2 (en) 2004-03-25 2005-10-06 Fatih Ozluturk Method and apparatus to correct digital image blur due to motion of subject or imaging device
US7561186B2 (en) 2004-04-19 2009-07-14 Seiko Epson Corporation Motion blur correction
JP2006092156A (ja) * 2004-09-22 2006-04-06 Namco Ltd プログラム、情報記憶媒体及び画像生成装置
WO2006068289A1 (ja) * 2004-12-21 2006-06-29 Sony Corporation 学習装置と学習方法および学習プログラム
WO2006068293A1 (ja) * 2004-12-21 2006-06-29 Sony Corporation 画像処理装置と画像処理方法および画像処理プログラム
WO2006068292A1 (ja) * 2004-12-21 2006-06-29 Sony Corporation 画像処理装置と画像処理方法および画像処理プログラム
KR20060073040A (ko) * 2004-12-24 2006-06-28 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP4618058B2 (ja) * 2005-09-01 2011-01-26 株式会社日立製作所 背景画像生成方法とその装置及び画像監視システム
US8306336B2 (en) * 2006-05-17 2012-11-06 Qualcomm Incorporated Line or text-based image processing tools
JP4939890B2 (ja) * 2006-10-02 2012-05-30 株式会社東芝 映像符号化装置、映像復号化装置及び映像復号化方法
CN101184235B (zh) * 2007-06-21 2010-07-28 腾讯科技（深圳）有限公司 一种从运动图像中提取背景图像的实现方法及装置
JP4404116B2 (ja) * 2007-08-14 2010-01-27 セイコーエプソン株式会社 画像処理回路、表示装置及び印刷装置
JP4507129B2 (ja) * 2008-06-06 2010-07-21 ソニー株式会社 追尾点検出装置および方法、プログラム、並びに記録媒体
JP4613990B2 (ja) * 2008-07-31 2011-01-19 ソニー株式会社 画像処理装置、画像処理方法、プログラム
TWI490819B (zh) * 2009-01-09 2015-07-01 Mstar Semiconductor Inc 影像處理方法及其裝置
JP5429911B2 (ja) * 2009-12-22 2014-02-26 トムソン ライセンシング 立体映像のデジタル映画に於ける最適な動き再生のための方法と装置
JP4915468B2 (ja) * 2010-08-30 2012-04-11 ソニー株式会社 画像処理装置、画像処理方法、プログラム
KR20150078275A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 움직이는 피사체 촬영 장치 및 방법
US9652833B2 (en) * 2014-03-18 2017-05-16 Honeywell International, Inc. Point spread function estimation for motion invariant images
CN105261032B (zh) * 2014-05-27 2019-05-07 诺基亚技术有限公司 用于处理视频文件中的视频帧的方法和装置
US10147218B2 (en) * 2016-09-29 2018-12-04 Sony Interactive Entertainment America, LLC System to identify and use markers for motion capture
KR101881391B1 (ko) * 2018-03-09 2018-07-25 한화에어로스페이스 주식회사 객체의 특성 정보를 반영하여 프라이버시 마스킹을 수행하는 영상 마스킹 장치
US11301966B2 (en) 2018-12-10 2022-04-12 Apple Inc. Per-pixel filter
US11080861B2 (en) * 2019-05-14 2021-08-03 Matterport, Inc. Scene segmentation using model subtraction
JP7446756B2 (ja) * 2019-10-02 2024-03-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN113129227A (zh) * 2021-03-29 2021-07-16 影石创新科技股份有限公司 图像处理方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05153493A (ja) * 1991-11-27 1993-06-18 Matsushita Electric Ind Co Ltd 映像信号合成装置
JPH07336688A (ja) * 1994-06-06 1995-12-22 Nippon Hoso Kyokai <Nhk> アンカバー領域の検出方法
JPH10164436A (ja) * 1996-12-04 1998-06-19 Sony Corp 輪郭抽出装置、輪郭抽出方法、キー信号生成装置及びキー信号生成方法
WO1998036577A1 (en) * 1997-02-14 1998-08-20 Nippon Telegraph And Telephone Corporation Predictive coding method and decoding method for dynamic image
EP0933727A2 (en) * 1998-01-29 1999-08-04 Canon Kabushiki Kaisha Image information processing apparatus and its method

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2231752B (en) * 1989-04-27 1993-08-04 Sony Corp Motion dependent video signal processing
EP0497586A3 (en) * 1991-01-31 1994-05-18 Sony Corp Motion detection circuit
JP3123130B2 (ja) * 1991-06-28 2001-01-09 ソニー株式会社 動きベクトル検出装置
JP3036287B2 (ja) * 1992-12-15 2000-04-24 富士ゼロックス株式会社 動画像シーン検出装置
US5499057A (en) * 1993-08-27 1996-03-12 Sony Corporation Apparatus for producing a noise-reducded image signal from an input image signal
KR100235344B1 (ko) * 1994-12-29 1999-12-15 전주범 영역 분할 부호화 방식의 전경/배경 화상 선택 장치
DE69625313T2 (de) * 1995-05-12 2003-10-16 Sony Corp Vorrichtung zur erzeugung von stanzsignalen, vorrichtung zur bilderstellung, verfahren zur erzeugung von stanzsignalen und verfahren zur bilderstellung
JP2952226B2 (ja) * 1997-02-14 1999-09-20 日本電信電話株式会社 動画像の予測符号化方法および復号方法、動画像予測符号化または復号プログラムを記録した記録媒体、および、動画像予測符号化データを記録した記録媒体
JP2000030040A (ja) * 1998-07-14 2000-01-28 Canon Inc 画像処理装置及びコンピュータ読み取り可能な記憶媒体
JP2000331156A (ja) 1999-05-17 2000-11-30 Internatl Business Mach Corp <Ibm> 輪郭に沿うトラッカを自動的に決定するための方法、及び該方法を実施するプログラムを記憶した記憶媒体
JP4608715B2 (ja) 1999-12-24 2011-01-12 Ｄｉｃ株式会社 ポリアリーレンスルフィドの製造方法
JP2001181396A (ja) 1999-12-24 2001-07-03 Jsr Corp シロキサン変性重合体粒子およびその製造方法
JP4507045B2 (ja) * 2000-12-21 2010-07-21 ソニー株式会社 信号処理装置および方法、並びに記録媒体
EP1852823B1 (en) * 1999-12-28 2011-07-27 Sony Corporation Signal processing method and apparatus and recording medium
JP4507044B2 (ja) * 2000-12-21 2010-07-21 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP4479098B2 (ja) * 2000-12-21 2010-06-09 ソニー株式会社 信号処理装置および方法、並びに記録媒体
JP4491965B2 (ja) * 1999-12-28 2010-06-30 ソニー株式会社 信号処理装置および方法、並びに記録媒体
JP3603737B2 (ja) * 2000-03-30 2004-12-22 日本電気株式会社 移動体追尾方法及びその装置
KR100780516B1 (ko) * 2000-08-07 2007-11-29 소니 가부시끼 가이샤 화상 처리 장치 및 방법, 및 기록 매체
JP4106874B2 (ja) * 2001-02-05 2008-06-25 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP4596203B2 (ja) * 2001-02-19 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596209B2 (ja) * 2001-06-05 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596215B2 (ja) * 2001-06-19 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596212B2 (ja) * 2001-06-15 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596211B2 (ja) * 2001-06-15 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596214B2 (ja) * 2001-06-15 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4660979B2 (ja) * 2001-06-15 2011-03-30 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596213B2 (ja) * 2001-06-15 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7715643B2 (en) 2001-06-15 2010-05-11 Sony Corporation Image processing apparatus and method, and image pickup apparatus
JP4660980B2 (ja) * 2001-06-15 2011-03-30 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596219B2 (ja) * 2001-06-25 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05153493A (ja) * 1991-11-27 1993-06-18 Matsushita Electric Ind Co Ltd 映像信号合成装置
JPH07336688A (ja) * 1994-06-06 1995-12-22 Nippon Hoso Kyokai <Nhk> アンカバー領域の検出方法
JPH10164436A (ja) * 1996-12-04 1998-06-19 Sony Corp 輪郭抽出装置、輪郭抽出方法、キー信号生成装置及びキー信号生成方法
WO1998036577A1 (en) * 1997-02-14 1998-08-20 Nippon Telegraph And Telephone Corporation Predictive coding method and decoding method for dynamic image
EP0933727A2 (en) * 1998-01-29 1999-08-04 Canon Kabushiki Kaisha Image information processing apparatus and its method

Also Published As

Publication number Publication date
CN1471691A (zh) 2004-01-28
EP1408451A4 (en) 2010-11-17
CA2419670A1 (en) 2003-01-03
KR100864338B1 (ko) 2008-10-17
EP1408451B1 (en) 2012-01-18
JP4596216B2 (ja) 2010-12-08
CA2419670C (en) 2013-04-02
US7612909B2 (en) 2009-11-03
WO2003001452A1 (fr) 2003-01-03
EP1408451A1 (en) 2004-04-14
KR20030028577A (ko) 2003-04-08
US20040081335A1 (en) 2004-04-29
JP2003006650A (ja) 2003-01-10

Similar Documents

Publication Publication Date Title
CN1313974C (zh) 图像处理设备和方法,以及图像捕获设备
CN1248162C (zh) 图像处理设备和方法、以及图像拍摄设备
CN1251148C (zh) 图像处理设备
CN1293517C (zh) 图像处理装置及方法、图像拾取装置
CN1237488C (zh) 图像处理设备和方法以及图像拾取设备
CN1248163C (zh) 图像处理设备和方法
CN1465196A (zh) 图像处理设备和方法、以及图像拍摄设备
CN1248164C (zh) 图像处理设备和方法、以及图像拍摄设备
CN1269075C (zh) 图像处理设备
CN1241147C (zh) 图像处理设备和方法,以及图像拾取设备
CN1279489C (zh) 信号处理方法与设备
CN1267856C (zh) 图像处理设备
CN1251149C (zh) 通信装置和方法
CN1969297A (zh) 图像处理设备和方法及图像拍摄设备
CN1267857C (zh) 图像处理设备和方法以及图像获取设备
CN1269080C (zh) 图像处理设备和方法以及图像捕获设备
CN1313975C (zh) 图像处理装置和方法、以及图像捕获装置
CN1754384A (zh) 图像处理装置和方法、学习装置和方法、记录介质以及程序
CN1947152A (zh) 图像处理方法和设备、记录介质、及程序
CN1324531C (zh) 图像处理装置和图像处理方法
CN1926575A (zh) 图像相似度计算系统、图像搜索系统、图像相似度计算方法和图像相似度计算程序
CN1672402A (zh) 图像处理设备和方法以及图像捕获设备
CN1248161C (zh) 图像处理设备
CN1461555A (zh) 图像处理装置及其方法和摄像装置
CN1249630C (zh) 图像处理装置和方法及摄像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070502

Termination date: 20130619