CN1816826A - 信号处理设备和信号处理方法、以及程序和记录介质 - Google Patents

Abstract

本发明提供一种能够获得近似真实世界信号的图像的信号处理设备、信号处理方法、程序以及、记录介质。以运动量v在水平方向上运动的对象被成像，并且包含模糊的对象的图像输入到信号处理设备。稳定性设置部件(15012)将对象运动量v作为稳定性信息提供给真实世界估计部件(15013)。真实世界估计部件(15013)计算由输入图像像素值与不模糊的图像的像素值之间的关系根据运动量v模拟的模型公式、以及用于约束不模糊的图像中像素之间的约束条件公式组成的正则方程，从而估计不模糊的图像的像素值并将其提供给图像生成部件(15014)。本发明可以应用于例如模糊从图像中去除的情况。

Description

信号处理设备和信号处理方法、以及程序和记录介质

技术领域

本发明涉及一种信号处理设备和信号处理方法、以及程序和记录介质，尤其涉及一种使得图像等能够更接近真实世界信号的信号处理设备和信号处理方法、以及程序和记录介质。

背景技术

使用传感器检测现实世界(真实世界)中的现象并处理从传感器输出的采样数据的技术得到广泛使用。例如，现实世界使用成像传感器来成像并且处理作为图像数据的采样数据的图像处理技术被广泛使用。

同样，已知这种方案，其具有维度比通过用传感器检测第一信号而获得的第一维度少的第二维度，该第一信号是具有第一维度的真实世界的信号，获得包括关于第一信号的畸变的第二信号，以及基于第二信号执行信号处理，从而产生与第二信号相比较具有减轻的畸变的第三信号(例如，日本未经审查专利申请公开号2001-250119)。

但是，常规地，考虑真实世界信号连续性的信号处理还没有执行，所以获得更接近真实世界信号的图像等是困难的。

发明内容

本发明已经考虑到上述情况而创造，并且提供更接近真实世界信号的图像等的获得。

根据本发明的一种信号处理设备包括：处理区域设置装置，用于设置数据中的处理区域，其中真实世界的光信号已经投影到每个具有时间积分效应的多个像素上，并且真实世界光信号的连续性的一部分已经丢失；运动矢量设置装置，用于设置图像数据中对象的运动矢量，其对应于一部分连续性已经在图像数据中丢失的真实世界光信号的连续性；模型生成装置，用于模拟处理区域中每个像素的像素值与不存在运动模糊的每个像素的像素值之间的关系，处理区域中每个像素的像素值是由关于对象的不具有运动模糊的每个像素的像素值在对应于运动矢量而运动时积分所获得的值；正则方程生成装置，用于从处理区域中像素的像素值已经代入由模型生成装置产生的模型中的第一公式，以及约束不存在运动模糊的像素之间关系的第二公式中产生正则方程；以及现实世界估计装置，用于通过计算从正则方程生成装置产生的正则方程，来估计不存在运动模糊的每个像素的像素值。

正则方程生成装置允许正则方程从处理区域中每个像素的像素值已经代入由模型生成装置产生的模型中的第一公式，以及不产生运动模糊的每个像素之间的像素值的差为零的第二公式中产生。

根据本发明的一种信号处理方法包括：处理区域设置步骤，用于设置数据中的处理区域，其中真实世界的光信号已经投影到每个具有时间积分效应的多个像素上，并且真实世界光信号的连续性的一部分已经丢失；运动矢量设置步骤，用于设置图像数据中对象的运动矢量，其对应于一部分连续性已经在图像数据中丢失的真实世界光信号的连续性；模型生成步骤，用于模拟处理区域中每个像素的像素值与不存在运动模糊的每个像素的像素值之间的关系，处理区域中每个像素的像素值是由关于对象的不具有运动模糊的每个像素的像素值在对应于运动矢量而运动时积分所获得的值；正则方程生成步骤，用于从处理区域中像素的像素值已经代入在模型生成步骤中产生的模型中的第一公式，以及约束不存在运动模糊的像素之间关系的第二公式中产生正则方程；以及现实世界估计步骤，用于通过计算从正则方程生成步骤产生的正则方程，来估计不存在运动模糊的每个像素的像素值。

根据本发明的一种记录介质的程序使得计算机执行：处理区域设置步骤，用于设置数据中的处理区域，其中真实世界的光信号已经投影到每个具有时间积分效应的多个像素上，并且真实世界光信号的连续性的一部分已经丢失；运动矢量设置步骤，用于设置图像数据中对象的运动矢量，其对应于一部分连续性已经在图像数据中丢失的真实世界光信号的连续性；模型生成步骤，用于模拟处理区域中每个像素的像素值与不存在运动模糊的每个像素的像素值之间的关系，处理区域中每个像素的像素值是由关于对象的不具有运动模糊的每个像素的像素值在对应于运动矢量而运动时积分所获得的值；正则方程生成步骤，用于从处理区域中像素的像素值已经代入在模型生成步骤中产生的模型中的第一公式，以及约束不存在运动模糊的像素之间关系的第二公式中产生正则方程；以及现实世界估计步骤，用于通过计算从正则方程生成步骤产生的正则方程，来估计不存在运动模糊的每个像素的像素值。

根据本发明的一种程序使得计算机执行：处理区域设置步骤，用于设置数据中的处理区域，其中真实世界的光信号已经投影到每个具有时间积分效应的多个像素上，并且真实世界光信号的连续性的一部分已经丢失；运动矢量设置步骤，用于设置图像数据中对象的运动矢量，其对应于一部分连续性已经在图像数据中丢失的真实世界光信号的连续性；模型生成步骤，用于模拟处理区域中每个像素的像素值与不存在运动模糊的每个像素的像素值之间的关系，处理区域中每个像素的像素值是由关于对象的不具有运动模糊的每个像素的像素值在对应于运动矢量而运动时积分所获得的值；正则方程生成步骤，用于从处理区域中像素的像素值已经代入在模型生成步骤中产生的模型中的第一公式，以及约束不存在运动模糊的像素之间关系的第二公式中产生正则方程；以及现实世界估计步骤，用于通过计算从正则方程生成步骤产生的正则方程，来估计不存在运动模糊的每个像素的像素值。

使用本发明，真实世界的光信号投影到每个具有时间积分效应的多个像素上，并且假设处理区域在真实世界光信号的连续性的一部分已经丢失的图像数据中设置，以及图像数据中对象的运动矢量被设置，其对应于图像数据的连续性的一部分丢失的真实世界光信号的连续性，并且处理区域中每个像素的像素值所述为当与对象相对应的不产生运动模糊的每个像素的像素值对应于运动矢量而移位时积分的值，以及处理区域的每个像素的像素值与不产生运动模糊的每个像素的像素值之间的关系被模拟，并且关于模型的正则方程从处理区域中每个像素的像素值被代入的第一公式以及约束不产生运动模糊的每个像素之间关系的第二公式中产生，以及通过计算产生的正则方程，不产生运动模糊的每个像素的像素值可以估计。

附图说明

图1是说明本发明原理的图。

图2是说明信号处理设备4的硬件构造实例的框图。

图3是说明图1中所示信号处理设备4的一种实施方案的构造实例的框图。

图4是详细描述由信号处理设备4执行的信号处理原理的图。

图5是描述图像传感器上像素阵列实例的图。

图6是描述作为CCD的检测设备的操作的图。

图7是描述投射到与像素D至像素F相对应的检测元件中的光与像素值之间关系的图。

图8是描述时间的消逝、投射到与一个像素相对应的检测元件中的光、以及像素值之间关系的图。

图9是说明现实世界1中线形对象的图像实例的图。

图10是说明由实际成像获得的图像数据的像素值实例的图。

图11是说明具有不同于背景的颜色、具有单色和线形边缘的对象的现实世界1图像实例的图。

图12是说明由实际成像获得的图像数据的像素值实例的图。

图13是图像数据的示意图。

图14是描述用M块数据162估计模型161的图。

图15是描述现实世界1的信号与数据3之间关系的图。

图16是说明创建表达式时所关注的数据3的实例的图。

图17是描述现实世界1中两个对象的信号，以及创建表达式时属于混合区域的值的图。

图18是描述由表达式(18)，表达式(19)，和表达式(22)表示的连续性的图。

图19是说明从数据3中选取的M块数据162的实例的图。

图20是描述数据3中现实世界1的信号在时间方向和二维空间方向上的积分的图。

图21是描述当产生具有空间方向上更高分辨率的高分辨率数据时积分区域的图。

图22是描述当产生具有时间方向上更高分辨率的高分辨率数据时积分区域的图。

图23是描述当产生具有时间-空间方向上更高分辨率的高分辨率数据时积分区域的图。

图24是说明输入图像的原始图像的图。

图25是说明输入图像实例的图。

图26是说明通过应用常规类型分类适应处理而获得的图像的图。

图27是说明检测细线区域的结果的图。

图28是说明从信号处理设备4输出的输出图像实例的图。

图29是描述使用信号处理设备4的信号处理的流程图。

图30是说明数据连续性检测单元101的构造的框图。

图31是说明在背景前面具有细线的现实世界1中图像的图。

图32是描述使用平面近似背景的图。

图33是说明细线图像已经投影的图像数据横截面形状的图。

图34是说明细线图像已经投影的图像数据横截面形状的图。

图35是说明细线图像已经投影的图像数据横截面形状的图。

图36是描述检测峰值和检测单调增大/减小区域的处理的图。

图37是描述检测细线区域的处理的图，其中峰值的像素值超过阈值，而相邻像素的像素值等于或低于阈值。

图38是表示在由图37中虚线AA′指示的方向上排列的像素的像素值的图。

图39是描述检测单调增大/减小区域中连续性的处理的图。

图40是说明检测细线图像已经投影到其中的区域的另一种处理实例的图。

图41是描述连续性检测处理的流程图。

图42是描述检测时间方向上数据连续性的处理的图。

图43是说明非连续性分量提取单元201的构造的框图。

图44是描述剔除次数的图。

图45是描述提取非连续性分量的处理的流程图。

图46是描述提取连续性分量的处理的流程图。

图47是描述提取连续性分量的另一种处理的流程图。

图48是描述提取连续性分量的再一种处理的流程图。

图49是说明连续性分量提取单元101的另一种构造的框图。

图50是描述具有数据连续性的输入图像中活动性的图。

图51是描述检测活动性的块的图。

图52是描述数据连续性相对于活动性的角度的图。

图53是说明数据连续性检测单元101的详细构造的框图。

图54是描述一组像素的图。

图55是描述像素组的位置与数据连续性的角度之间关系的图。

图56是描述检测数据连续性的处理的流程图。

图57是说明当检测时间方向和空间方向上数据连续性角度时选取的一组像素的图。

图58是描述函数近似的原理的图，其是图3中所示现实世界估计单元的一种实施方案的实例。

图59是描述在传感器是CCD的情况下积分效应的图。

图60是描述图59中所示传感器的积分效应的特定实例的图。

图61是描述图59中所示传感器的积分效应的另一个特定实例的图。

图62是表示图60中所示包含细线的现实世界区域的图。

图63是描述与图58中所示实例相比较，图3中所示现实世界估计单元的一种实施方案的实例原理的图。

图64是表示图60中所示包含细线的数据区域的图。

图65是包含在图64中所示包含细线数据区域中的每个像素值绘制在曲线图上的图。

图66是近似图65中所示包含在包含细线数据区域中的像素值的近似函数绘制在曲线图上的图。

图67是描述图60中所示包含细线现实世界区域具有的空间方向上连续性的图。

图68是包含在图64中所示包含细线数据区域中的每个像素值绘制在曲线图上的图。

图69是描述图68中指示的输入像素值的每个以预先确定移位量移位的状态的图。

图70是考虑到空间方向连续性、近似图65中所示包含在包含细线数据区域中的像素值的近似函数绘制在曲线图上的图。

图71是描述空间混合区域的图。

图72是描述近似空间混合区域中现实世界信号的近似函数的图。

图73是考虑到传感器积分性质和空间方向连续性、近似与图65中所示包含细线数据区域相对应的现实世界信号的近似函数绘制在曲线图上的图。

图74是描述使用具有图58中所示原理的函数近似技术中初级多项式近似的现实世界估计单元的构造实例的框图。

图75是描述具有图74中所示构造的现实世界估计单元执行的现实世界估计处理的流程图。

图76是描述分接范围的图。

图77是描述具有空间方向上连续性的现实世界信号的图。

图78是描述在传感器是CCD的情况下积分效应的图。

图79是描述横截面方向上距离的图。

图80是描述使用具有图58中所示原理的函数近似技术中二次多项式近似的现实世界估计单元的构造实例的框图。

图81是描述具有图80中所示构造的现实世界估计单元执行的现实世界估计处理的流程图。

图82是描述分接范围的图。

图83是描述时间-空间方向上连续性方向的图。

图84是描述在传感器是CCD的情况下积分效应的图。

图85是描述具有空间方向上连续性的现实世界信号的图。

图86是描述具有空间-时间方向上连续性的现实世界信号的图。

图87是描述使用具有图58中所示原理的函数近似技术中三次多项式近似的现实世界估计单元的构造实例的框图。

图88是描述具有图87中所示构造的现实世界估计单元执行的现实世界估计处理的流程图。

图89是描述再积分原理的图，其是图3中所示图像生成单元的一种实施方案的实例。

图90是描述输入像素的实例以及近似对应于输入像素的现实世界信号的近似函数的图。

图91是描述从图90中所示的近似函数中，在图90中所示的一个输入像素中创建四个高分辨率像素的实例的图。

图92是描述使用具有图89中所示原理的再积分技术中一维再积分技术的图像生成单元的构造实例的框图。

图93是描述具有图92中所示构造的图像生成单元执行的图像生成处理的流程图。

图94是说明输入图像的原始图像实例的图。

图95是说明与图94中所示图像相对应的图像数据的实例的图。

图96是表示输入图像实例的图。

图97是表示与图96中所示图像相对应的图像数据的实例的图。

图98是说明通过使输入图像经历常规类型分类适应处理而获得的图像实例的图。

图99是表示与图98中所示图像相对应的图像数据的实例的图。

图100是说明通过使输入图像经历一维再积分技术而获得的图像实例的图。

图101是说明与图100中所示图像相对应的图像数据的实例的图。

图102是描述具有空间方向上连续性的现实世界信号的图。

图103是描述使用具有图89中所示原理的再积分技术中二维再积分技术的图像生成单元的构造实例的框图。

图104是描述横截面方向上距离的图。

图105是描述具有图103中所示构造的图像生成单元执行的图像生成处理的流程图。

图106是描述输入像素实例的图。

图107是描述使用二维再积分技术，在图106中所示一个输入像素中创建四个高分辨率像素的实例的图。

图108是描述空间-时间方向上连续性方向的图。

图109是描述使用具有图89中所示原理的再积分技术中三维再积分技术的图像生成单元的构造实例的框图。

图110是描述具有图109中所示构造的图像生成单元执行的图像生成处理的流程图。

图111是说明图1中所示信号处理设备4的另一种实施方案的构造实例的框图。

图112是描述图111中所示信号处理设备4的处理的流程图。

图113是说明图111中所示信号处理设备4的应用实施方案的构造实例的框图。

图114是描述图113中所示信号处理设备4的处理的流程图。

图115是描述现实世界1光信号的图。

图116是描述在传感器2是CCD的情况下积分效应的图。

图117是显示现实世界1的近似函数f(x，y)的图。

图118是描述输入到图113的信号处理设备4中的输入图像，以及处理区域的图。

图119是描述在图113的信号处理设备4中设置的处理区域的实例的图。

图120是说明X横截面的近似函数f(x)的图，其中图120中近似函数f(x，y)中y的值是预先确定的值y_c(y＝y_c)。

图121是显示1/v时间过去之后图120中近似函数f(x)的图。

图122是显示1/v时间过去之后图121中近似函数f(x)的图。

图123是描述输入图像中成像的对象的运动在每个快门时间运动v个像素的图。

图124是使用X-t平面显示图120中说明的、在预先确定精确时刻y＝y_c的近似函数f(x)的图。

图125是使用X-t平面显示产生运动模糊的像素值P₀～P₉的图，以便与图124中的像素值Q₀～Q₉相对应。

图126是使用图124中的像素值Q₀～Q₉显示输入图像的像素值P₀～P₉的图。

图127是描述假设处理区域的边缘部分为“平坦的”，解决图126中空白区域的方法的图。

图128是描述图119中处理区域的关注行的图。

图129是说明图113中现实世界估计单元15013的构造实例的框图。

图130是描述图114中步骤S15008的现实世界估计处理的流程图。

图131是描述图114中步骤S15008的现实世界估计处理的流程图。

图132是说明输入到图113的信号处理设备4中的输入图像的图。

图133是说明图113中信号处理设备4已经使用第一方法处理图132中输入图像的处理后的输出图像的图，其增加假定具有“平坦”的处理区域边缘部分的公式。

图134是说明图113中信号处理设备4已经使用第二方法处理图132中输入图像的处理后的输出图像的图，其增加约束相邻像素值之间关系的条件表达式。

图135是图111中信号处理设备4的应用实例的另一种实施方案的构造实例的框图。

图136是描述图135中信号处理设备4的处理的流程图。

图137是说明图135中现实世界估计单元15083的构造实例的框图。

图138是描述图136中步骤S15088的现实世界估计处理的流程图。

图139是描述图136中步骤S15088的现实世界估计处理的流程图。

图140是图111中信号处理设备4的应用实例的另一种实施方案的构造实例的框图。

图141是描述图140中信号处理设备4的处理的流程图。

图142是说明图140中现实世界估计单元15113的构造实例的框图。

图143是描述图141中步骤S15168的现实世界估计处理的流程图。

图144是说明输入到图140中信号处理设备4中的输入图像的图。

图145是说明使用与约束条件表达式相对应的权重W_bj作为对于所有约束条件表达式的相同权重，图135中信号处理设备4处理图144中输入图像的输出图像的实例的图。

图146是说明使用与约束条件表达式相对应的权重W_bj为根据输入图像活动性的0或1，图140中信号处理设备4处理图144中输入图像的输出图像的实例的图。

图147是图111中信号处理设备4的应用实例的另一种实施方案的构造实例的框图。

图148是描述图147中信号处理设备4的处理的流程图。

图149是说明图147中现实世界估计单元15153的构造实例的框图。

图150是描述图148中步骤S15218的现实世界估计处理的流程图。

图151是描述图148中步骤S15218的现实世界估计处理的流程图。

图152是说明图113中所示连续性设置单元15012的构造实例的框图。

图153是描述运动量的图。

图154是说明当前景对象经过背景对象前面时由照相机拍摄的、从照相机输出的图像的像素值的图。

图155是说明图154中所示图像中像素的像素值的差值的图。

图156是描述检测运动量的处理的流程图。

图157是描述检测相关性的处理的流程图。

具体实施方式

图1说明本发明的原理。如附图中所示，具有空间、时间和质量维度的现实世界1中的事件(现象)由传感器2获取，并形成数据。现实世界1中的事件指光(图像)、声音、压力、温度、质量、湿度、亮度/暗度或气味等。现实世界1中的事件分布在空间-时间方向上。例如，现实世界1的图像是现实世界1的光强在空间-时间方向上的分布。

注意传感器2，具有空间、时间和质量维度的现实世界1中的事件中，传感器2可以获取的现实世界1中的事件由传感器2转换成数据3。可以说指示现实世界1中事件的信息由传感器2获取。

也就是说，传感器2将指示现实世界1中事件的信息转换成数据3。可以说，作为指示具有空间、时间和质量维度的现实世界1中事件(现象)的信息的信号由传感器2获取并形成数据。

以下，现实世界1中事件例如图像、声音、压力、温度、质量、湿度、亮度/暗度或气味等的分布将称作现实世界1的信号，其作为指示事件的信息。同样，作为指示现实世界1的事件的信息的信号也将简称作现实世界1的信号。在本说明书中，信号将被理解为包括现象和事件，并且还包括在传输侧没有目的的那些事物。

从传感器2输出的数据3(检测信号)是通过将指示现实世界1的事件的信息投影到维度比现实世界1少的空间-时间上而获得的信息。例如，作为运动图像的图像数据的数据3是通过将现实世界1的三维空间方向和时间方向的图像投影到具有二维空间方向和时间方向的时间-空间上而获得的信息。而且，如果数据3是例如数字数据，数据3根据采样增量舍入。如果数据3是模拟数据，数据3的信息根据动态范围压缩，或者信息的一部分由限幅器等删除。

因此，通过将所示作为指示具有预先确定维度数目的现实世界1中事件的信息的信号投影到数据3(检测信号)上，指示现实世界1中事件的信息的一部分丢失。也就是说，指示现实世界1中事件的信息的一部分从传感器2输出的数据3中丢失。

但是，即使指示现实世界1中事件的信息的一部分因投影而丢失，数据3包括用于估计作为指示现实世界1中事件(现象)的信息的信号的有用信息。

对于本发明，具有包含在现实世界1或数据3中的连续性的信息用作估计作为现实世界1信息的信号的有用信息。连续性是重新定义的概念。

注意现实世界1，现实世界1中的事件包括在预先确定维度方向上恒定的特性。例如，现实世界1中的对象(有形对象)具有在空间方向或时间方向上连续的形状、图案或颜色，或者具有形状、图案或颜色的重复图案。

因此，指示现实世界1中事件的信息包括在预先确定维度方向上恒定的特性。

对于更具体的实例，线形对象例如线、细绳或粗绳具有在长度方向上也就是空间方向上恒定的特性，即横截面形状在长度方向上任意位置处是相同的。空间方向上的连续性即横截面形状在长度方向上任意位置处相同，来自于线形对象为长形的特性。

因此，线形对象的图像具有在长度方向也就是空间方向上恒定的特性，即横截面形状在长度方向上任意位置处是相同的。

而且，作为在空间方向上展开的有形对象的单调对象可以假定具有这样的连续性，即在空间方向上具有相同颜色而不管其部分。

同样地，作为在空间方向上展开的有形对象的单调对象的图像具有这样的连续性，即在空间方向上具有相同颜色而不管其部分。

这样，现实世界1(真实世界)中的事件具有在预先确定维度方向上恒定的特性，所以现实世界1的信号具有在预先确定维度方向上恒定的特性。

在本说明书中，在预先确定维度方向上恒定的这种特性将称作连续性。现实世界1(真实世界)的信号的连续性意思是指示现实世界1(真实世界)的事件的信号具有的、在预先确定维度方向上恒定的特性。

现实世界1(真实世界)中存在无数这种连续性。

接下来，注意数据3，数据3由指示具有预先确定维度的现实世界1事件的信息的信号由传感器2投影而获得，并且包括与真实世界中信号连续性相对应的连续性。可以说，数据3包括现实世界信号的连续性已经投影于其中的连续性。

但是，如上所述，在从传感器2输出的数据3中，现实世界1的信息的一部分已经丢失，所以包含在现实世界1(真实世界)信号中的连续性的一部分可能从数据中丢失。

换句话说，数据3包含现实世界1(真实世界)信号连续性中的至少一部分连续性作为数据连续性。数据连续性意思是数据3具有的、在预先确定维度方向上恒定的特性。

对于本发明，现实世界1信号的连续性，或者数据3具有的数据连续性用作估计作为指示现实世界1事件的信息的信号的重要数据。

例如，对于信号处理设备4，指示现实世界1中事件的、已经丢失的信息由数据3的信号处理使用数据连续性而产生。

现在，对于信号处理设备4，作为用作指示现实世界1中事件的信息的信号维度的长度(空间)、时间和质量中，空间方向或时间方向上的连续性被使用。

在图1中，传感器2由例如数字静物照相机、视频摄影机等形成，并且拍摄现实世界1的图像，并将作为获得数据3的图像数据输出到信号处理设备4。传感器2也可以是温度记录设备、使用光致弹性的压力传感器等。

信号处理设备4由例如个人计算机等构成，并且执行关于数据3的信号处理。

信号处理设备4例如如图2中所示构成。CPU(中央处理单元)21根据存储在ROM(只读存储器)22或存储单元28中的程序执行各种类型的处理。RAM(随机存取存储器)23在适当的时候存储待由CPU21执行的程序、数据等。CUP 21、ROM 22和RAM 23通过总线24互相连接。

同样经由总线24连接到CPU 21的是输入/输出接口25。由键盘、鼠标、麦克风等构成的输入设备26，以及由显示器、扬声器等构成的输出单元27连接到输入/输出接口25。CPU 21执行与从输入单元26输入的命令相对应的各种类型的处理。然后，CPU 21将作为处理结果而获得的图像和音频等输出到输出单元27。

连接到输入/输出接口25的存储单元28由例如硬盘构成，并存储CPU 21执行的程序和各种类型的数据。通信单元29经由互联网和其它网络与外部设备通信。在该实例的情况下，通信单元29用作获取从传感器2输出的数据3的获取单元。

而且，配置可以这样进行，其中程序经由通信单元29获得并存储在存储单元28中。

连接到输入/输出接口25的驱动器30驱动安装在那里的磁盘51、光盘52、磁光盘53、或半导体存储器54等，并且获得记录在其中的程序和数据。获得的程序和数据根据需要传送到存储单元28并存储。

图3是说明信号处理设备4的框图。

注意，信号处理设备4的功能由硬件实现还是由软件实现不相关。也就是说，本说明书中的框图可以看作硬件框图或可以看作软件功能框图。

对于其构造如图3中所示的信号处理设备4，作为数据3的实例的图像数据输入，并且数据连续性从输入图像数据(输入图像)中检测。接下来，由传感器2获取的现实世界1的信号从检测的数据连续性中估计。然后，基于现实世界1的估计信号，图像生成，并且生成的图像(输出图像)被输出。也就是说，图3是说明作为图像处理设备的信号处理设备4构造的图。

输入到信号处理设备4的输入图像(作为数据3的实例的图像数据)提供给数据连续性检测单元101和现实世界估计单元102。

数据连续性检测单元101从输入图像中检测数据的连续性，并将指示检测的连续性的数据连续性信息提供给现实世界估计单元102和图像生成单元103。数据连续性信息包括例如输入图像中具有数据连续性的像素区域的位置、具有数据连续性的像素区域的方向(时间方向和空间方向的角度或梯度)、或具有数据连续性的像素区域的长度等。数据连续性检测单元101的详细构造将随后描述。现实世界估计单元102基于输入图像和从数据连续性检测单元101提供的数据连续性信息估计现实世界1的信号。也就是说，现实世界估计单元102估计作为在获取输入图像时投射到传感器2中的现实世界信号的图像。现实世界估计单元102将指示现实世界1信号估计结果的现实世界估计信息提供给图像生成单元103。现实世界估计单元102的详细构造将随后描述。

图像生成单元103基于从现实世界估计单元102提供的、指示现实世界1的估计信号的现实世界估计信息生成更接近现实世界1信号的信号，并输出生成的信号。或者，图像生成单元103基于从数据连续性检测单元101提供的数据连续性信息，以及从现实世界估计单元102提供的、指示现实世界1的估计信号的现实世界估计信息生成更接近现实世界1信号的信号，并输出生成的信号。

也就是说，图像生成单元103基于现实世界估计信息生成更接近现实世界1图像的图像，并输出生成的图像作为输出图像。或者，图像生成单元103基于数据连续性信息和现实世界估计信息生成更接近现实世界1图像的图像，并输出生成的图像作为输出图像。

例如，图像生成单元103通过基于现实世界估计信息，在空间方向或时间方向的期望范围内积分现实世界1的估计图像，来生成与输入图像相比较具有空间方向或时间方向上更高分辨率的图像，并输出生成的图像作为输出图像。例如，图像生成单元103通过外插/内插生成图像，并输出生成的图像作为输出图像。

图像生成单元103的详细构造将随后描述。

接下来，将参考图4来描述本发明的原理。

例如，现实世界1的信号，其是例如图像，成像在作为传感器2实例的CCD(电荷耦合器件)的感光面上。作为传感器2实例的CCD具有积分性质，所以差异在从CCD输出的、关于现实世界1图像的数据3中产生。传感器2的积分性质的细节将随后描述。

对于信号处理设备4的信号处理，由CCD获得的现实世界1的图像与由CCD获取并输出的数据3之间的关系被明确地考虑。也就是说，数据3与作为由传感器2获得的现实世界信息的信号之间的关系被明确地考虑。

更具体地说，如图4中所示，信号处理设备4使用模型161来近似(描述)现实世界1。模型161由例如N个变量表示。更准确地说，模型161近似(描述)现实世界1的信号。

为了预测模型161，信号处理设备4从数据3中选取M块数据162。当从数据3中选取M块数据162时，信号处理设备4使用例如包含在数据3中的数据连续性。换句话说，信号处理设备4基于包含在数据3中的数据连续性，选取预测模型161的数据162。因此，在该情况下，模型161由数据连续性约束。

也就是说，模型161近似具有连续性(预先确定维度方向上的连续性)的现实世界1的事件(指示事件的信息(信号))，当使用传感器2获取时该连续性产生数据3中的数据连续性。

现在，如果数据162的数目M为N或更多，其中N是模型的变量数目，由N个变量表示的模型161可以从M块数据162中预测。

这样，信号处理设备4可以通过预测近似(描述)现实世界1(的信号)的模型161来考虑作为现实世界1信息的信号。

接下来，将描述传感器2的积分效应。

在成像真实世界时，图像传感器例如CCD或CMOS(互补金属氧化物半导体)传感器等，其作为获取图像的传感器2，将作为真实世界信息的信号投影到二维数据上。图像传感器的像素每个具有预先确定的面积，作为所谓感光面(感光区域)。到具有预先确定面积的感光面的入射光在每个像素的空间方向和时间方向上积分，并且转换成每个像素的单个像素值。

将参考图5至图8来描述图像的空间-时间积分。

图像传感器成像真实世界中的主体(对象)，并输出获得的图像数据为单帧累加的成像结果。也就是说，图像传感器获取现实世界1的信号，该信号为从现实世界1的主体反射的光，并输出数据3。

例如，图像传感器输出每秒30帧的图像数据。在该情况下，图像传感器的曝光时间可以为1/30秒。曝光时间是从图像传感器开始入射光到电荷的转换，到入射光到电荷的转换结束的时间。以下，曝光时间也将称作快门时间。

图5是描述图像传感器上像素阵列实例的图。在图5中，A～I表示各个像素。像素设置在与由图像数据显示的图像相对应的平面上。与单个像素相对应的单个检测元件设置在图像传感器上。当图像传感器获取现实世界1的图像时，一个检测元件输出与构成图像数据的一个像素相对应的一个像素值。例如，检测元件空间方向X上的位置(X坐标)对应于由图像数据显示的图像上的水平位置，并且检测元件空间方向Y上的位置(Y坐标)对应于由图像数据显示的图像上的垂直位置。

现实世界1的光强分布在三维空间方向和时间方向上展开，但是图像传感器在二维空间方向和时间方向上获取现实世界1的光，并产生表示二维空间方向和时间方向上光强分布的数据3。

如图6中所示，检测设备例如CCD在对应于快门时间的时期中将投射到感光面(感光区域)(检测区域)上的光转换成电荷，并积累转换的电荷。该光是现实世界1的信息(信号)，关于其的强度由三维空间位置和时间点确定。现实世界1的光强分布可以由函数F(x，y，z，t)表示，其中三维空间中的位置x，y，z以及时间点t为变量。

在检测设备CCD中积累的电荷量与投射到具有二维空间展开的整个感光面上的光强、以及光投射到其上的时间量近似成比例。检测设备将从投射到整个感光面上的光中转换的电荷加到在对应于快门时间的时期中已经积累的电荷。也就是说，检测设备积分投射到具有二维空间展开的整个感光面上的光，并累积与在对应于快门时间的时期中积分的光相对应的量的变化。检测设备也可以说具有关于空间(感光面)和时间(快门时间)的积分效应。

检测设备中累积的电荷由未显示的电路转换成电压值，电压值进一步转换成像素值例如数字数据等，并且作为数据3输出。因此，从图像传感器输出的各个像素值具有投影到一维空间上的值，该值是关于快门时间的时间方向和检测设备感光面的空间方向积分具有时间-空间展开的现实世界1信息(信号)的部分的结果。

也就是说，一个像素的像素值表示为F(x，y，t)的积分。F(x，y，t)是表示检测设备感光面上的光强分布的函数。例如，像素值P由表达式(1)表示。

$P={\∫}_{t_1}^{t_2}{\∫}_{y_1}^{y_2}{\∫}_{x_1}^{x_2}F(x,y,t)\mathrm{dxdydt}...\left(1\right)$

在表达式(1)中，x₁表示检测设备感光面的左侧边界处的空间坐标(X坐标)。x₂表示检测设备感光面的右侧边界处的空间坐标(X坐标)。在表达式(1)中，y₁表示检测设备感光面的上侧边界处的空间坐标(Y坐标)。y₂表示检测设备感光面的下侧边界处的空间坐标(Y坐标)。并且，t₁表示入射光到电荷的转换开始的时间点。t₂表示入射光到电荷的转换结束的时间点。

注意实际上，从图像传感器输出的图像数据的像素值的增益对于例如整个帧而校正。

图像数据的每个像素值是投射到图像传感器的每个检测元件的感光面上的光的积分值，并且投射到图像传感器上的光中，比检测元件感光面更细的现实世界1的光的波形在作为积分值的像素值中隐藏。

以下，在本说明书中，用预先确定维度表示作为参考的信号的波形可以简称作波形。

因此，现实世界1的图像(光信号)以像素为增量在空间方向和时间方向上积分，所以现实世界1的图像连续性的一部分从图像数据中丢失，从而现实世界1的图像连续性的另一部分留在图像数据中。或者，可能存在这种情况，其中已经从现实世界1的图像连续性变化的连续性包括在图像数据中。

将进一步描述由具有积分效应的图像传感器获取的图像在空间方向上的积分效应。

图7是描述到与像素D至像素F相对应的检测元件的入射光与像素值之间关系的图。图7中的F(x)是以空间中(检测设备上)空间方向X上的坐标x作为变量、表示现实世界1的光强分布的函数的实例。换句话说，F(x)是表示空间方向Y和时间方向恒定的、现实世界1的光强分布的函数的实例。在图7中，L表示与像素D至像素F相对应的检测设备感光面的空间方向X上的长度。

单个像素的像素值表示为F(x)的积分。例如，像素E的像素值P由表达式(2)表示。

$P={\∫}_{x_1}^{x_2}F\left(x\right)\mathrm{dx}...\left(2\right)$

在表达式(2)中，x₁表示与像素E相对应的检测设备感光面左侧边界处的空间方向X上的空间坐标。x₂表示与像素E相对应的检测设备感光面右侧边界处的空间方向X上的空间坐标。

同样地，将进一步描述由具有积分效应的图像传感器获取的图像在时间方向上的积分效应。

图8是描述消逝的时间、到与单个像素相对应的检测元件的入射光，以及像素值之间关系的图。图8中的F(t)是以时间点t作为变量、表示现实世界1的光强分布的函数。换句话说，F(t)是表示空间方向Y和空间方向X恒定的、现实世界1的光强分布的函数的实例。T_s表示快门时间。

帧#n-1是时间方向上帧#n之前的帧，而帧#n+1是时间方向上帧#n之后的帧。也就是说，帧#n-1、帧#n和帧#n+1以帧#n-1、帧#n和帧#n+1的顺序显示。

注意，在图8中所示实例中，快门时间t_s和帧间隔是相同的。

单个像素的像素值表示为F(t)的积分。例如，帧#n的像素的像素值P由表达式(3)表示。

$P={\∫}_{t_1}^{t_2}F\left(t\right)\mathrm{dt}...\left(3\right)$

在表达式(3)中，t₁表示入射光到电荷的转换开始的时刻。t₂表示入射光到电荷的转换结束的时刻。

以下，传感器2在空间方向上的积分效应将简称作空间积分效应，而传感器2在时间方向上的积分效应也将简称作时间积分效应。并且，空间积分效应或时间积分效应将简称作积分效应。

接下来，将描述由具有积分效应的图像传感器获取的数据3中包括的数据连续性的实例。

图9是说明现实世界1的线形对象(例如细线)，即光强分布的实例的图。在图9中，到附图上侧的位置表示光强(光度)，到附图右上侧的位置表示在作为图像空间方向的一个方向的空间方向X上的位置，并且到附图右侧的位置表示在作为图像空间方向的另一个方向的空间方向Y上的位置。

现实世界1的线形对象的图像包括预先确定的连续性。也就是说，图9中所示图像具有在长度方向上任意位置处横截面形状方面的连续性(关于与长度方向垂直的方向上位置的变化，光度变化)。

图10是说明与图9中所示图像相对应、由实际图像拍摄获得的图像数据的像素值的实例的图。

也就是说，图10是通过使用图像传感器对直径比每个像素的感光面长度L短，并且在从图像传感器像素阵列(像素的垂直或水平阵列)偏移的方向上延伸的线形对象的图像成像而获得的图像数据的模型图。图10中所示图像数据获取时投射到图像传感器中的图像是图9中所示现实世界1的线形对象的图像。

在图10中，到附图上侧的位置表示像素值，到附图右上侧的位置表示作为图像空间方向的一个方向的空间方向X上的位置，并且到附图右侧的位置表示作为图像空间方向的另一个方向的空间方向Y上的位置。图10中表示像素值的方向对应于图9中光度的方向，并且图10中的空间方向X和空间方向Y也与图9中的方向相同。

如果使用图像传感器获取直径比每个像素的感光面长度L短的线形对象的图像，在模型表示中，例如，线形对象在作为图像获取结果而获得的图像数据中表示为以对角偏移方式排列的、具有预先确定长度的多个弧形(半盘)。弧形具有近似相同的形状。一个弧形形成在垂直地一行像素上，或者水平地一行像素上。例如，图10中所示的一个弧形形成在垂直地一行像素上。

因此，对于由例如图像传感器获取并获得的图像数据，现实世界1的线形对象图像具有的、在长度方向上任意位置处空间方向Y上横截面形状相同的连续性丢失。而且，可以说，现实世界1的线形对象图像具有的连续性已经变成这种连续性，即在垂直地一行像素或水平地一行像素上形成的、具有相同形状的弧形以预先确定的间隔排列。

图11是说明具有直边且具有不同于背景的单色的对象在现实世界1中的图像，即光强分布实例的图。在图11中，到附图上侧的位置表示光强(光度)，到附图右上侧的位置表示作为图像空间方向的一个方向的空间方向X上的位置，并且到附图右侧的位置表示作为图像空间方向的另一个方向的空间方向Y上的位置。

具有直边且具有不同于背景的单色的现实世界1的对象的图像包括预先确定的连续性。也就是说，图11中所示图像具有这种连续性，即在边缘长度方向上任意位置处横截面形状(关于在与长度方向垂直的方向上位置的变化，光度变化)相同。

图12是说明与图11中所示图像相对应、由实际图像拍摄获得的图像数据的像素值的实例的图。如图12中所示，图像数据为阶梯形，因为图像数据由以像素为增量的像素值构成。

图13是说明图12中所示图像数据的模型图。

图13中所示模型图是通过使用图像传感器对具有直边以及不同于背景的单色，并且在从图像传感器像素阵列(像素的垂直或水平阵列)偏移的方向上延伸的现实世界1对象的图像成像而获得的图像数据的模型图。图13中所示图像数据获取时投射到图像传感器中的图像是图11中所示具有直边以及不同于背景的单色的现实世界1对象的图像。

在图13中，到附图上侧的位置表示像素值，到附图右上侧的位置表示作为图像空间方向的一个方向的空间方向X上的位置，以及到附图右侧的位置表示作为图像空间方向的另一个方向的空间方向Y上的位置。图13中表示像素值的方向对应于图11中光度的方向，并且图13中的空间方向X和空间方向Y与图11中的方向相同。

如果使用图像传感器获取具有直边以及不同于背景的单色的现实世界1对象的图像，在模型表示中，例如，直边在作为图像获取结果而获得的图像数据中表示为以对角偏移方式排列的、具有预先确定长度的多个爪形。爪形具有近似相同的形状。一个爪形形成在垂直地一行像素上，或者水平地一行像素上。例如，图13中所示的一个爪形形成在垂直地一行像素上。

因此，具有直边以及不同于背景的单色的现实世界1对象的图像的连续性，即在边缘长度方向上任意位置处横截面形状相同，例如，在通过使用图像传感器成像而获得的图像数据中丢失。而且，可以说，具有直边以及不同于背景的单色的现实世界1对象的图像具有的连续性已经变成这种连续性，即在垂直地一行像素或水平地一行像素上形成的、具有相同形状的爪形以预先确定的间隔排列。

数据连续性检测单元101检测例如作为输入图像的数据3的这种数据连续性。例如，数据连续性检测单元101通过检测在预先确定维度方向上具有连续性的区域来检测数据连续性。例如，数据连续性检测单元101检测例如图10中所示相同的弧形以恒定间隔排列的区域。同样，例如，数据连续性检测单元101检测例如图13中所示相同的爪形以恒定间隔排列的区域。

而且，数据连续性检测单元101通过检测指示相同形状排列的空间方向上的角度(梯度)来检测数据的连续性。

而且，例如，数据连续性检测单元101通过检测指示空间方向和时间方向上相同形状排列的空间方向和时间方向上的角度(运动)来检测数据的连续性。

此外，例如，数据连续性检测单元101通过检测在预先确定维度方向上具有连续性的区域的长度来检测数据中的连续性。

以下，数据3中传感器2已经投影具有直边以及不同于背景的单色的现实世界1对象的图像的部分也将称作二值边缘。

现在，使用常规信号处理从例如数据3中产生期望高分辨率数据。

相反地，使用信号处理设备4的信号处理，现实世界1从数据3中估计，并且高分辨率数据基于估计结果而产生。也就是说，现实世界1从数据3中估计，并且高分辨率数据基于考虑数据3的估计的现实世界1而产生。

为了从现实世界1中产生高分辨率数据，需要考虑现实世界1与数据3之间的关系。例如，考虑现实世界1如何由传感器2即CCD投影到数据3上。

传感器2即CCD如上所述具有积分性质。也就是说，数据3的一个单位(例如像素值)可以通过关于传感器2的检测设备(例如CCD)的检测区域(例如感光面)积分现实世界1的信号来计算。

将此应用到高分辨率数据，高分辨率数据可以通过施加处理到估计的现实世界1而获得，其中虚拟高分辨率传感器将现实世界1的信号投影到数据3。

换句话说，如果现实世界1的信号可以从数据3中估计，包含在高分辨率数据中的一个值可以通过对虚拟高分辨率传感器的检测元件的每个检测区域(在时间-空间方向上)积分现实世界1的信号来获得。

例如，如果现实世界1信号的变化小于传感器2的检测元件检测区域的大小，数据3不能表示现实世界1信号的小变化。因此，指示现实世界1信号的小变化的高分辨率数据可以通过关于比现实世界1信号的变化小的每个区域(在时间-空间方向上)积分从数据3中估计的现实世界1的信号来获得。

也就是说，对关于虚拟高分辨率传感器的每个检测元件的检测区域积分估计的现实世界1的信号，能够获得高分辨率数据。

对于信号处理设备4，图像生成单元103通过关于虚拟高分辨率传感器的检测元件的检测区域在时间-空间方向上积分估计的现实世界1的信号，来产生高分辨率数据。

接下来，为了从数据3中估计现实世界1，在信号处理设备4处，数据3与现实世界1之间的关系、连续性以及数据3中的空间或时间混合(空间混合或时间混合)被使用。

这里，混合意思是数据3中的值，其中现实世界1中两个对象的信号混合以产生单个值。

空间混合意思是因传感器2的空间积分效应，空间方向上两个对象的信号的混合。时间混合将随后描述。

现实世界1自身由无数事件构成，因此，为了用数学表达式表示现实世界1自身，例如，需要具有无数个变量。从数据3中预测现实世界1的所有事件是不可能的。

同样地，从数据3中预测现实世界1的所有信号是不可能的。

因此，使用信号处理设备4，现实世界1的信号中，具有连续性且可以由函数f(x，y，z，t)表示的部分被关注，并且可以由函数f(x，y，z，t)表示且具有连续性的现实世界1信号的部分用由N个变量表示的模型161近似。如图14中所示，模型161从数据3中的M块数据162中预测。

为了使得模型161能够从M块数据162中预测，首先，需要基于连续性用N个变量表示模型161，第二，基于传感器2的积分性质，产生使用N个变量、指示由N个变量表示的模型161与M块数据162之间关系的表达式。因为模型161基于连续性由N个变量表示，可以说使用N个变量、指示由N个变量表示的模型161与M块数据162之间关系的表达式，描述具有连续性的现实世界1信号的部分与具有数据连续性的数据3的部分之间的关系。

换句话说，由N个变量表示的模型161近似的、具有连续性的现实世界1信号的部分产生数据3中的数据连续性。

数据连续性检测单元101检测数据连续性已经由具有连续性的现实世界1信号的部分产生的数据3的部分，以及数据连续性已经产生的部分的特性。

例如，如图15中所示，在具有直边以及不同于背景的单色的现实世界1对象的图像中，图15中由A指示的关注位置处的边缘具有梯度。图15中的箭头B指示边缘的梯度。预先确定的边缘梯度可以表示为关于参考轴的角度或者关于参考位置的方向。例如，预先确定的边缘梯度可以表示为空间方向X的坐标轴与边缘之间的角度。例如，预先确定的边缘梯度可以表示为由空间方向X的长度和空间方向Y的长度指示的方向。

当具有直边以及不同于背景的单色的现实世界1对象的图像在传感器2处获得并且数据3输出时，对应于边缘的爪形排列在数据3中与现实世界1的图像中边缘的关注位置(A)相对应的位置处，其在图15中由A′指示，并且对应于边缘的爪形在与现实世界1中图像边缘的梯度相对应的方向上，图15中由B′指示的梯度的方向上排列。

用N个变量表示的模型161近似产生数据3中数据连续性的现实世界1信号的这种部分。

当列出使用N个变量、指示由N个变量表示的模型161与M块数据162之间关系的表达式时，使用数据连续性在数据3中产生的部分的值。

在该情况下，在图16中所示数据3中，注意数据连续性在其中产生并且属于混合区域的值，表达式用积分现实世界1的信号、与由传感器2的检测元件输出的值相等的值列出。例如，多个表达式可以关于数据连续性在其中产生的数据3中多个值而列出。

在图16中，A表示边缘的关注位置，A′表示与现实世界1的图像中关注边缘的位置(A)相对应的像素(位置)。

现在，混合区域意思是现实世界1中两个对象的信号混合并变为一个值的数据3中的数据区域。例如，这样的像素值属于混合区域，其中在具有直边以及不同于数据3中背景的单色的现实世界1对象的图像中，具有直边的对象的图像和背景的图像被积分。

图17是描述在列出表达式的情况下，现实世界1中两个对象的信号以及属于混合区域的值的图。

图17的左侧说明与在空间方向X和空间方向Y上具有预先确定展开的现实世界1中两个对象相对应的现实世界1的信号，该信号在传感器2的单个检测元件的检测区域处获取。图17的右侧说明数据3中单个像素的像素值P，图17中左侧说明的现实世界1的信号已经由传感器2的单个检测元件投影到其中。也就是说，说明数据3中单个像素的像素值P，与在空间方向X和空间方向Y上具有预先确定展开的现实世界1中两个对象相对应、并且由传感器2的单个检测元件获取的现实世界1的信号已经投影到其中。

图17中的L表示与现实世界1中一个对象相对应的现实世界1的信号的光度，其在图17中以白色显示。图17中的R表示与现实世界1中另一个对象相对应的现实世界1的信号的光度，其在图17中显示为阴影。

这里，混合比α是投射到在空间方向X和空间方向Y上具有预先确定展开的传感器2的一个检测元件的检测区域中、与两个对象相对应的信号(面积)比。例如，混合比α表示投射到在空间方向X和空间方向Y上具有预先确定展开的传感器2的一个检测元件的检测区域中的光度L信号的面积，关于传感器2的单个检测元件的检测区域的面积的比值。

在该情况下，光度L、光度R和像素值P之间的关系可以由表达式(4)表示。

α×L+f(1-α)×R＝P                                 ...(4)

注意，可能存在这种情况，其中光度R可以看作位于关注像素右侧的数据3中像素的像素值，并且可能存在这种情况，其中光度L可以看作位于关注像素左侧的数据3中像素的像素值。

而且，对于混合比α和混合区域，时间方向可以与空间方向相同的方法考虑。例如，如果作为图像获取对象的现实世界1中的对象正关于传感器2运动，投射到传感器2的单个检测元件的检测区域中的两个对象的信号比在时间方向上变化。已经投射到传感器2的单个检测元件的检测区域中、其比值在时间方向上变化的两个对象的信号由传感器2的检测元件投影到数据3的单个值中。

因传感器2的时间积分效应两个对象的信号在时间方向上的混合将称作时间混合。

数据连续性检测单元101检测现实世界1中两个对象的现实世界1的信号例如已经投影到其中的数据3中的像素区域。数据连续性检测单元101例如检测与现实世界1中图像边缘的梯度相对应的数据3中的梯度。

现实世界估计单元102通过基于例如具有由数据连续性检测单元101检测的预先确定混合比α的像素区域以及区域的梯度，列出使用N个变量、表示由N个变量表示的模型161与M块数据162之间关系的表达式，并求解列出的表达式来估计现实世界1的信号。

将进一步描述现实世界1的具体估计。

在由函数F(x，y，z，t)表示的现实世界的信号中，让我们考虑使用由空间方向X上的位置x、空间方向Y上的位置y以及时间点t确定的近似函数f(x，y，t)，来近似空间方向Z上横截面处(传感器2的位置)由函数F(x，y，t)表示的现实世界的信号。

现在，传感器2的检测区域具有在空间方向X和空间方向Y上的展开。换句话说，近似函数f(x，y，t)是近似由传感器2获取的、具有在空间方向和时间方向上的展开的现实世界1的信号的函数。

让我们假定，来自传感器2的现实世界1的信号的投影产生数据3的值P(x，y，t)。数据3的值P(x，y，t)是例如作为图像传感器的传感器2输出的像素值。

现在，如果传感器2的投影可以用公式表示，通过投影近似函数f(x，y，t)而获得的值可以表示为投影函数S(x，y，t)。

获得投影函数S(x，y，t)具有下面的问题。

首先，通常，表示现实世界1的信号的函数F(x，y，z，t)可以是具有无穷阶数的函数。

第二，即使现实世界的信号可以描述为函数，经由传感器2投影的投影函数S(x，y，t)通常不能确定。也就是说，传感器2的投影动作，换句话说，传感器2的输入信号与输出信号之间的关系是未知的，所以投影函数S(x，y，t)不能确定。

对于第一个问题，让我们考虑用作为可描述函数(例如具有有穷阶数的函数)的函数f_i(x，y，t)与变量w_i的乘积的和来表示近似现实世界1的信号的函数f(x，y，t)。

同样，对于第二个问题，用公式表示传感器2的投影允许我们从函数f_i(x，y，t)的描述中描述函数S_i(x，y，t)。

也就是说，用函数f_i(x，y，t)与变量w_i的乘积的和来表示近似现实世界1的信号的函数f(x，y，t)，可以获得表达式(5)。

$f(x,y,t)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{f}_i(x,y,t)...\left(5\right)$

例如，如表达式(6)中所示，数据3与现实世界信号之间的关系可以通过用公式表示传感器2的投影从表达式(5)中如表达式(7)中所示而列出。

S_i(x，y，t)＝∫∫∫f_i(x，y，t)dxdydt                 ...(6)

$P_j(x_j,y_j,t_j)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{S}_i(x_j,y_j,t_j)...\left(7\right)$

在表达式(7)中，j表示数据的索引。

如果M个数据组(j＝1～M)与N个变量w_i(i＝1～N)存在于表达式(7)中，表达式(8)满足，所以现实世界的模型161可以从数据3中获得。

N≤M                                              ...(8)

N是表示近似现实世界1的模型161的变量数目。M是包括在数据3中的数据块162的数目。

用表达式(5)表示近似现实世界1信号的函数f(x，y，t)允许变量部分w_i可以独立地处理。这里，i表示变量数目。而且，由f_i表示的函数的形式可以独立地处理，并且期望的函数可以用于f_i。

因此，变量w_i的数目N可以不依赖于函数f_i而定义，并且变量w_i可以从变量w_i的数目N与数据块的数目M之间的关系中获得。

也就是说，使用下面三条允许现实世界1从数据3中估计。

首先，确定N个变量。也就是说，确定表达式(5)。这使得可以使用连续性描述现实世界1。例如，现实世界1的信号可以用模型161描述，其中横截面用多项式表示，并且相同的横截面形状在恒定方向上连续。

第二，例如传感器2的投影用公式表示，描述表达式(7)。例如，这用公式表示使得现实世界1的信号的积分结果是数据3。

第三，M块数据162被收集以满足表达式(8)。例如，数据162从具有已经用数据连续性检测单元101检测的数据连续性的区域中收集。例如，作为连续性的实例恒定的横截面连续的区域的数据162被收集。

这样，数据3与现实世界1之间的关系用表达式(5)描述，并且M块数据162被收集，从而满足表达式(8)，且现实世界1可以估计。

更具体地说，如果N＝M，变量数目N和表达式数目M相等，所以变量w_i可以通过列出联立方程而获得。

同样，如果N＜M，各种求解方法可以应用。例如，变量w_i可以由最小二乘法获得。

现在，将详细描述最小二乘法的求解方法。

首先，从现实世界1预测数据3的表达式(9)将根据表达式(7)显示。

${P^{\′}}_j(x_j,y_j,t_j)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{S}_i(x_j,y_j,t_j)...\left(9\right)$

在表达式(9)中，P′_j(x_j，y_j，t_j)是预测值。

预测值P′与观测值P的方差和E由表达式(10)表示。

$E=\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{(P_j(x_j,y_j,t_j)-{P^{\′}}_j(x_j,y_j,t_j))}^2...\left(10\right)$

变量w_i获得使得方差和E最小。因此，表达式(10)对于每个变量w_k的偏微分值为0。也就是说，表达式(11)成立。

$\frac{\∂E}{\∂w_k}=-2\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{w}_i{S}_k(x_j,y_j,t_j)(P_j(x_j,y_j,t_j)-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{S}_i(x_j,y_j,t_j))=0...\left(11\right)$

表达式(11)产生表达式(12)。

$\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\left(S_k(x_j,y_j,t_j)\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{S}_i(x_j,y_j,t_j)\right)=\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{S}_k(x_j,y_j,t_j)P_j(x_j,y_j,t_j)...\left(12\right)$

当表达式(12)对k＝1～N成立时，获得最小二乘法的解。其正则方程在表达式(13)中显示。

注意，在表达式(13)中，将S_i(x_j，y_j，t_j)描述为S_i(j)。

$W_{\mathrm{MAT}}=\left(\begin{array}{c}{w}_1\\ w_2\\ .\\ .\\ .\\ w_N\end{array}\right)...\left(15\right)$

$P_{\mathrm{MAT}}=\left(\begin{array}{c}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{S}_1\left(j\right)P_j\left(j\right)\\ \underset{j=1}{\overset{M}{\mathrm{\Σ}}}{S}_2\left(j\right)P_j\left(j\right)\\ .\\ .\\ .\\ \underset{j=1}{\overset{M}{\mathrm{\Σ}}}{S}_N\left(j\right)P_j\left(j\right)\end{array}\right)...\left(16\right)$

从表达式(14)到表达式(16)中，表达式(13)可以表示为S_MATW_MAT＝P_MAT。

在表达式(13)中，S_i表示现实世界1的投影。在表达式(13)中，P_j表示数据3。在表达式(13)中，w_i表示描述和获得现实世界1的信号的特性的变量。

因此，将数据3输入表达式(13)中并通过矩阵解法等获得W_MAT使得现实世界1可以被估计。也就是说，现实世界1可以通过计算表达式(17)来估计。

$W_{\mathrm{MAT}}=S_{\mathrm{MAT}}^{-1}{P}_{\mathrm{MAT}}...\left(17\right)$

注意，如果S_MAT不是正则的，S_MAT的转置矩阵可以用来获得W_MAT。

现实世界估计单元102通过例如将数据3输入表达式(13)中并由矩阵解法等获得W_MAT来估计现实世界1。

现在，将描述更详细的实例。例如，现实世界1的信号的横截面形状，即关于位置变化的光度变化将用多项式描述。让我们假设现实世界1的信号的横截面形状是恒定的，并且现实世界1的信号的横截面以恒定速度运动。来自传感器2的现实世界1的信号到数据3的投影由现实世界1的信号在时间-空间方向上的三维积分来用公式表示。

现实世界1的信号的横截面以恒定速度运动的假设产生表达式(18)和表达式(19)。

$\frac{\mathrm{dx}}{\mathrm{dt}}=v_x...\left(18\right)$

$\frac{\mathrm{dy}}{\mathrm{dt}}=v_y...\left(19\right)$

这里，v_x和v_y是恒定的。

使用表达式(18)和表达式(19)，现实世界1的信号的横截面形状可以在表达式(20)中表示。

f(x′，y′)＝f(x+v_xt，y+v_yt)                   ...(20)

由现实世界1的信号在时间-空间方向上的三维积分表示来自传感器2的现实世界1的信号到数据3的投影产生表达式(21)。

$S(x,y,t)={\∫}_{x_x}^{x_e}{\∫}_{y_s}^{y_e}{\∫}_{t_s}^{t_e}f(x^{\′},y^{\′})\mathrm{dxdydt}$

$={\∫}_{x_x}^{x_e}{\∫}_{y_s}^{y_e}{\∫}_{t_s}^{t_e}f(v+v_{x}t,y+v_{y}t)\mathrm{dxdydt}...\left(21\right)$

在表达式(21)中，S(x，y，t)表示从空间方向X的位置x_s到位置x_e、从空间方向Y的位置y_s到位置y_e，以及从时间方向t的时间点t_s到时间点t_e的区域，也就是表示为空间-时间立方体的区域的积分值。

使用表达式(21)可以由此确定的期望函数f(x′，y′)来求解表达式(13)使得现实世界1的信号可以被估计。

在下文中，我们将使用表达式(22)中指示的函数作为函数f(x′，y′)的实例。

f(x′，y′)＝w₁x′+w₂y′+w₃

           ＝w₁(x+v_xt)+w₂(y+v_yt)+w₃                 ...(22)

也就是说，现实世界1的信号被估计以包括表达式(18)、表达式(19)以及表达式(22)中表示的连续性。这指示具有恒定形状的横截面在空间-时间方向上运动，如图18中所示。

将表达式(22)代入表达式(21)产生表达式(23)。

$S(x,y,t)={\∫}_{x_x}^{x_e}{\∫}_{y_s}^{y_e}{\∫}_{t_s}^{t_e}f(x+v_{x}t,y+v_{y}t)\mathrm{dxdydt}$

$=\mathrm{Volume}(\frac{w_0}{2}(x_e+x_s+v_x(t_e+t_s))+\frac{w_1}{2}(y_e+y_s+v_y(t_e+t_s))+w_2)$

$=w_0{S}_0(x,y,t)+w_1{S}_1(x,y,t)+w_2{S}_2(x,y,t)...\left(23\right)$

其中

Volume＝(x_e-x_s)(y_e-y_s)(t_e-t_s)

s₀(x，y，t)＝Volume/2×(x_e+x_s+v_x(t_e+t_s))

s₁(x，y，t)＝Volume/2×(y_e+y_s+v_y(t_e+t_s))

s₂(x，y，t)＝1

成立。

图19是说明从数据3中选取的M块数据162的实例的图。例如，让我们假定27个像素值被选取作为数据162，并且选取的像素值为P_j(x，y，t)。在该情况下，j为0～26。

在图19中所示的实例中，如果与t为n的时间点处关注位置相对应的像素的像素值为P₁₃(x，y，t)，并且具有数据连续性的像素的像素值的阵列方向(例如由数据连续性检测单元101检测的形状相同的爪形排列的方向)是连接P₄(x，y，t)、P₁₃(x，y，t)和P₂₂(x，y，t)的方向，则t为n的时间点处的像素值P₉(x，y，t)～P₁₇(x，y，t)、时间上早于n的n-1的时间点t处的像素值P₀(x，y，t)～P₈(x，y，t)，以及时间上迟于n的n+1的时间点t处的像素值P₁₈(x，y，t)～P₂₆(x，y，t)被选取。

现在，作为从为传感器2的图像传感器输出的数据3的像素值已经获得的区域具有时间方向和二维空间方向展开。现在，例如，与像素值相对应的立方体的重心(像素值已经获得的区域)可以用作空间-时间方向上的像素位置。

从27个像素值P₀(x，y，t)～P₂₆(x，y，t)以及表达式(23)中产生表达式(13)，并获得W，使得现实世界1可以被估计。

这样，现实世界估计单元102从27个像素值P₀(x，y，t)～P₂₆(x，y，t)以及表达式(23)中产生表达式(13)，并获得W，从而估计现实世界1的信号。

注意，高斯函数、S形函数等可以用于函数f_i(x，y，t)。

将参考图20至图23来描述从估计的现实世界1信号中产生与数据3相对应的、具有更高分辨率的高分辨率数据的处理实例。

如图20中所示，数据3具有现实世界1的信号在时间方向和二维空间方向上积分的值。例如，作为已经从为传感器2的图像传感器输出的数据3的像素值具有这样的值，其中作为投射到检测设备中的光的现实世界1的信号在时间方向上以作为检测时间的快门时间积分，并且在空间方向上以检测元件的感光区域积分。

相反地，如图21中所示，具有空间方向上更高分辨率的高分辨率数据通过在时间方向上以与已经输出数据3的传感器2的检测时间相同的时间、以及在空间方向上以比已经输出数据3的传感器2的检测元件感光区域窄的区域，积分估计的现实世界1信号而产生。

注意，当产生具有空间方向上更高分辨率的高分辨率数据时，现实世界1的估计信号被积分的区域可以完全脱离已经输出数据3的传感器2的检测元件感光区域而设置。例如，高分辨率数据可以提供有这样的分辨率，其为在空间方向上放大整数倍的数据3的分辨率，当然，还可以提供有这样的分辨率，其为在空间方向上放大有理数例如5/3倍的数据3的分辨率。

同样，如图22中所示，具有时间方向上更高分辨率的高分辨率数据通过在空间方向上以与已经输出数据3的传感器2的检测元件感光区域相同的区域、以及在时间方向上以比已经输出数据3的传感器2的检测时间短的时间，积分估计的现实世界1信号而产生。

注意，当产生具有时间方向上更高分辨率的高分辨率数据时，现实世界1的估计信号被积分的时间可以完全脱离已经输出数据3的传感器2的检测元件快门时间而设置。例如，高分辨率数据可以提供有这样的分辨率，其为在时间方向上放大整数倍的数据3的分辨率，当然，还可以提供有这样的分辨率，其为在时间方向上放大有理数例如7/4倍的数据3的分辨率。

去除了运动模糊的高分辨率数据通过仅在空间方向而不在时间方向上积分估计的现实世界1信号来产生。

此外，如图23中所示，具有时间方向和空间方向上更高分辨率的高分辨率数据通过在空间方向上以比已经输出数据3的传感器2的检测元件感光区域小的区域，以及在时间方向上以比已经输出数据3的传感器2的检测时间短的时间，积分估计的现实世界1信号而产生。

在该情况下，积分估计的现实世界1信号的区域和时间可以完全不相关于已经输出数据3的传感器2的检测元件的感光区域和快门时间而设置。

从而，图像生成单元103通过例如以期望的空间-时间区域积分估计的现实世界1信号，来产生具有时间方向或空间方向上更高分辨率的数据。

因此，关于现实世界1的信号更精确并且具有时间方向或空间方向上更高分辨率的数据可以通过估计现实世界1的信号来产生。

图24至图28说明输入图像的实例以及用于信号处理的信号处理设备4处理结果的实例。

图24是说明输入图像的原始图像(相当于现实世界1的光信号)的图。图25是说明输入图像实例的图。图25中所示输入图像是通过取属于由图24中所示图像的2×2像素构成的块的像素的像素值平均值作为单个像素的像素值而产生的图像。也就是说，输入图像是通过对图24中所示图像应用空间方向积分，模仿传感器的积分性质而获得的图像。

图24中所示原始图像包含从垂直方向顺时针方向倾斜大约5度的细线的图像。同样地，图25中所示输入图像包含从垂直方向顺时针方向倾斜大约5度的细线的图像。

图26是说明通过对图25中所示输入图像应用常规类型分类适应处理而获得的图像。现在，类型分类处理由类型分类处理和适应处理构成，其中数据由类型分类适应处理基于其特性来分类，并对每一类进行适应处理。在适应处理中，例如低图像质量或标准图像质量图像通过经历使用预先确定抽头系数的映射(映射)转换成高图像质量图像。

也就是说，使用适应处理，第一数据通过使用预先确定抽头系数被映射(映射)而转换成第二数据。

现在，适应处理将关于使用抽头系数的映射方法来描述，其中例如线性组合模型被使用，而且通过用低通滤波器过滤高分辨率HD(高清晰度)图像而获得的低分辨率图像或标准分辨率SD(标准清晰度)图像用作第一数据，而用于获得SD图像的HD图像用作第二数据。

现在，在上述条件下，构成HD图像的HD像素y可以使用从构成SD图像的SD像素中选取的多个SD像素作为预测HD图像的预测抽头以及抽头系数，通过下面的线性表达式(线性组合)获得。

$y=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}_n...\left(24\right)$

其中，在表达式(24)中，x_n表示构成关于HD像素y的预测抽头、SD图像中第n个像素的像素值，并且w_n表示与第n个SD像素(的像素值)相乘的第n个抽头系数。注意在表达式(24)中，预测抽头由N个SD像素x₁，x₂，...，x_N构成。

现在，HD像素的像素值y可以由二次表达式或更高，代替表达式(24)中所示线性表达式来获得。

现在，在HD图像中，假定y_k表示第k个HD像素(的像素值)的真实值，并且y_k′表示由表达式(24)获得的真实值y_k的预测值，其预测误差e_k如下面的表达式中表示，例如。

e_k＝y_k-y_k′                                  ...(25)

表达式(25)中的预测值y_k′根据表达式(24)获得，所以将依照表达式(24)的y_k′代入表达式(25)中产生下面的表达式。

$e_k=y_k-\left(\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}_{n,k}\right)...\left(26\right)$

其中，在表达式(26)中，x_n，k表示构成第k个HD像素的预测抽头的第n个SD像素。

虽然表达式(26)中预测误差e_k为0的抽头系数w_n对于预测HD像素是最佳的，对于所有HD像素获得这种抽头系数w_n通常是困难的。

因此，作为表示最佳的抽头系数w_n的规则，使用最小二乘法例如，意思是最佳抽头系数w_n可以通过使得作为统计误差的例如下面表达式中表示的均方误差的求和E达到最小来获得。

$E=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e_k}^2...\left(27\right)$

其中，在表达式(27)中，k表示由HD像素y_k以及构成关于该HD像素y_k的预测抽头的SD像素x_1，k，x_2，k，...，x_N，k构成的样品集的数目。

使得表达式(27)中的均方误差的求和E最小(最小值)的抽头系数W_n是这样的，即求和E对于抽头系数w_n的偏微分为0。因此，下面的表达式必须满足。

$\frac{\∂E}{{\∂w}_n}=e_1\frac{{\∂e}_1}{\∂w_n}+e_2\frac{{\∂e}_2}{{\∂w}_n}+\·\·\·+e_k\frac{{\∂e}_{k2}}{\∂w_n}=0,(n=\mathrm{1,2},\·\·\·,N)...\left(28\right)$

现在，上面表达式(26)对抽头系数w_n的偏微分产生下面的表达式。

$\frac{{\∂e}_k}{{\∂w}_1}=-x_{1,k},\frac{\∂e_k}{{\∂w}_2}=-x_{2,k},\·\·\·,\frac{\∂e_k}{{\∂w}_N}=-x_{N,k},(k=\mathrm{1,2},\·\·\·,K)...\left(29\right)$

表达式(28)和(29)产生下面的表达式。

$\underset{k=1}{\overset{k}{\mathrm{\Σ}}}{e}_k{x}_{1,k}=0,\underset{k=1}{\overset{k}{\mathrm{\Σ}}}{e}_k{x}_{2,k}=0,\·\·\·\underset{k=1}{\overset{k}{\mathrm{\Σ}}}{e}_k{x}_{N,k}=0...\left(30\right)$

用表达式(26)代替表达式(30)中的e_k使得表达式(30)能够以表达式(31)中的正则方程的形式表示。

准备一定数目的HD像素y_k和SD像素x_n，k的集合允许与抽头系数w_n数据相同的列出的表达式(31)中正则方程可以获得，并且求解表达式(31)可以获得最佳抽头系数w_n。注意扫描(高斯-约旦消除)等例如可以用于求解表达式(31)。

如上所述，适应处理涉及取大量HD像素y₁，y₂，...，y_k作为导师数据以用作为抽头系数学习的导师，同样取构成关于每个HD像素y_k的预测抽头的SD像素x_1，k，x_2，k，...，x_N，k作为学生数据以用作为抽头系数学习的学生，并且求解表达式(31)，从而执行获得最佳抽头系数w_n的学习，进一步使用最佳抽头系数w_n来执行根据表达式(24)SD图像到HD图像的映射(转换)。

现在，对于构成HD像素y_k的预测抽头的SD像素x_1，k，x_2，k，...，x_N，k，空间上或时间上接近对应于HD像素y_k的SD图像上位置的SD像素可以使用。

同样，使用类型分类适应处理，抽头系数w_n的学习以及使用抽头系数w_n的映射可以根据类型执行。使用类型分类适应处理，类型分类处理关于关注的HD像素y_k执行，并且抽头系数w_n的学习以及使用抽头系数w_n的映射对于由类型分类处理获得的每个类而执行。

关于HD像素y_k的类型分类处理的一个实例是从SD图像中选取多个SD像素用作用于HD像素y_k类型分类的类抽头，并且使用由多个SD像素构成的类抽头来执行M位ADRC(自适应动态范围编码)。

在M位ADRC处理中，构成类抽头的SD像素的最大值MAX和最小值MIN被检测，DR＝MAX-MIN设置为局部动态范围，并且构成类抽头的SD像素基于该动态范围DR重新量化为k位。也就是说，最小值MIN从构成类抽头的SD像素中减去，并且减少值除以DR/2^k(量化)。因此，如果类抽头经历例如1位ADRC处理，构成类抽头的每个SD像素是一位。在该情况下，通过以预先确定顺序排列关于构成已经如上所述获得的类抽头的每个SD像素的1位像素值而获得的位串作为ADRC编码输出，并且ADRC编码看作表示类的类编码。

注意，类型分类适应处理不同于例如简单的内插处理等，在于没有包括在SD图像中但是包括在HD图像中的分量被再现。也就是说，使用类型分类适应处理，通过仅看表达式(24)看起来这与使用所谓内插滤波器的内插处理相同，但是相当于内插滤波器抽头系数的抽头系数wn已经通过使用用作导师数据的HD图像和用作学生数据的SD图像学习来获得，所以包含在HD图像中的分量可以再现。

现在，执行各种类型转换的抽头系数w_n可以依赖于使用哪种类型组合的导师数据y和学生数据x在抽头系数w_n学习中获得。

也就是说，在取高分辨率HD图像作为导师数据y并且取HD图像的分辨率已经退化的SD图像作为学生数据x例如的情况下，将图像映射到分辨率提高的图像的抽头系数w_n可以获得。此外，在取HD图像作为导师数据y并且取HD图像的像素数目已经减少的SD图像作为学生数据x例如的情况下，将图像映射到具有构成图像的增大数目像素的图像的抽头系数w_n可以获得。

图26是通过使图25中所示输入图像经历例如上述类型分类适应处理的映射而获得的图像。可以理解，在图26中所示图像中，细线的图像不同于图24中原始图像。

图27是说明由数据连续性检测单元101从图25中实例中所示的输入图像中检测细线区域的结果的图。在图27中，白色区域表示细线区域，即图10中所示弧形排列于其中的区域。

图28是说明通过以图25中所示图像作为输入图像，在信号处理设备4处执行信号处理而获得的输出图像的实例的图。如图28中所示，信号处理设备4产生更接近图24中所示原始图像的细线图像的图像。

图29是描述使用信号处理设备4的信号处理的流程图。

在步骤S101中，数据连续性检测单元101执行检测连续性的处理。数据连续性检测单元101检测包含在作为数据3的输入图像中的数据连续性，并将指示检测的数据连续性的数据连续性信息提供给现实世界估计单元102和图像生成单元103。

数据连续性检测单元101检测与现实世界的信号的连续性相对应的数据的连续性。在步骤S101的处理中，由数据连续性检测单元101检测的数据连续性或者是包含在数据3中的现实世界1图像连续性的一部分，或者是已经从现实世界1信号的连续性变化的连续性。

例如，数据连续性检测单元101通过检测在预先确定维度方向上具有连续性的区域来检测数据连续性。同样，例如，数据连续性检测单元101通过检测指示相同形状排列的空间方向上的角度(梯度)来检测数据连续性。

步骤S101中的连续性检测处理的细节将随后描述。

注意，数据连续性信息可以用作指示数据3特性的特征。

在步骤S102中，现实世界估计单元102执行估计现实世界的处理。也就是说，现实世界估计单元102基于输入图像以及从数据连续性检测单元101提供的数据连续性信息来估计现实世界的信号。在步骤S102的处理中例如，现实世界估计单元102通过预测近似(描述)现实世界1的模型161来估计现实世界1的信号。现实世界估计单元102将指示现实世界1的估计信号的现实世界估计信息提供给图像生成单元103。

例如，现实世界估计单元102通过预测线形对象的宽度来估计现实世界1信号。同样，例如，现实世界估计单元102通过预测指示线形对象颜色的光度来估计现实世界1信号。

步骤S102中估计现实世界的处理细节将随后描述。

注意，现实世界估计信息可以用作指示数据3特性的特征。

在步骤S103中，图像生成单元103执行图像生成处理，并且处理结束。也就是说，图像生成单元103基于现实世界估计信息产生图像，并输出生成的图像。或者，图像生成单元103基于数据连续性信息和现实世界估计信息产生图像，并输出生成的图像。

例如，在步骤S103的处理中，图像生成单元103基于现实世界估计信息，在空间方向上积分估计的真实世界的光，从而产生与输入图像相比较具有空间方向上更高分辨率的图像，并输出生成的图像。例如，图像生成单元103基于现实世界估计信息，在时间-空间方向上积分估计的真实世界的光，从而生成与输入图像相比较具有时间方向和空间方向上更高分辨率的图像，并输出生成的图像。步骤S103中的图像生成处理的细节将随后描述。

因此，信号处理设备4从数据3中检测数据连续性，并从检测的数据连续性中估计现实世界1。信号处理设备4然后基于估计的现实世界1产生更接近现实世界1的信号。

如上所述，如果执行估计现实世界的信号的处理，可以获得准确且高度精确的处理结果。

另外，如果作为具有第一维度的真实世界信号的第一信号被投影，与真实世界信号的丢失连续性相对应的数据连续性对于具有第二维度的第二信号而检测，该第二维度具有少于第一维度的维度数目，真实世界信号的连续性的一部分从其中丢失，并且第一信号通过基于检测的数据连续性估计丢失的真实世界信号连续性而估计，准确且高度精确的处理结果可以关于真实世界中的事件而获得。

接下来，将描述数据连续性检测单元101的构造细节。

图30是说明数据连续性检测单元101的构造的框图。

当获取细线对象的图像时，其构造如图30中所示的数据连续性检测单元101检测包含在数据3中的数据连续性，该连续性从对象具有的横截面形状相同的连续性中产生。也就是说，具有图30中所示构造的数据连续性检测单元101检测包含在数据3中的数据连续性，该连续性从作为细线的现实世界1的图像具有的连续性中产生，即关于垂直于长度方向的方向上位置变化的光度变化在长度方向上任意位置处相同。

更具体地说，其构造如图30中所示的数据连续性检测单元101在通过用具有空间积分效应的传感器2获取细线图像而获得的数据3中，检测具有预先确定长度的多个弧形(半盘)以对角偏移相邻方式排列的区域。

数据连续性检测单元101从作为数据3的输入图像中提取除具有数据连续性的细线图像已经投影到其中的图像数据部分(下文中，具有数据连续性的细线图像已经投影到其中的图像数据部分也将称作连续性分量，并且其它部分将称作非连续性分量)之外的图像数据部分(以下称作非连续性分量)，从提取的非连续性分量和输入图像中检测现实世界1的细线图像已经投影到其中的像素，并检测由现实世界1的细线图像已经投影到其中的像素构成的输入图像的区域。

非连续性分量提取单元201从输入图像中提取非连续性分量，并将指示提取的非连续性分量的非连续性分量信息与输入图像一起提供给峰值检测单元202和单调增大/减小检测单元203。

例如，如图31中所示，如果细线存在于具有近似恒定光度的背景前面的现实世界1的图像投影在数据3上，非连续性分量提取单元201通过在平面上近似作为数据3的输入图像中的背景来提取作为背景的非连续性分量，如图32所示。在图32中，实线表示数据3的像素值，而虚线说明由近似背景的平面表示的近似值。在图32中，A表示细线的图像已经投影到其中的像素的像素值，而PL表示近似背景的平面。

这样，具有数据连续性的图像数据的部分处多个像素的像素值关于非连续性分量是不连续的。

非连续性分量提取单元201检测作为数据3的图像数据的多个像素的像素值的不连续部分，其中作为现实世界1光信号的图像已经投影到其中并且现实世界1图像连续性的一部分已经丢失。

使用非连续性分量提取单元201提取非连续性分量的处理细节将随后描述。

峰值检测单元202和单调增大/减小检测单元203基于从非连续性分量提取单元201提供的非连续性分量信息，从输入图像中去除非连续性分量。例如，峰值检测单元202和单调增大/减小检测单元203通过将仅背景图像投影到其中的输入图像像素的像素值设置为0而从输入图像中去除非连续性分量。同样，例如，峰值检测单元202和单调增大/减小检测单元203通过从输入图像的每个像素的像素值中减去由平面PL近似的值而从输入图像中去除非连续性分量。

因为背景可以从输入图像中去除，峰值检测单元202至连续性检测单元204可以仅处理细线投影到其中的图像数据的部分，从而进一步简化峰值检测单元202至连续性检测单元204的处理。

注意，非连续性分量提取单元201可以将非连续性分量已经从输入图像中去除的图像数据提供给峰值检测单元202和单调增大/减小检测单元203。

在下述处理的实例中，非连续性分量已经从输入图像中去除的图像数据，即仅由包含连续性分量的像素构成的图像数据作为对象。

现在，将描述峰值检测单元202至连续性检测单元204将检测的、细线图像已经投影到其上的图像数据。

如果没有光学LPF，如图31中所示细线图像已经投影到其上的图像数据在空间方向Y上的横截面图像(关于空间方向上位置的变化，像素值变化)可以看作图33中所示的梯形，或图34中所示的三角形，因作为传感器2的图像传感器的空间积分效应。但是，普通的图像传感器具有光学LPF，图像传感器获得已经通过光学LPF的图像，并将获得的图像投影到数据3上，所以实际上，在空间方向Y上具有细线的图像数据的横截面形状具有类似高斯分布的形状，如图35中所示。

峰值检测单元202至连续性检测单元204检测由细线图像已经投影到其上的像素构成的区域，其中相同的横截面形状(关于空间方向上位置的变化，像素值变化)以恒定间隔在屏幕中垂直方向上排列，并且，通过检测与现实世界1细线的长度方向相对应的区域连接，检测由细线图像已经投影到其上的像素构成的区域，即具有数据连续性的区域。也就是说，峰值检测单元202至连续性检测单元204检测弧形(半盘形)在输入图像中单个垂直行像素上形成的区域，并确定检测的区域是否在水平方向上相邻，从而检测与作为现实世界1信号的细线图像长度方向相对应的、弧形形成的区域的连接。

同样，峰值检测单元202至连续性检测单元204检测由细线图像已经投影到其上的像素构成的区域，其中相同的横截面形状以恒定间隔在屏幕中水平方向上排列，并且，通过检测与现实世界1细线的长度方向相对应的检测区域的连接，检测由细线图像已经投影到其上的像素构成的区域，即具有数据连续性的区域。也就是说，峰值检测单元202至连续性检测单元204检测弧形在输入图像中单个水平行像素上形成的区域，并确定检测的区域是否在垂直方向上相邻，从而检测与作为现实世界1信号的细线图像长度方向相对应的、弧形形成的区域的连接。

首先，将描述检测细线图像已经投影到其上的像素区域的处理，其中相同的弧形以恒定间隔在屏幕中垂直方向上排列。

峰值检测单元202检测像素值比周围像素大的像素，即峰值，并将指示峰值位置的峰值信息提供给单调增大/减小检测单元203。如果以在屏幕中单个垂直方向行中排列的像素作为对象，峰值检测单元202比较屏幕中上方的像素位置的像素值与屏幕中下方的像素位置的像素值，并检测具有较大像素值的像素作为峰值。峰值检测单元202从单个图像例如从单帧图像中检测一个或多个峰值。

单个屏幕包含帧或场。这在下面的描述中同样成立。

例如，峰值检测单元202从还没有取作关注像素的一帧图像的像素中选择关注像素，比较关注像素的像素值与在关注像素上方的像素的像素值，比较关注像素的像素值与在关注像素下方的像素的像素值，检测像素值大于其上方像素的像素值并大于其下方像素的像素值的关注像素，并取检测的关注像素作为峰值。峰值检测单元202将指示检测峰值的峰值信息提供给单调增大/减小检测单元203。

存在峰值检测单元202没有检测到峰值的情况。例如，如果图像的所有像素的像素值是相同值，或者如果像素值在一个或两个方向上减小，检测不到峰值。在该情况下，没有细线图像投影在图像数据上。

单调增大/减小检测单元203基于从峰值检测单元202提供的指示峰值位置的峰值信息，检测由细线图像已经投影到其上的像素构成的区域的候选，其中像素关于由峰值检测单元202检测的峰值垂直地排列在单行中，并且将指示检测的区域的区域信息与峰值信息一起提供给连续性检测单元204。

更具体地说，单调增大/减小检测单元203检测由具有参考峰值像素值单调减小的像素值的像素构成的区域，作为由细线图像已经投影到其上的像素构成的区域的候选。单调减小意思是，在距离方向上离峰值较远的像素的像素值比离峰值较近的像素的像素值小。

同样，单调增大/减小检测单元203检测由具有参考峰值像素值单调增大的像素值的像素构成的区域，作为由细线图像已经投影到其上的像素构成的区域的候选。单调增大意思是，在距离方向上离峰值较远的像素的像素值比离峰值较近的像素的像素值大。

下面，关于具有单调增大像素值的像素区域的处理与关于具有单调减小像素值的像素区域的处理相同，因此其描述将省略。同样，对于关于检测细线图像已经投影到其上的像素区域的处理的描述，其中相同的弧形以恒定间隔在屏幕中水平排列，关于具有单调增大像素值的像素区域的处理与关于具有单调减小像素值的像素区域的处理相同，因此其描述将省略。

例如，单调增大/减小检测单元203获得关于峰值的垂直行中每个像素的像素值、关于上方像素的像素值的差、以及关于下方像素的像素值的差。单调增大/减小检测单元203然后通过检测差符号改变的像素来检测像素值单调减小的区域。

此外，单调增大/减小检测单元203使用峰值的像素值的符号作为参考，从像素值单调减小的区域中检测由具有与峰值像素值符号相同的像素值的像素构成的区域，作为由细线图像投影到其上的像素构成的区域的候选。

例如，单调增大/减小检测单元203比较每个像素的像素值的符号与上方像素的像素值的符号以及下方像素的像素值的符号，并且检测像素值符号改变的像素，从而检测像素值单调减小的区域中具有与峰值符号相同的像素值的像素区域。

因此，单调增大/减小检测单元203检测由在垂直方向上排列的像素形成的区域，其中像素值关于峰值单调减小，并且与峰值具有相同的符号。

图36是描述峰值检测和单调增大/减小区域检测的处理的图，该处理用于从关于空间方向Y上位置的像素值中，检测细线图像已经投影到其中的像素区域。

在图36至图38中，P表示峰值。在其构造如图30中所示的数据连续性检测单元101的描述中，P表示峰值。

峰值检测单元202比较像素的像素值与在空间方向Y上与其相邻的像素的像素值，并通过检测像素值大于在空间方向Y上相邻的两个像素的像素值的像素，来检测峰值P。

由峰值P以及在空间方向Y上在峰值P两侧的像素构成的区域是单调减小区域，其中在空间方向Y上两侧像素的像素值关于峰值P的像素值单调减小。在图36中，由A表示的箭头和由B表示的箭头代表在峰值P任一侧上存在的单调减小区域。

单调增大/减小检测单元203获得每个像素的像素值与在空间方向Y上相邻的像素的像素值之间的差，并检测差符号改变的像素。单调增大/减小检测单元203取差符号改变的检测像素与(在峰值P侧上)紧邻其在其之前的像素之间的边界，作为由细线图像已经投影到其中的像素构成的细线区域的边界。

在图36中，细线区域的边界，即差符号改变的像素与(在峰值P侧上)紧邻其在其之前的像素之间的边界，由C表示。

此外，单调增大/减小检测单元203比较每个像素的像素值的符号与在空间方向Y上与其相邻的像素的像素值，并检测单调减小区域中像素值符号改变的像素。单调增大/减小检测单元203取像素值符号改变的检测像素与(在峰值P侧上)紧邻其在其之前的像素之间的边界作为细线区域的边界。

在图36中，细线区域的边界，即像素值符号改变的像素与(在峰值P侧上)紧邻其在其之前的像素之间的边界，由D表示。

如图36中所示，由细线图像已经投影到其中的像素构成的细线区域F是细线区域边界C与细线区域边界D之间的区域。

单调增大/减小检测单元203从由这种单调增大/减小区域构成的细线区域F中获得长于预先确定阈值的细线区域F，即细线区域F具有比阈值更多的像素数目。例如，如果阈值为3，单调增大/减小检测单元203检测到包括4个或更多像素的细线区域F。

另外，单调增大/减小检测单元203将从这样检测的细线区域F中的峰值P的像素值、峰值P右侧的像素的像素值、以及峰值P左侧的像素的像素值，每个与阈值相比较，检测具有这种峰值P的细线像素区域F，其中峰值P的像素值超过阈值，峰值P右侧的像素的像素值为阈值或更小、以及峰值P左侧的像素的像素值为阈值或更小，并取检测的细线区域F作为由包含细线图像分量的像素构成的区域的候选。

换句话说，确定具有这种峰值P的细线区域F，其中峰值P的像素值为阈值或更小，或者峰值P右侧的像素的像素值超过阈值，或者峰值P左侧的像素的像素值超过阈值，不包含细线图像的分量，并且从由包括细线图像分量的像素构成的区域的候选中去除。

也就是，如图37中所示，单调增大/减小检测单元203比较峰值P的像素值与阈值，并且也比较在空间方向X(由虚线AA′表示的方向)上与峰值P相邻的像素的像素值与阈值，从而检测峰值P所属的细线区域F，其中峰值P的像素值超过阈值，并且在空间方向X上与其相邻的像素的像素值等于或小于阈值。

图38是说明在由图37中虚线AA′表示的空间方向X上排列的像素的像素值的图。峰值P所属的细线区域F，其中峰值P的像素值超过阈值Th_s，并且在空间方向X上与其相邻的像素的像素值等于或小于阈值Th_s，包含细线分量。

注意，配置可以这样进行，其中单调增大/减小检测单元203以背景的像素值作为参考，将峰值P的像素值和背景的像素值之间的差与阈值相比较，并且也将在空间方向X上与峰值P相邻的像素的像素值和背景的像素值之间的差与阈值相比较，从而检测峰值P所属的细线区域F，其中峰值P的像素值和背景的像素值之间的差超过阈值，并且其中在空间方向X上相邻的像素的像素值和背景的像素值之间的差等于或小于阈值。

单调增大/减小检测单元203将指示由以峰值P作为参考像素值单调减小并且像素值的符号与峰值P的相同的像素构成的区域的单调增大/减小区域信息提供给连续性检测单元204，其中峰值P超过阈值并且其中峰值P右侧的像素的像素值等于或低于阈值，以及峰值P左侧的像素的像素值等于或低于阈值。

如果检测在屏幕垂直方向上以单行排列、细线图像已经投影到其中的像素区域，属于由单调增大/减小区域信息指示的区域的像素在垂直方向上排列，并且包括细线图像投影到其中的像素。也就是说，由单调增大/减小区域信息指示的区域包括由在屏幕垂直方向上以单行排列、细线图像已经投影到其中的像素形成的区域。

这样，峰值检测单元202和单调增大/减小检测单元203使用细线图像已经投影到其中的像素中，空间方向上像素值的变化近似高斯分布的特性，检测由细线图像已经投影到其中的像素构成的连续性区域。

在由垂直方向上排列的像素构成的、由从单调增大/减小检测单元203提供的单调增大/减小区域信息指示的区域中，连续性检测单元204检测包括在水平方向上相邻的像素的区域，即具有类似像素值变化且在垂直方向上重复的区域作为连续区域，并且输出峰值信息和指示检测的连续区域的数据连续性信息。数据连续性信息包括单调增大/减小区域信息、指示区域的连接的信息等。

弧形以与细线已经投影到其中的像素相邻的方式以恒定间隔排列，所以检测的连续区域包括细线已经投影到其中的像素。

检测的连续区域包括弧形以相邻方式以恒定间隔排列、细线已经投影到其中的像素，所以检测的连续区域看作连续性区域，并且连续性检测单元204输出指示检测的连续区域的数据连续性信息。

也就是说，连续性检测单元204使用在通过成像细线而获得的数据3中弧形以相邻方式以恒定间隔排列的连续性，该连续性因现实世界1中细线图像的连续性而产生，该连续性的特性在长度方向上连续，以便进一步缩小使用峰值检测单元202和单调增大/减小检测单元203检测的区域的候选。

图39是描述检测单调增大/减小区域的连续性的处理的图。

如图39中所示，如果由在屏幕垂直方向上以单行排列的像素形成的细线区域F包括在水平方向上相邻的像素，连续性检测单元204确定在两个单调增大/减小区域之间存在连续性，并且如果不包括在水平方向上相邻的像素，确定两个细线区域F之间不存在连续性。例如，如果包含在水平方向上与细线区域F₀的像素相邻的像素，由在屏幕垂直方向上以单行排列的像素构成的细线区域F_-1被确定与由在屏幕垂直方向上以单行排列的像素构成的细线区域F₀连续。如果包含在水平方向上与细线区域F₁的像素相邻的像素，由在屏幕垂直方向上以单行排列的像素构成的细线区域F₀被确定与由在屏幕垂直方向上以单行排列的像素构成的细线区域F₁连续。

这样，由在屏幕垂直方向上以单行排列、细线图像已经投影到其中的像素构成的区域由峰值检测单元202至连续性检测单元204检测。

如上所述，峰值检测单元202至连续性检测单元204检测由在屏幕垂直方向上以单行排列、细线图像已经投影到其中的像素构成的区域，并且还检测在屏幕水平方向上以单行排列、细线图像已经投影到其中的像素构成的区域。

注意，处理顺序并不特别地限制，并且当然可以并行执行。

也就是说，峰值检测单元202对于在屏幕水平方向上以单行排列的像素，检测具有比位于屏幕上左侧的像素的像素值以及位于屏幕上右侧的像素的像素值大的像素值的像素作为峰值，并且将指示检测峰值的位置的峰值信息提供给单调增大/减小检测单元203。峰值检测单元202从一个图像例如一帧图像中检测一个或多个峰值。

例如，峰值检测单元202从还没有取作关注像素的一帧图像的像素中选择关注像素，比较关注像素的像素值与在关注像素左侧的像素的像素值，比较关注像素的像素值与在关注像素右侧的像素的像素值，检测像素值大于关注像素左侧的像素的像素值并大于关注像素右侧的像素的像素值的关注像素，并取该检测的关注像素作为峰值。峰值检测单元202将指示检测峰值的峰值信息提供给单调增大/减小检测单元203。

存在峰值检测单元202没有检测到峰值的情况。

单调增大/减小检测单元203检测关于由峰值检测单元202检测的峰值在水平方向上以单行排列、细线图像已经投影到其中的像素构成的区域的候选，并且将指示检测的区域的单调增大/减小区域信息与峰值信息一起提供给连续性检测单元204。

更具体地说，单调增大/减小检测单元203检测由以峰值的像素值作为参考具有单调减小的像素值的像素构成的区域，作为由细线图像已经投影到其中的像素构成的区域的候选。

例如，单调增大/减小检测单元203对于关于峰值在水平方向上以单行排列的每个像素，获得每个像素的像素值、关于左侧像素的像素值的差、以及关于右侧像素的像素值的差。单调增大/减小检测单元203然后通过检测差符号改变的像素来检测像素值单调减小的区域。

此外，单调增大/减小检测单元203参考峰值的像素值的符号，从像素值单调减小的区域中检测由具有与峰值像素值符号相同的像素值的像素构成的区域，作为由细线图像已经投影到其中的像素构成的区域的候选。

例如，单调增大/减小检测单元203比较每个像素的像素值的符号与左侧像素的像素值的符号或右侧像素的像素值的符号，并且检测像素值符号改变的像素，从而从像素值单调减小的区域中检测由具有与峰值符号相同的像素值的像素构成的区域。

因此，单调增大/减小检测单元203检测由在水平方向上排列且具有与峰值符号相同的像素值的像素构成的区域，其中像素值关于峰值单调减小。

从由这种单调增大/减小区域构成的细线区域中，单调增大/减小检测单元203获得长于预先设置的阈值的细线区域，即细线区域具有比阈值更多的像素数目。

另外，从这样检测的细线区域中，单调增大/减小检测单元203将峰值的像素值、峰值上方的像素的像素值、以及峰值下方的像素的像素值，每个与阈值相比较，检测这种峰值所属的细线区域，其中峰值的像素值超过阈值，峰值上方的像素的像素值在阈值内、以及峰值下方的像素的像素值在阈值内，并取检测的细线区域作为由包含细线图像分量的像素构成的区域的候选。

另一种说法是，峰值所属的细线区域，其中峰值的像素值在阈值内，或峰值上方的像素的像素值超过阈值，或峰值下方的像素的像素值超过阈值，被确定不包含细线图像分量，并且从由包含细线图像分量的像素构成的区域的候选中去除。

注意，单调增大/减小检测单元203可以配置以取背景像素值作为参考，将峰值的像素值和背景的像素值之间的差与阈值相比较，并且也将背景的像素值和在垂直方向上与峰值相邻的像素的像素值之间的差与阈值相比较，并且取检测的细线区域作为由包含细线图像分量的像素构成的区域的候选，其中峰值的像素值和背景的像素值之间的差超过阈值，而背景的像素值和在垂直方向上相邻的像素的像素值之间的差在阈值内。

单调增大/减小检测单元203将指示由具有与峰值相同的像素值符号以及关于作为参考的峰值单调减小的像素值的像素构成的区域的单调增大/减小区域信息提供给连续性检测单元204，其中峰值超过阈值，并且峰值右侧的像素的像素值在阈值内，以及峰值左侧的像素的像素值在阈值内。

如果检测在屏幕水平方向上以单行排列、细线图像已经投影到其中的像素构成的区域，属于由单调增大/减小区域信息指示的区域的像素包括在水平方向上排列、细线图像已经投影到其中的像素。也就是说，由单调增大/减小区域信息指示的区域包括由在屏幕水平方向上以单行排列、细线图像已经投影到其中的像素构成的区域。

在由从单调增大/减小检测单元203提供的单调增大/减小区域信息中指示的水平方向上排列的像素构成的区域中，连续性检测单元204检测包括在垂直方向上相邻的像素的区域，即具有类似像素值变化且在水平方向上重复的区域作为连续区域，并且输出指示峰值信息和检测的连续区域的数据连续性信息。数据连续性信息包括指示区域的连接的信息。

在细线已经投影到其中的像素处，弧形以相邻方式以恒定间隔排列，所以检测的连续区域包括细线已经投影到其中的像素。

检测的连续区域包括弧形以相邻方式以恒定间隔排列、细线已经投影到其中的像素，所以检测的连续区域看作连续性区域，并且连续性检测单元204输出指示检测的连续区域的数据连续性信息。

也就是说，连续性检测单元204使用在通过成像细线而获得的数据3中弧形以相邻方式以恒定间隔排列的连续性，该连续性从在长度方向上连续的现实世界1中细线图像的连续性中产生，以便进一步缩小由峰值检测单元202和单调增大/减小检测单元203检测的区域的候选。

因此，数据连续性检测单元101能够检测包含在作为输入图像的数据3中的连续性。也就是说，数据连续性检测单元101可以检测由作为已经投影到数据3上的细线的现实世界1图像产生的、包括在数据3中的数据连续性。数据连续性检测单元101从数据3中检测由作为细线的现实世界1图像已经投影到其中的像素构成的区域。

图40是说明使用数据连续性检测单元101检测细线图像已经投影到其中、具有连续性的区域的另一种处理的实例的图。

如图40中所示，数据连续性检测单元101计算每个像素与相邻像素的像素值差的绝对值。计算的差的绝对值与像素相对应地放置。例如，在例如图40中所示的情况下，其中排列有具有各自像素值P0，P1和P2的像素，数据连续性检测单元101计算差d0＝P0-P1和差d1＝P1-P2。另外，数据连续性检测单元101计算差d0和差d1的绝对值。

如果包含在像素值P0，P1和P2中的非连续性分量相同，仅与细线分量相对应的值设置为差d0和差d1。

因此，在与像素对应放置的差的绝对值中，如果相邻的差值相同，数据连续性检测单元101确定与两个差的绝对值相对应的像素(差的两个绝对值之间的像素)包含细线分量。但是，如果差的绝对值小，数据连续性检测单元101不需要检测细线。例如，如果差的绝对值等于或大于阈值，数据连续性检测单元101确定像素包含细线分量。

数据连续性检测单元101也可以使用例如这样的简单方法检测细线。

图41是描述连续性检测处理的流程图。

在步骤S201中，非连续性分量提取单元201从输入图像中提取非连续性分量，其是除细线已经投影到其中的部分之外的部分。非连续性分量提取单元201将指示提取的非连续性分量的非连续性分量信息与输入图像一起提供给峰值检测单元202和单调增大/减小检测单元203。提取非连续性分量的处理细节将随后描述。

在步骤S202中，峰值检测单元202基于从非连续性分量提取单元201提供的非连续性分量信息，从输入图像中去除非连续性分量，以便只留下输入图像中包括连续性分量的像素。此外，在步骤S202中，峰值检测单元202检测峰值。

也就是说，如果以屏幕的垂直方向作为参考执行处理，在包含连续性分量的像素中，峰值检测单元202比较每个像素的像素值与上方和下方像素的像素值，并检测像素值大于上方像素的像素值和下方像素的像素值的像素，从而检测峰值。同样，在步骤S202中，如果以屏幕的水平方向作为参考执行处理，在包含连续性分量的像素中，峰值检测单元202比较每个像素的像素值与右侧和左侧像素的像素值，并检测像素值大于右侧像素的像素值和左侧像素的像素值的像素，从而检测峰值。

峰值检测单元202将指示检测的峰值的峰值信息提供给单调增大/减小检测单元203。

在步骤S203中，单调增大/减小检测单元203基于从非连续性分量提取单元201提供的非连续性分量信息，从输入图像中去除非连续性分量，以便只留下输入图像中包括连续性分量的像素。此外，在步骤S203中，单调增大/减小检测单元203基于从峰值检测单元202提供的指示峰值位置的峰值信息，通过检测关于峰值的单调增大/减小，检测由具有数据连续性的像素构成的区域。

如果以屏幕垂直方向作为参考执行处理，单调增大/减小检测单元203基于峰值的像素值以及关于峰值垂直排列的一行像素的像素值，检测由单个细线图像已经投影到其中、垂直排列的一行像素构成的单调增大/减小，从而检测由具有数据连续性的像素构成的区域。也就是说，在步骤S203中，如果以屏幕垂直方向作为参考执行处理，对于峰值以及关于峰值垂直排列的一行像素，单调增大/减小检测单元203获得每个像素的像素值与上方或下方像素的像素值之间的差，从而检测差符号改变的像素。同样，对于峰值以及关于峰值垂直排列的一行像素，单调增大/减小检测单元203比较每个像素的像素值的符号与上方或下方像素的像素值的符号，从而检测像素值符号改变的像素。另外，单调增大/减小检测单元203将峰值的像素值以及峰值右侧和左侧像素的像素值与阈值相比较，并检测由其中峰值的像素值超过阈值并且峰值右侧和左侧像素的像素值在阈值内的像素构成的区域。

单调增大/减小检测单元203取这样检测的区域作为单调增大/减小区域，并将指示单调增大/减小区域的单调增大/减小区域信息提供给连续性检测单元204。

如果以屏幕水平方向作为参考执行处理，单调增大/减小检测单元203基于峰值的像素值以及关于峰值水平排列的一行像素的像素值，检测由单个细线图像已经投影到其中、水平排列的一行像素构成的单调增大/减小，从而检测由具有数据连续性的像素构成的区域。也就是说，在步骤S203中，如果以屏幕水平方向作为参考执行处理，对于峰值以及关于峰值水平排列的一行像素，单调增大/减小检测单元203获得每个像素的像素值与右侧或左侧像素的像素值之间的差，从而检测差符号改变的像素。同样，对于峰值以及关于峰值水平排列的一行像素，单调增大/减小检测单元203比较每个像素的像素值的符号与右侧或左侧像素的像素值的符号，从而检测像素值符号改变的像素。另外，单调增大/减小检测单元203将峰值的像素值以及峰值上方和下方像素的像素值与阈值相比较，并检测由其中峰值的像素值超过阈值并且峰值上方和下方像素的像素值在阈值内的像素构成的区域。

单调增大/减小检测单元203取这样检测的区域作为单调增大/减小区域，并将指示单调增大/减小区域的单调增大/减小区域信息提供给连续性检测单元204。

在步骤S204中，单调增大/减小检测单元203确定是否所有像素的处理已经结束。例如，非连续性分量提取单元201对于输入图像的单个屏幕(例如帧、场等)的所有像素检测峰值，并确定是否已经检测单调增大/减小区域。

如果在步骤S204中确定并不是所有像素的处理都已结束，即还存在没有经历峰值检测和单调增大/减小区域检测处理的像素，则流程返回到步骤S202，还没有经历峰值检测和单调增大/减小区域检测处理的像素选作处理的对象，并且重复峰值检测和单调增大/减小区域检测的处理。

如果在步骤S204中确定所有像素的处理已经结束，即峰值和单调增大/减小区域已经关于所有像素而检测，则流程前进到步骤S205，在那里连续性检测单元204基于单调增大/减小区域信息检测已检测区域的连续性。例如，如果由单调增大/减小区域信息指示的、由在屏幕垂直方向上排列的一行像素构成的单调增大/减小区域包括在水平方向上相邻的像素，则连续性检测单元204确定在两个单调增大/减小区域之间存在连续性，而如果不包括在水平方向上相邻的像素，确定在两个单调增大/减小区域之间不存在连续性。例如，如果由单调增大/减小区域信息指示的、由在屏幕水平方向上排列的一行像素构成的单调增大/减小区域包括在垂直方向上相邻的像素，则连续性检测单元204确定在两个单调增大/减小区域之间存在连续性，而如果不包括在垂直方向上相邻的像素，确定在两个单调增大/减小区域之间不存在连续性。

连续性检测单元204取检测的连续区域作为具有数据连续性的连续性区域，并输出指示峰值位置和连续性区域的数据连续性信息。数据连续性信息包含指示区域的连接的信息。从连续性检测单元204输出的数据连续性信息指示由现实世界1细线图像已经投影到其中的像素构成的、作为连续性区域的细线区域。

在步骤S206中，连续性方向检测单元205确定是否所有像素的处理已经结束。也就是说，连续性方向检测单元205确定区域连续是否已经关于输入图像某一帧的所有像素而检测。

如果在步骤S206中确定并不是所有像素的处理都已结束，即还存在没有取作区域连续的检测对象的像素，则流程返回到步骤S205，还没有经历区域连续性检测处理的像素选作处理像素，并且重复区域连续性检测的处理。

如果在步骤S206中确定所有像素的处理已经结束，即所有像素都已取作区域连续性检测的对象，则处理结束。

因此，包含在作为输入图像的数据3中的连续性被检测。也就是说，由已经投影到数据3上的作为细线的现实世界1图像产生的、包括在数据3中的数据连续性被检测，并且具有数据连续性、由作为细线的现实世界1图像已经投影到其中的像素构成的区域从数据3中检测。

现在，其构造如图30中所示的数据连续性检测单元101可以基于具有从数据3的帧中检测的数据连续性的区域，检测时间方向的数据连续性。

例如，如图42中所示，连续性检测单元204通过连接帧#n中具有检测的数据连续性的区域、帧#n-1中具有检测的数据连续性的区域、以及帧#n+1中具有检测的数据连续性的区域的边缘，来检测时间方向的数据连续性。

帧#n-1是在时间方向上帧#n之前的帧，而帧#n+1是在时间方向上帧#n之后的帧。也就是说，帧#n-1、帧#n以及#n+1以帧#n-1、帧#n以及#n+1的顺序显示。

更具体地说，在图42中，G表示通过连接帧#n中具有检测的数据连续性的区域、帧#n-1中具有检测的数据连续性的区域、以及帧#n+1中具有检测的数据连续性的区域的一个边缘而获得的运动矢量，而G′表示通过连接具有检测的数据连续性的区域的另一个边缘而获得的运动矢量。运动矢量G和运动矢量G′是时间方向上数据连续性的实例。

另外，其构造如图30中所示的数据连续性检测单元101可以输出指示具有数据连续性的区域的长度的信息作为数据连续性信息。

图43是说明非连续性分量提取单元201构造的框图，其执行作为不具有数据连续性的图像数据部分的非连续性分量的平面近似，并提取非连续性分量。

其构造如图43中所示的非连续性分量提取单元201从输入图像中选取由预先确定数目的像素构成的块，执行块的平面近似，使得块与平面值之间的误差小于预先确定的阈值，从而提取非连续性分量。

输入图像提供给块选取单元221，并且也被输出而不改变。

块选取单元221从输入图像中选取由预先确定数目的像素构成的块。例如，块选取单元221选取由7×7个像素构成的块，并将其提供给平面近似单元222。例如，块选取单元221以光栅扫描顺序运动用作被提取块中心的像素，从而从输入图像中顺序地选取块。

平面近似单元222在预先确定的平面上近似包含在块中的像素的像素值。例如，平面近似单元222在由表达式(32)表示的平面上近似包含在块中的像素的像素值。

z＝ax+by+c                                    ...(32)

在表达式(32)中，x表示在屏幕一个方向(空间方向X)上像素的位置，而y表示在屏幕另一个方向(空间方向Y)上像素的位置。z表示由平面表示的应用值。a表示平面的空间方向X的梯度，而b表示平面的空间方向Y的梯度。在表达式(32)中，c表示平面的偏移量(截距)。

例如，平面近似单元222通过回归处理获得梯度a、梯度b和偏移量c，从而在由表达式(32)表示的平面上近似包含在块中的像素的像素值。平面近似单元222通过包括剔除的回归处理获得梯度a、梯度b和偏离量c，从而在由表达式(32)表示的平面上近似包含在块中的像素的像素值。

例如，平面近似单元222使用最小二乘法获得由表达式(32)表示的平面，其中关于块的像素的像素值的误差最小，从而在平面上近似包含在块中的像素的像素值。

注意，虽然平面近似单元222已被描述为在由表达式(32)表示的平面上近似块，但是这不局限于由表达式(32)表示的平面，而是可以在由具有更高自由度的函数，例如n阶多项式(其中n为任意整数)表示的平面上近似块。

重复确定单元223计算由块的像素值已经近似到其上的平面表示的近似值与块的像素的相应像素值之间的误差。表达式(33)是显示误差ei的表达式，该误差是由块的像素值已经近似到其上的平面表示的近似值与块的像素的相应像素值zi之间的差。

$e_i=z_i-\hat{z}=z_i-(\hat{a}{x}_i+\hat{b}{y}_i+\hat{c})...\left(33\right)$

在表达式(33)中，z-帽(z上具有^的符号将被描述为z-帽。相同的描述将在本说明书的下文中使用)表示由块的像素值近似到其上的平面表示的近似值，a-帽表示块的像素值近似到其上的平面的空间方向X的梯度，b-帽表示块的像素值近似到其上的平面的空间方向Y的梯度，以及c-帽表示块的像素值近似到其上的平面的偏移量(截距)。

重复确定单元223剔除这样的像素，即近似值与块的像素的相应像素值之间的误差ei最大，如表达式(33)中所示。从而，细线已经投影到其中的像素，即具有连续性的像素被剔除。重复确定单元223将指示剔除像素的剔除信息提供给平面近似单元222。

另外，重复确定单元223计算标准误差，并且如果标准误差等于或大于预先设置以确定近似的结束的阈值，且块的像素的一半或更多像素没有被剔除，则重复确定单元223使得平面近似单元222重复包含在块中的像素上的平面近似处理，剔除像素已经从其中去除。

具有连续性的像素被剔除，所以在平面上近似剔除像素已经去除的像素意味着平面近似非连续性分量。

当标准误差小于确定近似结束的阈值，或者块的像素的一半或更多的像素已被剔除时，重复确定单元223结束平面近似。

对于由5×5个像素构成的块，标准误差e_s可以用例如表达式(34)计算。

$e_s=\mathrm{\Σ}(z_i-\hat{z})/(n-3)$

$=\mathrm{\Σ}\{(z_i-(\hat{a}{x}_i+\hat{b}{y}_i+\hat{c})\}/(n-3)...\left(34\right)$

这里，n是像素数目。

注意，重复确定单元223并不局限于标准误差，并且可以设置以对包含在块中的所有像素计算误差平方和，并执行下面的处理。

现在，当块的平面近似在光栅扫描方向上运动一个像素时，如图44中所示，由附图中黑色圆点指示的、具有连续性的像素，即包含细线分量的像素，将被多次剔除。

一旦完成平面近似，重复确定单元223输出表示用于近似块的像素值的平面的信息(表达式32的平面的梯度和截距)作为非连续性信息。

注意，配置可以这样进行，其中重复确定单元223比较每个像素剔除的次数与预置的阈值，并取剔除次数等于或大于阈值的像素作为包含连续性分量的像素，并输出指示包含连续性分量的像素的信息作为连续性分量信息。在该情况下，峰值检测单元202至连续性方向检测单元205在由连续性分量信息指示的、包含连续性分量的像素上执行各自的处理。

剔除次数、近似块的像素的像素值的平面的空间方向X的梯度、近似块的像素的像素值的平面的空间方向Y的梯度、由近似块的像素的像素值的平面表示的近似值，以及误差ei可以用作输入图像的特征。

图45是描述使用其构造如图43中所示的非连续性分量提取单元201提取非连续性分量的处理的流程图，该处理对应于步骤S201。

在步骤S221中，块选取单元221从输入图像中选取由预先确定数目的像素构成的块，并将选取的块提供给平面近似单元222。例如，块选取单元221选择还没有被选择的输入图像的像素的一个像素，并选取以所选像素为中心的7×7个像素构成的块。例如，块选取单元221可以光栅扫描顺序选择像素。

在步骤S222中，平面近似单元222在平面上近似选取的块。例如，平面近似单元222通过回归处理在平面上近似选取块的像素的像素值。例如，平面近似单元222通过回归处理在平面上近似除剔除像素以外的选取块的像素的像素值。在步骤S223中，重复确定单元223执行重复确定。例如，重复确定通过从块的像素的像素值和平面近似值中计算标准误差，并计数剔除像素的数目来执行。

在步骤S224中，重复确定单元223确定标准误差是否等于或大于阈值，并且如果确定标准误差等于或大于阈值，则流程前进到步骤S225。

注意，配置可以这样进行，其中重复确定单元223在步骤S224中确定是否块的一半或更多像素已被剔除，以及标准误差是否等于或大于阈值，并且如果确定块的一半或更多像素已被剔除，以及标准误差等于或大于阈值，流程前进到步骤S225。

在步骤S225中，重复确定单元223计算块的每个像素的像素值与近似的平面近似值之间的误差，剔除具有最大误差的像素，并通知平面近似单元222。该过程返回到步骤S222，并且平面近似处理和重复确定处理关于除剔除像素以外的块的像素而重复。

在步骤S225中，如果在步骤S221的处理中选取在光栅扫描方向上移位一个像素的块，(由附图中黑色圆点指示的)包含细线分量的像素被剔除多次，如图44中所示。

如果在步骤S224中确定标准误差不等于或大于阈值，块已经在平面上近似，从而流程前进到步骤S226。

注意，配置可以这样进行，其中重复确定单元223在步骤S224中确定是否块的一半或更多像素已被剔除，以及标准误差是否等于或大于阈值，并且如果确定块的一半或更多像素已被剔除，以及标准误差等于或大于阈值，流程前进到步骤S225。

在步骤S226中，重复确定单元223输出用于近似块的像素的像素值的平面的梯度和截距作为非连续性分量信息。

在步骤S227中，块选取单元221确定是否输入图像一个屏幕的所有像素的处理都已结束，并且如果确定仍然存在还没有取作处理对象的像素，则流程返回到步骤S221，块从还没有经历处理的像素中选取，并重复上面的处理。

如果在步骤S227中确定处理对输入图像一个屏幕的所有像素都已结束，处理结束。

因此，其构造如图43中所示的非连续性分量提取单元201可以从输入图像中提取非连续性分量。非连续性分量提取单元201从输入图像中提取非连续性分量，从而峰值检测单元202和单调增大/减小检测单元203可以获得输入图像与由非连续性分量提取单元201提取的非连续性分量之间的差，以便执行关于包含连续性分量的差的处理。

注意，在执行剔除的情况下的标准误差、在不执行剔除的情况下的标准误差、像素的剔除次数、平面的空间方向X的梯度(表达式(32)中的a-帽)、平面的空间方向Y的梯度(表达式(32)中的b-帽)、平面转移的水平(表达式(32)中的c-帽)、以及输入图像的像素值与由在平面近似处理中计算的平面表示的近似值之间的差可以用作特征。

图46是描述与步骤S201相对应的、使用其构造如图43中所示的非连续性分量提取单元201提取连续性分量的处理，代替提取非连续性分量的处理的流程图。步骤S241至步骤S245的处理与步骤S221至步骤S225的处理相同，所以其描述将省略。

在步骤S246中，重复确定单元223输出由平面表示的近似值与输入图像的像素值之间的差作为输入图像的连续性分量。也就是说，重复确定单元223输出平面近似值与真实像素值之间的差。

注意，重复确定单元223可以配置以输出由平面表示的近似值与输入图像的像素值之间的差，关于其差等于或大于预先确定预置的像素的像素值，作为输入图像的连续性分量。

步骤S247的处理与步骤S227的处理相同，因此其描述将省略。

平面近似非连续性分量，所以非连续性分量提取单元201可以通过从输入图像中每个像素的像素值中减去由近似像素值的平面表示的近似值，从输入图像中去除非连续性分量。在该情况下，峰值检测单元202至连续性检测单元204可以只处理输入图像的连续性分量，即细线图像已经投影到其中的值，从而使用峰值检测单元202至连续性检测单元204的处理变得更加容易。

图47是描述与步骤S201相对应的、使用其构造如图43中所示的非连续性分量提取单元201提取连续性分量的另一种处理，代替提取非连续性分量的处理的流程图。步骤S261至步骤S265的处理与步骤S221至步骤S225的处理相同，因此其描述将省略。

在步骤S266中，重复确定单元223存储每个像素的剔除次数，流程返回到步骤S262，并且重复处理。

在步骤S264中，如果确定标准误差不等于或大于阈值，块已经在平面上近似，所以流程前进到步骤S267，重复确定单元223确定是否输入图像一个屏幕的所有像素的处理都已结束，并且如果确定仍然存在还没有取作处理对象的像素，则流程返回到步骤S261，关于还没有经历处理的像素，选取块，并重复上面的处理。

如果在步骤S267中确定处理对输入图像一个屏幕的所有像素都已结束，则流程前进到步骤S268，重复确定单元223选择还没有被选择的像素，并确定所选像素的剔除次数是否等于或大于阈值。例如，重复确定单元223在步骤S268中确定所选像素的剔除次数是否等于或大于预先存储的阈值。

如果在步骤S268中确定所选像素的剔除次数等于或大于阈值，则所选像素包含连续性分量，从而流程前进到步骤S269，在那里重复确定单元223输出所选像素的像素值(输入图像中的像素值)作为输入图像的连续性分量，并且流程前进到步骤S270。

如果步骤S268中确定所选像素的剔除次数不等于或大于阈值，则所选像素不包含连续性分量，从而跳过步骤S269中的处理，并且过程前进到步骤S270。也就是说，不输出已经确定剔除次数不等于或大于阈值的像素的像素值。

注意，配置可以这样进行，其中重复确定单元223对于已经确定剔除次数不等于或大于阈值的像素，输出设置为0的像素值。

在步骤S270中，重复确定单元223确定是否输入图像一个屏幕的所有像素的处理都已结束，以确定剔除次数是否等于或大于阈值，并且如果确定处理并不是对所有像素都已结束，这意味着仍然存在还没有取作处理对象的像素，从而流程返回到步骤S268，选择还没有经历处理的像素，并重复上面的处理。

如果在步骤S270中确定处理对输入图像一个屏幕的所有像素都已结束，处理结束。

因此，输入图像的像素中，非连续性分量提取单元201可以输出包含连续性分量的像素的像素值作为连续性分量信息。也就是说，输入图像的像素中，非连续性分量提取单元201可以输出包含细线图像的分量的像素的像素值。

图48是描述与步骤S201相对应的、使用其构造如图43中所示的非连续性分量提取单元201提取连续性分量的再一种处理，代替提取非连续性分量的处理的流程图。步骤S281至步骤S288的处理与步骤S261至步骤S268的处理相同，因此其描述将省略。

在步骤S289中，重复确定单元223输出由平面表示的近似值与所选像素的像素值之间的差作为输入图像的连续性分量。也就是说，重复确定单元223输出非连续性分量已经从输入图像中去除的图像作为连续性信息。

步骤S290的处理与步骤S270的处理相同，因此其描述将省略。

因此，非连续性分量提取单元201可以输出非连续性分量已经从输入图像中去除的图像作为连续性信息。

如上所述，在真实世界光信号被投影，真实世界光信号的一部分连续性已经丢失的第一图像数据的多个像素的像素值的非连续性部分被检测，数据连续性从检测的非连续性部分中检测，近似光信号的模型(函数)通过基于检测的数据连续性估计真实世界光信号的连续性而产生，并且第二图像数据基于产生的函数而产生的情况下，关于真实世界中的事件更准确且具有更高精度的处理结果可以获得。

图49是说明数据连续性检测单元101的另一种构造的框图。

使用其构造如图49中所示的数据连续性检测单元101，关注像素的像素值的变化，该关注像素是输入图像的空间方向上的关注像素，即输入图像的空间方向上的活动性被检测，由垂直方向上一行中或水平方向上一行中的预先确定数目的像素构成的多组像素对于基于关注像素和根据检测活动性的参考轴的每个角度而选取，选取的像素组的相关性被检测，并且基于输入图像中参考轴的数据连续性的角度基于相关性而检测。

数据连续性的角度意思是由参考轴以及连续性在数据3中重复出现的预先确定维度方向所成的角度。连续性重复出现意思是例如数据3中关于位置改变的值的变化，即横截面形状相同等。

参考轴可以是例如指示空间方向X(屏幕的水平方向)的轴、指示空间方向Y(屏幕的垂直方向)的轴等。

输入图像提供给活动性检测单元401和数据选择单元402。

活动性检测单元401检测关于输入图像空间方向的像素值的变化，即空间方向上的活动性，并将指示检测结果的活动性信息提供给数据选择单元402和连续性方向推导单元404。

例如，活动性检测单元401检测关于屏幕水平方向的像素值的变化和关于平面垂直方向的像素值的变化，并比较检测的水平方向上像素值的变化和垂直方向上像素值的变化，从而检测是否与垂直方向上像素值的变化相比较水平方向上像素值的变化较大，或者是否与水平方向上像素值的变化相比较垂直方向上像素值的变化较大。

活动性检测单元401将活动性信息提供给数据选择单元402和连续性方向推导单元404，该活动性信息是指示与垂直方向上像素值的变化相比较水平方向上像素值的变化较大，或者与水平方向上像素值的变化相比较垂直方向上像素值的变化较大的检测结果。

如果与垂直方向上像素值的变化相比较水平方向上像素值的变化较大，例如图50所示，弧形(半盘形)或爪形在垂直方向上的一行像素上形成，并且弧形或爪形在垂直方向上多次重复地形成。也就是说，如果与垂直方向上像素值的变化相比较水平方向上像素值的变化较大，取参考轴为表示空间方向X的轴，输入图像中基于参考轴的数据连续性的角度是45～90度的任意值。

如果与水平方向上像素值的变化相比较垂直方向上像素值的变化较大，弧形或爪形在水平方向上的一行像素上形成，并且弧形或爪形在水平方向上多次重复地形成。也就是说，如果与水平方向上像素值的变化相比较垂直方向上像素值的变化较大，取参考轴为表示空间方向X的轴，输入图像中基于参考轴的数据连续性的角度是0～45度的任意值。

例如，活动性检测单元401从输入图像中选取由以关注像素为中心的3×3的9个像素构成的块，如图51中所示。活动性检测单元401计算关于垂直相邻像素的像素值的差的和、以及关于水平相邻像素的像素值的差的和。关于水平相邻像素的像素值的差的和h_diff可以用表达式(35)获得。

h_diff＝∑(P_i+1，j-P_i，j)                          ...(35)

同样地，关于垂直相邻像素的像素值的差的和v_diff可以用表达式(36)获得。

v_diff＝∑(P_i，j+1-P_i，j)                          ...(36)

在表达式(35)和表达式(36)中，P表示像素值，i表示水平方向上像素的位置，以及j表示垂直方向上像素的位置。

配置可以这样进行，其中活动性检测单元401比较计算的关于水平相邻像素的像素值的差的和h_diff与关于垂直相邻像素的像素值的差的和v_diff，以便确定输入图像中基于参考轴的数据连续性的角度范围。也就是说，在该情况下，活动性检测单元401确定由关于空间方向上位置的像素值的变化所指示的形状是在水平方向上重复形成，还是在垂直方向上重复形成。

例如，关于在一水平行中的像素上形成的弧形水平方向上像素值的变化大于垂直方向上像素值的变化，关于在一垂直行中的像素上形成的弧形垂直方向上像素值的变化大于水平方向上像素值的变化，并且可以说，数据连续性的方向，即作为数据3的输入图像具有的恒定特征的预先确定维度方向的变化与数据连续性的正交方向上的变化相比较较小。换句话说，与数据连续性方向正交的方向(以下也称作非连续性方向)的差与数据连续性方向上的差相比较较大。

例如，如图52中所示，活动性检测单元401比较计算的关于水平相邻像素的像素值的差的和h_diff与关于垂直相邻像素的像素值的差的和v_diff，并且如果关于水平相邻像素的像素值的差的和h_diff较大，确定基于参考轴的数据连续性的角度是45～135度的任意值，而如果关于垂直相邻像素的像素值的差的和v_diff较大，确定基于参考轴的数据连续性的角度是0～45度的任意值、或135～180度的任意值。

例如，活动性检测单元401将指示确定结果的活动性信息提供给数据选择单元402和连续性方向推导单元404。

注意，活动性检测单元401可以通过选取任意大小的块，例如由5×5的25个像素构成的块、由7×7的49个像素构成的块等来检测活动性。

数据选择单元402从输入图像的像素中顺序选择关注像素，并基于从活动性检测单元401提供的活动性信息，对于基于关注像素和参考轴的每个角度，选取由垂直方向上一行中或水平方向上一行中的预先确定数目的像素构成的多组像素。

例如，如果活动性信息指示与垂直方向上像素值的变化相比较水平方向上像素值的变化较大，这意味着数据连续性角度是45～135度的任意值，所以数据选择单元402对于基于关注像素和参考轴的45～135度范围内的每个预先确定角度，选取由垂直方向上一行中的预先确定数目的像素构成的多组像素。

如果活动性信息指示与水平方向上像素值的变化相比较垂直方向上像素值的变化较大，这意味着数据连续性角度是0～45度或135～180度的任意值，所以数据选择单元402对于基于关注像素和参考轴的0～45度或135～180度范围内的每个预先确定角度，选取由水平方向上一行中的预先确定数目的像素构成的多组像素。

而且，例如，如果活动性信息指示数据连续性的角度是45～135度的任意值，数据选择单元402对于基于关注像素和参考轴的45～135度范围内的每个预先确定角度，选取由垂直方向上一行中的预先确定数目的像素构成的多组像素。

如果活动性信息指示数据连续性的角度是0～45度或135～180度的任意值，数据选择单元402对于基于关注像素和参考轴的0～45度或135～180度范围内的每个预先确定角度，选取由水平方向上一行中的预先确定数目的像素构成的多组像素。

数据选择单元402将由选取像素构成的多组提供给误差估计单元403。

误差估计单元403检测相对于多组选取像素的每个角度的像素组的相关性。

例如，关于与一个角度相对应的、由垂直方向上一行中的预先确定数目的像素构成的多组像素，误差估计单元403检测在像素组的相应位置处像素的像素值的相关性。关于与一个角度相对应的、由水平方向上一行中的预先确定数目的像素构成的多组像素，误差估计单元403检测在组的相应位置处像素的像素值的相关性。

误差估计单元403将指示检测的相关性的相关性信息提供给连续性方向推导单元404。误差估计单元403计算从数据选择单元402提供的包括关注像素的一组像素的像素值的和作为指示相关性的值，以及在其它组中相应位置处像素的像素值的差的绝对值，并将差的绝对值的和作为相关性信息提供给连续性方向推导单元404。

基于从误差估计单元403提供的相关性信息，连续性方向推导单元404检测输入图像中基于参考轴的数据连续性角度，其对应于现实世界1的光信号的丢失连续性，并输出指示角度的数据连续性信息。例如，基于从误差估计单元403提供的相关性信息，连续性方向推导单元404检测与具有最大相关性的像素组相对应的角度作为数据连续性角度，并输出指示与已经检测的具有最大相关性的像素组相对应的角度的数据连续性信息。

下面将描述0～90度(所谓第一象限)范围内的数据连续性角度的检测。

图53是说明图49中所示数据连续性检测单元101的更详细构造的框图。

数据选择单元402包括像素选择单元411-1至像素选择单元411-L。误差估计单元403包括估计误差计算单元412-1至估计误差计算单元412-L。连续性方向推导单元404包括最小误差角度选择单元413。

首先，将描述如果由活动性信息指示的数据连续性角度是45～135度的任意值，像素选择单元411-1至像素选择单元411-L的处理。

像素选择单元411-1至像素选择单元411-L设置经过关注像素的相互不同预先确定角度的直线，以指示空间方向X的轴作为参考轴。像素选择单元411-1至像素选择单元411-L选择，属于关注像素所属垂直行像素的像素中，关注像素上方的预先确定数目的像素、关注像素下方的预先确定数目的像素以及关注像素作为一组。

例如，如图54中所示，像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素的像素中，选择以关注像素为中心的9个像素作为一组像素。

在图54中，一个格形方块(一格)表示一个像素。在图54中，中心处所示的圆形表示关注像素。

像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素左侧的垂直行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。在图54中，关注像素左下方的圆形表示所选像素的实例。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属垂直行像素左侧的垂直行像素的像素中，选择所选像素上方的预先确定数目的像素、所选像素下方的预先确定数目的像素以及所选像素作为一组像素。

例如，如图54中所示，像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素左侧的垂直行像素的像素中，选择以最接近直线的位置处的像素为中心的9个像素作为一组像素。

像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素次左侧的垂直行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。在图54中，远处左边的圆形表示所选像素的实例。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属垂直行像素次左侧的垂直行像素的像素中，选择所选像素上方的预先确定数目的像素、所选像素下方的预先确定数目的像素以及所选像素作为一组像素。

例如，如图54中所示，像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素次左侧的垂直行像素的像素中，选择以最接近直线的位置处的像素为中心的9个像素作为一组像素。

像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素右侧的垂直行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。在图54中，关注像素右上方的圆形表示所选像素的实例。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属垂直行像素右侧的垂直行像素的像素中，选择所选像素上方的预先确定数目的像素、所选像素下方的预先确定数目的像素以及所选像素作为一组像素。

例如，如图54中所示，像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素右侧的垂直行像素的像素中，选择以最接近直线的位置处的像素为中心的9个像素作为一组像素。

像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素次右侧的垂直行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。在图54中，远处右边的圆形表示所选像素的实例。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属垂直行像素次右侧的垂直行像素的像素中，选择所选像素上方的预先确定数目的像素、所选像素下方的预先确定数目的像素以及所选像素作为一组像素。

例如，如图54中所示，像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素次右侧的垂直行像素的像素中，选择以最接近直线的位置处的像素为中心的9个像素作为一组像素。

从而，像素选择单元411-1至像素选择单元411-L每个选择五组像素。

像素选择单元411-1至像素选择单元411-L为相互不同的角度(设置为相互不同角度的直线)选择像素组。例如，像素选择单元411-1选择关于45度的像素组，像素选择单元411-2选择关于47.5度的像素组，以及像素选择单元411-3选择关于50度的像素组。像素选择单元411-4至像素选择单元411-L选择关于从52.5度至135度的每2.5度的角度的像素组。

注意，像素组的数目是可选数目，例如3或7，而不限制本发明。而且，选作一组的像素数目是可选数目，例如5或13，而并不限制本发明。

注意，像素选择单元411-1至像素选择单元411-L可以配置以从垂直方向上预先确定范围内的像素中选择像素组。例如，像素选择单元411-1至像素选择单元411-L可以从垂直方向上的121个像素(关注像素上方的60个像素和下方的60个像素)中选择像素组。在该情况下，数据连续性检测单元101可以检测关于表示空间方向X的轴高达88.09度的数据连续性的角度。

像素选择单元411-1将所选像素组提供给估计误差计算单元412-1，并且像素选择单元411-2将所选像素组提供给估计误差计算单元412-2。同样地，每个像素选择单元411-3至像素选择单元411-L将所选像素组提供给每个估计误差计算单元412-3至估计误差计算单元412-L。

估计误差计算单元412-1至估计误差计算单元412-L检测从像素选择单元411-1至像素选择单元411-L的每个提供的多组中位置处的像素的像素值的相关性。例如，估计误差计算单元412-1至估计误差计算单元412-L计算包含关注像素的组的像素的像素值与从像素选择单元411-1至像素选择单元411-L的一个提供的另一组中相应位置处像素的像素值之间的差的绝对值的和，作为指示相关性的值。

更具体地说，基于包含关注像素的组的像素的像素值，以及从像素选择单元411-1至像素选择单元411-L的一个提供的、由属于关注像素左侧一垂直行像素的像素构成的组的像素的像素值，估计误差计算单元412-1至估计误差计算单元412-L计算最顶端像素的像素值的差，然后计算次顶端像素的像素值的差等等，以便计算从顶端像素开始顺序的像素值的差的绝对值，进一步计算所计算的差的绝对值的和。基于包含关注像素的组的像素的像素值，以及从像素选择单元411-1至像素选择单元411-L的一个提供的、由属于关注像素次左侧一垂直行像素的像素构成的组的像素的像素值，估计误差计算单元412-1至估计误差计算单元412-L计算从顶端像素开始顺序的像素值的差的绝对值，并计算所计算的差的绝对值的和。

然后，基于包含关注像素的组的像素的像素值，以及从像素选择单元411-1至像素选择单元411-L的一个提供的、由属于关注像素右侧一垂直行像素的像素构成的组的像素的像素值，估计误差计算单元412-1至估计误差计算单元412-L计算最顶端像素的像素值的差，然后计算次顶端像素的像素值的差等等，以便计算从顶端像素开始顺序的像素值的差的绝对值，进一步计算所计算的差的绝对值的和。基于包含关注像素的组的像素的像素值，以及从像素选择单元411-1至像素选择单元411-L的一个提供的、由属于关注像素次右侧一垂直行像素的像素构成的组的像素的像素值，估计误差计算单元412-1至估计误差计算单元412-L计算从顶端像素开始顺序的像素值的差的绝对值，并计算所计算的差的绝对值的和。

估计误差计算单元412-1至估计误差计算单元412-L将这样计算的像素值差的绝对值的和全部加起来，从而计算像素值的差的绝对值的总计。

估计误差计算单元412-1至估计误差计算单元412-L将指示检测的相关性的信息提供给最小误差角度选择单元413。例如，估计误差计算单元412-1至估计误差计算单元412-L将计算的像素值差的绝对值的总计提供给最小误差角度选择单元413。

注意，估计误差计算单元412-1至估计误差计算单元412-L并不局限于像素值差的绝对值的和，同样可以计算其它值作为相关性值，例如像素值的平方差的和、或基于像素值的相关性系数等。

最小误差角度选择单元413基于由估计误差计算单元412-1至估计误差计算单元412-L关于相互不同角度检测的相关性，检测输入图像中基于参考轴的数据连续性角度，其对应于作为丢失的现实世界1光信号的图像的连续性。也就是说，基于由估计误差计算单元412-1至估计误差计算单元412-L关于相互不同角度检测的相关性，最小误差角度选择单元413选择最大相关性，并取所选相关性关于其检测的角度作为基于参考轴的数据连续性角度，从而检测输入图像中基于参考轴的数据连续性角度。

例如，在从估计误差计算单元412-1至估计误差计算单元412-L提供的像素值差的绝对值的总计中，最小误差角度选择单元413选择最小总计。关于所选总计被计算的像素值，最小误差角度选择单元413参考属于关注像素次左侧一垂直行像素并且位于距离直线最近像素位置处的像素，以及属于关注像素次右侧一垂直行像素并且位于距离直线最近像素位置处的像素。

如图54中所示，最小误差角度选择单元413获得参考像素位置与关注像素位置在垂直方向上的距离S。如图55中所示，最小误差角度选择单元413从表达式(37)中检测作为图像数据的输入图像中基于作为参考轴的指示空间方向X的轴的数据连续性的角度θ，其对应于丢失的现实世界1光信号连续性。

$\mathrm{\θ}={\tan }^{-1}\frac{S}{2}...\left(37\right)$

接下来，将描述如果由活动性信息指示的数据连续性角度是0～45度和135～180度的任意值，像素选择单元411-1至像素选择单元411-L的处理。

像素选择单元411-1至像素选择单元411-L设置经过关注像素的预先确定角度的直线，以指示空间方向X的轴作为参考轴，并且从属于关注像素所属水平行像素的像素中，选择关注像素左侧的预先确定数目的像素、关注像素右侧的预先确定数目的像素以及关注像素作为一个像素组。

像素选择单元411-1至像素选择单元411-L从属于关注像素所属水平行像素上方的水平行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属水平行像素上方的水平行像素的像素中，选择所选像素左侧的预先确定数目的像素、所选像素右侧的预先确定数目的像素以及所选像素作为一个像素组。

像素选择单元411-1至像素选择单元411-L从属于关注像素所属水平行像素次上方的水平行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属水平行像素次上方的水平行像素的像素中，选择所选像素左侧的预先确定数目的像素、所选像素右侧的预先确定数目的像素以及所选像素作为一个像素组。

像素选择单元411-1至像素选择单元411-L从属于关注像素所属水平行像素下方的水平行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属水平行像素下方的水平行像素的像素中，选择所选像素左侧的预先确定数目的像素、所选像素右侧的预先确定数目的像素以及所选像素作为一个像素组。

像素选择单元411-1至像素选择单元411-L从属于关注像素所属水平行像素次下方的水平行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属水平行像素次下方的水平行像素的像素中，选择所选像素左侧的预先确定数目的像素、所选像素右侧的预先确定数目的像素以及所选像素作为一个像素组。

从而，像素选择单元411-1至像素选择单元411-L每个选择五组像素。

像素选择单元411-1至像素选择单元411-L为相互不同的角度选择像素组。例如，像素选择单元411-1选择关于0度的像素组，像素选择单元411-2选择关于2.5度的像素组，以及像素选择单元411-3选择关于5度的像素组。像素选择单元411-4至像素选择单元411-L选择关于从7.5度至45度和从135度至180度的每2.5度的角度的像素组。

像素选择单元411-1将所选像素组提供给估计误差计算单元412-1，并且像素选择单元411-2将所选像素组提供给估计误差计算单元412-2。同样地，每个像素选择单元411-3至像素选择单元411-L将所选像素组提供给每个估计误差计算单元412-3至估计误差计算单元412-L。

估计误差计算单元412-1至估计误差计算单元412-L检测从像素选择单元411-1至像素选择单元411-L的每个提供的多组中位置处的像素的像素值的相关性。估计误差计算单元412-1至估计误差计算单元412-L将指示检测的相关性的信息提供给最小误差角度选择单元413。

最小误差角度选择单元413基于由估计误差计算单元412-1至估计误差计算单元412-L检测的相关性，检测输入图像中基于参考轴的数据连续性角度，其对应于作为丢失的现实世界1光信号的图像的连续性。

接下来，将参考图56中的流程图描述其构造如图49中所示的数据连续性检测单元101的处理，该处理对应于步骤S101中的处理。

在步骤S401中，活动性检测单元401和数据选择单元402从输入图像中选择作为关注像素的关注像素。活动性检测单元401和数据选择单元402选择同一个关注像素。例如，活动性检测单元401和数据选择单元402以光栅扫描顺序从输入图像中选择关注像素。

在步骤S402中，活动性检测单元401检测关于关注像素的活动性。例如，活动性检测单元401基于在由以关注像素为中心的预先确定数目的像素构成的块的垂直方向上排列的像素的像素值的差，以及在水平方向上排列的像素的像素值的差来检测活动性。

活动性检测单元401检测关于关注像素在空间方向上的活动性，并将指示检测结果的活动性信息提供给数据选择单元402和连续性方向推导单元404。

在步骤S403中，数据选择单元402从包括关注像素的一行像素中选择以关注像素为中心的预先确定数目的像素作为一个像素组。例如，数据选择单元402选择关注像素上方或左侧的预先确定数目的像素、关注像素下方或右侧的预先确定数目的像素，其是属于关注像素所属水平或垂直行像素的像素，以及关注像素，作为一个像素组。

在步骤S404中，数据选择单元402对于基于由步骤S402的处理检测的活动性的预先确定范围内的每个角度，从预先确定数目的像素行中选择每个预先确定数目的像素作为一个像素组。例如，数据选择单元402设置具有预先确定范围内的角度、经过关注像素的直线，以指示空间方向X的轴作为参考轴，选择在水平方向或垂直方向上距离关注像素一行或两行并且离直线最近的像素，并且选择所选像素上方或左侧的预先确定数目的像素、所选像素下方或右侧的预先确定数目的像素、以及最接近直线的所选像素作为一个像素组。数据选择单元402对每个角度选择像素组。

数据选择单元402将所选像素组提供给误差估计单元403。

在步骤S405中，误差估计单元403计算以关注像素为中心的像素组与为每个角度所选的像素组之间的相关性。例如，误差估计单元403对于每个角度计算包括关注像素的组的像素的像素值与在其它组中相应位置处像素的像素值的差的绝对值的和。

数据连续性的角度可以基于为每个角度选择的像素组之间的相关性来检测。

误差估计单元403将指示计算的相关性的信息提供给连续性方向推导单元404。

在步骤S406中，基于在步骤S405的处理中计算的相关性，从具有最强相关性的像素组的位置，连续性方向推导单元404检测作为图像数据的输入图像中基于参考轴的数据连续性角度，其对应于丢失的现实世界1光信号连续性。例如，连续性方向推导单元404选择像素值的差的绝对值的总计中的最小总计，并从所选总计关于其计算的像素组的位置中检测数据连续性角度θ。

连续性方向推导单元404输出指示已经检测的数据连续性的角度的数据连续性信息。

在步骤S407中，数据选择单元402确定是否所有像素的处理都已结束，并且如果确定所有像素的处理还没有结束，则流程返回到步骤S401，关注像素从还没有取作关注像素的像素中选择，并重复上述处理。

如果在步骤S407中确定所有像素的处理都已结束，处理结束。

因此，数据连续性检测单元101可以检测图像数据中基于参考轴的数据连续性角度，其对应于丢失的现实世界1光信号连续性。

注意，配置可以这样进行，其中其构造如图49中所示的数据连续性检测单元101关于作为关注帧的关注帧中作为关注像素的关注像素，检测输入图像的空间方向上的活动性；根据检测的活动性，对于基于关注像素和空间方向参考轴的每个角度和运动矢量，从关注帧中以及从在时间方向上在关注帧之前或之后的每个帧中选取由垂直方向上一行或水平方向上一行中的预先确定数目的像素构成的多个像素组；检测选取的像素组的相关性；以及基于该相关性，检测输入图像中时间方向和空间方向上的数据连续性角度。

例如，如图57中所示，数据选择单元402根据检测的活动性，对于基于关注像素和空间方向参考轴的每个角度和运动矢量，从作为关注帧的帧#n、帧#n-1以及帧#n+1中选取由垂直方向上一行或水平方向上一行中的预先确定数目的像素构成的多个像素组。

帧#n-1是时间方向上帧#n之前的帧，而帧#n+1是时间方向上帧#n之后的帧。也就是说，帧#n-1、帧#n和帧#n+1以帧#n-1、帧#n和帧#n+1的顺序显示。

误差估计单元403关于已经选取的多组像素检测每个单个角度和单个运动矢量的像素组的相关性。连续性方向推导单元404基于像素组的相关性检测输入图像中时间方向和空间方向上的数据连续性角度，其对应于丢失的现实世界1光信号连续性，并输出指示角度的数据连续性信息。

接下来，将参考图58至图88描述现实世界估计单元102(图3)的另一种实施方案实例。

图58是描述本实施方案实例的原理的图。

如图58中所示，现实世界1中的信号(光强分配)，其是投射到传感器2上的图像，用预先确定的函数F表示。注意以下，对于该实施方案实例的描述，用作现实世界1中图像的信号特别地称作光信号，并且函数F特别地称作光信号函数F。

对于该实施方案实例，如果用光信号函数F表示的现实世界1中的光信号具有预先确定的连续性，现实世界估计单元102通过用使用来自传感器2的输入图像(包括与连续性相对应的数据连续性的图像数据)，以及来自数据连续性检测单元101的数据连续性信息(与输入图像数据的连续性相对应的数据连续性信息)的预先确定函数f近似光信号函数F来估计光信号函数F。注意对于该实施方案实例的描述，以下，函数f特别地称作近似函数f。

换句话说，对于该实施方案实例，现实世界估计单元102使用由近似函数f表示的模型161(图4)近似(描述)由光信号函数F表示的图像(现实世界1中的光信号)。因此，以下，该实施方案实例称作函数近似方法。

现在，在进入函数近似方法的具体描述之前，将描述本申请已经发明的函数近似方法的背景。

图59是描述在传感器2看作CCD的情况下的积分效应的图。

如图59中所示，多个检测元件2-1布置在传感器2的平面上。

对于图59中的实例，平行于检测元件2-1的预先确定边的方向取作作为空间方向中的一个方向的X方向，并且与X方向正交的方向取作作为空间方向中的另一个方向的Y方向。而且，与X-Y平面垂直的方向取作用作时间方向的方向t。

而且，对于图59中的实例，传感器2的每个检测元件2-1的空间形状用一边长度为1的正方形表示。传感器2的快门时间(曝光时间)用1表示。

此外，对于图59中的实例，传感器2的一个检测元件2-1的中心取作空间方向(X方向和Y方向)上的原点(X方向上位置x＝0，并且Y方向上y＝0)，并且曝光时间的中间时间点取作时间方向(t方向)上的原点(t方向上位置t＝0)。

在该情况下，其中心在空间方向上原点(x＝0，y＝0)的检测元件2-1使得光信号函数F(x，y，t)经历X方向上-0.5～0.5的范围，Y方向上-0.5～0.5的范围，以及t方向上-0.5～0.5的范围的积分，并且输出其积分值作为像素值P。

也就是说，从其中心位于空间方向上原点的检测元件2-1输出的像素值P用下面的表达式(38)表示。

$P={\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}F(x,y,t)\mathrm{dxdydt}...\left(38\right)$

其他检测元件2-1同样地也通过取主体检测元件2-1的中心为空间方向上的原点来输出表达式(38)中所示的像素值P。

图60是描述传感器2的积分效应的特定实例的图。

在图60中，X方向和Y方向代表传感器2的X方向和Y方向(图59)。

现实世界1中光信号的部分2301(以下，这种部分称作区域)代表具有预先确定连续性的区域的实例。

注意，区域2301是连续的光信号的部分(连续区域)。另一方面，在图60中，区域2301显示为实际上划分成20个小区域(正方形区域)。这是因为表示区域2301的大小相当于X方向上传感器2的四个检测元件(像素)，以及Y方向上传感器2的五个检测元件(像素)排列于其中的大小。也就是说，区域2301中的20个小区域(可视区域)的每个相当于一个像素。

而且，区域2301内附图中所示白色部分表示与细线相对应的光信号。因此，区域2301具有细线连续的方向上的连续性。以下，区域2301称作包含细线的现实世界区域2301。

在该情况下，当包含细线的现实世界区域2301(现实世界1中光信号的一部分)由传感器2检测时，输入图像(像素值)的区域2302(以下，它称作包含细线的数据区域2302)因积分效应从传感器2输出。

注意，包含细线的数据区域2302的每个像素在附图中表示为图像，但是实际上是代表预先确定值的数据。也就是说，包含细线的现实世界区域2301由传感器2的积分效应而变成(畸变)包含细线的数据区域2302，其划分成每个具有预先确定像素值的20个像素(X方向上4个像素且Y方向上5个像素的总共20个像素)。

图61是描述传感器2的积分效应的另一个特定实例(不同于图60的实例)的图。

在图61中，X方向和Y方向代表传感器2的X方向和Y方向(图59)。

现实世界1中光信号的部分(区域)2303代表具有预先确定连续性的区域的另一个实例(不同于图60中包含细线的现实世界区域2301的实例)。

注意，区域2303是与包含细线的现实世界区域2301具有相同大小的区域。也就是说，区域2303实际上与包含细线的现实世界区域2301一样，也是现实世界1中的连续光信号的一部分(连续区域)，但是在图61中显示为划分成20个相当于传感器2一个像素的小区域(正方形区域)。

而且，区域2303包括具有预先确定第一光强(值)的第一部分，以及具有预先确定第二光强(值)的第二部分边缘。因此，区域2303具有边缘连续的方向上的连续性。以下，区域2303称作包含二值边缘的现实世界区域2303。

在该情况下，当包含二值边缘的现实世界区域2303(现实世界1中光信号的一部分)由传感器2检测时，输入图像(像素值)的区域2304(以下，称作包含二值边缘的数据区域2304)因积分效应从传感器2输出。

注意，包含二值边缘的数据区域2304的每个像素值与包含细线的数据区域2302一样在附图中表示为图像，但是实际上是代表预先确定值的数据。也就是说，包含二值边缘的现实世界区域2303由传感器2的积分效应而变成(畸变)包含二值边缘的数据区域2304，其划分成每个具有预先确定像素值的20个像素(X方向上4个像素且Y方向上5个像素的总共20个像素)。

常规图像处理设备已经将从传感器2输出的图像数据，例如包含细线的数据区域2302，包含二值边缘的数据区域2304等看作原点(基础)，并且也使得图像数据经历随后的图像处理。也就是说，尽管从传感器2输出的图像数据已经因积分效应而变成(畸变)不同于现实世界1中光信号的数据，常规图像处理设备基于不同于现实世界1中光信号的数据是正确的假设而执行图像处理。

结果，常规图像处理设备提出一个问题，即基于现实世界中其细节在图像数据从传感器2输出的阶段畸变的波形，非常难以从波形中恢复原始细节。

因此，对于函数近似方法，为了解决该问题，如上所述(图58中所示)，现实世界估计单元102通过用基于从传感器2输出的图像数据(输入图像)例如包含细线的数据区域2302和包含二值边缘的数据区域2304的近似函数f近似光信号函数F(现实世界1中的光信号)来估计光信号函数F。

因此，在现实世界估计单元102随后的阶段(在该情况下，图3中的图像生成单元103)，处理可以通过取已经考虑积分效应的图像数据，即可以用近似函数f表示的图像数据作为原点来执行。

以下，将参考附图独立地描述这种函数近似方法的三种具体方法(第一至第三函数近似方法)。

首先，将参考图62至图76描述第一函数近似方法。

图62是再次表示上述图60中所示包含细线的现实世界区域2301的图。

在图62中，X方向和Y方向代表传感器2的X方向和Y方向(图59)。

第一函数近似方法是使用例如用作n维(n是任意整数)多项式的近似函数f(x)近似一维波形(以下，这种波形称作X横截面波形F(x))的方法，其中与例如图62中所示包含细线的现实世界区域2301相对应的光信号函数F(x，y，t)在X方向(附图中箭头2311的方向)上投影。因此，以下，第一函数近似方法特别地称作一维近似函数。

注意，对于一维近似方法，将被近似的X横截面波形F(x)当然并不局限于与图62中包含细线的现实世界区域2301相对应的波形。也就是说，如随后描述的，对于一维近似方法，任意波形可以被近似只要X横截面波形F(x)对应于具有连续性的现实世界1中的光信号。

而且，光信号函数F(x，y，t)的投影方向并不局限于X方向，Y方向或t方向可以使用。也就是说，对于一维近似方法，光信号函数F(x，y，t)在Y方向上投影的函数F(y)可以用预先确定的近似函数f(y)近似，或者光信号函数F(x，y，t)在t方向上投影的函数F(t)可以用预先确定的近似函数f(t)近似。

更具体地说，一维近似方法是使用用作例如下面表达式(39)中所示的n维多项式的近似函数f(x)来近似X横截面波形F(x)的方法。

$f\left(x\right)=w_0+w_{1}x+w_2{x}^2+\·\·\·+w_n{x}^n=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{x}^i...\left(39\right)$

也就是说，对于一维近似方法，现实世界估计单元102通过计算表达式(39)中xⁱ的系数(特征)w_i来估计X横截面波形F(x)。

特征w_i的该计算方法并不局限于特定的方法，例如下面第一至第三方法可以使用。

也就是说，第一方法是到目前为止已经使用的方法。

另一方面，第二方法是本申请者最新发明的方法，其是关于第一方法考虑空间方向上连续性的方法。

但是，如随后描述的，对于第一和第二方法，传感器2的积分效应没有考虑。因此，通过将由第一方法或第二方法计算的特征w_i代入上面表达式(39)而获得的近似函数f(x)是关于输入图像的近似函数，但是严格地说，不能称作X横截面波形F(x)的近似函数。

因此，本申请者发明了关于第二方法进一步考虑传感器2积分效应的计算特征w_i的第三方法。通过将使用该第三方法计算的特征w_i代入上面表达式(39)而获得的近似函数f(x)可以称作X横截面波形F(x)的近似函数，因为传感器2的积分效应被考虑。

因此，严格地说，第一方法和第二方法不能称作一维近似方法，而只有第三方法可以称作一维近似方法。

换句话说，如图63中所示，第二方法不同于一维近似方法。也就是说，图63是描述与第二方法相对应的实施方案原理的图。

如图63中所示，对于与第二方法相对应的实施方案，如果用光信号函数F表示的现实世界1中的光信号具有预先确定的连续性，现实世界估计单元102不是用来自传感器2的输入图像(包含与连续性相对应的数据连续性的图像数据)，以及来自数据连续性检测单元101的数据连续性信息(与输入图像数据的连续性相对应的数据连续性信息)近似X横截面波形F(x)，而是用预先确定的近似函数f₂(x)近似来自传感器2的输入图像。

因此，难说第二方法是与第三方法具有同等水平的方法，因为仅输入图像的近似被执行而没有考虑传感器2的积分效应。但是，第二方法是优于常规第一方法的方法，因为第二方法考虑了空间方向上的连续性。

以下，将以该顺序独立地描述第一方法、第二方法和第三方法的细节。

注意以下，如果由第一方法、第二方法和第三方法产生的各自近似函数f(x)与其他方法的相区分，它们分别特别地称作近似函数f₁(x)、近似函数f₂(x)以及近似函数f₃(x)。

首先，将描述第一方法的细节。

对于第一方法，如果上面表达式(39)中所示近似函数f₁(x)在图64中包含细线的现实世界区域2301内成立，下面的预测公式(40)被定义。

P(x，y)＝f₁(x)+e                              ...(40)

在表达式(40)中，x表示关于X方向相对于关注像素的像素位置。y表示关于Y方向相对于关注像素的像素位置。e表示误差限度。特别地，例如，如图64中所示，让我们假定关注像素是包含细线的数据区域2302(包含细线的现实世界区域2301(图62)由传感器2检测并输出其数据)中，附图中X方向上从左起第二像素以及Y方向上从底部起第三像素。而且，让我们假定关注像素的中心是原点(0，0)，并且其轴是分别平行于传感器2的X方向和Y方向(图59)的x轴和y轴的坐标系(以下，称作关注像素坐标系)被设置。在该情况下，关注像素坐标系的坐标值(x，y)表示相对像素位置。

而且，在表达式(40)中，P(x，y)表示相对像素位置(x，y)中的像素值。特别地，在该情况下，包含细线的数据区域2302中的P(x，y)例如图65中所示。

图65以图形方式表示该像素值P(x，y)。

在图65中，曲线图的各个垂直轴表示像素值，而水平轴表示X方向上距离关注像素的相对位置x。而且，在附图中，分别地，从顶部开始第一曲线图中的虚线表示输入像素值P(x，-2)，从顶部开始第二曲线图中的断续三重虚线表示输入像素值P(x，-1)，从顶部开始第三曲线图中的实线表示输入像素值P(x，0)，从顶部开始第四曲线图中的断续线表示输入像素值P(x，1)，并且从顶部开始第五(从底部开始第一)曲线图中的断续双重虚线表示输入像素值P(x，2)。

当图65中所示20个输入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)和P(x，2)(但是，x是-1～2的任意一个整数值)分别代入上面表达式(40)时，如下面表达式(41)中所示20个公式产生。注意，每个e_k(k是1～20的整数值的任意一个)表示误差限度。

P(-1，-2)＝f₁(-1)+e₁

P(0，-2)＝f₁(0)+e₂

P(1，-2)＝f₁(1)+e₃

P(2，-2)＝f₁(2)+e₄

P(-1，-1)＝f₁(-1)+e₅

P(0，-1)＝f₁(0)+e₆

P(1，-1)＝f₁(1)+e₇

P(2，-1)＝f₁(2)+e₈

P(-1，0)＝f₁(-1)+e₉

P(0，0)＝f₁(0)+e₁₀

P(1，0)＝f₁(1)+e₁₁

P(2，0)＝f₁(2)+e₁₂

P(-1，1)＝f₁(-1)+e₁₃

P(0，1)＝f₁(0)+e₁₄

P(1，1)＝f₁(1)+e₁₅

P(2，1)＝f₁(2)+e₁₆

P(-1，2)＝f₁(-1)+e₁₇

P(0，2)＝f₁(0)+e₁₈

P(1，2)＝f₁(1)+e₁₉

P(2，2)＝f₁(2)+e₂₀                                ...(41)

表达式(41)由20个公式构成，所以如果近似函数f₁(x)的特征w_i的数目少于20，也就是如果近似函数f₁(x)是具有少于19的维度数目的多项式，特征w_i可以使用例如最小二乘法计算。注意，最小二乘法的具体解法将随后描述。

例如，如果我们假定近似函数f₁(x)的维度数目是五，使用表达式(41)用最小二乘法计算的近似函数f₁(x)(由计算的特征w_i产生的近似函数f₁(x))变成图66中所示的曲线。

注意在图66中，垂直轴表示像素值，而水平轴表示距离关注像素的相对位置x。

也就是说，例如，如果我们补充沿着x轴构成图64中包含细线的数据区域2302而没有任何修改的各个20个像素值P(x，y)(图65中所示各个输入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2))(如果我们认为Y方向上的相对位置y恒定，并且重叠图65中所示的五个曲线图)，与x轴平行的多条线(虚线、断续三重虚线、实线、断续线、以及断续双重虚线)被分布，例如图66中所示。

但是，在图66中，分别地，虚线表示输入像素值P(x，-2)，断续三重虚线表示输入像素值P(x，-1)，实线表示输入像素值P(x，0)，断续线表示输入像素值P(x，1)，以及断续双重虚线表示输入像素值P(x，2)。而且，在相同像素值的情况下，多于2条线的线实际上重叠，但是在图66中，线被画出以便区分每条线，以便不重叠每条线。

这样分布的各个20个输入像素值(P(x，-2)，P(x，-1)，P(x，0)，P(x，1)，以及P(x，2))，以及回归曲线(通过将使用最小二乘法计算的特征w_i代入上面表达式(38)而获得的近似函数f₁(x))以使得值f₁(x)的误差达到最小，变成图66中所示的曲线(近似函数f₁(x))。

因此，近似函数f₁(x)只表示在X方向上连接Y方向上P(x，-2)，P(x，-1)，P(x，0)，P(x，1)和P(x，2)的像素值(具有X方向上距离关注像素的相同相对位置x的像素值)的平均值的曲线。也就是说，近似函数f₁(x)没有考虑包括在光信号中的空间方向上连续性而产生。

例如，在该情况下，包含细线的现实世界区域2301(图62)看作待近似的主体。该包含细线的现实世界区域2301具有空间方向上的连续性，其由梯度G_F表示，如图67中所示。注意在图67中，X方向和Y方向代表传感器2的X方向和Y方向(图59)。

因此，数据连续性检测单元101(图58)可以输出例如图67中所示的角度θ(用与梯度G_F相对应的梯度G_f表示的数据连续性方向，与X方向之间产生的角度θ)作为与作为空间方向上连续性的梯度G_F相对应的数据连续性信息。

但是，对于第一方法，从数据连续性检测单元101中输出的数据连续性信息根本不使用。

换句话说，例如图67中所示，包含细线的现实世界区域2301的空间方向上的连续性方向是普通角度θ方向。但是，第一方法是基于包含细线的现实世界区域2301的空间方向上的连续性方向是Y方向的假设(也就是假设角度θ是90°)计算近似函数f₁(x)的特征w_i的方法。

所以，近似函数f₁(x)变成其波形变缓和的函数，并且细节比原始像素值减少。换句话说，虽然附图中没有显示，对于使用第一方法产生的近似函数f₁(x)，其波形变成不同于实际X横截面波形F(x)的波形。

为此，本申请者已经发明相对于第一方法通过进一步考虑空间方向上连续性(利用角度θ)计算特征w_i的第二方法。

也就是说，第二方法是基于包含细线的现实世界区域2301的连续性方向是普通角度θ方向的假设计算近似函数f₂(x)的特征w_i的方法。

特别地，例如，表示与空间方向上连续性相对应的数据连续性的梯度G_f用下面的表达式(42)表示。

$G_f=\tan \mathrm{\θ}=\frac{\mathrm{dy}}{\mathrm{dx}}...\left(42\right)$

注意在表达式(42)中，dx表示例如图67中所示X方向上细微运动的量，dy表示例如图67中所示关于dx在Y方向上细微运动的量。

在该情况下，如果我们如下面表达式(43)中所示定义移位量C_x(y)，对于第二方法，与第一方法中使用的表达式(40)相对应的公式变成例如下面的表达式(44)。

$C_x\left(y\right)=\frac{y}{G_f}...\left(43\right)$

P(x，y)＝f₂(x-C_x(y))+e                               ...(44)

也就是说，第一方法中使用的表达式(40)表示像素中心位置(x，y)的X方向上的位置x是关于位于相同位置中的任何像素的像素值P(x，y)的相同值。换句话说，表达式(40)表示具有相同像素值的像素在Y方向上连续(表现出Y方向上的连续性)。

另一方面，第二方法中使用的表达式(44)表示其中心位置为(x，y)的像素的像素值P(x，y)与位于X方向上距离关注像素(其中心位置为原点(0，0)的像素)x的位置的像素的像素值(近似相当于f₂(x))不同，而是与位于X方向上以移位量C_x(y)进一步远离其像素的位置的像素(位于X方向上距离关注像素x+C_x(y)的位置中的像素)的像素值(近似相当于f₂(x)+C_x(y)相同的值。换句话说，表达式(44)表示具有相同像素值的像素在对应于移位量C_x(y)的角度θ方向上连续(表现出普通角度θ方向上的连续性)。

因此，移位量C_x(y)是考虑空间方向上连续性(在该情况下，图67中用梯度G_F表示的连续性(严格地说，用梯度G_f表示的数据连续性))的校正量，并且表达式(44)通过用移位量C_x(y)校正表达式(40)而获得。

在该情况下，当图64中所示包含细线的数据区域2302的20个像素值P(x，y)(但是，x是-1～2的任意一个整数值，且y是-2～2的任何一个整数值)分别代入上面表达式(44)时，如下面表达式(45)中所示的20个公式产生。

P(-1，-2)＝f₂(-1-C_x(-2))+e₁

P(0，-2)＝f₂(0-C_x(-2))+e₂

P(1，-2)＝f₂(1-C_x(-2))+e₃

P(2，-2)＝f₂(2-C_x(-2))+e₄

P(-1，-1)＝f₂(-1-C_x(-1))+e₅

P(0，-1)＝f₂(0-C_x(-1))+e₆

P(1，-1)＝f₂(1-C_x(-1))+e₇

P(2，-1)＝f₂(2-C_x(-1))+e₈

P(-1，0)＝f₂(-1)+e₉

P(0，0)＝f₂(0)+e₁₀

P(1，0)＝f₂(1)+e₁₁

P(2，0)＝f₂(2)+e₁₂

P(-1，1)＝f₂(-1-C_x(1))+e₁₃

P(0，1)＝f₂(0-C_x(1))+e₁₄

P(1，1)＝f₂(1-C_x(1))+e₁₅

P(2，1)＝f₂(2-C_x(1))+e₁₆

P(-1，2)＝f₂(-1-C_x(2))+e₁₇

P(0，2)＝f₂(0-C_x(2))+e₁₈

P(1，2)＝f₂(1-C_x(2))+e₁₉

P(2，2)＝f₂(2-C_x(2))+e₂₀                           ...(45)

与上面表达式(41)一样，表达式(45)由20个公式构成。因此，对于第二方法，与第一方法一样，如果近似函数f₂(x)的特征w_i的数目少于20，也就是如果近似函数f₂(x)是具有少于19的维度数目的多项式，特征w_i可以使用例如最小二乘法计算。注意，关于最小二乘法的具体解法将随后描述。

例如，与第一方法一样，如果我们假定近似函数f₂(x)的维度数目是五，对于第二方法，特征w_i如下计算。

也就是说，图68以图形方式表示表达式(45)左侧中显示的像素值P(x，y)。图68中所示各个五个曲线图基本上与图65中所示的相同。

如图68中所示，最大像素值(与细线相对应的像素值)在用梯度G_f表示的数据连续性方向上连续。

所以，对于第二方法，如果我们例如沿着x轴补充图68中所示的各个输入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2)，我们补充像素值在图69中所示状态中改变的像素值，而不是与第一方法一样补充像素值而没有任何修改(让我们假设y是恒定的，并且五个曲线图在图68中所示的状态中重叠)。

也就是说，图69表示图68中所示的各个输入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2)以上面表达式(43)中所示的移位量C_x(y)移位的状态。换句话说，图69表示图68中所示的五个曲线图运动好像表示数据连续性实际方向的梯度G_F看作梯度G_F′的状态(在附图中，由虚线构成的直线看作由实线构成的直线)。

在图69中的状态中，如果我们例如沿着x轴补充各个输入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2)(在图69中所示的状态中，如果我们重叠五个曲线图)，与x轴平行的多条线(虚线、断续三重虚线、实线、断续线、以及断续双重虚线)被分布，例如图70中所示。

注意在图70中，垂直轴表示像素值，并且水平轴表示距离关注像素的相对位置x。而且，分别地，虚线表示输入像素值P(x，-2)，断续三重虚线表示输入像素值P(x，-1)，实线表示输入像素值P(x，0)，断续线表示输入像素值P(x，1)，以及断续双重虚线表示输入像素值P(x，2)。而且，在同样像素值的情况下，多于2条线的线实际上重叠，但是在图70中，线被画出以便区分每条线，以便不重叠每条线。

这样分布的各个20个输入像素值P(x，y)(但是，x是-1～2的任意一个整数值，并且y是-2～2的任意一个整数值)，以及回归曲线(通过将使用最小二乘法计算的特征w_i代入上面表达式(38)而获得的近似函数f₂(x))以使得值f₂(x+C_x(y))的误差达到最小，变成图70中实线所示的曲线f₂(x)。

因此，使用第二方法产生的近似函数f₂(x)表示在X方向上连接从数据连续性检测单元101(图58)输出的角度θ方向(也就是普通空间方向上的连续性方向)上输入像素值P(x，y)的平均值的曲线。

另一方面，如上所述，使用第一方法产生的近似函数f₁(x)只表示在X方向上连接Y方向(也就是与空间方向上的连续性不同的方向)上输入像素值P(x，y)的平均值的曲线。

因此，如图70中所示，使用第二方法产生的近似函数f₂(x)变成其波形的缓和度减小，而且关于原始像素值的细节减少程度比使用第一方法产生的近似函数f₁(x)减少得小的函数。换句话说，虽然附图中没有显示，对于使用第二方法产生的近似函数f₂(x)，其波形变成比使用第一方法产生的近似函数f₁(x)更接近实际X横截面波形F(x)的波形。

但是，如上所述，近似函数f₂(x)是考虑空间方向上连续性的函数，但是仅是输入图像(输入像素值)看作原点(基础)而产生的函数。也就是说，如上述图63中所示，近似函数f₂(x)仅是近似不同于X横截面波形F(x)的输入图像的函数，并且难说近似函数f₂(x)是近似X横截面波形F(x)的函数。换句话说，第二方法是基于上面表达式(44)成立的假设计算特征w_i的方法，但是没有考虑上述表达式(38)中的关系(没有考虑传感器2的积分效应)。

因此，本申请者已经发明相对于第二方法通过进一步考虑传感器2的积分效应计算近似函数f₃(x)的特征w_i的第三方法。

也就是说，第三方法是引入空间混合或时间混合概念的方法。现在，考虑空间混合和时间混合将使得描述复杂，所以空间混合和时间混合中仅空间混合将在这里考虑，而时间混合将忽略。

在第三方法的描述之前，将参考图71描述空间混合。

在图71中，现实世界1中光信号的部分2321(以下，称作区域2321)表示与传感器2的一个检测元件(像素)具有相同面积的区域。

当传感器2检测区域2321时，传感器2输出由区域2321经历时间和空间方向(X方向、Y方向和t方向)上的积分而获得的值(一个像素值)2322。注意，像素值2322在附图中表示为图像，但实际上是代表预先确定值的数据。

现实世界1中的区域2321清楚地分类成与前景(例如上面的细线)相对应的光信号(附图中白色区域)，以及与背景相对应的光信号(附图中黑色区域)。

另一方面，像素值2322是由与前景相对应的现实世界1中光信号和与背景相对应的现实世界1中光信号经历积分而获得的值。换句话说，像素值2322是与对应于前景的光度与对应于背景的光度空间混合的光度相对应的值。

因此，如果与现实世界1中光信号的一个像素(传感器2的检测元件)相对应的部分不是具有相同光度的光信号在空间上均匀分布的部分，而是具有不同光度的光信号例如前景和背景分布于其中的部分，当其区域由传感器2检测时，区域变成一个像素值，好像不同光度因传感器2的积分效应而空间混合(在空间方向上积分)。因此，由对应于前景的图像(现实世界1中光信号)和对应于背景的图像(现实世界1中光信号)经历空间积分，也就是好像被混合，即空间混合的像素构成的区域在这里称作空间混合区域。

因此，对于第三方法，现实世界估计单元102(图58)通过使用用作例如图72中所示一维多项式的近似函数f₃(x)近似X横截面波形F(x)，来估计表示现实世界1中原始区域2321(现实世界1中光信号，部分2321对应于传感器2的一个像素)的X横截面波形F(x)。

也就是说，图72表示与用作空间混合区域的像素值2322(图71)相对应的近似函数f₃(x)，即近似与现实世界1中区域2331中的实线(图71)相对应的X横截面波形F(x)的近似函数f₃(x)的实例。在图72中，附图中水平方向上的轴表示与从对应于像素值2322(图71)的像素的左上端x_s到右下端x_e的边平行的轴，其看作x轴。附图中垂直方向上的轴看作表示像素值的轴。

在图72中，下面的表达式(46)被定义，如果由使得近似函数f₃(x)经历从x_s到x_e的范围(像素宽度)内的积分而获得的结果通常与从传感器2输出的像素值P(x，y)完全相同(仅取决于误差限度e)。

$P={\∫}_{x_s}^{x_e}{f}_3\left(x\right)\mathrm{dx}+e$

$={\∫}_{x_s}^{x_e}(w_0+w_{1}x+w_2{x}^2+\·\·\·w_n{x}^n)\mathrm{dx}+e$

$=w_0(x_e-x_s)+\·\·\·+w_{n-1}\frac{x_e^n-x_s^n}{n}+w_n\frac{x_e^{n+1}-x_s^{n+1}}{n+1}+e...\left(46\right)$

在该情况下，近似函数f₃(x)的特征w_i从图67中所示包含细线的数据区域2302的20个像素值P(x，y)(但是，x是-1～2的任意一个整数值，并且y是-2～2的任意一个整数值)中计算，所以表达式(46)中的像素值P变成像素值P(x，y)。

而且，与第二方法一样，考虑空间方向上的连续性是必需的，因此，表达式(46)中积分范围中的开始位置x_s和结束位置x_e的每个取决于移位量C_x(y)。也就是说，表达式(46)中积分范围的开始位置x_s和结束位置x_e例如下面表达式(47)中表示。

x_s＝x-C_x(y)-0.5

x_e＝x-C_x(y)+0.5                                     ...(47)

在该情况下，当图67中所示包含细线的数据区域2302的每个像素值，即图68中所示输入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2)(但是，x是-1～2的任意一个整数值)的每个代入上面表达式(46)(积分范围是上面表达式(47))时，下面表达式(48)中的20个公式产生。

$P(-1,-2)={\∫}_{-1-C_x(-2)-0.5}^{-1-C_x(-2)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_1,$

$P(0,-2)={\∫}_{0-C_x(-2)-0.5}^{0-C_x(-2)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_2,$

$P(1,-2)={\∫}_{1-C_x(-2)-0.5}^{1-C_x(-2)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_3,$

$P(2,-2)={\∫}_{2-C_x(-2)-0.5}^{2-C_x(-2)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_4,$

$P(-1,-1)={\∫}_{-1-C_x(-2)-0.5}^{-1-C_x(-2)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_5,$

$P(0,-2)={\∫}_{0-C_x(-1)-0.5}^{0-C_x(-1)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_6,$

$P(1,-1)={\∫}_{1-C_x(-1)-0.5}^{1-C_x(-1)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_7,$

$P(2,-1)={\∫}_{2-C_x(-1)-0.5}^{2-C_x(-1)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_8,$

$P(-1,0)={\∫}_{-1-0.5}^{-1+0.5}{f}_3\left(x\right)\mathrm{dx}+e_9,$

$P(0,0)={\∫}_{0-0.5}^{0+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{10},$

$P(1,0)={\∫}_{1-0.5}^{1+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{11},$

$P(2,0)={\∫}_{2-0.5}^{2+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{12},$

$P(-1,1)={\∫}_{-1-C_x\left(1\right)-0.5}^{-1-C_x\left(1\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{13},$

$P(0,1)={\∫}_{0-C_x\left(1\right)-0.5}^{0-C_x\left(1\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{14},$

$P(1,1)={\∫}_{1-C_x\left(1\right)-0.5}^{1-C_x\left(1\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{15},$

$P(2,1)={\∫}_{2-C_x\left(1\right)-0.5}^{2-C_x\left(1\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{16},$

$P(-1,2)={\∫}_{-1-C_x\left(2\right)-0.5}^{-1-C_x\left(2\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{17},$

$P(0,2)={\∫}_{0-C_x\left(2\right)-0.5}^{0-C_x\left(2\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{18},$

$P(1,2)={\∫}_{1-C_x\left(2\right)-0.5}^{1-C_x\left(2\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{19},$

$P(2,2)={\∫}_{2-C_x\left(2\right)-0.5}^{2-C_x\left(2\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{20},...\left(48\right)$

与上面表达式(45)一样，表达式(48)由20个公式构成。因此，对于第三方法，与第二方法一样，如果近似函数f₃(x)的特征w_i的数目少于20，也就是如果近似函数f₃(x)是具有少于19的维度数目的多项式，例如，特征w_i可以使用最小二乘法计算。注意，最小二乘法的具体解法将随后描述。

例如，如果我们假定近似函数f₃(x)的维度数目是五，使用表达式(48)用最小二乘法计算的近似函数f₃(x)(用计算的特征w_i产生的近似函数f₃(x))变成图73中实线所示的曲线。

注意在图73中，垂直轴表示像素值，而水平轴表示距离关注像素的相对位置x。

如图73中所示，如果用第三方法产生的近似函数f₃(x)(附图中用实线显示的曲线)与用第二方法产生的近似函数f₂(x)(附图中用虚线显示的曲线)相比较，x＝0处的像素值变大，而且曲线的梯度产生陡峭波形。这是因为细节增加多于输入像素，导致与输入像素的分辨率无关。也就是说，我们可以说近似函数f₃(x)近似X横截面波形F(x)。因此，虽然附图中没有显示，近似函数f₃(x)变成比近似函数f₂(x)更接近X横截面波形F(x)的波形。

图74表示使用这种一维近似方法的现实世界估计单元102的构造实例。

在图74中，现实世界估计单元102通过使用例如上面第三方法(最小二乘法)计算特征w_i，并且使用计算的特征w_i产生上面表达式(39)的近似函数f(x)来估计X横截面波形F(x)。

如图74中所示，现实世界估计单元102包括条件设置单元2331，输入图像存储单元2332，输入像素值获取单元2333，积分分量计算单元2334，正则方程生成单元2335，以及近似函数生成单元2336。

条件设置单元2331设置用于估计对应于关注像素的X横截面波形F(x)的像素范围(以下，称作分接范围)，以及近似函数f(x)的维度数目n。

输入图像存储单元2332临时地存储来自传感器2的输入图像(像素值)。

输入像素值获取单元2333从输入图像存储单元2332中存储的输入图像中，获取与由条件设置单元2331设置的分接范围相对应的输入图像区域，并且将其作为输入像素值表提供给正则方程生成单元2335。也就是说，输入像素值表是描述包括在输入图像区域中的像素的各个像素值的表。注意，输入像素值表的具体实例将随后描述。

现在，现实世界估计单元102使用上面的表达式(46)和表达式(47)在这里用最小二乘法计算近似函数f(x)的特征w_i，但是上面表达式(46)可以例如下面表达式(49)表示。

P(x，y)

$=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×\frac{{(x-C_x\left(y\right)+0.5)}^{i+1}-{(x-C_x\left(y\right)-0.5)}^{i+1}}{i+1}+e$

$=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×S_i(x_s,x_e)+e...\left(49\right)$

在表达式(49)中，S_i(x_s，x_e)表示i维项的积分分量。也就是说，积分分量S_i(x_s，x_e)在下面表达式(50)中显示。

$S_i(x_s,x_e)=\frac{x_e^{i+1}-x_s^{i+1}}{i+1}...\left(50\right)$

积分分量计算单元2334计算积分分量S_i(x_s，x_e)。

特别地，表达式(50)中所示的积分分量S_i(x_s，x_e)(但是，值x_s和值x_e是上面表达式(46)中显示的值)可以计算，只要相对像素位置(x，y)，移位量C_x(y)，以及i维项的i已知。而且，这些中，分别地，相对像素位置(x，y)由关注像素和分接范围确定，移位量C_x(y)由角度θ(由上面表达式(41)和表达式(43))确定，并且i的范围由维度数目n确定。

因此，积分分量计算单元2334基于由条件设置单元2331设置的分接范围和维度数目，以及从数据连续性检测单元101输出的数据连续性信息的角度θ来计算积分分量S_i(x_s，x_e)，并且将计算结果作为积分分量表提供给正则方程生成单元2335。

正则方程生成单元2335产生上面的表达式(46)，即正则方程，在使用从输入像素值获取单元2333提供的输入像素值表，以及从积分分量计算单元2334提供的积分分量表，用最小二乘法获得表达式(49)右侧的特征w_i的情况下，并且将其作为正则方程表提供给近似函数生成单元2336。注意正则方程的具体实例将随后描述。

近似函数生成单元2336通过使用矩阵解法求解包括在从正则方程生成单元2335提供的正则方程表中的正则方程，来计算上面表达式(49)的各个特征w_i(也就是用作一维多项式的近似函数f(x)的各个系数w_i)，并且将这些输出到图像生成单元103。

接下来，将参考图75中的流程图描述使用一维近似方法的现实世界估计单元102(图74)的现实世界估计处理(图29的步骤S102中的处理)。

例如，让我们假定作为从传感器2输出的一帧输入图像、包括上述图60中包含细线的数据区域2302的输入图像已经存储在输入图像存储单元2332中。而且，让我们假定数据连续性检测单元101已经在步骤S101(图29)的连续性检测处理中使包含细线的数据区域2302经历其处理，并且已经输出角度θ作为数据连续性信息。

在该情况下，条件设置单元2331在图75的步骤S2301中设置条件(分接范围和维度数目)。

例如，让我们假定图76中所示的分接范围2351被设置，并且5维度设置为维度数目。

也就是说，图76是描述分接范围实例的图。在图76中，X方向和Y方向分别是传感器2的X方向和Y方向(图59)。而且，分接范围2351表示由X方向上4个像素以及Y方向上5个像素总共20个像素(附图中20个正方形)构成的像素组。

此外，如图76中所示，让我们假定关注像素设置在分接范围2351中附图中从左起第二像素以及从底部起第三像素处。而且，让我们假定每个像素根据距离关注像素的相对像素位置(x，y)(关注像素坐标系的坐标值，其中关注像素的中心(0，0)取作原点)用例如图76中所示数字l表示(l是0～19的任意整数值)。

现在，描述将返回图75，其中在步骤S2302中，条件设置单元2331设置关注像素。

在步骤S2303中，输入像素值获取单元2333基于由条件设置单元2331设置的条件(分接范围)获取输入像素值，并且产生输入像素值表。也就是说，在该情况下，输入像素值获取单元2333获取包含细线的数据区域2302(图64)，并且产生由20个输入像素值P(l)构成的表作为输入像素值表。

注意在该情况下，输入像素值P(l)与上面输入像素值P(x，y)之间的关系是下面表达式(51)中所示的关系。但是，在表达式(51)中，左侧表示输入像素值P(l)，而右侧表示输入像素值P(x，y)。

P(0)＝P(0，0)

P(1)＝P(-1，2)

P(2)＝P(0，2)

P(3)＝P(1，2)

P(4)＝P(2，2)

P(5)＝P(-1，1)

P(6)＝P(0，1)

P(7)＝P(1，1)

P(8)＝P(2，1)

P(9)＝P(-1，0)

P(10)＝P(1，0)

P(11)＝P(2，0)

P(12)＝P(-1，-1)

P(13)＝P(0，-1)

P(14)＝P(1，-1)

P(15)＝P(2，-1)

P(16)＝P(-1，-2)

P(17)＝P(0，-2)

P(18)＝P(1，-2)

P(19)＝P(2，-2)                               ...(51)

在步骤S2304中，积分分量计算单元2334基于由条件设置单元2331设置的条件(分接范围和维度数目)，以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并且产生积分分量表。

在该情况下，如上所述，输入像素值不是P(x，y)而是P(l)，并且作为像素编号l的值而获取，所以积分分量计算单元2334将表达式(50)中上面积分分量S_i(x_s，x_e)计算为l的函数，例如下面表达式(52)左侧中所示的积分分量S_i(l)。

S_i(l)＝S_i(x_s，x_e)                                 ...(52)

特别地，在该情况下，下面表达式(53)中所示的积分分量S_i(l)被计算。

S_i(0)＝S_i(-0.5，0.5)

S_i(1)＝S_i(-1.5-C_x(2)，-0.5-C_x(2))

S_i(2)＝S_i(-0.5-C_x(2)，0.5-C_x(2))

S_i(3)＝S_i(0.5-C_x(2)，1.5-C_x(2))

S_i(4)＝S_i(1.5-C_x(2)，2.5-C_x(2))

S_i(5)＝S_i(-1.5-C_x(1)，-0.5-C_x(1))

S_i(6)＝S_i(-0.5-C_x(1)，0.5-C_x(1))

S_i(7)＝S_i(0.5-C_x(1)，1.5-C_x(1))

S_i(8)＝S_i(1.5-C_x(1)，2.5-C_x(1))

S_i(9)＝S_i(-1.5，-0.5)

S_i(10)＝S_i(0.5，1.5)

S_i(11)＝S_i(1.5，2.5)

S_i(12)＝S_i(-1.5-C_x(-1)，-0.5-C_x(-1))

S_i(13)＝S_i(-0.5-C_x(-1)，0.5-C_x(-1))

S_i(14)＝S_i(0.5-C_x(-1)，1.5-C_x(-1))

S_i(15)＝S_i(1.5-C_x(-1)，2.5-C_x(-1))

S_i(16)＝S_i(-1.5-C_x(-2)，-0.5-C_x(-2))

S_i(17)＝S_i(-0.5-C_x(-2)，0.5-C_x(-2))

S_i(18)＝S_i(0.5-C_x(-2)，1.5-C_x(-2))

S_i(19)＝S_i(1.5-C_x(-2)，2.5-C_x(-2))                   ...(53)

注意在表达式(53)中，左侧表示积分分量S_i(l)，而右侧表示积分分量S_i(x_s，x_e)。也就是说，在该情况下，i是0～5，因此20个S₀(l)，20个S₁(l)，20个S₂(l)，20个S₃(l)，20个S₄(l)以及20个S₅(l)总共120个S_i(l)被计算。

更具体地说，首先积分分量计算单元2334使用从数据连续性检测单元101提供的角度θ计算移位量C_x(-2)，C_x(-1)，C_x(1)，和C_x(2)的每个。接下来，积分分量计算单元2334使用计算的移位量C_x(-2)，C_x(-1)，C_x(1)，和C_x(2)关于i＝0～5的每个计算表达式(52)右侧中显示的20个积分分量S_i(x_s，x_e)的每个。也就是说，计算120个积分分量S_i(x_s，x_e)。注意对于积分分量S_i(x_s，x_e)的该计算，使用上面表达式(50)。随后，积分分量计算单元2334根据表达式(53)将计算的120个积分分量S_i(x_s，x_e)的每个转换成相应的积分分量S_i(l)，并且产生包括转换后的120个积分分量S_i(l)的积分分量表。

注意，步骤S2303中的处理和步骤S2304中的处理的顺序并不局限于图75中的实例，步骤S2304中的处理可以首先执行，或者步骤S2303中的处理和步骤S2304中的处理可以同时执行。

接下来，在步骤S2305中，正则方程生成单元2335基于在步骤S2303的处理中由输入像素值获取单元2333产生的输入像素值表，以及在步骤S2304的处理中由积分分量计算单元2334产生的积分分量表来产生正则方程表。

特别地，在该情况下，对应于上面表达式(49)的下面表达式(54)的特征w_i使用最小二乘法计算。与此对应的正则方程表示为下面的表达式(55)。

$P\left(l\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{\×S}_i\left(l\right)+e...\left(54\right)$

注意在表达式(55)中，L表示分接范围中像素编号l的最大值。n表示用作多项式的近似函数f(x)的维度数目。特别地，在该实例中，n＝5且L＝19。

如果我们将表达式(55)中所示的正则方程的每个矩阵定义为下面的表达式(56)～(58)，正则方程表示为下面的表达式(59)。

$W_{\mathrm{MAT}}=\left(\begin{array}{c}{w}_1\\ w_2\\ .\\ .\\ .\\ w_n\end{array}\right)...\left(57\right)$

$P_{\mathrm{MAT}}=\left(\begin{array}{c}\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{S}_0\left(l\right)P\left(l\right)\\ \underset{l=1}{\overset{L}{\mathrm{\Σ}}}{S}_1\left(l\right)P\left(l\right)\\ .\\ .\\ .\\ \underset{l=1}{\overset{L}{\mathrm{\Σ}}}{S}_n\left(l\right)P\left(l\right)\end{array}\right)...\left(58\right)$

S_MATW_MAT＝P_MAT                            ...(59)

如表达式(57)中所示，矩阵W_MAT的各个分量是待获得的特征w_i。因此，在表达式(59)中，如果左侧的矩阵S_MAT和右侧的矩阵P_MAT被确定，矩阵W_MAT(也就是特征w_i)可以使用矩阵解法计算。

特别地，如表达式(56)中所示，矩阵S_MAT的各个分量可以计算，只要上面积分分量S_i(l)已知。积分分量S_i(l)包括在从积分分量计算单元2334提供的积分分量表中，所以正则方程生成单元2335可以使用积分分量表计算矩阵S_MAT的每个分量。

而且，如表达式(58)中所示，矩阵P_MAT的各个分量可以计算，只要积分分量S_i(l)和输入像素值P(l)已知。积分分量S_i(l)与包括在矩阵S_MAT的各个分量中的那些相同，并且输入像素值P(l)包括在从输入像素值获取单元2333提供的输入像素值表中，所以正则方程生成单元2335可以使用积分分量表和输入像素值表计算矩阵P_MAT的每个分量。

因此，正则方程生成单元2335计算矩阵S_MAT和矩阵P_MAT的每个分量，并将计算结果(矩阵S_MAT和矩阵P_MAT的每个分量)作为正则方程表输出到近似函数生成单元2336。

当正则方程表从正则方程生成单元2335输出时，在步骤S2306中，近似函数生成单元2336基于正则方程表计算用作上面表达式(59)中矩阵W_MAT的各个分量的特征w_i(也就是，用作一维多项式的近似函数f(x)的系数w_i)。

特别地，上面表达式(59)中的正则方程可以转换为下面的表达式(60)。

$W_{\mathrm{MAT}}=S_{\mathrm{MAT}}^{-1}{P}_{\mathrm{MAT}}...\left(60\right)$

在表达式(60)中，左侧矩阵W_MAT的各个分量是待获得的特征w_i。关于矩阵S_MAT和矩阵P_MAT的各个分量包括在从正则方程生成单元2335提供的正则方程表中。因此，近似函数生成单元2336通过使用正则方程表计算表达式(60)右侧中的矩阵来计算矩阵W_MAT，并将计算结果(特征w_i)输出到图像生成单元103。

在步骤S2307中，近似函数生成单元2336确定是否所有像素的处理都已完成。

在步骤S2307中，如果确定所有像素的处理还没有完成，处理返回到步骤S2302，其中随后的处理重复地执行。也就是说，没有变成关注像素的像素顺序地取作关注像素，并且步骤S2302～S2307中的处理重复地执行。

如果所有像素的处理都已完成(在步骤S2307中，如果确定所有像素的处理都已完成)，现实世界1的估计处理结束。

注意使用这样计算的系数(特征)w_i产生的近似函数f(x)的波形变成例如上述图73中近似函数f₃(x)的波形。

因此，对于一维近似方法，用作一维多项式的近似函数f(x)的特征在例如与一维X横截面波形F(x)具有相同形式的波形在连续性方向上连续的假设下计算。因此，对于一维近似方法，近似函数f(x)的特征可以使用比其他函数近似方法少量的计算处理而计算。

接下来，将参考图77至图83描述第二函数近似方法。

也就是说，第二函数近似方法是具有用例如图77中所示梯度G_F表示的空间方向上连续性的现实世界1中光信号看作X-Y平面上(在用作空间方向一个方向的X方向，以及与X方向正交的Y方向上的平面水平上)的波形F(x，y)的方法，并且波形F(x，y)使用用作二维多项式的近似函数f(x，y)近似，从而估计波形F(x，y)。因此，以下，第二函数近似方法称作二维多项式近似方法。

注意在图77中，分别地，水平方向表示用作空间方向的一个方向的X方向，右上方向表示用作空间方向的另一个方向的Y方向，以及垂直方向表示光度。G_F表示作为空间方向上连续性的梯度。

而且，对于二维多项式近似方法的描述，让我们假定传感器2是由布置在其平面上的多个检测元件2-1构成的CCD，例如图78中所示。

对于图78中的实例，平行于检测元件2-1的预先确定边的方向取作用作空间方向的一个方向的X方向，并且与X方向正交的方向取作用作空间方向的另一个方向的Y方向。与X-Y平面正交的方向取作用作时间方向的t方向。

而且，对于图78中的实例，传感器2的每个检测元件2-1的空间形状取作一边长度为1的正方形。传感器2的快门时间(曝光时间)取作1。

此外，对于图78中的实例，传感器2的某个检测元件2-1的中心取作空间方向(X方向和Y方向)上的原点(X方向上位置为x＝0，且Y方向上位置为y＝0)，而且曝光时间的中间时间点取作时间方向(t方向)上的原点(t方向上位置为t＝0)。

在该情况下，其中心在空间方向上原点(x＝0，y＝0)的检测元件2-1使得光信号函数F(x，y，t)经历X方向上-0.5～0.5的范围，Y方向上-0.5～0.5的范围，以及t方向上-0.5～0.5的范围的积分，并且输出积分值作为像素值P。

也就是说，从其中心位于空间方向上原点的检测元件2-1输出的像素值P用下面的表达式(61)表示。

$P={\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}F(x,y,t)\mathrm{dxdydt}...\left(61\right)$

类似地，其他检测元件2-1通过将待处理检测元件2-1的中心取作空间方向上的原点来输出表达式(61)中所示的像素值P。

顺便提及，如上所述，二维多项式近似方法是现实世界1中的光信号作为例如图77中所示波形F(x，y)处理，并且二维波形F(x，y)使用用作二维多项式的近似函数f(x，y)近似的方法。

首先，将描述用二维多项式表示这种近似函数f(x，y)的方法。

如上所述，现实世界1中的光信号用其变量为三维空间x，y和z上的位置以及时间点t的光信号函数F(x，y，t)表示。该光信号函数F(x，y，t)，即在Y方向上任意位置y处投影在X方向上的一维波形这里称作X横截面波形F(x)。

当注意该X横截面波形F(x)时，如果现实世界1中的信号具有在空间方向中某一方向上的连续性，可以设想与X横截面波形F(x)具有相同形式的波形在连续性方向上连续。例如，对于图77中的实例，与X横截面波形F(x)具有相同形式的波形在梯度G_F的方向上连续。换句话说，可以说波形F(x，y)由与在梯度G_F方向上连续的X横截面波形F(x)具有相同形式的波形形成。

因此，近似函数f(x，y)可以通过考虑近似波形F(x，y)的近似函数f(x，y)的波形由与近似连续的X横截面F(x)的近似函数f(x)具有相同形式的波形形成，而用二维多项式表示。

将更详细地描述近似函数f(x，y)的表示方法。

例如，让我们假定例如上述图77中所示现实世界1中的光信号，也就是具有用梯度G_F表示的空间方向上连续性的光信号由传感器2检测(图78)，并且输出作为输入图像(像素值)。

此外，让我们假定如图79中所示，数据连续性检测单元101(图3)使得由该输入图像的X方向上4个像素以及Y方向上5个像素总共20个像素(在附图中，用虚线表示的20个正方形)构成的输入图像区域2401经历其处理，并且输出角度θ(用与梯度G_F相对应的梯度G_f表示的数据连续性方向，与X方向之间产生的角度θ)作为数据连续性信息之一。

注意，对于输入图像区域2401，附图中水平方向表示用作空间方向中一个方向的X方向，并且附图中垂直方向表示用作空间方向中另一个方向的Y方向。

而且，在图79中，(x，y)坐标系被设置，使得从左起第二像素以及从底部起第三像素中的像素取作关注像素，并且关注像素的中心取作原点(0，0)。在X方向上关于经过原点(0，0)具有角度θ的直线(具有表示数据连续性方向的梯度G_f的直线)的相对距离(以下，称作横截面方向距离)描述为x′。

此外，在图79中，右侧的曲线图是X横截面波形F(x′)被近似的函数，其表示用作n维(n是任意整数)多项式的近似函数f(x′)。右侧上曲线图的轴中，附图中水平方向上的轴表示横截面方向距离，而附图中垂直方向上的轴表示像素值。

在该情况下，图79中所示近似函数f(x′)是n维多项式，所以表示为下面的表达式(62)。

$f\left(x^{\′}\right)=w_0+w_1{x}^{\′}+w_2{x}^{\′2}+\·\·\·+w_n{x}^{\′n}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{x}^{\′i}...\left(62\right)$

而且，因为角度θ确定，经过原点(0，0)具有角度θ的直线唯一确定，并且在Y方向上任意位置y处直线的X方向上的位置x₁表示为下面的表达式(63)。但是，在表达式(63)中，s代表cotθ(＝1/tanθ)。

x₁＝s×y                                       ...(63)

也就是说，如图79中所示，与用梯度G_f表示的数据连续性相对应的直线上的点用坐标值(x₁，y)表示。

横截面方向距离x′使用表达式(63)表示为下面的表达式(64)。

x′＝x-x₁＝x-s×y                              ...(64)

因此，输入图像区域2401中任意位置(x，y)处的近似函数f(x，y)使用表达式(62)和表达式(64)表示为下面的表达式(65)。

$f(x,y)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{(x-s\×y)}^i...\left(65\right)$

注意在表达式(65)中，w_i表示近似函数f(x，y)的系数。注意，包括近似函数f(x，y)的近似函数f的系数w_i可以作为近似函数f的特征来估计。因此，近似函数f的系数w_i也称作近似函数f的特征w_i。

因此，具有二维波形的近似函数f(x，y)可以表示为表达式(65)的多项式，只要角度θ已知。

因此，如果现实世界估计单元102可以计算表达式(65)的特征w_i，现实世界估计单元102可以估计例如图77中所示的波形F(x，y)。

因此，以下，将描述计算表达式(65)的特征w_i的方法。

也就是说，当用表达式(65)表示的近似函数f(x，y)经历关于与像素(传感器2的检测元件2-1(图78))相对应的积分范围(空间方向上的积分范围)的积分时，积分值变成关于像素的像素值的估计值。下面的表达式(66)是用公式表示。注意对于二维多项式近似方法，时间方向t看作恒定值，所以表达式(66)看作其变量为空间方向(X方向和Y方向)上位置x和y的公式。

$P(x,y)={\∫}_{y-0.5}^{y+0.5}{\∫}_{x-0.5}^{x+0.5}\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{(x-s\×y)}^i\mathrm{dxdy}+e...\left(66\right)$

在表达式(66)中，P(x，y)表示其中心位置在来自传感器2的输入图像的位置(x，y)(距离关注像素的相对位置(x，y))中的像素的像素值。同样，e表示误差限度。

因此，对于二维多项式近似方法，输入像素值P(x，y)与用作二维多项式的近似函数f(x，y)之间的关系可以用表达式(66)表示，因此，现实世界估计单元102可以通过使用表达式(66)用例如最小二乘法等计算特征w_i(通过将计算的特征w_i代入表达式(64)而产生近似函数f(x，y))来估计二维函数F(x，y)(波形F(x，y)，其中具有用梯度G_F(图77)表示的空间方向上连续性的现实世界1中光信号关注空间方向来表示)。

图80表示使用这种二维多项式近似方法的现实世界估计单元102的构造实例。

如图80中所示，现实世界估计单元102包括条件设置单元2421，输入图像存储单元2422，输入像素值获取单元2423，积分分量计算单元2424，正则方程生成单元2425，以及近似函数生成单元2426。

条件设置单元2421设置用于估计对应于关注像素的函数F(x，y)的像素范围(分接范围)，以及近似函数f(x，y)的维度数目n。

输入图像存储单元2422临时地存储来自传感器2的输入图像(像素值)。

输入像素值获取单元2423从输入图像存储单元2422中存储的输入图像中，获取与由条件设置单元2421设置的分接范围相对应的输入图像区域，并且将其作为输入像素值表提供给正则方程生成单元2425。也就是说，输入像素值表是描述包括在输入图像区域中的像素的各个像素值的表。注意，输入像素值表的具体实例将随后描述。

顺便提及，如上所述，使用二维近似方法的现实世界估计单元102通过使用最小二乘法求解上面表达式(66)来计算用上面表达式(65)表示的近似函数f(x，y)的特征w_i。

表达式(66)可以通过使用由下面表达式(67)～(69)获得的下面表达式(70)表示为下面的表达式(71)。

$\∫x^i\mathrm{dx}=\frac{x^{i+1}}{i+1}...\left(67\right)$

$\∫{(x-s\×y)}^i\mathrm{dx}=\frac{{(x-s\×y)}^{i+1}}{(i+1)}...\left(68\right)$

$\∫{(x-s\×y)}^i\mathrm{dy}=\frac{{(x-s\×y)}^{i+1}}{s(i+1)}...\left(69\right)$

${\∫}_{y-0.5}^{y+0.5}{\∫}_{x-0.5}^{x+0.5}{(x-s\×y)}^i\mathrm{dxdy}={\∫}_{y-0.5}^{y+0.5}{\left[\frac{{(x-s\×y)}^{i+1}}{(i+1)}\right]}_{x-0.5}^{x+0.5}\mathrm{dy}$

$={\∫}_{y-0.5}^{y+0.5}\frac{{(x+0.5-s\×y)}^{i+1}-{(x-0.5-s\×y)}^{i+1}}{i+1}\mathrm{dy}$

$={\left[\frac{{(x+0.5-s\×y)}^{i+2}}{s(i+1)(i+2)}\right]}_{y-0.5}^{y+0.5}-{\left[\frac{{(x-0.5-s\×y)}^{i+2}}{s(i+1)(i+2)}\right]}_{y-0.5}^{y+0.5}$

$=\frac{{(x+0.5-s\×y+0.5s)}^{i+2}-{(x+0.5-s\×y-0.5s)}^{i+2}-{(x-0.5-s\×y+0.5s)}^{i+2}+{(x-0.5-s\×y-0.5s)}^{i+2}}{s(i+1)(i+2)}...\left(70\right)$

$P(x,y)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\frac{w_i}{s(i+1)(i+2)}{\{(x+0.5-s\×y+0.5s)}^{i+2}$

$-{(x+0.5-s\×y-0.5s)}^{i+2}-{(x-0.5-s\×y+0.5s)}^{i+2}$

$+{(x-0.5-s\×y-0.5s)}^{i+2}\}+e$

$=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{s}_i(x-0.5,x+0.5,y-0.5,y+0.5)+e...\left(71\right)$

在表达式(71)中，S_i(x-0.5，x+0.5，y-0.5，y+0.5)表示i维项的积分分量。也就是说，积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)如下面表达式(72)中所示。

$s_i(x-0.5,x+0.5y-0.5,y+0.5)=$

$\frac{{(x+0.5-s\×y+0.5s)}^{i+2}-{(x+0.5-s\×y-0.5s)}^{i+2}-{(x-0.5-s\×y+0.5s)}^{i+2}+{(x-0.5-s\×y-0.5s)}^{i+2}}{s(i+1)(i+2)}...\left(72\right)$

积分分量计算单元2424计算积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)。

特别地，表达式(72)中所示的积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)可以计算，只要相对像素位置(x，y)，上面表达式(65)中i维项的变量s和i已知。当然，分别地，相对像素位置(x，y)由关注像素和分接范围确定，变量s是由角度θ确定的cotθ，并且i的范围由维度数目n确定。

因此，积分分量计算单元2424基于由条件设置单元2421设置的分接范围和维度数目，以及从数据连续性检测单元101输出的数据连续性信息的角度θ来计算积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)，并且将计算结果作为积分分量表提供给正则方程生成单元2425。

正则方程生成单元2425产生正则方程，在使用从输入像素值获取单元2423提供的输入像素值表，以及从积分分量计算单元2424提供的积分分量表，用最小二乘法获得上面表达式(66)，也就是表达式(71)的情况下，并且将其作为正则方程表输出到近似函数生成单元2426。注意正则方程的具体实例将随后描述。

近似函数生成单元2426通过使用矩阵解法求解包括在从正则方程生成单元2425提供的正则方程表中的正则方程，来计算上面表达式(66)的各个特征w_i(也就是用作二维多项式的近似函数f(x，y)的系数w_i)，并且将这些输出到图像生成单元103。

接下来，将参考图81中的流程图描述应用二维多项式近似方法的现实世界估计处理(图29的步骤S102中的处理)。

例如，让我们假定具有用梯度G_F表示的空间方向上连续性的现实世界1中光信号已经由传感器2检测(图78)，并且已经作为与一帧相对应的输入图像存储在输入图像存储单元2422中。而且，让我们假定数据连续性检测单元101已经使得输入图像中上述图79中所示的区域2401经历步骤S101(图29)的连续性检测处理中的处理，并且已经输出角度θ作为数据连续性信息。

在该情况下，在步骤S2401中，条件设置单元2421设置条件(分接范围和维度数目)。

例如，让我们假定图82中所示的分接范围2441已经设置，并且5已经设置为维度数目。

图82是描述分接范围实例的图。在图82中，X方向和Y方向代表传感器2的X方向和Y方向(图78)。而且，分接范围2441表示由X方向上4个像素以及Y方向上5个像素总共20个像素(附图中20个正方形)构成的像素组。

此外，如图82中所示，让我们假定关注像素已经设置为分接范围2441中附图中从左起第二像素以及从底部起第三像素的像素。而且，让我们假定每个像素根据距离关注像素的相对像素位置(x，y)(关注像素坐标系的坐标值，其中关注像素的中心(0，0)取作原点)例如图82中所示用数字l表示(l是0～19的任意整数值)。

现在，描述将返回图81，其中在步骤S2402中，条件设置单元2421设置关注像素。

在步骤S2403中，输入像素值获取单元2423基于由条件设置单元2421设置的条件(分接范围)获取输入像素值，并且产生输入像素值表。也就是说，在该情况下，输入像素值获取单元2423获取输入图像区域2401(图79)，产生由20个输入像素值P(l)构成的表作为输入像素值表。

注意在该情况下，输入像素值P(l)与上面输入像素值P(x，y)之间的关系是下面表达式(73)中所示的关系。但是，在表达式(73)中，左侧表示输入像素值P(l)，而右侧表示输入像素值P(x，y)。

P(0)＝P(0，0)

P(1)＝P(-1，2)

P(2)＝P(0，2)

P(3)＝P(1，2)

P(4)＝P(2，2)

P(5)＝P(-1，1)

P(6)＝P(0，1)

P(7)＝P(1，1)

P(8)＝P(2，1)

P(9)＝P(-1，0)

P(10)＝P(1，0)

P(11)＝P(2，0)

P(12)＝P(-1，-1)

P(13)＝P(0，-1)

P(14)＝P(1，-1)

P(15)＝P(2，-1)

P(16)＝P(-1，-2)

P(17)＝P(0，-2)

P(18)＝P(1，-2)

P(19)＝P(2，-2)                                 ...(73)

在步骤S2404中，积分分量计算单元2424基于由条件设置单元2421设置的条件(分接范围和维度数目)，以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并且产生积分分量表。

在该情况下，如上所述，输入像素值不是P(x，y)而是P(l)，并且作为像素编号l的值而获得，所以积分分量计算单元2424将上面表达式(72)中的积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)计算为l的函数，例如下面表达式(74)左侧中所示的积分分量S_i(l)。

S_i(l)＝S_i(x-0.5，x+0.5，y-0.5，y+0.5)                ...(74)

特别地，在该情况下，下面表达式(75)中所示的积分分量S_i(l)被计算。

S_i(0)＝S_i(-0.5，0.5，-0.5，0.5)

S_i(1)＝S_i(-1.5，-0.5，1.5，2.5)

S_i(2)＝S_i(-0.5，0.5，1.5，2.5)

S_i(3)＝S_i(0.5，1.5，1.5，2.5)

S_i(4)＝S_i(1.5，2.5，1.5，2.5)

S_i(5)＝S_i(-1.5，-0.5，0.5，1.5)

S_i(6)＝S_i(-0.5，0.5，0.5，1.5)

S_i(7)＝S_i(0.5，1.5，0.5，1.5)

S_i(8)＝S_i(1.5，2.5，0.5，1.5)

S_i(9)＝S_i(-1.5，-0.5，-0.5，0.5)

S_i(10)＝S_i(0.5，1.5，-0.5，0.5)

S_i(11)＝S_i(1.5，2.5，-0.5，0.5)

S_i(12)＝S_i(-1.5，-0.5，-1.5，-0.5)

S_i(13)＝S_i(-0.5，0.5，-1.5，-0.5)

S_i(14)＝S_i(0.5，1.5，-1.5，-0.5)

S_i(15)＝S_i(1.5，2.5，-1.5，-0.5)

S_i(16)＝S_i(-1.5，-0.5，-2.5，-1.5)

S_i(17)＝S_i(-0.5，0.5，-2.5，-1.5)

S_i(18)＝S_i(0.5，1.5，-2.5，-1.5)

S_i(19)＝S_i(1.5，2.5，-2.5，-1.5)                       ...(75)

注意在表达式(75)中，左侧表示积分分量S_i(l)，而右侧表示积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)。也就是说，在该情况下，i是0～5，因此20个S₀(l)，20个S₁(l)，20个S₂(l)，20个S₃(l)，20个S₄(l)以及20个S₅(l)总共120个S_i(l)被计算。

更具体地说，首先积分分量计算单元2424计算与从数据连续性检测单元101提供的角度θ相对应的cotθ，并取计算结果作为变量s。接下来，积分分量计算单元2424使用计算的变量s关于i＝0～5的每个计算表达式(74)右侧中显示的20个积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)的每个。也就是说，计算120个积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)。为了计算积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)，使用上述表达式(72)。此外积分分量计算单元2424根据表达式(75)将计算的120个积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)的每个分别转换成相应的S_i(l)，并且产生包含转换后的120个积分分量S_i(l)的积分分量表。

注意，步骤S2403中的处理和步骤S2404中的处理的顺序并不局限于图81中的实例，步骤S2404中的处理可以首先执行，或者步骤S2403中的处理和步骤S2404中的处理可以同时执行。

接下来，在步骤S2405中，正则方程生成单元2425基于在步骤S2403的处理中由输入像素值获取单元2423产生的输入像素值表，以及在步骤S2404的处理中由积分分量计算单元2424产生的积分分量表来产生正则方程表。

特别地，在该情况下，特征w_i使用上面表达式(71)用最小二乘法计算(但是，在表达式(70)中，使用积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)使用表达式(74)转换成的S_i(l))，所以与此对应的正则方程表示为下面的表达式(76)。

注意在表达式(76)中，L表示分接范围中像素编号l的最大值。n表示用作多项式的近似函数f(x)的维度数目。特别地，在该实例中，n＝5且L＝19。

如果我们将表达式(76)中所示的正则方程的每个矩阵定义为下面的表达式(77)～(79)，正则方程表示为下面的表达式(80)。

$W_{\mathrm{MAT}}=\left(\begin{array}{c}{w}_1\\ w_2\\ .\\ .\\ .\\ w_n\end{array}\right)...\left(78\right)$

$P_{\mathrm{MAT}}=\left(\begin{array}{c}\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{S}_0\left(l\right)P\left(l\right)\\ \underset{l=1}{\overset{L}{\mathrm{\Σ}}}{S}_1\left(l\right)P\left(l\right)\\ .\\ .\\ .\\ \underset{l=1}{\overset{L}{\mathrm{\Σ}}}{S}_n\left(l\right)P\left(l\right)\end{array}\right)...\left(79\right)$

S_MATW_MAT＝P_MAT                               ...(80)

如表达式(78)中所示，矩阵W_MAT的各个分量是待获得的特征w_i。因此，在表达式(80)中，如果左侧的矩阵S_MAT和右侧的矩阵P_MAT被确定，矩阵W_MAT可以使用矩阵解法计算。

特别地，如表达式(77)中所示，矩阵S_MAT的各个分量可以使用上面的积分分量S_i(l)计算。也就是说，积分分量S_i(l)包括在从积分分量计算单元2424提供的积分分量表中，所以正则方程生成单元2425可以使用积分分量表计算矩阵S_MAT的每个分量。

而且，如表达式(79)中所示，矩阵P_MAT的各个分量可以使用积分分量S_i(l)和输入像素值P(l)计算。也就是说，积分分量S_i(l)与包括在矩阵S_MAT的各个分量中的那些相同，并且输入像素值P(l)包括在从输入像素值获取单元2423提供的输入像素值表中，所以正则方程生成单元2425可以使用积分分量表和输入像素值表计算矩阵P_MAT的每个分量。

因此，正则方程生成单元2425计算矩阵S_MAT和矩阵P_MAT的每个分量，并且将计算结果(矩阵S_MAT和矩阵P_MAT的每个分量)作为正则方程表输出到近似函数生成单元2426。

当正则方程表从正则方程生成单元2425输出时，在步骤S2406中，近似函数生成单元2426基于正则方程表计算用作上面表达式(80)中矩阵W_MAT的各个分量的特征w_i(也就是，用作二维多项式的近似函数f(x，y)的系数w_i)。

特别地，上面表达式(80)中的正则方程可以转换为下面的表达式(81)。

$W_{\mathrm{MAT}}=S_{\mathrm{MAT}}^{-1}{P}_{\mathrm{MAT}}...\left(81\right)$

在表达式(81)中，左侧矩阵W_MAT的各个分量是待获得的特征w_i。关于矩阵S_MAT和矩阵P_MAT的各个分量包括在从正则方程生成单元2425提供的正则方程表中。因此，近似函数生成单元2426通过使用正则方程表计算表达式(81)右侧中的矩阵来计算矩阵W_MAT，并将计算结果(特征w_i)输出到图像生成单元103。

在步骤S2407中，近似函数生成单元2426确定是否所有像素的处理都已完成。

在步骤S2407中，如果确定所有像素的处理还没有完成，处理返回到步骤S2402，其中随后的处理重复地执行。也就是说，没有变成关注像素的像素顺序地取作关注像素，并且步骤S2402～S2407中的处理重复地执行。

如果所有像素的处理都已完成(在步骤S2407中，如果确定所有像素的处理都已完成)，现实世界1的估计处理结束。

作为二维多项式近似方法的描述，计算与空间方向(X方向和Y方向)相对应的近似函数f(x，y)的系数(特征)w_i的实例已经使用，但是二维多项式近似方法同样可以应用于时间和空间方向(X方向和t方向，或者Y方向和t方向)。

也就是说，上面的实例是现实世界1中的光信号具有用梯度G_F(图77)表示的空间方向上连续性，因此，公式包括例如上面表达式(66)中所示空间方向(X方向和Y方向)上的二维积分的情况下的实例。但是，关于二维积分的概念不仅可以应用于空间方向，而且可以应用于时间和空间方向(X方向和t方向，或者Y方向和t方向)。

换句话说，对于二维多项式近似方法，即使在需要估计的光信号函数F(x，y，t)不仅具有空间方向上的连续性而且具有时间和空间方向(但是，X方向和t方向，或者Y方向和t方向)上的连续性的情况下，这可以用二维近似函数f近似。

特别地，例如，如果存在以均匀速度在X方向上水平运动的对象，对象运动的方向用例如图83中所示X-t平面中的梯度V_F表示。换句话说，可以说梯度V_F表示X-t平面中时间和空间方向上连续性的方向。因此，数据连续性检测单元101可以输出例如图83中所示的运动θ(严格地说，虽然附图中没有显示，运动θ是由用与梯度V_F相对应的梯度V_f表示的数据连续性的方向与空间方向中X方向产生的角度)作为与表示X-t平面中时间和空间方向上连续性的梯度V_F相对应的数据连续性信息，以及上面的角度θ(与用X-Y平面中的梯度G_F表示的空间方向上的连续性相对应的数据连续性信息)。

因此，使用二维多项式近似方法的现实世界估计单元102可以通过使用运动θ代替角度θ，以与上面方法相同的方法计算近似函数f(x，t)的系数(特征)w_i。但是，在该情况下，待使用的公式不是上面的表达式(66)而是下面的表达式(82)。

$P(x,t)={\∫}_{t-0.5}^{t+0.5}{\∫}_{x-0.5}^{x+0.5}\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{(x-s\×t)}^i\mathrm{dxdt}+e...\left(82\right)$

注意在表达式(82)中，s是cotθ(但是，θ是运动)。

而且，注意力集中在空间方向Y而不是空间方向X上的近似函数f(y，t)可以与上面近似函数f(x，t)相同的方法处理。

因此，二维多项式近似方法考虑不是一维而是二维积分效应，所以可以比一维近似方法更准确地估计现实世界1中的光信号。

接下来，将参考图84至图88描述第三函数近似方法。

也就是说，第三函数近似方法是通过用注意力集中在具有时间和空间方向的预先确定方向上连续性的现实世界1中光信号用例如光信号函数F(x，y，t)表示的近似函数f(x，y，t)近似光信号函数F(x，y，t)，来估计光信号函数F(x，y，t)的方法。因此，以下，第三函数近似方法称作三维多项式近似方法。

同样，对于三维函数近似方法的描述，让我们假定传感器2是由布置在其平面上的多个检测元件2-1构成的CCD，例如图84中所示。

对于图84中的实例，平行于检测元件2-1的预先确定边的方向取作用作空间方向的一个方向的X方向，并且与X方向正交的方向取作用作空间方向的另一个方向的Y方向。与X-Y平面正交的方向取作用作时间方向的t方向。

而且，对于图84中的实例，传感器2的各个检测元件2-1的空间形状取作一边长度为1的正方形。传感器2的快门时间(曝光时间)取作1。

此外，对于图84中的实例，传感器2的某个检测元件2-1的中心取作空间方向(X方向和Y方向)上的原点(X方向上位置为x＝0，且Y方向上位置为y＝0)，而且曝光时间的中间时间点取作时间方向(t方向)上的原点(t方向上位置为t＝0)。

在该情况下，其中心在空间方向上原点(x＝0，y＝0)的检测元件2-1使得光信号函数F(x，y，t)经历X方向上-0.5～0.5的范围，Y方向上-0.5～0.5的范围，以及t方向上-0.5～0.5的范围的积分，并且输出积分值作为像素值P。

也就是说，从其中心位于空间方向上原点中的检测元件2-1输出的像素值P用下面的表达式(83)表示。

$P={\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}F(x,y,t)\mathrm{dxdydt}...\left(83\right)$

类似地，其他检测元件2-1通过将待处理检测元件2-1的中心取作空间方向上的原点来输出表达式(83)中所示的像素值P。

顺便提及，如上所述，对于三维函数近似方法，光信号函数F(x，y，t)近似成三维近似函数f(x，y，t)。

特别地，例如，近似函数f(x，y，t)取作具有N个变量(特征)的函数，与表达式(83)相对应的输入像素值P(x，y，t)与近似函数f(x，y，t)之间的关系表达式被定义。因此，如果多个N的M个输入像素值P(x，y，t)被获取，N个变量(特征)可以从定义的关系表达式中计算。也就是说，现实世界估计单元102可以通过获取M个输入像素值P(x，y，t)并且计算N个变量(特征)来估计光信号函数F(x，y，t)。

在该情况下，现实世界估计单元102通过使用包括在来自传感器2的输入图像(输入像素值)中的数据连续性作为约束(也就是，使用将从数据连续性检测单元101输出的关于输入图像的数据连续性信息)从整个输入图像中选取(获取)M个输入图像P(x，y，t)。结果，近似函数f(x，y，t)由数据的连续性所约束。

例如，如图85中所示，如果与输入图像相对应的光信号函数F(x，y，t)具有用梯度G_F表示的空间方向上的连续性，数据连续性检测单元101导致输出角度θ(用与梯度G_F相对应的梯度G_f(没有显示)表示的数据连续性方向，与x方向之间产生的角度θ)作为关于输入图像的数据连续性信息。

在这种情况下，让我们假定光信号函数F(x，y，t)投影在X方向上的一维波形(这种波形在这里称作X横截面波形)具有相同的形式，即使在Y方向上任意位置处投影的情况下。

也就是说，让我们假定存在具有相同形式的X横截面波形，其是在连续性方向(相对于X方向的角度θ方向)上连续的二维(空间方向)波形，并且这种二维波形在时间方向t上连续的三维波形用近似函数f(x，y，t)近似。

换句话说，在Y方向上从关注像素中心以位置y移位的X横截面波形，变成经过关注像素中心的X横截面波形在X方向上以预先确定量(量根据角度θ而变化)运动(移位)的波形。注意以下，这种量称作移位量。

该移位量可以如下计算。

也就是说，梯度V_f(例如，表示与图85中梯度V_F相对应的数据连续性方向的梯度V_f)和角度θ表示为下面的表达式(84)。

$G_f=\tan \mathrm{\θ}=\frac{\mathrm{dy}}{\mathrm{dx}}...\left(84\right)$

注意在表达式(84)中，dx表示X方向上细微运动的量，且dy表示关于dx在Y方向上细微运动的量。

因此，如果关于X方向的移位量描述为C_x(y)，这表示为下面的表达式(85)。

$C_x\left(y\right)=\frac{y}{G_f}...\left(85\right)$

如果移位量C_x(y)这样定义，与表达式(83)相对应的输入像素值P(x，y，t)与近似函数f(x，y，t)之间的关系表达式表示为下面的表达式(86)。

$P(x,y,t)={\∫}_{t_s}^{t_e}{\∫}_{y_s}^{y_e}{\∫}_{x_s}^{x_e}f(x,y,t)\mathrm{dxdydt}+e...\left(86\right)$

在表达式(86)中，e表示误差限度。t_s表示t方向上的积分开始位置，且t_e表示t方向上的积分结束位置。同样地，y_s表示Y方向上的积分开始位置，且y_e表示Y方向上的积分结束位置。而且，x_s表示X方向上的积分开始位置，且x_e表示X方向上的积分结束位置。但是，各自具体积分范围如下面表达式(87)中所示。

t_s＝t-0.5

t_e＝t+0.5

y_s＝y-0.5

y_e＝y+0.5

x_s＝x-C_x(y)-0.5

x_e＝x-C_x(y)+0.5                                  ...(87)

如表达式(87)中所示，可以表示，具有相同形式的X横截面波形通过在X方向上以移位量C_x(y)关于位置距离关注像素空间方向上的(x，y)的像素移位积分范围，而在连续性方向(相对于X方向的角度θ方向)上连续。

因此，对于三维近似方法，像素值P(x，y，t)与三维近似函数f(x，y，t)之间的关系可以用表达式(86)表示(表达式(87)为积分范围)，因此，光信号函数F(x，y，t)(例如，具有用例如图85中所示梯度V_F表示的空间方向上连续性的光信号)可以通过使用表达式(86)和表达式(87)例如用最小二乘法计算近似函数f(x，y，t)的N个特征来估计。

注意，如果用光信号函数F(x，y，t)表示的光信号具有用例如图85中所示梯度V_F表示的空间方向上的连续性，光信号函数F(x，y，t)可以如下近似。

也就是说，让我们假定光信号函数F(x，y，t)投影在Y方向上的一维波形(以下，这种波形称作Y横截面波形)具有相同的形式，即使在X方向上任意位置处投影的情况下。

换句话说，让我们假定存在具有相同形式的Y横截面波形在连续性方向(相对于X方向的角度θ方向)上连续的二维(空间方向)波形，并且这种二维波形在时间方向t上连续的三维波形用近似函数f(x，y，t)近似。

因此，在X方向上从关注像素中心移位x的Y横截面波形，变成经过关注像素中心的Y横截面波形在Y方向上以预先确定移位量(移位量根据角度θ而变化)运动的波形。

该移位量可以如下计算。

也就是说，梯度G_F表示为上面表达式(84)，所以如果关于Y方向的移位量描述为C_y(x)，这表示为下面的表达式(88)。

C_y(x)＝G_f×x                                     ...(88)

如果移位量C_y(x)这样定义，与表达式(83)相对应的输入像素值P(x，y，t)与近似函数f(x，y，t)之间的关系表达式表示为上面的表达式(86)，与当移位量C_x(y)被定义时一样。

但是，在该情况下，各自具体积分范围如下面表达式(89)中所示。

t_s＝t-0.5

t_e＝t+0.5

y_s＝y-C_y(x)-0.5

y_e＝y-C_y(x)+0.5

x_s＝x-0.5

x_e＝x+0.5                                       ...(89)

如表达式(89)(以及上面表达式(86))中所示，可以表示，具有相同形式的Y横截面波形通过在Y方向上以移位量C_y(x)关于位置距离关注像素(x，y)的像素移位积分范围，而在连续性方向(相对于X方向的角度θ方向)上连续。

因此，对于三维近似方法，表达式(86)右侧的积分范围不仅可以设置为表达式(87)而且可以设置为表达式(89)，因此，光信号函数F(x，y，t)(具有用梯度G_F表示的空间方向上连续性的现实世界1中的光信号)可以通过使用表达式(89)用作积分范围的表达式(86)，用例如最小二乘法等计算近似函数f(x，y，t)的n个特征来估计。

因此，表示积分范围的表达式(87)和表达式(89)基本上表示得相同，差别仅在于周围像素响应连续性方向在X方向上移位(表达式(87)的情况下)还是在Y方向上移位(表达式(89)的情况下)。

但是，响应连续性方向(梯度G_F)，存在关于光信号函数F(x，y，t)看作一组X横截面波形，还是看作一组Y横截面波形的差别。也就是说，如果连续性方向接近Y方向，光信号函数F(x，y，t)优选地看作一组X横截面波形。另一方面，如果连续性方向接近X方向，光信号函数F(x，y，t)优选地看作一组Y横截面波形。

因此，优选地，现实世界估计单元102准备表达式(87)和表达式(89)作为积分范围，并且响应连续性方向选择表达式(87)和表达式(89)中任何一个作为适当表达式(86)右侧的积分范围。

已经描述了在光信号函数F(x，y，t)具有空间方向(X方向和Y方向)上连续性(例如，图85中用梯度G_F表示的空间方向上的连续性)的情况下的三维近似方法，但是三维近似方法可以应用于光信号函数F(x，y，t)具有时间和空间方向(X方向、Y方向和t方向)上连续性(用梯度V_F表示的连续性)的情况，如图86中所示。

也就是说，在图86中，与帧#N-1相对应的光信号函数取作F(x，y，#N-1)，与帧#N相对应的光信号函数取作F(x，y，#N)，以及与帧#N+1相对应的光信号函数取作F(x，y，#N+1)。

注意在图86中，附图中水平方向取作用作空间方向的一个方向的X方向，右上对角方向取作用作空间方向的另一个方向的Y方向，并且垂直方向取作用作时间方向的t方向。

而且，帧#N-1是时间上在帧#N之前的帧，帧#N+1是时间上在帧#N之后的帧。也就是说，帧#N-1，帧#N，和帧#N+1以帧#N-1，帧#N和帧#N+1的顺序显示。

对于图86中的实例，沿着梯度VF所示的方向(从附图中接近左下侧的右上内部方向)的横截面光度看作通常恒定。因此，对于图86中的实例，可以说光信号函数F(x，y，t)具有用梯度V_F表示的时间和空间方向上的连续性。

在该情况下，如果表示时间和空间方向上连续性的函数C(x，y，t)被定义，并且上面表达式(86)的积分范围用定义的函数C(x，y，t)定义，近似函数f(x，y，t)的N个特征可以计算，与上面表达式(87)和表达式(89)一样。

函数C(x，y，t)并不局限于特定函数，只要它是表示连续性方向的函数。但是，以下，让我们假定使用线性连续性，并且与作为表示上述空间方向上连续性的函数的移位量C_x(y)(表达式(85))和移位量C_y(x)(表达式(87))相对应的C_x(t)和C_y(t)，如下定义为与此对应的函数C(x，y，t)。

也就是说，如果作为与表示上面空间方向上数据连续性的梯度G_f相对应的时间和空间方向上数据连续性的梯度取作V_f，并且如果该梯度V_f划分成X方向上的梯度(以下，称作V_fx)和Y方向上的梯度(以下，称作V_fy)，则分别地，梯度V_fx用下面表达式(90)表示，而梯度V_fy用下面表达式(91)表示。

$V_{\mathrm{fx}}=\frac{\mathrm{dx}}{\mathrm{dt}}...\left(90\right)$

$V_{\mathrm{fy}}=\frac{\mathrm{dy}}{\mathrm{dt}}...\left(91\right)$

在该情况下，函数C_x(t)使用表达式(90)中所示的梯度V_fx表示为下面的表达式(92)。

C_x(t)＝V_fx×t                                     ...(92)

类似地，函数C_y(t)使用表达式(91)中所示的梯度V_fy表示为下面的表达式(93)。

C_y(t)＝V_fy×t                                     ...(93)

这样，当表示时间和空间方向上连续性2511的函数C_x(t)和函数C_y(t)被定义时，表达式(86)的积分范围表示为下面的表达式(94)。

t_s＝t-0.5

t_e＝t+0.5

y_s＝y-C_y(t)-0.5

y_e＝y-C_y(t)+0.5

x_s＝x-C_x(t)-0.5

x_e＝x-C_x(t)+0.5                                       ...(94)

因此，对于三维近似方法，像素值P(x，y，t)与三维近似函数f(x，y，t)之间的关系可以用表达式(86)表示，因此，光信号函数F(x，y，t)(具有时间和空间方向的预先确定方向上连续性的现实世界1中光信号)可以通过使用表达式(94)作为表达式(86)右侧的积分范围，用例如最小二乘法等计算近似函数f(x，y，t)的n+1个特征来估计。

图87表示使用这种三维近似方法的现实世界估计单元102的构造实例。

注意，由使用三维近似方法的现实世界估计单元102计算的近似函数f(x，y，t)(实际上，其特征(系数))并不局限于特定函数，但是n(n＝N-1)维多项式在下面的描述中使用。

如图87中所示，现实世界估计单元102包括条件设置单元2521，输入图像存储单元2522，输入像素值获取单元2523，积分分量计算单元2524，正则方程生成单元2525，以及近似函数生成单元2526。

条件设置单元2521设置用于估计对应于关注像素的光信号函数F(x，y，t)的像素范围(分接范围)，以及近似函数f(x，y，t)的维度数目n。

输入图像存储单元2522临时地存储来自传感器2的输入图像(像素值)。

输入像素值获取单元2523从输入图像存储单元2522中存储的输入图像中，获取与由条件设置单元2521设置的分接范围相对应的输入图像区域，并且将其作为输入像素值表提供给正则方程生成单元2525。也就是说，输入像素值表是描述包括在输入图像区域中的像素的各个像素值的表。

顺便提及，如上所述，使用三维近似方法的现实世界估计单元102使用上面表达式(86)(但是，表达式(87)、表达式(90)或表达式(94)作为积分范围)用最小二乘法计算近似函数f(x，y，t)的N个特征(在该情况下，每个维度的系数)。

表达式(86)的右侧可以通过计算其积分表示为下面的表达式(95)。

$P(x,y,t)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{S}_i(x_s,x_e,y_s,y_e,t_s,t_e)+c...\left(95\right)$

在表达式(95)中，w_i表示i维项的系数(特征)，并且S_i(x_s，x_e，y_s，y_e，t_s，t_e)表示i维项的积分分量。但是，分别地，x_s表示x方向上的积分范围开始位置，x_e表示X方向上的积分范围结束位置，y_s表示Y方向上的积分范围开始位置，y_e表示Y方向上的积分范围结束位置，t_s表示t方向上的积分范围开始位置，t_e表示t方向上的积分范围结束位置。

积分分量计算单元2524计算积分分量S_i(x_s，x_e，y_s，y_e，t_s，t_e)。

也就是说，积分分量计算单元2524基于由条件设置单元2521设置的分接范围和维度数目，以及从数据连续性检测单元101输出的数据连续性信息的角度或运动(作为积分范围，在使用上面表达式(87)或表达式(90)的情况下角度，在使用上面表达式(94)的情况下运动)来计算积分分量S_i(x_s，x_e，y_s，y_e，t_s，t_e)，并且将计算结果作为积分分量表提供给正则方程生成单元2525。

正则方程生成单元2525产生正则方程，在使用从输入像素值获取单元2523提供的输入像素值表，以及从积分分量计算单元2524提供的积分分量表，用最小二乘法获得上面表达式(95)的情况下，并且将其作为正则方程表输出到近似函数生成单元2526。正则方程的实例将随后描述。

近似函数生成单元2526通过使用矩阵解法求解包括在从正则方程生成单元2525提供的正则方程表中的正则方程，来计算各个特征w_i(在该情况下，用作三维多项式的近似函数f(x，y，t)的系数w_i)，并且将这些输出到图像生成单元103。

接下来，将参考图88中的流程图描述应用三维近似方法的现实世界估计处理(图29的步骤S102中的处理)。

首先，在步骤S2501中，条件设置单元2521设置条件(分接范围和维度数目)。

例如，让我们假定由L个像素构成的分接范围已经设置。并且，让我们假定预先确定的编号l(l是整数值0～L-1的任意一个)附加到每个像素。

接下来，在步骤S2502中，条件设置单元2521设置关注像素。

在步骤S2503中，输入像素值获取单元2523基于由条件设置单元2521设置的条件(分接范围)获取输入像素值，并且产生输入像素值表。在该情况下，由L个输入像素值P(x，y，t)构成的表产生。这里，让我们假定L个输入像素值P(x，y，t)的每个描述为用作其像素编号l的函数的P(l)。也就是说，输入像素值表变成包括L个P(l)的表。

在步骤S2504中，积分分量计算单元2524基于由条件设置单元2521设置的条件(分接范围和维度数目)，以及从数据连续性检测单元101提供的数据连续性信息(角度或运动)计算积分分量，并且产生积分分量表。

但是，在该情况下，如上所述，输入像素值不是P(x，y，t)而是P(l)，并且作为像素编号l的值而获得，所以积分分量计算单元2524导致将上面表达式(95)中的积分分量S_i(x_s，x_e，y_s，y_e，t_s，t_e)计算为l的函数，例如积分分量S_i(l)。也就是说，积分分量表变成包括L×i个S_i(l)的表。

注意步骤S2503中的处理和步骤S2504中的处理的顺序并不局限于图88中的实例，所以步骤S2504中的处理可以首先执行，或者步骤S2503中的处理和步骤S2504中的处理可以同时执行。

接下来，在步骤S2505中，正则方程生成单元2525基于在步骤S2503的处理中由输入像素值获取单元2523产生的输入像素值表，以及在步骤S2504的处理中由积分分量计算单元2524产生的积分分量表来产生正则方程表。

特别地，在该情况下，与上面表达式(95)相对应的下面表达式(96)的特征w_i使用最小二乘法计算。与此对应的正则方程表示为下面的表达式(97)。

$P\left(l\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{S}_i\left(l\right)+e...\left(96\right)$

如果我们将表达式(97)中所示的正则方程的每个矩阵定义为下面的表达式(98)～(100)，正则方程表示为下面的表达式(101)。

$W_{\mathrm{MAT}}=\left(\begin{array}{c}{w}_0\\ w_1\\ .\\ .\\ .\\ w_n\end{array}\right)...\left(99\right)$

$P_{\mathrm{MAT}}=\left(\begin{array}{c}\underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_0\left(l\right)P\left(l\right)\\ \underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_1\left(l\right)P\left(l\right)\\ .\\ .\\ .\\ \underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_n\left(l\right)P\left(l\right)\end{array}\right)...\left(100\right)$

S_MATW_MAT＝P_MAT                               ...(101)

如表达式(99)中所示，矩阵W_MAT的各个分量是待获得的特征w_i。因此，在表达式(101)中，如果左侧的矩阵S_MAT和右侧的矩阵P_MAT被确定，矩阵W_MAT(也就是特征w_i)可以使用矩阵解法计算。

特别地，如表达式(98)中所示，矩阵S_MAT的各个分量可以计算，只要上面的积分分量S_i(l)已知。积分分量S_i(l)包括在从积分分量计算单元2524提供的积分分量表中，所以正则方程生成单元2525可以使用积分分量表计算矩阵S_MAT的每个分量。

而且，如表达式(100)中所示，矩阵P_MAT的各个分量可以计算，只要积分分量S_i(l)和输入像素值P(l)已知。积分分量S_i(l)与包括在矩阵S_MAT的各个分量中的那些相同，并且输入像素值P(l)包括在从输入像素值获取单元2523提供的输入像素值表中，所以正则方程生成单元2525可以使用积分分量表和输入像素值表计算矩阵P_MAT的每个分量。

因此，正则方程生成单元2525计算矩阵S_MAT和矩阵P_MAT的每个分量，并且将计算结果(矩阵S_MAT和矩阵P_MAT的每个分量)作为正则方程表输出到近似函数生成单元2526。

当正则方程表从正则方程生成单元2525输出时，在步骤S2506中，近似函数生成单元2526基于正则方程表计算用作上面表达式(101)中矩阵W_MAT的各个分量的特征w_i(也就是，近似函数f(x，y，t)的系数w_i)。

特别地，上面表达式(101)中的正则方程可以转换为下面的表达式(102)。

$W_{\mathrm{MAT}}=S_{\mathrm{MAT}}^{-1}{P}_{\mathrm{MAT}}...\left(102\right)$

在表达式(102)中，左侧矩阵W_MAT的各个分量是待获得的特征w_i。关于矩阵S_MAT和矩阵P_MAT的各个分量包括在从正则方程生成单元2525提供的正则方程表中。因此，近似函数生成单元2526通过使用正则方程表计算表达式(102)右侧中的矩阵来计算矩阵W_MAT，并且将计算结果(特征w_i)输出到图像生成单元103。

在步骤S2507中，近似函数生成单元2526确定是否所有像素的处理都已完成。

在步骤S2507中，如果确定所有像素的处理还没有完成，处理返回到步骤S2502，其中随后的处理重复地执行。也就是说，没有变成关注像素的像素顺序地取作关注像素，并且步骤S2502～S2507中的处理重复地执行。

如果所有像素的处理都已完成(在步骤S5407中，如果确定所有像素的处理都已完成)，现实世界1的估计处理结束。

如上所述，三维近似方法考虑时间和空间方向上的三维积分效应，而不是一维或二维积分效应，因此，可以比一维近似方法和二维多项式近似方法更准确地估计现实世界1中的光信号。

接下来，将参考图89至图110描述图像生成单元103(图3)的实施方案。

图89是描述本实施方案原理的图。

如图89中所示，本实施方案基于现实世界估计单元102使用函数近似方法的条件。也就是说，让我们假定用作投射到传感器2中图像的现实世界1中的信号(光强分布)用预先确定的函数F表示，假设现实世界估计单元102通过用使用从传感器2输出的输入图像(像素值P)以及从数据连续性检测单元101输出的数据连续性信息的预先确定函数f近似函数F来估计函数F。

注意以下，对于本实施方案的描述，用作图像的现实世界1中的信号特别地称作光信号，并且函数F特别地称作光信号函数F。而且，函数f特别地称作近似函数f。

对于本实施方案，图像生成单元103关于使用从数据连续性检测单元101输出的数据连续性信息，以及基于这种假设从现实世界估计单元102输出的现实世界估计信息(在图89中的实例中，近似函数f的特征或者其特征被识别的近似函数f)的预先确定时间-空间范围积分近似函数f，并且输出积分值作为输出像素值M(输出图像)。注意对于本实施方案，输入像素值描述为P，而输出像素值描述为M以便区分输入图像像素和输出图像像素。

换句话说，当光信号函数F一旦被积分时，光信号函数F变成输入像素值P，光信号函数F从输入像素值P中估计(用近似函数f近似)，估计的光信号函数F(也就是，近似函数f)再次积分，并且产生输出像素值M。因此，以下，由图像生成单元103执行的近似函数f的积分称作再积分。而且，本实施方案称作再积分方法。

注意如随后描述的，对于再积分方法，产生输出像素值M的情况下近似函数f的积分范围并不局限于产生输入像素值P的情况下光信号函数F的积分范围(也就是，对于空间方向为传感器2的检测元件的垂直宽度和水平宽度，对于时间方向为传感器2的曝光时间)，任意积分范围可以使用。

例如，在产生输出像素值M的情况下，改变近似函数f的积分范围的空间方向上积分范围使得根据其积分范围的输出图像的像素间距改变。也就是说，空间分辨率的创建可用。

同样地，例如，在产生输出像素值M的情况下，改变近似函数f的积分范围的时间方向上积分范围引起时间分辨率的创建。

以下，将参考附图分别描述这种再积分方法的三种具体方法。

也就是说，三种具体方法是分别与函数近似方法的三种具体方法(现实世界估计单元102的实施方案的上面三种具体实例)相对应的再积分方法。

特别地，第一方法是与上面一维近似方法(函数近似方法的一种方法)相对应的再积分方法。因此，对于第一方法，执行一维再积分，所以以下，这种再积分方法称作一维再积分方法。

第二方法是与上面二维多项式近似方法(函数近似方法的一种方法)相对应的再积分方法。因此，对于第二方法，执行二维再积分，所以以下，这种再积分方法称作二维再积分方法。

第三方法是与上面三维近似方法(函数近似方法的一种方法)相对应的再积分方法。因此，对于第三方法，执行三维再积分，所以以下，这种再积分方法称作三维再积分方法。

以下，将以该顺序描述一维再积分方法、二维再积分方法和三维再积分方法的每个细节。

首先，将描述一维再积分方法。

对于一维再积分方法，假设近似函数f(x)使用一维近似方法产生。

也就是说，假设其变量为三维空间上的位置x，y和z，以及时间点t的光信号函数F(x，y，t)投影在用作空间方向的X方向、Y方向和Z方向以及用作时间方向的t方向的预先确定方向(例如X方向)上的一维波形(对于再积分方法的描述，在这种波形的X方向上投影的波形称作X横截面波形F(x))，使用用作n维(n是任意整数)多项式的近似函数f(x)近似。

在该情况下，对于一维再积分方法，输出像素值M例如下面的表达式(103)计算。

$M=G_e\×{\∫}_{x_s}^{x_e}f\left(x\right)\mathrm{dx}...\left(103\right)$

注意在表达式(103)中，x_s表示积分开始位置，x_e表示积分结束位置。而且，G_e表示预先确定的增益。

特别地，例如，让我们假定现实世界估计单元102已经使用例如图90中所示的像素3101(与传感器2的预先确定检测元件相对应的像素3101)作为关注像素来产生例如图90中所示的近似函数f(x)(X横截面波形F(x)的近似函数f(x))。

注意对于图90中的实例，像素3101的像素值(输入像素值)取作P，并且像素3101的形状取作一边长度为1的正方形。而且，在空间方向中，与像素3101的一边平行的方向(附图中水平方向)取作X方向，而与X方向正交的方向(附图中垂直方向)取作Y方向。

而且，在图90的下部，像素3101的中心取作其原点的空间方向(X方向和Y方向)上的坐标系(以下，称作关注像素坐标系)，以及坐标系中的像素3101被显示。

此外，在图90的向上方向，表示y＝0处的近似函数f(x)的曲线图(y是在附图中下部所示的关注像素坐标系中Y方向上的坐标值)被显示。在该曲线图中，与附图中水平方向平行的轴是与附图中下部所示的关注像素坐标系的X方向上的x轴相同的轴(原点也相同)，而且与附图中垂直方向平行的轴取作表示像素值的轴。

在该情况下，下面表达式(104)的关系在近似函数f(x)与像素3101的像素值P之间成立。

$P={\∫}_{-0.5}^{+0.5}f\left(x\right)\mathrm{dx}+e...\left(104\right)$

而且，如图90中所示，让我们假定像素3101具有用梯度G_f表示的空间方向上的数据连续性。此外，让我们假定数据连续性检测单元101(图89)已经输出例如图90中所示的角度θ作为与用梯度G_f表示的数据连续性相对应的数据连续性信息。

在该情况下，例如，对于一维再积分方法，如图91中所示，四个像素3111～3114可以在X方向上-0.5～0.5的范围内，以及在Y方向上-0.5～0.5的范围内(图90中像素3101位于其中的范围内)重新创建。

注意在图91的下部，与图90中相同的关注像素坐标系，以及其关注像素坐标系中的像素3111～3114被显示。同样，在图91的上部，与图90中相同的曲线图(表示y＝0处近似函数f(x)的曲线图)被显示。

特别地，如图91中所示，对于一维再积分方法，使用下面表达式(105)的像素3111的像素值M(1)的计算，使用下面表达式(106)的像素3112的像素值M(2)的计算，使用下面表达式(107)的像素3113的像素值M(3)的计算，以及使用下面表达式(108)的像素3114的像素值M(4)的计算分别可用。

$M\left(1\right)=2\×{\∫}_{x_{s1}}^{x_{e1}}f\left(x\right)\mathrm{dx}...\left(105\right)$

$M\left(2\right)=2\×{\∫}_{x_{s2}}^{x_{e2}}f\left(x\right)\mathrm{dx}...\left(106\right)$

$M\left(3\right)=2\×{\∫}_{x_{s3}}^{x_{e3}}f\left(x\right)\mathrm{dx}...\left(107\right)$

$M\left(4\right)=2\×{\∫}_{x_{s4}}^{x_{e4}}f\left(x\right)\mathrm{dx}...\left(108\right)$

注意表达式(105)中的x_s1表达式(106)中的x_s2，表达式(107)中的x_s3，和表达式(108)中的x_s4每个代表相应表达式的积分开始位置。而且，表达式(105)中的x_e1，表达式(106)中的x_e2，表达式(107)中的x_e3，和表达式(108)中的x_e4每个代表相应表达式的积分结束位置。

表达式(105)至表达式(108)每个右侧的积分范围变成像素3111至像素3114的每个的像素宽度(x方向上的长度)。也就是说，x_e1-x_e1，x_e2-x_s2，x_e3-x_s3，以及x_e4-x_s4的每个变成0.5。

但是，在该情况下，可以设想与y＝0处的近似函数f(x)具有相同形式的一维波形不是在Y方向上而是在用梯度G_f表示的数据连续性方向(也就是角度θ方向)上连续(实际上，与y＝0处的X横截面波形F(x)具有相同形式的波形在连续性方向上连续)。也就是说，在图91中关注像素坐标系中原点(0，0)(图90中像素3101的中心)中像素值f(0)取作像素值f1的情况下，像素值f1连续的方向不是Y方向而是用梯度G_f表示的数据连续性的方向(角度θ方向)。

换句话说，在考虑Y方向上预先确定位置y(但是，y是除零以外的数值)中近似函数f(x)的波形的情况，与像素值f1相对应的位置不是位置(0，y)，而是通过在X方向上以预先确定的量从位置(0，y)运动而获得的位置(C_x(y)，y)(这里，让我们假定这种量也称作移位量。而且，移位量是取决于Y方向上位置y的量，所以让我们假定该移位量描述为C_x(y))。

因此，作为上面表达式(105)至表达式(108)每个右侧的积分范围，积分范围需要考虑待获得的像素值M(1)的中心存在于那里(但是，l是1～4的任意整数值)的Y方向上的位置y，也就是移位量C_x(y)而设置。

特别地，例如，像素3111和像素3112的中心存在于那里的Y方向上的位置y不是y＝0而是y＝0.25。

因此，y＝0.25处近似函数f(x)的波形相当于通过在X方向上以移位量C_x(0.25)运动y＝0处近似函数f(x)的波形而获得的波形。

换句话说，在上面表达式(105)中，如果我们假定关于像素3111的像素值M(1)通过用预先确定的积分范围(从开始位置x_s1到结束位置x_e1)积分y＝0处的近似函数f(x)而获得，其积分范围不是变成从开始位置x_s1＝-0.5到结束位置x_e1＝0的范围(像素3111在X方向上占据的范围本身)，而是图91中所示的范围，也就是从开始位置x_s1＝-0.5+C_x(0.25)到结束位置x_e1＝0+C_x(0.25)(如果像素3111尝试以移位量C_x(0.25)运动，则为像素3111在X方向上占据的范围)。

类似地，在上面表达式(106)中，如果我们假定关于像素3112的像素值M(2)通过用预先确定的积分范围(从开始位置x_s2到结束位置x_e2)积分y＝0处的近似函数f(x)而获得，其积分范围不是变成从开始位置x_s2＝0到结束位置x_e2＝0.5的范围(像素3112在x方向上占据的范围本身)，而是图91中所示的范围，也就是从开始位置x_s2＝0+C_x(0.25)到结束位置x_e2＝0.5+C_x(0.25)(如果像素3112尝试以移位量C_x(0.25)运动，则为像素3112在X方向上占据的范围)。

而且，例如，像素3113和像素3114的中心存在于那里的Y方向上的位置y不是y＝0而是y＝-0.25。

因此，y＝-0.25处近似函数f(x)的波形相当于通过在X方向上以移位量C_x(-0.25)运动y＝0处的近似函数f(x)的波形而获得的波形。

换句话说，在上面表达式(107)中，如果我们假定关于像素3113的像素值M(3)通过用预先确定的积分范围(从开始位置x_s3到结束位置x_e3)积分y＝0处的近似函数f(x)而获得，其积分范围不是变成从开始位置x_s3＝-0.5到结束位置x_e3＝0的范围(像素3113在X方向上占据的范围本身)，而是图91中所示的范围，也就是从开始位置x_s3＝-0.5+C_x(-0.25)到结束位置x_e3＝0+C_x(-0.25)(如果像素3113尝试以移位量C_x(-0.25)运动，则为像素3113在X方向上占据的范围)。

类似地，在上面表达式(108)中，如果我们假定关于像素3114的像素值M(4)通过用预先确定的积分范围(从开始位置x_s4到结束位置x_e4)积分y＝0处的近似函数f(x)而获得，其积分范围不是变成从开始位置x_s4＝0到结束位置x_e4＝0.5的范围(像素3114在X方向上占据的范围本身)，而是图91中所示的范围，也就是从开始位置x_s4＝0+C_x(-0.25)到结束位置x_e4＝0.5+C_x(-0.25)(如果像素3114尝试以移位量C_x(-0.25)运动，则为像素3114在X方向上占据的范围)。

因此，图像生成单元103(图89)通过将上面积分范围的相应积分范围代入这些表达式的每个而计算上面表达式(105)至表达式(108)，并且输出这些的计算结果作为输出像素值M(1)～M(4)。

这样，图像生成单元103可以通过使用一维再积分方法创建比输出像素3101具有更高空间分辨率的四个像素，也就是像素3111至像素3114(图91)，作为来自传感器2(图89)的输出像素3101(图90)处的像素。此外，虽然附图中没有显示，如上所述，除像素3111至像素3114之外，图像生成单元103可以通过适当地改变积分范围而创建具有关于输出像素3101的任意增强空间分辨率的像素而不退化。

图92表示使用这种一维再积分方法的图像生成单元103的构造实例。

如图92中所示，该实例中所示的图像生成单元103包括条件设置单元3121，特征存储单元3122，积分分量计算单元3123，以及输出像素值计算单元3124。

条件设置单元3121基于从现实世界估计单元102提供的现实世界估计信息(图92中实例中近似函数f(x)的特征)来设置近似函数f(x)的维度数目n。

条件设置单元3121也设置再积分近似函数f(x)的情况下(计算输出像素值的情况下)的积分范围。注意，由条件设置单元3121设置的积分范围不需要是像素的宽度。例如，近似函数f(x)在空间方向(X方向)上积分，因此，具体积分范围可以确定，只要输出像素(待由图像生成单元103计算的像素)相对于来自传感器2(图89)的输入图像的每个像素空间大小的相对大小(空间分辨能力)已知。因此，条件设置单元3121可以设置例如空间分辨能力为积分范围。

特征存储单元3122临时存储从现实世界估计单元102顺序提供的近似函数f(x)的特征。随后，当特征存储单元3122存储近似函数f(x)的全部特征时，特征存储单元3122产生包括近似函数f(x)的全部特征的特征表，并且将其提供给输出像素值计算单元3124。

顺便提及，如上所述，图像生成单元103使用上面表达式(103)计算输出像素值M，但是包括在上面表达式(103)右侧中的近似函数f(x)具体地表示为下面的表达式(109)。

$f\left(x\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×x^i\mathrm{dx}...\left(109\right)$

注意在表达式(109)中，w_i表示从现实世界估计单元102提供的近似函数f(x)的特征。

因此，当表达式(109)的近似函数f(x)代入上面表达式(103)右侧的近似函数f(x)以便展开(计算)表达式(103)的右侧时，输出像素值M表示为下面的表达式(110)。

$M=G_e\×\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×\frac{x_e^{i+1}-x_s^{i+1}}{i+1}$

$=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×k_i(x_s,x_e)...\left(110\right)$

在表达式(110)中，k_i(x_s，x_e)表示i维项的积分分量。也就是说，积分分量k_i(x_s，x_e)例如下面表达式(111)中所示。

$k_i(x_s,x_e)=G_e\×\frac{x_e^{i+1}-x_s^{i+1}}{i+1}...\left(111\right)$

积分分量计算单元3123计算积分分量k_i(x_s，x_e)。

特别地，如表达式(111)中所示，积分分量k_i(x_s，x_e)可以计算，只要积分范围的开始位置x_s和结束位置x_e，增益G_e，以及i维项的i已知。

这些中，增益G_e用由条件设置单元3121设置的空间分辨能力(积分范围)确定。

i的范围用由条件设置单元3121设置的维度数目n确定。

而且，积分范围的开始位置x_s和结束位置x_e的每个用从现在起产生的输出像素的中心像素位置(x，y)和像素宽度，以及表示数据连续性方向的移位量C_x(y)确定。注意(x，y)表示当现实世界估计单元102产生近似函数f(x)时距离关注像素中心位置的相对位置。

此外，从现在起产生的输出像素的中心像素位置(x，y)和像素宽度的每个用由条件设置单元3121设置的空间分辨能力(积分范围)确定。

而且，对于移位量C_x(y)，以及从数据连续性检测单元101提供的角度θ，例如下面表达式(112)和表达式(113)的关系成立，因此移位量C_x(y)用角度θ表示。

$G_f=\tan \mathrm{\θ}=\frac{\mathrm{dy}}{\mathrm{dx}}...\left(112\right)$

$C_x\left(y\right)=\frac{y}{G_f}...\left(113\right)$

注意在表达式(112)中，G_f表示代表数据连续性方向的梯度，θ表示从数据连续性检测单元101(图89)输出的数据连续性信息之一的角度(用作空间方向一个方向的X方向与用梯度G_f表示的数据连续性方向之间产生的角度)。而且，dx表示X方向上细微运动的量，且dy表示关于dx在Y方向(垂直于x方向的空间方向)上细微运动的量。

因此，积分分量计算单元3123基于由条件设置单元3121设置的维度数目和空间分辨能力(积分范围)，以及从数据连续性检测单元101输出的数据连续性信息的角度θ计算积分分量k_i(x_s，x_e)，并将计算结果作为积分分量表提供给输出像素值计算单元3124。

输出像素值计算单元3124使用从特征存储单元3122提供的特征表以及从积分分量计算单元3123提供的积分分量表来计算上面表达式(110)的右侧，并且输出计算结果作为输出像素值M。

接下来，将参考图93中的流程图描述使用一维再积分方法的图像生成单元103(图92)的图像生成处理(图29的步骤S103中的处理)。

例如，现在，让我们假定现实世界估计单元102已经在上述图29中步骤S102的处理中产生例如图90中所示的近似函数f(x)，当取例如上述图90中所示像素3101作为关注像素时。

而且，让我们假定数据连续性检测单元101已经在上述图29中步骤S101的处理中输出例如图90中所示的角度θ作为数据连续性信息。

在该情况下，条件设置单元3121在图93的步骤S3101中设置条件(维度数目和积分范围)。

例如，现在，让我们假定5已经设置为维度数目，而且空间四倍密度(空间分辨能力以使得像素的像素宽度在上/下/左/右侧变成一半能力)已经设置为积分范围。

也就是说，在该情况下，因此，已经设置，四个像素3111至像素3114在X方向上-0.5～0.5的范围内，以及Y方向上-0.5～0.5的范围内(图90中像素3101的范围内)重新创建，例如图91中所示。

在步骤S3102中，特征存储单元3122获取从现实世界估计单元102提供的近似函数f(x)的特征，并产生特征表。在该情况下，用作五维多项式的近似函数f(x)的系数w₀～w₅从现实世界估计单元102提供，因此，(w₀，w₁，w₂，w₃，w₄，w₅)作为特征表产生。

在步骤S3103中，积分分量计算单元3123基于由条件设置单元3121设置的条件(维度数目和积分范围)，以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并产生积分分量表。

特别地，例如，如果我们假定从现在起产生的各个像素3111～3114附加编号1～4(以下，这种编号称作模数)，积分分量计算单元3123将上面表达式(111)的积分分量k_i(x_s，x_e)计算为l的函数(但是，l表示模数)，例如下面表达式(114)左侧中所示的积分分量k_i(l)。

k_i(l)＝k_i(x_s，x_e)                             ...(114)

特别地，在该情况下，下面表达式(115)中所示的积分分量k_i(l)被计算。

k_i(1)＝k_i(-0.5-C_x(-0.25)，0-C_x(-0.25))

k_i(2)＝k_i(0-C_x(-0.25)，0.5-C_x(-0.25))

k_i(3)＝k_i(-0.5-C_x(0.25)，0-C_x(0.25))

k_i(4)＝k_i(0-C_x(0.25)，0.5-C_x(0.25))             ...(115)

注意在表达式(115)中，左侧表示积分分量k_i(l)，而右侧表示积分分量k_i(x_s，x_e)。也就是说，在该情况下，l是1～4的任何一个，而且i是0～5的任何一个，因此6个k_i(1)、6个k_i(2)、6个k_i(3)和6个k_i(4)总共24个k_i(l)被计算。

更具体地说，首先，积分分量计算单元3123使用从数据连续性检测单元101提供的角度θ从上面表达式(112)和表达式(113)中计算移位量C_x(-0.25)和C_x(0.25)的每个。

接下来，积分分量计算单元3123使用计算的移位量C_x(-0.25)和C_x(0.25)关于i＝0～5计算表达式(115)中四个表达式的每个右侧的积分分量k_i(x_s，x_e)。注意对于积分分量k_i(x_s，x_e)的该计算，使用上面表达式(111)。

随后，积分分量计算单元3123根据表达式(115)将计算的24个积分分量k_i(x_s，x_e)的每个转换成相应的积分分量k_i(l)，并且产生包括转换后的24个积分分量k_i(l)(也就是，6个k_i(1)、6个k_i(2)、6个k_i(3)、以及6个k_i(4))的积分分量表。

注意，步骤S3102中的处理和步骤S3103中的处理的顺序并不局限于图93中的实例，步骤S3103中的处理可以首先执行，或者步骤S3102中的处理和步骤S3103中的处理可以同时执行。

接下来，在步骤S3104中，输出像素值计算单元3124基于在步骤S3102的处理中由特征存储单元3122产生的特征表，以及在步骤S3103的处理中由积分分量计算单元3123产生的积分分量表，分别计算输出像素值M(1)～M(4)。

特别地，在该情况下，输出像素值计算单元3124通过计算与上面表达式(110)相对应的下面表达式(116)至表达式(119)的右侧来计算像素3111(模数1的像素)的像素值M(1)，像素3112(模数2的像素)的像素值M(2)，像素3113(模数3的像素)的像素值M(3)，以及像素3114(模数4的像素)的像素值M(4)的每个。

$M\left(1\right)=\underset{i=0}{\overset{5}{\mathrm{\Σ}}}{w}_i{k}_i\left(1\right)...\left(116\right)$

$M\left(2\right)=\underset{i=0}{\overset{5}{\mathrm{\Σ}}}{w}_i{k}_i\left(2\right)...\left(117\right)$

$M\left(3\right)=\underset{i=0}{\overset{5}{\mathrm{\Σ}}}{w}_i{k}_i\left(3\right)...\left(118\right)$

$M\left(4\right)=\underset{i=0}{\overset{5}{\mathrm{\Σ}}}{w}_i{k}_i\left(4\right)...\left(119\right)$

在步骤S3105中，输出像素值计算单元3124确定是否所有像素的处理都已完成。

在步骤S3105中，如果确定所有像素的处理还没有完成，处理返回到步骤S3102，其中随后的处理重复地执行。也就是说，没有变成关注像素的像素顺序地取作关注像素，并且步骤S3102～S3104中的处理重复地执行。

如果所有像素的处理都已完成(在步骤S3105中，如果确定所有像素的处理都已完成)，输出像素值计算单元3124在步骤S3106中输出图像。然后，图像生成处理结束。

接下来，将参考图94至图101描述关于预先确定的输入图像，通过使用一维再积分方法而获得的输出图像与使用另一种方法(常规分类适应处理)而获得的输出图像之间的差异。

图94是说明输入图像的原始图像的图，并且图95说明与图94中原始图像相对应的图像数据。在图95中，附图中垂直方向上的轴表示像素值，并且附图中右下方向上的轴表示用作图像空间方向的一个方向的X方向，以及附图中右上方向上的轴表示用作图像空间方向的另一个方向的Y方向。注意，随后描述的图97，图99和图101中的各个轴对应于图95中的轴。

图96是说明输入图像实例的图。图96中说明的输入图像是通过取属于图94中所示2×2像素构成的块的像素的像素值的平均作为一个像素的像素值而产生的图像。也就是说，输入图像是通过在空间方向上积分图94中所示图像而获得的图像，其模仿传感器的积分性质。而且，图97说明与图96中输入图像相对应的图像数据。

图94中说明的原始图像包括从垂直方向顺时针倾斜大约5°的细线图像。类似地，图96中说明的输入图像包括从垂直方向顺时针倾斜大约5°的细线图像。

图98是说明通过使图96中说明的输入图像经历常规类型分类适应处理而获得的图像(以下，图98中说明的图像称作常规图像)的图。而且，图99说明与常规图像相对应的图像数据。

注意，类型分类适应处理由分类处理和适应处理构成，数据由类型分类处理基于其性质分类，并且对每一类经历适应处理，如上所述。对于适应处理，例如，低质量或标准质量图像经历使用预先确定分接系数的映射以便转换成高质量图像。

图100是说明通过对图96中说明的输入图像应用一维再积分方法而获得的图像(以下，图100中说明的图像称作再积分图像)。而且，图101说明与再积分图像相对应的图像数据。

可以理解，当图98中的常规图像与图100中的再积分图像相比较时，常规图像中的细线图像不同于图94中原始图像中，但是另一方面，再积分图像中的细线图像几乎与图94中原始图像中相同。

该差异由如下差异引起，即常规类型分类适应处理是在图96中输入图像的基础(始点)上执行处理的方法，而另一方面，一维再积分方法是考虑到细线的连续性估计图94中的原始图像(产生与原始图像相对应的近似函数f(x))，并且在估计的原始图像的基础(始点)上执行处理(执行再积分以便计算像素值)的方法。

因此，使用一维再积分方法，输出图像(像素值)通过使用由一维近似方法产生的近似函数f(x)例如初级多项式(primary polynomial)(现实世界的X横截面波形F(x)的近似函数f(x))作为标准(始点)，在任意范围中积分近似函数f(x)而产生。

因此，使用一维再积分方法，输出与常规其他方法相比较更近似于原始图像(将投射到传感器2中的现实世界1中的光信号)的图像成为可能。

而且，对于一维再积分方法，如上所述，积分范围是任意的，因此，通过改变积分范围而创建不同于输入图像分辨率的分辨率(时间分辨率或空间分辨率)成为可能。也就是说，产生具有相对于输入图像分辨率的任意增强分辨率以及整数值的图像成为可能。

此外，一维再积分方法能够使用比其他再积分方法更少的积分处理量来计算输出图像(像素值)。

接下来，将参考图102至图108描述二维再积分方法。

二维再积分方法基于近似函数f(x，y)已经使用二维多项式近似方法产生的条件。

也就是说，例如，假设表示具有用梯度G_F表示的空间方向上连续性的现实世界1(图89)中光信号的图像函数F(x，y，t)已经用投影在空间方向(X方向和Y方向)上的波形近似，也就是X-Y平面上的波形F(x，y)已经使用用作n维(n是任意整数)多项式的近似函数f(x，y)近似，例如图102中所示。

在图102中，在附图中分别地，水平方向表示用作空间方向中一个方向的X方向，右上方向表示用作空间方向中另一个方向的Y方向，以及垂直方向表示光度。G_F表示作为空间方向上连续性的梯度。

注意对于图102中的实例，连续性方向取作空间方向(X方向和Y方向)，所以待近似的光信号的投影函数取作函数F(x，y)，但是如随后描述的，函数F(x，t)或函数F(y，t)可以根据连续性方向而作为近似目标。

在图102中的实例的情况下，对于二维再积分方法，输出像素值M如下面的表达式(120)计算。

$M=G_e\×{\∫}_{y_s}^{y_e}{\∫}_{x_s}^{x_e}f(x,y)\mathrm{dxdy}...\left(120\right)$

注意在表达式(120)中，y_s表示Y方向上的积分开始位置，且y_e表示Y方向上的积分结束位置。类似地，x_s表示X方向上的积分开始位置，且x_e表示X方向上的积分结束位置。而且，G_e表示预先确定的增益。

在表达式(120)中，积分范围可以任意地设置，因此，使用二维再积分方法，通过适当地改变该积分范围来创建具有关于原始像素(来自传感器(图89)的输入图像的像素)的任意增强空间分辨率的像素而不退化成为可能。

图103表示使用二维再积分方法的图像生成单元103的构造实例。

如图103中所示，该实例中的图像生成单元103包括条件设置单元3201，特征存储单元3202，积分分量计算单元3203，以及输出像素值计算单元3204。

条件设置单元3201基于从现实世界估计单元102提供的现实世界估计信息(对于图103中的实例，近似函数f(x，y)的特征)来设置近似函数f(x，y)的维度数目n。

条件设置单元3201也设置再积分近似函数f(x，y)的情况下(计算输出像素值的情况下)的积分范围。注意，由条件设置单元3201设置的积分范围不需要是像素的垂直宽度或水平宽度。例如，近似函数f(x，y)在空间方向(X方向和Y方向)上积分，因此，具体积分范围可以确定，只要输出像素(从现在起由图像生成单元103产生的像素)相对于来自传感器2的输入图像的每个像素空间大小的相对大小(空间分辨能力)已知。因此，条件设置单元3201可以设置例如空间分辨能力为积分范围。

特征存储单元3202临时存储从现实世界估计单元102顺序提供的近似函数f(x，y)的特征。随后，当特征存储单元3202存储近似函数f(x，y)的全部特征时，特征存储单元3202产生包括近似函数f(x，y)的全部特征的特征表，并且将其提供给输出像素值计算单元3204。

现在，将描述近似函数f(x，y)的细节。

例如，现在，让我们假定具有用上述图102中所示梯度G_F表示的空间方向上连续性的现实世界1(图89)中光信号(用波F(x，y)表示的光信号)已经由传感器2(图89)检测，并且已经作为输入图像(像素值)而输出。

此外，例如，让我们假定数据连续性检测单元101(图3)已经使得由该输入图像的X方向上4个像素以及Y方向上5个像素总共20个像素(附图中用虚线表示的20个正方形)构成的输入图像的区域3221经历其处理，并且已经输出角度θ(用与梯度G_F相对应的梯度G_f表示的数据连续性方向与X方向之间产生的角度θ)作为数据连续性信息之一，如图104中所示。

注意，如从现实世界估计单元102看出，数据连续性检测单元101应当仅输出关注像素处的角度θ，因此，数据连续性检测单元101的处理区域并不局限于输入图像中上面的区域3221。

而且，对于输入图像中的区域3221，附图中水平方向表示用作空间方向的一个方向的X方向，而附图中垂直方向表示用作空间方向的另一个方向的Y方向。

而且，在图104中，作为从左起第二像素以及从底部起第三像素的像素取作关注像素，并且(x，y)坐标系被设置以便取关注像素的中心作为原点(0，0)。X方向上关于经过原点(0，0)具有角度θ的直线(表示数据连续性方向的梯度G_f的直线)的相对距离(以下，称作横截面方向距离)取作x′。

此外，在图104中，右侧的曲线图表示用作n维(n是任意整数)多项式的近似函数f(x′)，其是近似其变量为三维空间上的位置x，y和z，以及时间点t的图像函数F(x，y，t)在Y方向上任意位置y处投影在X方向上的一维波形(以下，称作X横截面波形F(x′))的函数。右侧上曲线图的轴中，附图中水平方向上的轴表示横截面方向距离，而附图中垂直方向上的轴表示像素值。

在该情况下，图104中所示近似函数f(x′)是n维多项式，所以表示为下面的表达式(121)。

$f\left(x^{\′}\right)=w_0+w_1{x}^{\′}+w_2{x}^{\′2}+\·\·\·+w_n{x}^{\′n}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{x}^{\′i}...\left(121\right)$

而且，因为角度θ确定，经过原点(0，0)具有角度θ的直线唯一确定，并且在Y方向上任意位置y处直线的X方向上的位置x₁表示为下面的表达式(122)。但是，在表达式(122)中，s代表cotθ。

x₁＝s×y                                             ...(122)

也就是说，如图104中所示，与用梯度G_f表示的数据连续性相对应的直线上的点用坐标值(x₁，y)表示。

横截面方向距离x′使用表达式(122)表示为下面的表达式(123)。

x′＝x-x₁＝x-s×y                                    ...(123)

因此，输入图像区域3221中任意位置(x，y)处的近似函数f(x，y)使用表达式(121)和表达式(123)表示为下面的表达式(124)。

$f(x,y)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{(x-s\×y)}^i...\left(124\right)$

注意在表达式(124)中，w_i表示近似函数f(x，y)的系数。

现在，描述将返回到图103，其中包括在表达式(124)中的特征w_i从现实世界估计单元102提供，并且存储在特征存储单元3202中。当特征存储单元3202存储用表达式(124)表示的所有特征w_i时，特征存储单元3202产生包括所有特征w_i的特征表，并且将其提供给输出像素值计算单元3204。

而且，当上面表达式(120)的右侧通过将表达式(124)的近似函数f(x，y)代入表达式(120)右侧中的近似函数f(x，y)而展开(计算)时，输出像素值M表示为下面的表达式(125)。

$M=G_e\×\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×\frac{\{{(x_e-s{\×y}_e)}^{i+2}-{(x_e-s\×y)}^{i+2}-{(x_s-s{\×y}_e)}^{i+2}+{(x_s-s{\×y}_s)}^{i+2}\}}{s(i+1)(i+2)}$

$=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{\×k}_i(x_s,x_e,y_s,y_e)...\left(125\right)$

在表达式(125)中，k_i(x_s，x_e，y_s，y_e)表示i维项的积分分量。也就是说，积分分量k_i(x_s，x_e，y_s，y_e)例如下面表达式(126)中所示。

$K_i(x_s,x_e,y_s,y_e)$

$=G_e\×\frac{\{{(x_e-s{\×y}_e)}^{i+2}-{(x_e-s{\×y}_s)}^{i+2}-{(x_s-s{\×y}_e)}^{i+2}+{(x_s-s{\×y}_s)}^{i+2}\}}{s(i+1)(i+2)}...\left(126\right)$

积分分量计算单元3203计算积分分量k_i(x_s，x_e，y_s，y_e)。

特别地，如表达式(125)和表达式(126)中所示，积分分量k_i(x_s，x_e，y_s，y_e)可以计算，只要积分范围的X方向上开始位置x_s和X方向上结束位置x_e，积分范围的Y方向上开始位置y_s和Y方向上结束位置y_e，增益G_e，以及i维项的i已知。

这些中，增益G_e用由条件设置单元3201设置的空间分辨能力(积分范围)确定。

i的范围用由条件设置单元3201设置的维度数目n确定。

变量s如上所述是cotθ，所以用从数据连续性检测单元101输出的角度θ确定。

而且，积分范围的X方向上开始位置x_s和X方向上结束位置x_e，以及积分范围的Y方向上开始位置y_s和Y方向上结束位置y_e的每个用从现在起产生的输出像素的中心像素位置(x，y)和像素宽度确定。注意(x，y)表示当现实世界估计单元102产生近似函数f(x)时距离关注像素中心位置的相对位置。

此外，从现在起产生的输出像素的中心像素位置(x，y)和像素宽度的每个用由条件设置单元3201设置的空间分辨能力(积分范围)确定。

因此，积分分量计算单元3203基于由条件设置单元3201设置的维度数目和空间分辨能力(积分范围)，以及从数据连续性检测单元101输出的数据连续性信息的角度θ计算积分分量k_i(x_s，x_e，y_s，y_e)，并将计算结果作为积分分量表提供给输出像素值计算单元3204。

输出像素值计算单元3204使用从特征存储单元3202提供的特征表以及从积分分量计算单元3203提供的积分分量表来计算上面表达式(125)的右侧，并且将计算结果作为输出像素值M输出到外部。

接下来，将参考图105中的流程图描述使用二维再积分方法的图像生成单元103(图104)的图像生成处理(图29的步骤S103中的处理)。

例如，让我们假定用图102中所示函数F(x，y)表示的光信号已经投射到传感器2中以变成输入图像，并且现实世界估计单元102已经在上述图29中步骤S102的处理中以例如图106中所示一个像素3231作为关注像素产生用于近似函数F(x，y)的近似函数f(x，y)。

注意在图106中，像素3231的像素值(输入像素值)取作P，并且像素3231的形状取作一边长度为1的正方形。而且，在空间方向中，与像素3231的一边平行的方向取作X方向，而与X方向正交的方向取作Y方向。而且，其原点为像素3231中心的空间方向(X方向和Y方向)上坐标系(以下，称作关注像素坐标系)被设置。

而且，让我们假定在图106中，取像素3231作为关注像素的数据连续性检测单元101已经在上述图29中步骤S101的处理中输出角度θ作为与用梯度G_f表示的数据连续性相对应的数据连续性信息。

描述将返回到图105，在该情况下，条件设置单元3201在步骤S3201处设置条件(维度数目和积分范围)。

例如，现在，让我们假定5已经设置为维度数目，而且空间四倍密度(空间分辨能力以使得像素的像素宽度在上/下/左/右侧变成一半能力)已经设置为积分范围。

也就是说，在该情况下，已经设置，四个像素3241至像素3244在X方向上-0.5～0.5的范围内，以及Y方向上-0.5～0.5的范围内(图106中像素3231的范围内)重新创建，例如图107中所示。注意同样在图107中，与图106中相同的关注像素坐标系被显示。

而且，在图107中，M(1)表示从现在起产生的像素3241的像素值，M(2)表示从现在起产生的像素3242的像素值，M(3)表示从现在起产生的像素3243的像素值，以及M(4)表示从现在起产生的像素3244的像素值。

描述将返回到图105，在步骤S3202中，特征存储单元3202获取从现实世界估计单元102提供的近似函数f(x，y)的特征，并且产生特征表。在该情况下，用作5维多项式的近似函数f(x)的系数w₀～w₅从现实世界估计单元102提供，因此，(w₀，w₁，w₂，w₃，w₄，w₅)作为特征表产生。

在步骤S3203中，积分分量计算单元3203基于由条件设置单元3201设置的条件(维度数目和积分范围)，以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并产生积分分量表。

特别地，例如，让我们假定编号(以下，这种编号称作模数)1～4分别附加到从现在起产生的像素3241至像素3244，积分分量计算单元3203将上面表达式(125)的积分分量k_i(x_s，x_e，y_s，y_e)计算为l的函数(但是，l表示模数)，例如下面表达式(127)的左侧中所示的积分分量k_i(l)。

k_i(l)＝k_i(x_s，x_e，y_s，y_e)                       ...(127)

特别地，在该情况下，下面表达式(128)中所示的积分分量ki(l)被计算。

k_i(1)＝k_i(-0.5，0，0，0.5)

k_i(2)＝k_i(0，0.5，0，0.5)

k_i(3)＝k_i(-0.5，0，-0.5，0)

k_i(4)＝k_i(0，0.5，-0.5，0)                       ...(128)

注意在表达式(128)中，左侧表示积分分量k_i(l)，而右侧表示积分分量k_i(x_s，x_e，y_s，y_e)。也就是说，在该情况下，l是1～4的任何一个，而且i是0～5的任何一个，因此6个k_i(1)、6个k_i(2)、6个k_i(3)和6个k_i(4)总共24个k_i(l)被计算。

更具体地说，首先，积分分量计算单元3203使用从数据连续性检测单元101提供的角度θ计算上面表达式(122)的变量s(s＝cotθ)。

接下来，积分分量计算单元3203使用计算的变量s关于i＝0～5计算表达式(128)中四个表达式的每个右侧的积分分量k_i(x_s，x_e，y_s，y_e)。注意对于积分分量k_i(x_s，x_e，y_s，y_e)的该计算，使用上面表达式(125)。

随后，积分分量计算单元3203根据表达式(128)将计算的24个积分分量k_i(x_s，x_e，y_s，y_e)的每个转换成相应的积分分量k_i(l)，并且产生包括转换后的24个积分分量k_i(l)(也就是，6个k_i(1)、6个k_i(2)、6个k_i(3)、以及6个k_i(4))的积分分量表。

注意，步骤S3202中的处理和步骤S3203中的处理的顺序并不局限于图105中的实例，步骤S3203中的处理可以首先执行，或者步骤S3202中的处理和步骤S3203中的处理可以同时执行。

接下来，在步骤S3204中，输出像素值计算单元3204基于在步骤S3202的处理中由特征存储单元3202产生的特征表，以及在步骤S3203的处理中由积分分量计算单元3203产生的积分分量表，分别计算输出像素值M(1)～M(4)。

特别地，在该情况下，输出像素值计算单元3204通过计算与上面表达式(125)相对应的下面表达式(129)至表达式(132)的右侧来计算像素3241(模数1的像素)的像素值M(1)，像素3242(模数2的像素)的像素值M(2)，像素3243(模数3的像素)的像素值M(3)，以及像素3244(模数4的像素)的像素值M(4)的每个。

$M\left(1\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{k}_i\left(1\right)...\left(129\right)$

$M\left(2\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{k}_i\left(2\right)...\left(130\right)$

$M\left(3\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{k}_i\left(3\right)...\left(131\right)$

$M\left(4\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{k}_i\left(4\right)...\left(132\right)$

但是，在该情况下，表达式(129)至表达式(132)的每个n变成5。

在步骤S3205中，输出像素值计算单元3204确定是否所有像素的处理都已完成。

在步骤S3205中，如果确定所有像素的处理还没有完成，处理返回到步骤S3202，其中随后的处理重复地执行。也就是说，没有变成关注像素的像素顺序地取作关注像素，并且步骤S3202～S3204中的处理重复地执行。

如果所有像素的处理都已完成(在步骤S3205中，如果确定所有像素的处理都已完成)，输出像素值计算单元3204在步骤S3206中输出图像。然后，图像生成处理结束。

因此，比输入像素3231具有更高空间分辨率的四个像素，也就是像素3241至像素3244(图107)可以通过使用二维再积分方法创建，作为来自传感器2(图89)的输入图像(图106)的像素3231处的像素。此外，虽然附图中没有显示，如上所述，除像素3241至像素3244之外，图像生成单元103可以通过适当地改变积分范围而创建具有关于输入像素3231的任意增强空间分辨率的像素而不退化。

如上所述，作为二维再积分方法的描述，使得关于空间方向(X方向和Y方向)的近似函数f(x，y)经历二维积分的方法已经使用，但是二维再积分方法可以应用于时间-空间方向(X方向和t方向，或者Y方向和t方向)。

也就是说，上面的实例是现实世界1(图89)中的光信号具有用例如图102中所示梯度G_F表示的空间方向上连续性的情况下的实例，因此，包括例如上面表达式(120)中所示空间方向(X方向和Y方向)上二维积分的表达式已经使用。但是，关于二维积分的概念不仅可以应用于空间方向而且可以应用于时间-空间方向(X方向和t方向，或者Y方向和t方向)。

换句话说，对于用作二维再积分方法的假设的二维多项式近似方法，使用二维近似函数f执行近似是可能的，即使在表示光信号的图像函数F(x，y，t)具有时间-空间方向(但是，X方向和t方向，或者Y方向和t方向)上连续性以及空间方向上连续性的情况下。

特别地，例如，如果存在以均匀速度在X方向上水平运动的对象，对象运动的方向用例如图108中所示X-t平面中的梯度V_F表示。换句话说，可以说梯度V_F表示X-t平面中时间-空间方向上连续性的方向。因此，数据连续性检测单元101(图89)可以输出例如图108中所示的运动θ(严格地说，虽然附图中没有显示，运动θ是由用与梯度V_F相对应的梯度V_f表示的数据连续性的方向与空间方向中X方向产生的角度)作为与表示X-t平面中时间-空间方向上连续性的梯度V_F相对应的数据连续性信息，以及上面的角度θ(与表示X-Y平面中空间方向上连续性的梯度G_F相对应的数据连续性信息)。

而且，使用二维多项式近似方法的现实世界估计单元102(图89)可以通过使用运动θ代替上述角度θ，以与上面方法相同的方法计算近似函数f(x，t)的系数(特征)w_i。但是，在该情况下，待使用的公式不是上面的表达式(124)而是下面的表达式(133)。

$f(x,t)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{(x-s\×t)}^i...\left(133\right)$

注意在表达式(133)中，s是cotθ(但是，θ是运动)。

而且，使用二维再积分方法的图像生成单元103(图89)可以通过将上面表达式(133)的f(x，t)代入下面表达式(134)的右侧并且计算它来计算像素值M。

$M=G_e\×{\∫}_{t_s}^{t_e}{\∫}_{x_x}^{x_e}f(x,t)\mathrm{dxdt}...\left(134\right)$

注意在表达式(134)中，t_s表示t方向上的积分开始位置，且t_e表示t方向上的积分结束位置。类似地，x_s表示X方向上的积分开始位置，且x_e表示X方向上的积分结束位置。G_e表示预先确定的增益。

作为选择，注意力集中在空间方向Y而不是空间方向X上的近似函数f(y，t)可以与上面近似函数f(x，t)相同的方法处理。

顺便提及，在表达式(133)中，通过将t方向看作恒定，也就是通过执行积分而忽略t方向上的积分，来获得在时间方向上不积分的数据，也就是不具有运动模糊的数据成为可能。换句话说，该方法可以看作二维再积分方法的一种，因为再积分在二维近似函数f的某一维度恒定的条件下执行，或者实际上，可以看作一维再积分方法的一种，因为X方向上的一维再积分执行。

而且，在表达式(134)中，积分范围可以任意地设置，因此，使用二维再积分方法，通过适当地改变该积分范围来创建具有关于原始像素(来自传感器2(图89)的输入图像的像素)的任意增强分辨率的像素而不退化成为可能。

也就是说，对于二维再积分方法，通过任意地改变时间方向t上的积分范围来创建时间分辨率成为可能。而且，通过任意地改变空间方向X(或空间方向Y)上的积分范围来创建空间分辨率成为可能。此外，通过适当地改变时间方向t上和空间方向X上的每个积分范围来创建时间分辨率和空间分辨率成为可能。

注意，如上所述，时间分辨率和空间分辨率中任何一个的创建可以甚至使用一维再积分方法执行，但是时间分辨率和空间分辨率二者同时的创建理论上不能使用一维再积分方法执行，其仅通过执行二维或更多再积分而变得可能。也就是说，时间分辨率和空间分辨率同时的创建仅通过使用二维再积分方法和随后描述的三维再积分方法而变得可能。

而且，二维再积分方法不是考虑一维而是考虑二维积分效应，因此，更近似于现实世界1(图89)中光信号的图像可以产生。

接下来，将参考图109和图110描述三维再积分方法。

对于三维再积分方法，近似函数f(x，y，t)已经使用三维近似方法产生，这是假设。

在该情况下，对于三维再积分方法，输出像素值M计算为下面的表达式(135)。

$M=G_e\×{\∫}_{t_s}^{t_e}{\∫}_{y_s}^{y_e}{\∫}_{x_s}^{x_e}f(x,y,t)\mathrm{dxdydt}...\left(135\right)$

注意在表达式(135)中，t_s表示t方向上的积分开始位置，且t_e表示t方向上的积分结束位置。类似地，y_s表示Y方向上的积分开始位置，且y_e表示Y方向上的积分结束位置。而且，x_s表示X方向上的积分开始位置，且x_e表示X方向上的积分结束位置。G_e表示预先确定的增益。

而且，在表达式(135)中，积分范围可以任意地设置，因此，对于三维再积分方法，通过适当地改变该积分范围来创建具有关于原始像素(来自传感器2(图89)的输入图像的像素)的任意增强时间-空间分辨率的像素而不退化成为可能。也就是说，当空间方向上的积分范围减小时，像素间距可以没有限制地减小。另一方面，当空间方向上的积分范围放大时，像素间距可以没有限制地放大。而且，当时间方向上的积分范围减小时，时间分辨率可以基于实际波形来创建。

图109表示使用三维再积分方法的图像生成单元103的构造实例。

如图109中所示，图像生成单元103的该实例包括条件设置单元3301，特征存储单元3302，积分分量计算单元3303，和输出像素值计算单元3304。

条件设置单元3301基于从现实世界估计单元102提供的现实世界估计信息(对于图109中的实例，近似函数f(x，y，t)的特征)来设置近似函数f(x，y，t)的维度数目n。

条件设置单元3301也设置再积分近似函数f(x，y，t)的情况下(计算输出像素值的情况下)的积分范围。注意，由条件设置单元3301设置的积分范围不需要是像素的宽度(垂直宽度和水平宽度)或者快门时间自身。例如，确定空间方向上的具体积分范围成为可能，只要输出像素(从现在起由图像生成单元103产生的像素)相对于来自传感器2(图89)的输入图像的每个像素空间大小的相对大小(空间分辨能力)已知。类似地，确定时间方向上的具体积分范围成为可能，只要输出像素值关于传感器2(图89)的快门时间的相对时间(时间分辨能力)已知。因此，条件设置单元3301可以设置例如空间分辨能力和时间分辨能力为积分范围。

特征存储单元3302临时存储从现实世界估计单元102顺序提供的近似函数f(x，y，t)的特征。随后，当特征存储单元3302存储近似函数f(x，y，t)的全部特征时，特征存储单元3302产生包括近似函数f(x，y，t)的全部特征的特征表，并且将其提供给输出像素值计算单元3304。

顺便提及，当上面表达式(135)右侧的近似函数f(x，y，t)的右侧被展开(计算)时，输出像素值M表示为下面的表达式(136)。

$M=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{\×k}_i(x_s,x_e,y_s,y_e,t_s,t_e)...\left(136\right)$

在表达式(136)中，k_i(x_s，x_e，y_s，y_e，t_s，t_e)表示i维项的积分分量。但是，分别地，x_s表示X方向上的积分范围开始位置，x_e表示X方向上的积分范围结束位置，y_s表示Y方向上的积分范围开始位置，y_e表示Y方向上的积分范围结束位置，t_s表示t方向上的积分范围开始位置，以及t_e表示t方向上的积分范围结束位置。

积分分量计算单元3303计算积分分量k_i(x_s，x_e，y_s，y_e，t_s，t_e)。

特别地，积分分量计算单元3303基于由条件设置单元3301设置的维度数目和积分范围(空间分辨能力或时间分辨能力)，以及从数据连续性检测单元101输出的数据连续性信息的角度θ或运动θ计算积分分量k_i(x_s，x_e，y_s，y_e，t_s，t_e)，并将计算结果作为积分分量表提供给输出像素值计算单元3304。

输出像素值计算单元3304使用从特征存储单元3302提供的特征表以及从积分分量计算单元3303提供的积分分量表来计算上面表达式(136)的右侧，并且将计算结果作为输出像素值M输出到外部。

接下来，将参考图110中的流程图描述使用三维再积分方法的图像生成单元103(图109)的图像生成处理(图29的步骤S103中的处理)。

例如，让我们假定现实世界估计单元102(图89)已经在上述图29中步骤S102的处理中以输入图像的预先确定像素作为关注像素，产生用于近似现实世界1(图89)中光信号的近似函数f(x，y，t)。

而且，让我们假定数据连续性检测单元101(图89)已经在图29中步骤S101的处理中以与现实世界估计单元102使用相同的像素作为关注像素，输出角度θ或运动θ作为数据连续性信息。

在该情况下，条件设置单元3301在图110的步骤S3301中设置条件(维度数目和积分范围)。

在步骤S3302中，特征存储单元3302获取从现实世界估计单元102提供的近似函数f(x，y，t)的特征w_i，并产生特征表。

在步骤S3303中，积分分量计算单元3303基于由条件设置单元3301设置的条件(维度数目和积分范围)，以及从数据连续性检测单元101提供的数据连续性信息(角度θ或运动θ)计算积分分量，并产生积分分量表。

注意，步骤S3302中的处理和步骤S3303中的处理的顺序并不局限于图110中的实例，步骤S3303中的处理可以首先执行，或者步骤S3302中的处理和步骤S3303中的处理可以同时执行。

接下来，在步骤S3304中，输出像素值计算单元3304基于在步骤S3302的处理中由特征存储单元3302产生的特征表，以及在步骤S3303的处理中由积分分量计算单元3303产生的积分分量表，计算每个输出像素值。

在步骤S3305中，输出像素值计算单元3304确定是否所有像素的处理都已完成。

在步骤S3305中，如果确定所有像素的处理还没有完成，处理返回到步骤S3302，其中随后的处理重复地执行。也就是说，没有变成关注像素的像素顺序地取作关注像素，并且步骤S3302～S3304中的处理重复地执行。

如果所有像素的处理都已完成(在步骤S3305中，如果确定所有像素的处理都已完成)，输出像素值计算单元3304在步骤S3306中输出图像。然后，图像生成处理结束。

因此，在上面表达式(135)中，积分范围可以任意地设置，因此对于三维再积分方法，通过适当地改变该积分范围而创建具有关于原始像素(来自传感器2(图89)的输入图像的像素)的任意增强分辨率的像素而不退化成为可能。

也就是说，对于三维再积分方法，适当地改变时间方向上的积分范围使得时间分辨率能够创建。而且，适当地改变空间方向上的积分范围使得空间分辨率能够创建。此外，适当地改变时间方向上和空间方向上的每个积分范围使得时间分辨率和空间分辨率能够创建。

特别地，对于三维再积分方法，当将三维退化成二维或一维时，近似不是必要的，从而能够高精度处理。而且，倾斜方向上的运动可以处理而不退化到二维。此外，不退化到二维能够在每个维度处理。例如，对于二维再积分方法，在空间方向(X方向和Y方向)上退化的情况下，用作时间方向的t方向上的处理不能执行。另一方面，对于三维再积分方法，时间-空间方向上的任何处理可以执行。

注意，如上所述，时间分辨率和空间分辨率中任何一个的创建可以甚至使用一维再积分方法执行，但是时间分辨率和空间分辨率二者同时的创建理论上不能使用一维再积分方法执行，其仅通过执行二维或更多再积分而变得可能。也就是说，时间分辨率和空间分辨率同时的创建仅通过使用上面二维再积分方法和三维再积分方法而成为可能。

而且，三维再积分方法不是考虑一维和二维而是考虑三维积分效应，因此，更近似于现实世界1(图89)中光信号的图像可以产生。

接下来，使用图3中所示的信号处理设备4，数据连续性在数据连续性检测单元101处检测，并且现实世界1信号波形的估计，也就是例如，近似X横截面波形F(x)的近似函数基于连续性在现实世界估计单元102处获得。

因此，现实世界1信号的波形估计基于连续性在信号处理设备4处执行，所以如果由数据连续性检测单元101检测的连续性不正确或者其检测精度差，现实世界1信号的波形的估计精度也差。

而且，信号处理设备4基于例如在该情况下作为图像的现实世界1信号具有的连续性而执行信号处理，比使用其他信号处理设备的信号处理具有更好精度的信号处理可以对于连续性存在的现实世界1信号的部分而执行，因此，更接近与现实世界1信号相对应的图像的图像可以输出。

但是，信号处理设备4不能以与连续性确实存在的四个部分相同水平的精度，对于没有清晰连续性存在的现实世界1信号的部分执行信号处理，因为信号处理基于连续性而执行，因此，包括关于与现实世界1信号相对应的图像的误差的图像被输出。

因此，为了使用信号处理设备4获得更接近与现实世界1信号相对应的图像的图像，使用信号处理设备4的信号处理将被执行的处理区域，与信号处理设备4一起使用的连续性的精度等是问题。

这里，图111说明图1中信号处理设备4的另一种实施方案的构造实例。

在图111中，信号处理设备4包括处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F(接口)10006。

对于其构造如图111中所示的信号处理设备4，作为数据3的实例的图像数据(输入图像)从传感器2(图1)输入，并且输入图像提供给处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，以及图像显示单元10005。

处理区域设置单元10001设置输入图像的处理区域，并且将标识处理区域的处理区域信息提供给连续性设置单元10002，现实世界估计单元10003，以及图像生成单元10004。

连续性设置单元10002从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域，设置从该处理区域处的图像数据中丢失的现实世界1信号的连续性，并且将表示该连续性的连续性信息提供给现实世界估计单元10003和图像生成单元10004。

现实世界估计单元10003由模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013构成，并且根据相应现实世界1信号的连续性从处理区域内的图像数据中估计现实世界1信号。

也就是说，模型生成单元10011从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域，根据构成处理区域的像素以及与处理区域中的图像数据相对应的现实世界1信号的连续性，产生用作模拟处理区域中像素的像素值与现实世界1信号之间关系的模型的函数，并且将其提供给公式生成单元10012。

公式生成单元10012从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域。此外，公式生成单元10012将构成处理区域的每个像素的像素值代入用作已经从模型生成单元10011提供的模型的函数中，从而产生公式，其提供给现实世界波形估计单元10013。

现实世界波形估计单元10013通过计算从公式生成单元10012提供的公式来估计现实世界1信号的波形。也就是说，现实世界波形估计单元10013通过求解从公式生成单元10012提供的公式来获得近似现实世界1信号的近似函数，并将近似函数作为现实世界1信号的波形的估计结果提供给图像生成单元10004。注意，近似现实世界1信号的近似函数包括具有恒定函数值的函数，而不管自变量值。

图像生成单元10004基于在现实世界估计单元10003处估计的、表示现实世界1信号的波形的近似函数，以及从连续性设置单元10002提供的连续性信息，来产生更接近现实世界1信号的信号。也就是说，图像生成单元10004从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域，并且基于从现实世界估计单元10003(的现实世界波形估计单元10013)提供的近似函数，以及从连续性设置单元10002提供的连续性信息产生关于处理区域更接近与现实世界1信号相对应的图像的图像数据。

此外，图像生成单元10004合成输入图像和基于近似函数而产生的图像数据(以下称作近似图像，如果适当的话)，产生输入图像的处理区域的部分已经用近似图像取代的图像，并且将图像作为输出图像提供给图像显示单元10005。

图像显示单元10005由CRT(阴极射线管)或LCD(液晶显示器)构成，并且显示输入图像或者从图像生成单元10004提供的输出图像。

注意，图像显示单元10005可以由单个或多个CRT或LCD构成。如果用单个CRT或LCD构成图像显示单元10005，配置可以这样进行，其中单个CRT或LCD的屏幕划分成多个屏幕，输入图像显示在一个屏幕上而输出图像显示在另一个屏幕上。此外，如果用多个CRT或LCD构成图像显示单元10005，配置可以这样进行，其中输入图像显示在一个CRT或LCD上，而输出图像显示在另一个CRT或LCD上。

而且，图像显示单元10005根据用户I/F 10006的输出执行各种类型的显示。也就是说，图像显示单元10005显示光标，例如，并且如果用户操作用户I/F 10006以便移动光标，光标根据其操作运动。而且，如果用户操作用户I/F 10006以便选择预先确定的范围，图像显示单元10005根据其操作显示围绕在屏幕上选择的范围的帧。

用户I/F 10006由用户操作，并且根据用户操作，将与例如处理范围、连续性和真实世界信号中至少一个相关的信息提供给处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003。

也就是说，用户观看显示在图像显示单元10005上的输入图像或输出图像，并且操作用户I/F 10006以提供关于输入图像或输出图像的输入。用户I/F 10006由用户操作，并且根据用户操作，将与处理范围、连续性或真实世界信号相关的信息，作为帮助处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003的处理的帮助信息，提供给处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003。

当帮助信息从用户I/F 10006提供时，处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003每个基于帮助信息执行处理区域的设置，连续性的设置，或现实世界1信号的估计。

但是注意，处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003每个可以执行处理区域的设置，连续性的设置，或现实世界1信号的估计，即使不使用帮助信息，也就是，即使没有用户操作用户I/F 10006。

特别地，对于处理区域设置单元10001，处理可以与图3中所示数据连续性检测单元101相同的方法执行，如参考图30至图48描述的，其中连续性区域从输入图像中检测，并且围绕连续性区域的矩形(长方形)区域设置为处理区域。

而且，对于连续性设置单元10002，处理可以与图3中所示数据连续性检测单元101相同的方法执行，如参考图49至图57描述的，其中数据连续性从输入图像中检测，并且相应现实世界1信号的连续性基于该数据的连续性而设置，也就是，例如，数据连续性设置为现实世界1信号的连续性而不改变。

而且，对于现实世界估计单元10003，处理可以与图3中所示现实世界估计单元102相同的方法执行，如参考图58至图88描述的，其中现实世界1信号从由处理区域设置单元10001设置的处理区域的图像数据中，与由连续性设置单元10002设置的连续性相对应地估计。注意，虽然数据连续性已经用于估计现实世界1信号，图3中的现实世界估计单元102，配置可以这样进行，其中使用相应现实世界1信号的连续性，代替估计现实世界1信号的数据连续性。

接下来，将参考图112中的流程图描述图111中所示的信号处理设备4的处理。

首先，在步骤S10001中，信号处理设备4执行预处理，并且流程前进到步骤S10002。也就是说，信号处理设备4将从传感器2(图1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，以及图像显示单元10005。此外，信号处理设备4使得图像显示单元10005显示输入图像。

在步骤S10002中，用户I/F 10006确定是否存在由用户操作用户I/F 10006的某种用户输入。在步骤S10002中，如果确定不存在用户输入，也就是如果用户没有执行操作，步骤S10003至步骤S10005跳过，并且流程前进到步骤S10006。

而且，如果在步骤S10002中确定已经存在用户输入，也就是如果用户已经观看显示在图像显示单元10005上的输入图像并且操作用户I/F 10006，从而做出指示某种指令或信息的用户输入，流程前进到步骤S10003，在那里用户I/F 10006确定用户输入是否是指示信号处理设备4处理结束的结束指令。

如果在步骤S10003中确定用户输入是结束指令，信号处理设备结束处理。

而且，如果在步骤S10003中确定用户输入不是结束指令，流程前进到步骤S10004，在那里用户I/F 10006确定用户输入是否是帮助信息。如果在步骤S10004中确定用户输入不是帮助信息，流程跳过步骤S10005，而前进到步骤S10006。

而且，如果在步骤S10004中确定用户输入是帮助信息，流程前进到步骤S10005，在那里用户I/F 10006将帮助信息提供给处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003，并且流程前进到步骤S10006。

在步骤S10006中，处理区域设置单元10001基于输入图像设置处理区域，并且将标识处理区域的处理区域信息提供给连续性设置单元10002，现实世界估计单元10003，以及图像生成单元10004，并且流程前进到步骤S10007。现在，如果帮助信息已经在前一个步骤S10005中从用户I/F 10006提供，处理区域设置单元10001使用该帮助信息执行处理区域的设置。

在步骤S10007中，连续性设置单元10002从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域。此外，连续性设置单元10002设置在处理区域的图像数据中丢失的现实世界1信号的连续性，并且将指示其连续性的连续性信息提供给现实世界估计单元10003，并且流程前进到步骤S10008。现在，如果帮助信息已经在前一个步骤S10005中从用户I/F 10006提供，连续性设置单元10002使用该帮助信息执行连续性的设置。

在步骤S10008中，现实世界估计单元10003根据相应现实世界1信号的连续性，相对于输入图像处理区域中的图像数据估计现实世界1信号。

也就是说，在现实世界估计单元10003处，模型生成单元10011从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域，并且从连续性设置单元10002提供的连续性信息中识别与处理区域中图像数据相对应的现实世界1信号的连续性。此外，模型生成单元10011根据构成输入图像中处理区域的像素，以及与处理区域的图像数据相对应的现实世界1信号的连续性，产生用作模拟处理区域中每个像素的像素值与现实世界1信号之间关系的模型的函数，并且将其提供给公式生成单元10012。

公式生成单元10012从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域，并且将构成处理区域的输入图像的每个像素的像素值代入用作从模型生成单元10011提供的模型的函数中，从而产生获得近似现实世界1信号的近似函数的公式，其提供给现实世界波形估计单元10013。

现实世界波形估计单元10013通过计算从公式生成单元10012提供的公式来估计现实世界1信号的波形。也就是，现实世界波形估计单元10013通过求解从公式生成单元10012提供的公式来获得用作模拟现实世界1信号的模型的近似函数，并且将近似函数作为现实世界1信号的波形的估计结果提供给图像生成单元10004。

注意，对于现实世界估计单元10003，如果帮助信息已经在前一个步骤S10005中从用户I/F 10006提供，在模型生成单元10011和公式生成单元10012处，处理使用该帮助信息执行。

在步骤S10008的处理之后，流程前进到步骤S10009，在那里图像生成单元10004基于从现实世界估计单元10003(的现实世界波形估计单元10013)提供的近似现实世界1信号的波形的近似函数来产生更接近现实世界1信号的信号。也就是说，图像生成单元10004从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域，并且关于该处理区域，基于从现实世界估计单元10003提供的近似函数，产生作为更接近与现实世界1信号相对应的图像的图像数据的近似图像。此外，图像生成单元10004产生输入图像的处理区域的部分已经用近似图像取代的图像作为输出图像，并且将其提供给图像显示单元10005，并且流程从步骤S10009前进到步骤S10010。

在步骤S10010中，图像显示单元10005显示从图像生成单元10004提供的输出图像，代替在步骤S10001中显示的输入图像，或者与输入图像一起，并且流程前进到步骤S10011。

在步骤S10011中，用户I/F 10006以与步骤S10002相同的方法确定是否存在由用户操作用户I/F 10006的某种用户输入，并且如果确定不存在用户输入，也就是如果用户没有执行操作，流程返回到步骤S10011，并等待用户输入。

而且，如果在步骤S10011中确定存在用户输入，也就是如果用户已经观看显示在图像显示单元10005上的输入图像或输出图像并且操作用户I/F 10006，从而做出指示指令或信息的某种用户输入，流程前进到步骤S10012，在那里用户I/F 10006确定用户输入是否是指示信号处理设备4处理结束的结束指令。

如果在步骤S10012中确定用户输入是结束指令，信号处理设备4结束处理。

而且，如果在步骤S10012中确定用户输入不是结束指令，流程前进到步骤S10013，在那里用户I/F 10006确定用户输入是否是帮助信息。如果在步骤S10013中确定用户输入不是帮助信息，流程返回到步骤S10011，此后重复相同的处理。

而且，在步骤S10013中，如果确定用户输入是帮助信息，流程返回到步骤S10005，并且如上所述，用户I/F 10006将帮助信息提供给处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003。然后流程从步骤S10005前进到步骤S10006，此后重复相同的处理。

如上所述，对于图111中所示的信号处理设备4，帮助处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003的帮助信息从用户I/F 10006提供给处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003，并且处理区域设置，连续性设置，或现实世界1信号估计基于来自用户I/F 10006的帮助信息在处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003处执行，从而提高处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003的处理精度，并且能够产生例如满足用户喜好的高质量输出图像。

接下来，将描述图111中所示信号处理设备4的各种类型的应用实例。

图113说明图111中所示信号处理设备4的应用的一种实施方案的构造实例。

作为数据3来自传感器2的例如一帧或一场的图像输入到图113中的信号处理设备4中。这里，我们假定具有预先确定形状的对象显示在输入图像中，这种对象以每个快门时间(曝光时间)v个像素的恒定速度在输入图像的水平方向(横向)上运动。换句话说，关于输入图像，对象以v个像素的运动量在水平方向上运动，因此因为传感器2的时间积分效应，对象的光信号与除对象之外的部分的光信号混合(时间混合)，因此，图像在例如对象边缘部分处模糊。使用图113中所示信号处理设备4，高质量输出图像产生，其中因这种时间混合而引起的运动模糊已经从输入图像中消除。

在图113中，处理区域设置单元15011，连续性设置单元15012，现实世界估计单元15013，图像生成单元15014，图像显示单元15015，以及用户I/F 15016，每个对应于图111中所示的处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F10006相同的处理。此外，在图113中，现实世界估计单元15013包括模型生成单元15021，公式生成单元15022，以及现实世界波形估计单元15023。模型生成单元15021，公式生成单元15022，以及现实世界波形估计单元15023对应于图111中的模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个，并且基本上执行与模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个相同的功能。

但是注意，在图113中，用户I/F 15016通过用户操作用户I/F15016输出的帮助信息仅提供给公式生成单元15022。

换句话说，在图113中，通过操作用户I/F 15016，对于公式生成单元15022，用户可以设置约束不具有运动模糊的图像的每个像素之间关系的约束条件，该图像是与输入图像相对应的现实世界1的图像，并且当用户执行操作以设置约束条件时，用户I/F 15016将表示由该操作设置的约束条件的约束条件信息提供给公式生成单元15022。

特别地，例如，观看显示在图像显示单元15015上、反映模糊图像的图像的用户猜测原始图像，也就是说，作为与输入图像相对应的现实世界1图像的不具有运动模糊的图像。而且，例如，用户猜测模糊发生的预先确定区域作为边缘部分，并且猜测每个像素之间像素值的关系(约束条件)，例如差在边缘部分处的相邻像素之间像素值(光度)之间大。此外，用户可以通过操作用户I/F 15016将适合于每个像素之间像素值的猜测关系的条件设置到公式生成单元15022中。

而且，在图113中，从处理区域设置单元15011提供给现实世界估计单元15013的处理区域信息提供给现实世界估计单元15013的模型生成单元15021和公式生成单元15022。模型生成单元15021和公式生成单元15022从处理区域设置单元15011提供的处理区域信息中识别输入图像中的处理区域。

连续性设置单元15012将输入图像中的运动量(运动矢量)设置为对象以每个快门时间v个像素的恒定速度在图像水平方向上运动的连续性信息，并且将该运动量v作为连续性信息提供给现实世界估计单元15013的模型生成单元15021。

模型生成单元15021产生公式(以下称作模型公式，如果适当的话)作为模型(以下称作关系模型，如果适当的话)，其关于由从处理区域设置单元15011提供的处理区域信息中识别的处理区域，模拟现实世界1的信号与作为输入图像的运动模糊图像的每个像素的像素值之间的关系，其考虑运动量v作为从连续性设置单元15012提供的连续性信息，并且将产生的模型公式提供给公式生成单元15022。

公式生成单元15022基于从用户I/F 15016提供的约束条件信息，产生约束条件表达式(以下称作约束条件表达式，如果适当的话)，并且将包括处理区域的输入图像的每个像素的像素值代入该约束条件表达式以及从模型生成单元15021提供给公式生成单元15022的模型公式中，从而产生公式以得到作为模拟现实世界1信号的模型(以下称作近似模型)的近似函数，并将其提供给现实世界波形估计单元15023。

现实世界波形估计单元15023通过计算从公式生成单元15022提供的公式来估计现实世界1信号的波形。换句话说，现实世界波形估计单元15023得到作为近似模型的近似函数，并且将近似函数作为现实世界1信号波形的估计结果提供给图像生成单元15014。这里，近似现实世界1信号的近似函数已经包含了作为固定函数的函数值，而不管其自变量值。

图像生成单元15014基于从处理区域设置单元15011提供的处理区域信息，识别输入图像的处理区域。而且，图像生成单元15014从现实世界波形估计单元15023提供的近似函数中产生更接近现实世界1信号的信号，也就是说，产生不具有运动模糊的图像，并且将输入图像的处理区域的图像用图像不具有运动模糊的图像取代，产生其作为输出图像，并且将其提供给图像显示单元15015。

接下来，将参考图114中的流程图描述图113中的信号处理设备4的处理。

首先，在步骤S15001中，信号处理设备4执行预处理，并且流程前进到步骤S15002。也就是说，信号处理设备4将从传感器2(图1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设置单元15011，连续性设置单元15012，现实世界估计单元15013，图像生成单元15014，以及图像显示单元15015。此外，信号处理设备4使得图像显示单元15015显示输入图像。

在步骤S15002中，用户I/F 15016确定是否存在由用户操作用户I/F 15016的某种用户输入。在步骤S15002中，如果确定不存在用户输入，也就是如果用户没有执行操作，步骤S15003～S15005被跳过，并且流程前进到步骤S15006。

另一方面，在步骤S15002中，如果确定存在用户输入，也就是如果用户已经观看显示在图像显示单元15015上的输入图像并且操作用户I/F 15016，从而执行指示某种指令或信息的用户输入，流程前进到步骤S15003，在那里用户I/F 15016确定用户输入是否是指示信号处理设备4处理结束的用户指令。

如果在步骤S15003中确定用户输入是结束指令，信号处理设备4结束处理。

而且，如果在步骤S15003中确定用户输入不是结束指令，流程前进到步骤S15004，在那里用户I/F 15016确定用户输入是否是约束条件信息。如果在步骤S15004中确定用户输入不是约束条件信息，步骤S15005跳过，并且流程前进到步骤S15006。

而且，如果在步骤S15004中确定用户输入是约束条件信息，流程前进到步骤S15005，在那里用户I/F 15016将约束条件信息提供给公式生成单元15022，并且流程前进到步骤S15006。

在步骤S15006中，处理区域设置单元15011基于输入图像设置处理区域，并且将标识处理区域的处理区域信息提供给连续性设置单元15012，现实世界估计单元15013的模型生成单元15021和公式生成单元15022，以及图像生成单元15014，并且流程前进到步骤S15007。现在，步骤S15006中处理区域的设置可以由用户通过操作用户I/F 15016输入处理区域指示信息来进行，并且可以基于该处理区域指示信息来执行，或者可以没有来自用户的处理区域指示信息而执行。

在步骤S15007中，连续性设置单元15012从处理区域设置单元15011提供的处理区域信息中识别输入图像中的处理区域。此外，连续性设置单元15012设置处理区域的图像数据的、其连续性的一部分已经丢失的现实世界1信号的连续性，并且显示该连续性的连续性信息提供给现实世界估计单元15013的模型生成单元15021，并且流程前进到步骤S15008。这里，连续性设置单元15012将表示以每个快门时间(曝光时间)v个像素的恒定速度在水平方向上的运动的运动量v设置为连续性信息，并且将其提供给现实世界估计单元15013的模型生成单元15021。这里，连续性设置单元15012将仅显示运动大小的运动量设置为连续性信息，假设对象在水平方向上运动，但是显示对象运动的大小和方向的运动矢量同样可以设置为连续性信息。步骤S15007中连续性的设置可以由用户通过操作用户I/F 15016输入连续性指示信息来进行，并且可以基于该连续性指示信息来执行，或者可以没有来自用户的连续性指示信息而执行。

现实世界估计单元15013在步骤S15008中执行现实世界估计处理。换句话说，对于现实世界估计单元15013，模型生成单元15021基于步骤S15007中从连续性设置单元15012提供的运动量v以及步骤S15006中从处理区域设置单元15011提供的处理区域信息，来产生作为模型(关系模型)的公式(模型公式)，其中具有运动模糊的输入图像的每个像素的像素值与现实世界1的信号之间的关系被模拟，并且产生的模型提供给公式生成单元15022。

公式生成单元15022基于步骤S15005中从用户I/F 15016提供的约束条件信息产生约束条件表达式，此外，从约束条件表达式以及从模型生成单元15021提供给公式生成单元15022的模型公式中，产生用于得到模拟现实世界1信号的模型(近似模型)的近似函数的公式，并且将输入图像的每个像素的像素值代入该公式，并且将其提供给现实世界波形估计单元15023。

现实世界波形估计单元15023通过计算从公式生成单元15022提供的公式来估计现实世界1信号的波形，也就是说，得到作为模拟现实世界1信号的模型的近似函数，并且将该近似函数作为现实世界1信号波形的估计结果提供给图像生成单元15014。

步骤S15008的现实世界估计处理随后将参考图130详细描述。

在步骤S15008的处理之后，流程前进到步骤S15009，并且图像生成单元15014从现实世界波形估计单元15023提供的近似函数中，产生更接近现实世界1信号的信号，也就是说，产生不具有运动模糊的图像，并且基于从处理区域设置单元15011提供的处理区域信息，将输入图像的处理区域的部分用产生的不具有运动模糊的图像取代，产生其作为输出图像，并提供给图像显示单元15015，并且流程前进到步骤S15010。

在步骤S15010中，图像显示单元15015显示从图像生成单元15014提供的输出图像，代替步骤S15001中显示的输入图像，或者与输入图像一起，并且流程前进到步骤S15011。

在步骤S15011中，与步骤S15002的情况一样，用户I/F 15016确定是否存在由用户操作用户I/F 15016的某种用户输入，并且如果确定不存在用户输入，也就是如果用户没有执行操作，流程返回到步骤S15011，并且等待某种用户输入。

而且，如果在步骤S15011中确定存在用户输入，也就是如果用户已经观看显示在图像显示单元15015上的输入图像或输出图像并且操作用户I/F 15016，从而执行表示某种指令或信息的用户输入，流程前进到步骤S15012，在那里用户I/F 15016确定用户输入是否是指示信号处理设备4处理结束的结束指令。

如果在步骤S15012中确定用户输入是结束指令，信号处理设备4结束处理。

另一方面，如果在步骤S15012中确定用户输入不是结束指令，流程前进到步骤S15013，在那里用户I/F 15016确定用户输入是否是约束条件信息。如果在步骤S15013中确定用户输入不是约束条件信息，流程返回到步骤S15011，此后重复相同的处理。

而且，在步骤S15013中，如果确定用户输入是约束条件信息，流程返回到步骤S15005，并且如上所述，用户I/F 15016将约束条件信息提供给公式生成单元15022。然后流程从步骤S15005前进到步骤S15006，此后重复相同的处理。

现在，如果信号处理设备4重复步骤S15005至步骤S15013的处理，上述步骤S15006和S15007的处理与由第一次处理S15006和S15007设置的相同，并且与第一次处理相同的处理可以重复，或者可以跳过。

这样，使用图113中的信号处理设备4，通过得到作为模拟现实世界1信号的模型的近似函数，不具有运动模糊的高图像质量的输出图像可以产生。

而且，通过操作用户I/F 15016，用户可以设置约束不具有运动模糊的原始图像中每个像素之间关系的约束条件，并且如果新的约束条件输入，不具有运动模糊的图像可以再次请求，因此根据用户喜好的具有高图像质量的输出图像可以容易地获取。

对于图113中的信号处理设备4，不具有运动模糊的输出图像通过得到近似现实世界1光信号的近似函数而产生，但是该输出图像可以看作运动模糊从输入图像中去除。因此，可以说使用图113中信号处理设备4的运动模糊去除处理被执行。

使用图113中信号处理设备4的运动模糊去除处理将在下面详细描述。首先，通过模拟(用公式表示)运动模糊产生的机理，模拟具有运动模糊的输入图像的每个像素的像素值与现实世界1的信号之间关系的关系模型产生。现实世界1的光信号不具有运动模糊，因此关系模型是运动模糊图像的每个像素的像素值与不具有运动模糊的图像的每个像素的像素值之间关系的模拟。

图115是描述现实世界1光信号的图。

如图115中所示，现实世界1的光信号看作X-Y平面(由作为空间方向的一个方向的X方向，以及与X方向垂直的Y方向形成的平面)上的波形F(x，y)。输入到图113的信号处理设备4的信号如上所述以v个像素的运动量在水平方向上运动，因此与以每个快门时间v个像素的运动量在作为空间方向X的相同方向上运动的波形F(x，y)是相同的值。以下，波形F(x，y)将称作光信号函数F(x，y)。

图113中信号处理设备4的现实世界估计单元15013通过基于来自传感器2的输入图像，得到近似现实世界1的光信号函数F(x，y)的近似函数f(x，y)来估计现实世界1的光信号函数F(x，y)。

作为传感器2的输出的输入图像是由多个像素构成的图像数据，其中现实世界1的上述光信号(光信号函数F(x，y))投影为来自具有积分效应的传感器的检测元件(像素)的像素值。

将参考图116来描述在传感器2为CCD的情况下的积分效应。

如图116中所示，多个检测元件(像素)15031布置在传感器2的平面上。

在图116中所示的实例中，平行于检测元件15031的一个预先确定边的方向取作作为空间方向中的一个方向的X方向，并且与X方向垂直的方向取作作为空间方向中的另一个方向的Y方向。与X-Y平面垂直的方向取作作为时间方向的t方向。

而且，对于图116中的实例，传感器2的各个检测元件15031(对应于传感器2输出的图像数据的像素)的空间形状取作一边长度为1的正方形。传感器2的快门时间(曝光时间)取作1。

此外，对于图116中的实例，传感器2的一个检测元件15031的中心取作空间方向(X方向和Y方向)上的原点(X方向上位置x＝0，并且Y方向上y＝0)，并且曝光时间的中间时间点取作时间方向(t方向)上的原点(t方向上位置t＝0)。

在该情况下，其中心在空间方向上原点(x＝0，y＝0)的检测元件15031使得光信号函数F(x，y，t)经历X方向上-0.5～0.5的范围，Y方向上-0.5～0.5的范围，以及t方向上-0.5～0.5的范围的积分，并且输出其积分值作为像素值P。

也就是说，从其中心位于空间方向上原点的检测元件15031输出的像素值P用下面的表达式(137)表示。

$P={\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}F(x,y,t)\mathrm{dxdydt}...\left(137\right)$

其他检测元件15031以相同的方法也通过取主体检测元件15031的中心为空间方向上的原点来输出表达式(137)中所示的像素值P。

因此，来自传感器2的输入图像是每个检测元件(像素)15031因传感器2的积分效应具有恒定像素值的数据的收集。而且，传感器2的积分效应包括现实世界1光信号的空间方向(X-Y方向)的积分(空间混合)以及时间方向(t方向)上的积分(时间混合)。

因此，即使在对象的运动模糊在输入图像中出现的情况下，严格地说，输入图像的每个像素的像素值是由空间积分效应和时间积分效应产生的值(空间混合和时间混合已经发生)，但是对于因水平方向上对象的运动而引起的运动模糊，时间积分效应的影响大，因此对于该实施方案，为了更容易地模拟运动模糊的产生，让我们假定近似函数f(x，y)被模拟为仅因对象每个曝光时间运动v个像素而产生时间积分效应。

换句话说，近似现实世界1的近似函数f(x，y)不具有空间积分效应，如图117中所示，也就是说，是在传感器的各个像素中具有恒定值的函数，并且让我们假定运动模糊发生的输入图像的各个像素的像素值是由图117中的近似函数f(x，y)以运动量v的恒定速度在水平方向上运动的时间积分值。

图118是说明在信号处理设备4中输入的输入图像与在处理区域设置单元15011中设置的处理区域的关系的图。

从传感器2(图1)输入到信号处理设备4的图像15041是在X方向的空间方向和Y方向的空间方向上具有预先确定数目像素的图像。

作为图像15041的一部分或全部的区域15042由处理区域设置单元15011设置为处理区域。说明图像15041中的区域15042的信息作为处理区域信息从处理区域设置单元15011提供给连续性设置单元15012，现实世界估计单元15013，以及图像生成单元15014。以下，区域15042将称作处理区域15042。

图119是说明处理区域15042的图。

处理区域15042是具有l＝10个像素的处理区域宽度以及k＝4的行数的区域，例如，如图119中所示。换句话说，在图119中，处理区域15042由10×4＝40个像素构成。

图120是说明在预先确定的时刻关于处理区域15042中y的值为预先确定的值y_c(y＝y_c)的一行的图117中近似函数f(x，y)的图。换句话说，图120是说明在预先确定的时刻近似函数f(x，y_c)的图。该近似函数f(x，y_c)是说明当时间方向t和空间方向Y为固定值时，像素值与空间方向X的位置的关系的近似函数f(x，y)，并且这将简单地称作近似函数f(x)。

图120中的近似函数可以表示为下面的表达式(138)。

$f\left(x\right)=\left\{\begin{array}{cc}{Q}_0& -0.5\&le;x<0.5\\ Q_1& 0.5\&le;x<1.5\\ Q_2& 1.5\&le;x<2.5\\ Q_3& 2.5\&le;x<3.5\\ Q_4& 3.5\&le;x<4.5\\ Q_5& 4.5\&le;x<5.5\\ Q_6& 5.5\&le;x<6.5\\ Q_7& 6.5\&le;x<7.5\\ Q_8& 7.5\&le;x<8.5\\ Q_9& 8.5\&le;x<9.5\end{array}\right....\left(138\right)$

表达式(138)是某一时刻的近似函数f(x)，实际上，近似函数f(x)具有运动量v，因此在图120中1/v时间之后，变成例如图121中所示。图121中的近似函数可以表示为下面的表达式(139)。

$f\left(x\right)=\left\{\begin{array}{cc}0& -0.5\&le;x<0.5\\ Q_0& 0.5\&le;x<1.5\\ Q_1& 1.5\&le;x<2.5\\ Q_2& 2.5\&le;x<3.5\\ Q_3& 3.5\&le;x<4.5\\ Q_4& 4.5\&le;x<5.5\\ Q_5& 5.5\&le;x<6.5\\ Q_6& 6.5\&le;x<7.5\\ Q_7& 7.5\&le;x<8.5\\ Q_8& 8.5\&le;x<9.5\end{array}\right....\left(139\right)$

此外，在图121中1/v时间之后，函数变成例如图122中所示，并且此时的近似函数f(x)用下面的表达式(140)表示。

$f\left(x\right)=\left\{\begin{array}{cc}0& -0.5\&le;x<0.5\\ 0& 0.5\&le;x<1.5\\ Q_0& 1.5\&le;x<2.5\\ Q_1& 2.5\&le;x<3.5\\ Q_2& 3.5\&le;x<4.5\\ Q_3& 4.5\&le;x<5.5\\ Q_4& 5.5\&le;x<6.5\\ Q_5& 6.5\&le;x<7.5\\ Q_6& 7.5\&le;x<8.5\\ Q_7& 8.5\&le;x<9.5\end{array}\right....\left(140\right)$

这里，对象的运动量v可以根据图120至图122中所示近似函数f(x)的运动看作图123中说明的简化形式。换句话说，对象每1/v时间立即移至水平方向上下一个像素的中心，并且在那里停留时间段1/v。因此，在1/v时间期间，与当对象没有运动时为相同值的像素值在传感器的像素中累积。而且，在下一个1/v时间期间，与当对象没有运动时相同的像素值关于在x方向上仅前进一个像素的像素而累积。

换句话说，如果对象(现实世界1的光信号)以运动量v运动，每个像素可以认为使得与当对象没有以运动量v运动时相同像素值的像素值的1/v倍，顺序累积每个1/v时间。

如上所述，即使我们将对象看作每1/v时间在x方向上立即运动仅一个像素，对象可以看作以每单位时间v个像素的运动量在x方向上以相同的速度运动，当在宏观级别来看时，如图123中直线说明的。

将参考图124至图126进一步描述具有运动量v的对象的传感器检测元件的累积(时间积分)。

图124是用X-t平面显示图120中所示在预先确定的精确时刻y＝y_c的近似函数f(x)的图。

在图124中，每个像素15031的X方向的宽度为1，如图116中所示，以及t方向上的高度为快门时间(＝1)。而且，每个像素15031的面积(X方向上的宽度×t方向上的高度)每个是在每个像素15031中累积的像素值Q₀～Q₉(由电荷的总量表示)。这些像素值Q₀～Q₉是不具有运动模糊的图像的像素值。

另一方面，图125是说明当对象以运动量v运动时时间积分并累积的像素值P₀～P₉，以便与图124中的像素值Q₀～Q₉相对应的图。换句话说，这是关于处理区域15042中y＝y_c的一行，输入图像的像素值P₀～P₉的X-t平面的图。

例如，基于上述图120至图123中描述的以v＝4(像素)的对象的运动，当图125中的像素值P₀～P₉使用图124中的像素值Q₀～Q₉表示时，结果例如图126中。

换句话说，对于快门时间的第一个1/v时间，相当于不具有运动模糊的像素值Q_h(h＝0～9)的1/v的像素值(与其相对应的电荷)累积在x＝h的每个像素中。然后，对于下一个1/v时间，像素在X方向上运动到运动方向侧一个像素(图中右侧的像素)上，并且相当于相同像素值Q_h(h＝0～8)的1/v的像素值累积在x＝h的每个像素中。以下，类似地，对于每个1/v时间，随着像素在X方向上运动到运动方向侧一个像素上，相当于像素值Q_h(h＝0～8)的1/v的像素值累积。以下，只要作为参考数字的变量h没有特殊限制，变量h将表示h＝0～9的整数。

换句话说，对于X＝0作为其中心的像素(以下，这将称作X＝0的像素)，像素值Q₀的像素值的1/v(Q₀/v)被累积。对于与X＝0的像素右侧紧邻的X＝1作为中心的像素(以下，这将称作X＝1像素)，作为像素值Q₁的1/v的像素值(Q₁/v)以及作为像素值Q₀的1/v的像素值(Q₀/v)被累积。对于与X＝1的像素右侧紧邻的X＝2作为中心的像素(以下，这将称作X＝2像素)，作为像素值Q₀的1/v的像素值(Q₁/v)，作为像素值Q₁的1/v的像素值(Q₁/v)以及作为像素值Q₂的1/v的像素值(Q₂/v)被累积。以下，作为像素值Q_h的1/v的像素值类似地对于每个像素每1/v时间移开，并且累积。

当用表达式表示图125和126中说明的关系时，下面的表达式(141)获得。

(Q₀+Q₁+Q₂+Q₃)/v＝P₃

(Q₁+Q₂+Q₃+Q₄)/v＝P₄

(Q₂+Q₃+Q₄+Q₅)/v＝P₅

(Q₃+Q₄+Q₅+Q₆)/v＝P₆

(Q₄+Q₅+Q₆+Q₇)/v＝P₇

(Q₅+Q₆+Q₇+Q₈)/v＝P₈

(Q₆+Q₇+Q₈+Q₉)/v＝P₉                             ...(141)

这里，对于x＝0，1或2的像素，存在累积像素值的空白(未知)区域。因此，P₀，P₁和P₂的每个没有在整个快门时间中获取累积的像素值，所以不能构建表达式。

表达式(141)是模拟运动模糊产生机理的联立方程，运动模糊图像的每个像素的像素值看作累积(积分)值，其中不具有运动模糊的图像的每个像素的像素值当以运动量v运动时被累积(积分)。在表达式(141)中，当对象以运动量v运动时的像素值P_h是输入到信号处理设备4中的输入图像的已经已知的像素值，而当对象不运动时的像素值Q_h表示将要得到的不模糊的像素值。

因此，当对象以运动量v运动时的像素值P_h可以说是当对象不运动时的像素值Q_h每1/v时间混合(时间混合)的像素值。以下，当对象以运动量v运动时的像素值P_h称作混合像素值P_h，而当对象不运动时的像素值Q_h简单地称作像素值Q_h。

作为模拟现实世界1信号的近似模型的近似函数f(x)用Q_h的值构成，如使用上述实例在表达式(139)中表示的，所以表达式(141)是作为模拟作为输入图像的运动模糊图像的每个像素的像素值与现实世界1信号之间关系的关系模型的模型公式。而且，得到不具有运动模糊的像素值Q_h与得到现实世界估计单元15013模拟现实世界1信号的近似函数f(x)相同。

上述联立方程(141)可以通过设置处理区域15042的处理区域宽度l和运动量v来构建。但是，与像素值Q_h的10个变量相比较，联立方程(141)仅具有7个表达式。因此，难以使用仅表达式(141)得到像素值Q_h。

因此将描述具有至少相同的表达式数目和变量数目的两种方法。

第一方法是假设处理区域的边缘部分“平坦”的方法。也就是说，如图127中所示，这是假设关于像素值的空白(未知)区域15051的累积像素值与作为第一1/v时间边缘部分的像素值Q₀的1/v的像素值(Q₀/v)相同的方法。

在该情况下，下面的表达式(142)可以重新获得。

(Q₀+Q₀+Q₀+Q₀)/v＝P₀

(Q₀+Q₀+Q₀+Q₁)/v＝P₁

(Q₀+Q₀+Q₁+Q₂)/v＝P₂                         ...(142)

从表达式(141)和表达式(142)中，表达式的数目是10且变量的数目是10，所以像素值Q_h可以得到。

使用参考图114中的流程图描述的处理，如果不存在用户对约束条件的指定(设置)，也就是说，如果公式生成单元15022的约束条件信号没有从用户I/F 15016提供，例如，第一方法可以使用。但是，对于第一方法，处理区域的边缘部分假设是“平坦的”，所以从使用第一方法得到的像素值Q_h中构造的图像在某种情况下可能具有产生的噪声。

因此，如果约束条件信息从用户I/F 15016提供给公式生成单元15022，不同于第一方法的第二方法可以应用。第二方法是通过组合表达式(141)以及假设(约束)不模糊的图像中相邻各个像素的像素值的关系而构建的表达式(以下称作约束条件表达式)来获取数目大于变量数目的表达式的方法。

通常，图像经常具有空间相关性，因此相邻像素经常不会差异很大。这样，例如，条件(以下称作约束条件)可以假设，以假定对于不产生运动模糊的每个像素的像素值Q_h，差为0(以下这将称作“相邻像素差＝0”)。该约束条件可以用下面的表达式(143)表示。

Q_h-1-Q_h＝0  h＝1，...，(l-1)                      ...(143)

而且，例如，陈述“像素值平滑改变”的条件可以被假设。该约束条件可以用下面的表达式(144)表示。

-Q_h-1+2Q_h-Q_h+1＝0  h＝1，...，(l-2)               ...(144)

观看显示在图像显示单元15015上反映模糊对象的图像的用户猜想原始图像，也就是说，作为与输入图像相对应的现实世界1图像的不具有运动模糊的图像，并且可以通过操作用户I/F 15016将表示猜想状态的像素之间的关系公式(约束条件)设置到公式生成单元15022中。

对于图113中的信号处理设备4，表达式(143)的约束条件所述由用户设置(指示表达式(143)的约束条件信息从用户I/F 15016提供)。在该情况下，关于图124中说明的行，可以获得用下面表达式(145)表示的约束条件表达式。

Q₀-Q₁＝0

Q₁-Q₂＝0

Q₂-Q₃＝0

Q₃-Q₄＝0

Q₄-Q₅＝0

Q₅-Q₆＝0

Q₆-Q₇＝0

Q₇-Q₈＝0

Q₈-Q₉＝0                                     ...(145)

表达式(145)具有9个表达式，并且当加到表达式(141)时，表达式的数目为16，而变量Q_h的数目是10，所以例如，通过使用最小二乘法，各个表达式中产生的误差平方和最小的变量Q_h可以计算。换句话说，运动模糊去除(不具有运动模糊)的像素值Q_h可以被估计。

特别地，如果在表达式(141)的每个表达式中产生的误差是e_mi(i＝3～9)，并且在表达式(145)的每个表达式中产生的误差是e_bj(b＝0～8)，表达式(141)和表达式(145)可以分别由表达式(146)和表达式(147)表示。

(Q₀+Q₁+Q₂+Q₃)/v＝P₃+e_m3

(Q₁+Q₂+Q₃+Q₄)/v＝P₄+e_m4

(Q₂+Q₃+Q₄+Q₅)/v＝P₅+e_m5

(Q₃+Q₄+Q₅+Q₆)/v＝P₆+e_m6

(Q₄+Q₅+Q₆+Q₇)/v＝P₇+e_m7

(Q₅+Q₆+Q₇+Q₈)/v＝P₈+e_m8

(Q₆+Q₇+Q₈+Q₉)/v＝P₉+e_m9                      ...(146)

Q₀-Q₁＝0+e_b0

Q₁-Q₂＝0+e_b1

Q₂-Q₃＝0+e_b2

Q₃-Q₄＝0+e_b3

Q₄-Q₅＝0+e_b4

Q₅-Q₆＝0+e_b5

Q₆-Q₇＝0+e_b6

Q₇-Q₈＝0+e_b7

Q₈-Q₉＝0+e_b8                              ...(147)

从表达式(146)和表达式(147)中，下面的表达式(148)成立。

$\left[\begin{array}{cccccccccc}1/v& 1/v& 1/v& 1/v& 0& 0& 0& 0& 0& 0\\ 0& 1/v& 1/v& 1/v& 1/v& 0& 0& 0& 0& 0\\ 0& 0& 1/v& 1/v& 1/v& 1/v& 0& 0& 0& 0\\ 0& 0& 0& 1/v& 1/v& 1/v& 1/v& 0& 0& 0\\ 0& 0& 0& 0& 1/v& 1/v& 1/v& 1/v& 0& 0\\ 0& 0& 0& 0& 0& 1/v& 1/v& 1/v& 1/v& 0\\ 0& 0& 0& 0& 0& 0& 1/v& 1/v& 1/v& 1/v\\ 1& -1& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 1& -1& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& -1& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 1& -1& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 1& -1& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 1& -1& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& -1& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 1& -1& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 1& -1\end{array}\right]\left[\begin{array}{c}{Q}_0\\ Q_1\\ Q_2\\ Q_3\\ Q_4\\ Q_5\\ Q_6\\ Q_7\\ Q_8\\ Q_9\end{array}\right]=\left[\begin{array}{c}{P}_3\\ P_4\\ P_5\\ P_6\\ P_7\\ P_8\\ P_9\\ 0\\ 0\\ 0\\ 0\\ 0\\ 0\\ 0\\ 0\\ 0\end{array}\right]\left[\begin{array}{c}{e}_{m3}\\ e_{m4}\\ e_{m5}\\ e_{m6}\\ e_{m7}\\ e_{m8}\\ e_{m9}\\ e_{b0}\\ e_{b1}\\ e_{b2}\\ e_{b3}\\ e_{b4}\\ e_{b5}\\ e_{b6}\\ e_{b7}\\ e_{b8}\end{array}\right]$ ...(148)

以下，只要变量i和j没有特殊限制，变量i将表示i＝3～9的整数而j将表示j＝0～8的整数。

表达式(148)使用矩阵A，以及列向量x，y和e用表达式(149)代替。

Ax＝y+e                                   ...(149)

在该情况下，表达式(146)的误差e_mi和表达式(147)的误差e_bj的均方误差的总和E可以用下面的表达式表示。

$E={\left|e\right|}^2=\mathrm{\&Sigma;}{e_{\mathrm{mi}}}^2+\mathrm{\&Sigma;}{e_{\mathrm{bj}}}^2$

$={(\mathrm{Ax}-y)}^T(\mathrm{Ax}-y)$

$=x^T{A}^T\mathrm{Ax}-2x^T{A}^{T}y+y^{T}y...\left(150\right)$

为了得到均方误差的总和E最小的Q_h，公式(150)的均方误差的总和E可以使得0作为对以Q_h作为分量的列向量x的偏微分的值的事实导致下面的表达式。

$\frac{\&PartialD;E}{\&PartialD;x}=2(A^T\mathrm{Ax}-A^{T}y)=0...\left(151\right)$

从表达式(151)中，将得到的列向量x(以Q_h的像素值作为分量的列向量x)可以用表达式(152)表示。

x＝(A^TA)^-1A^Ty                                   ...(152)

现在，对于表达式(152)，上标T意思是转置，并且上标-1意思是逆矩阵。

通过将混合像素值P_i作为向量的列向量y代入表达式(152)中并计算它，运动模糊去除(不具有运动模糊)的像素值Q_h可以估计。

图128是再次说明处理区域15042的图。

可以从表达式(152)中得到的列向量x(＝像素值Q_h)是图128中说明的处理区域15042的y＝y_c的一行的列向量x(＝像素值Q_h)，因此为了对于处理区域15042中所有像素估计不具有运动模糊的像素值，表达式(152)的计算必须重复与行数相同的次数k(＝4)。

换句话说，关于上面描述中y＝y_c行，如果执行处理以得到不具有运动模糊的像素值Q_h的一行称作关注行，现实世界估计单元15013将所有行的每个顺序地设置为关注行，并且通过执行处理以估计作为关注行的近似函数f(x)的像素值Q₀～Q₉，不具有运动模糊的图像可以关于输入图像的处理区域15042估计。

图129是图113中现实世界估计单元15013的内部的构造实例。

现实世界估计单元15013包括模型生成单元15021，公式生成单元15022，以及现实世界波形估计单元15023。此外，公式生成单元15022包括约束条件设置单元15061和正则方程生成单元15062。

作为连续性信息的运动量v从连续性设置单元15012作为连续性信息提供给模型生成单元15021。该实例中的运动量v表示在由处理区域设置单元15011设置的输入图像的处理区域内，对象在每个快门时间在水平方向上运动仅v个像素，与上述实例一样，例如v＝4。而且，运动量v可以是对每行而不同的值，并且如果运动量v对每行不同，等于行数的k个运动量v作为连续性信息从连续性设置单元15012提供给模型生成单元15021。

而且，指定输入图像中处理区域的处理区域信息也从处理区域设置单元15011提供给模型生成单元15021。在使用以矩形区域作为处理区域的处理区域的情况下，处理区域信息可以例如由关于输入图像的预先确定位置(像素)作为原点的绝对坐标系的矩形处理区域对角处的坐标值，或者处理区域的中心坐标以及处理区域的宽度(水平方向)和高度(垂直方向)等来表示。

模型生成单元15021从处理区域设置单元15011提供的处理区域信息中获取例如图119中所示的处理区域宽度l和行数k。在该实例中，让我们假定处理区域15042是矩形，并且例如具有l＝10和k＝4。在该情况下，每行的处理区域宽度(像素数目)相同，但是对于处理区域15042，每行可以具有不同的处理区域宽度。在处理区域宽度l对每行不同的情况下，模型生成单元15021获取与行数相同的数目(k)个处理区域宽度l。

而且，模型生成单元15021基于从连续性设置单元15012提供的运动量v以及从处理区域信息中获取的处理区域宽度l和行数k，产生上述表达式(141)中所示的混合像素值Pi的公式(模型公式)，并且将其提供给正则方程生成单元15062。

由用户操作用户I/F 15016指定的约束条件信息从用户I/F 15016提供给约束条件设置单元15061。例如，用户使用用户I/F 15016执行操作以从已经预先设置在约束条件设置单元15061内部、约束不具有运动模糊的图像的每个像素的像素值Q_h的关系的约束条件，例如上述表达式(143)或表达式(144)中，选择(指定)期望的约束条件，并且用户I/F 15016将描述所选约束条件的信息作为约束条件信息提供给约束条件设置单元15061。

约束条件设置单元15061从约束条件设置单元15061自身内的约束条件表达式中选择与从用户I/F 15016提供的约束条件信息相对应的约束条件表达式。此外，约束条件设置单元15061基于从处理区域设置单元15011提供给公式生成单元15022的输入图像的处理区域信息获取处理区域宽度l，并且仅产生与处理区域宽度l相对应数目的约束条件表达式。例如，如果使用条件“相邻像素差＝0”作为约束条件信息的表达式(143)，约束条件设置单元15061通过基于从处理区域设置单元15011提供的处理区域信息获取处理区域宽度l，来产生由上述表达式(145)表示的约束条件表达式，并且将其提供给正则方程生成单元15062。在图119中说明的处理区域15042的实例中，处理区域15042是矩形，并且处理区域宽度l对每行相同，但是在处理区域宽度l对每行不同的情况下，约束条件表达式的数目也对每行不同。

来自模型生成单元15021具有与行数相同的k个混合像素值Pi的公式，(表达式(141))，以及与由用户操作用户I/F 15016从约束条件设置单元15061中选择的约束条件相对应的约束条件表达式(表达式(145))提供给正则方程生成单元15062。

首先，如图128中所示，正则方程生成单元15062从处理区域15042中选择预先确定的行作为关注行。然后正则方程生成单元15062从由模型生成单元15021提供的表达式(141)表示的混合像素值P_i公式以及由约束条件设置单元15061提供的表达式(145)表示的约束条件表达式中，产生由表达式(148)(表达式(149))表示的与所选关注行相对应的正则方程。

此外，正则方程生成单元15062计算矩阵(A^TA)^-1A^T，其是表达式(152)右侧列向量v的系数，并且将基于从传感器2(图1)提供的输入图像而获取的混合像素值P_i代入列向量y中。矩阵(A^TA)^-1A^T被计算，并且混合像素值P_i代入其中的表达式(152)进一步从正则方程生成单元15062提供给现实世界波形估计单元15023。

当正则方程生成单元15062完成正则方程的上述生成，矩阵(A^TA)^-1A^T的计算，以及处理例如混合像素值P_i的代入时，还没有选择的行选作下一个关注行，并且类似的处理关于所选下一个关注行而执行。

现实世界波形估计单元15023，通过计算从正则方程生成单元15062提供的表达式(152)，得到列向量x，也就是说，不具有运动模糊的像素值Q_h(近似函数)，并且将其提供给图像生成单元15014(图113)。

图像生成单元15014基于从处理区域设置单元15011提供的处理区域信息，将输入图像的处理区域15042的一部分用从现实世界波形估计单元15023提供的不具有运动模糊的像素值Q_h的图像取代，并且产生其作为输出图像，并提供给图像显示单元15015。

接下来，将参考图130中的流程图详细描述图114的步骤S15008中现实世界估计单元15013的现实世界估计处理。

首先，在步骤S15031中，模型生成单元15021基于从处理区域设置单元15011提供的处理区域信息获取处理区域宽度l和行数k，并且流程前进到步骤S15032。

在步骤S15032中，模型生成单元15021从连续性设置单元15012获取运动量v，其相当于处理区域15042中的行数k，并且流程前进到步骤S15033。

在步骤S15033中，模型生成单元15021对于每行产生混合像素值P_i的公式，并且流程前进到步骤S15034。换句话说，模型生成单元15021产生k个模型公式(表达式(141))。

在步骤S15034中，约束条件设置单元15061从约束条件设置单元自身内存在的约束条件表达式中选择与从用户I/F 15016提供的约束条件信息相对应的约束条件表达式。而且，约束条件设置单元15061从处理区域设置单元15011提供给公式生成单元15022的输入图像的处理区域信息中获取处理区域宽度l，并且产生与来自用户接15016的约束条件信息相对应的约束条件表达式(表达式(145))，其包括与处理区域宽度l相对应的数目的公式，并且流程前进到步骤S15035。

在步骤S15035中，正则方程生成单元15062从处理区域15042中选择一个预先确定的行作为关注行，并且流程前进到步骤S15036。

在步骤S15036中，正则方程生成单元15062从由模型生成单元15021提供的表达式(141)表示的混合像素值P_i的公式(模型公式)以及由约束条件设置单元15061提供的表达式(145)表示的约束条件的公式(约束条件表达式)中，产生由表达式(148)(表达式(149))表示的正则方程，并且流程前进到步骤S15037。

在步骤S15037中，正则方程生成单元15062计算矩阵(A^TA)^-1A^T，其是表达式(152)右侧列向量y的系数，并且流程前进到步骤S15038。

在步骤S15038中，正则方程生成单元15062将基于从传感器2(图1)提供的输入图像而获取的混合像素值P_i代入列向量y中，并且流程前进到步骤S15039。

在步骤S15039中，现实世界波形估计单元15023计算正则方程。也就是说，现实世界波形估计单元15023通过计算从正则方程生成单元15062提供的表达式(152)得到不具有运动模糊的像素值Q_h，并且流程前进到步骤S15040。

在步骤S15040中，确定处理是否执行以得到关于处理区域15042的所有行的不具有运动模糊的像素值Q_h。如果确定处理没有执行以得到关于处理区域15042的所有行的不具有运动模糊的像素值Q_h，处理返回到步骤S15035，并且重复步骤S15035～S15040中的处理。也就是说，处理区域15042中还没有选择的行选作下一个关注行，并且处理被执行以得到不具有运动模糊的像素值Q_h。

另一方面，如果确定处理被执行以得到关于处理区域15042的所有行的不具有运动模糊的像素值Q_h，现实世界估计处理结束并返回。

因此，通过产生关于作为处理区域15042的关注行的一行的正则方程(表达式(148))，并且重复得到不具有运动模糊的像素值Q_h的处理k次，k是处理区域15042中的行数，不具有运动模糊的像素值Q_h可以跨越处理区域15042的整个区域而得到。

如果运动量v和处理区域宽度l对于处理区域15042的每行相同，表达式(148)中的矩阵A对每行相同。因此，表达式(148)中的矩阵(A^TA)^-1A^T也对每行相同，对每行计算矩阵(A^TA)^-1A^T的处理可以省略。

接下来，将参考图131的流程图描述在运动量v和处理区域宽度l对于处理区域15042的每行相同的情况下图114的步骤S15008中现实世界估计单元15013的现实世界估计处理。但是，图131中与图130中流程图类似的部分将省略其描述，如果适当的话。

在图131中，与图130中步骤S15035相对应的步骤S15057的处理不位于步骤S15054和S15055之间，而是位于步骤S15056和S15058之间。此外，在步骤S15060中，如果确定处理没有执行以得到关于处理区域15042的所有行的不具有运动模糊的像素值Q_h，处理返回到步骤S15057。

换句话说，如果处理区域15042的每行的运动量v和处理区域宽度l每个相同，步骤S15055中产生的正则方程对每行相同，因此，在步骤S15056中关于第一个关注行计算矩阵(A^TA)^-1A^T之后，关于剩余关注行计算矩阵(A^TA)^-1A^T(步骤S15056中的处理)是不必要的。因此，关注行的选择(步骤S15057)，混合像素值P_i的代入(步骤S15058中的处理)，以及正则方程的计算(步骤S15059中的处理)仅需要关于处理区域15042中没有选择的行顺序地执行。

因此，对于图113中说明的实施方案，正则方程从产生运动模糊的像素值用不具有运动模糊的像素值模拟的混合像素值P_i的公式(模型公式)，以及使用不具有运动模糊的像素值的相邻像素之间关系的约束条件表达式中产生，并且通过计算该正则方程，不具有运动模糊的像素值(近似函数)得到，因此具有良好图像质量的图像可以产生。

图132至134是描述图113中信号处理设备4的处理结果的图。

图132说明输入到图113中信号处理设备4中的输入图像。对于图132中的输入图像，字符“TAL”以相同的速度在从左到右的方向上运动，并且运动模糊在水平方向上发生。

图133是使用上述第一方法的图像，也就是说，假设处理区域的边缘部分平坦的表达式增加到来自图132中输入图像的模型公式且正则方程产生，并且图133中的图像通过计算正则方程而产生。通过比较图132和图133，图133中的图像清晰，图132中输入图像中发生的运动模糊减小，并且字符“TAL”相对清晰地显示。

另一方面，图134是使用上述第二方法的图像，也就是说，正则方程通过将约束来自图132中输入图像的相邻像素值的关系的条件表达式增加到模型公式而产生，并且图134中的图像通过计算正则方程而产生。同样在图134中的图像中，图132中输入图像中发生的运动模糊减小，并且字符“TAL”相对清晰地显示。

对于图132至134中的实施方案，根据第二方法的图134中的图像是具有较少噪声及不具有运动模糊的图像，与根据第一方法的图133中的图像相比较。

在上面的实例中，从用户I/F 15016提供给约束条件设置单元15061的约束条件信息所述为表示用户从预先设置在约束条件设置单元15061内部的几个约束条件中选择(指定)哪个约束条件的信息，但是它可以是这样的，即用户可以通过操作用户I/F 15016直接输入约束条件表达式。

对于图113中说明的信号处理设备4的实施方案，不具有运动模糊的图像产生，使得用表达式(150)表示的均方误差的总和E变得尽可能小，也就是说，产生使得在混合像素值P_i的公式中发生的误差以及在约束条件表达式中发生的误差变得尽可能小。与此对应，例如，在表达式(146)的混合像素值P_i的公式中发生的误差e_mi和在表达式(147)的约束条件表达式中发生的误差e_bj中，一个误差或另一个可以尽可能小，因此模型公式与约束条件表达式的均衡(权重)可以被调节，从而产生不具有运动模糊的图像。

图135说明信号处理设备4的实施方案的这种构造实例，其通过调节混合像素值P_i的公式(模型公式)以及约束条件的公式(约束条件表达式)的权重来产生不具有运动模糊的图像。

换句话说，图135说明图111中所示信号处理设备4的应用实例的另一种实施方案的构造实例。

作为传感器2的数据3的例如一帧或一场的图像输入到图135中的信号处理设备4中。这里，我们假定以每个快门时间(曝光时间)v个像素的固定速度在图像水平方向(横向)上运动的具有预先确定形状的对象显示在输入图像中。也就是说，对象以v个像素的运动量在水平方向上运动，因此对象的光信号与除对象之外的部分的光信号因传感器2的时间积分效应而混合(时间混合)，因此，输入图像变成例如对象边缘部分中的模糊图像。图135中所示信号处理设备4产生高质量输出图像，其中因这种时间混合而引起的运动模糊已经从输入图像中去除。

在图135中，处理区域设置单元15081，连续性设置单元15082，现实世界估计单元15083，图像生成单元15084，图像显示单元15085，以及用户I/F 15086，每个对应于图111中所示的处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F10006相同的处理。此外，在图135中，现实世界估计单元15083包括模型生成单元15091，公式生成单元15092，以及现实世界波形估计单元15093。模型生成单元15091，公式生成单元15092，以及现实世界波形估计单元15093对应于图111中的模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个，并且基本上执行与模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个相同的功能。

但是注意，在图135中，用户I/F 15086通过用户操作用户I/F15086输出的帮助信息提供给公式生成单元15092。

换句话说，在图135中，通过操作用户I/F 15086，对于公式生成单元15092，用户可以设置约束不具有运动模糊的图像的每个像素之间关系的约束条件，该图像是与输入图像相对应的现实世界1的图像，并且当用户执行操作以设置约束条件时，用户I/F 15086将表示由该操作设置的约束条件的约束条件信息提供给公式生成单元15092。

特别地，例如，观看显示在图像显示单元15085上、反映模糊图像的图像的用户猜测原始图像，也就是说，作为与输入图像相对应的现实世界1图像的不具有运动模糊的图像。而且，例如，用户猜测模糊发生的预先确定区域作为边缘部分，并且猜测每个像素之间像素值的关系(约束条件)，例如差在边缘部分处的相邻像素之间像素值(光度)之间大。此外，用户可以通过操作用户I/F 15086将适合于每个像素之间像素值的猜测关系的条件设置到公式生成单元15092中。

而且，在图135中，从处理区域设置单元15081提供给现实世界估计单元15083的处理区域信息提供给现实世界估计单元15083的模型生成单元15091和公式生成单元15092。模型生成单元15091和公式生成单元15092从处理区域设置单元15081提供的处理区域信息中识别输入图像中的处理区域。

连续性设置单元15082将输入图像中的运动量(运动矢量)v设置为对象以每个快门时间v个像素的恒定速度在图像水平方向上运动的连续性信息，并且将该运动量v作为连续性信息提供给现实世界估计单元15083的模型生成单元15091。

模型生成单元15091产生公式(以下称作模型公式，如果适当的话)作为模型(以下称作关系模型，如果适当的话)，其关于由从处理区域设置单元15081提供的处理区域信息中识别的处理区域，模拟现实世界1的信号与作为输入图像的运动模糊图像的每个像素的像素值之间的关系，其考虑运动量v作为从连续性设置单元15082提供的连续性信息，并且将产生的模型公式提供给公式生成单元15092。

公式生成单元15092基于从用户I/F 15086提供的约束条件信息，产生约束条件表达式(以下称作约束条件表达式，如果适当的话)。而且，公式生成单元15092将用于调节从模型生成单元15091提供的模型公式的均衡的权重设置到约束条件表达式中，并且将包括处理区域的输入图像的每个像素的像素值代入由加权的约束条件表达式以及模型公式形成的公式中，因此，产生公式以得到作为模拟现实世界1信号的模型(以下称作近似模型)的近似函数，并将其提供给现实世界波形估计单元15093。

现实世界波形估计单元15093通过计算从公式生成单元15092提供的公式来估计现实世界1信号的波形。换句话说，现实世界波形估计单元15093得到作为近似模型的近似函数，并且将近似函数作为现实世界1信号波形的估计结果提供给图像生成单元15084。注意，近似现实世界1信号的近似函数包括具有恒定函数值的函数，而不管自变量值。

图像生成单元15084从处理区域设置单元15081提供的处理区域信息中识别输入图像中的处理区域。而且，图像生成单元15084从现实世界波形估计单元15093提供的近似函数中产生更接近现实世界1信号的信号，也就是说，产生不具有运动模糊的图像，并且将输入图像的处理区域的图像用图像不具有运动模糊的输出图像取代，产生其作为输出图像，并且将其提供给图像显示单元15085。

接下来，将参考图136中的流程图描述图135中的信号处理设备4的处理。

首先，在步骤S15081中，信号处理设备4执行预处理，并且流程前进到步骤S15082。也就是说，信号处理设备4将从传感器2(图1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设置单元15081，连续性设置单元15082，现实世界估计单元15083，图像生成单元15084，以及图像显示单元15085。此外，信号处理设备4使得图像显示单元15085显示输入图像。

在步骤S15082中，用户I/F 15086确定是否存在由用户操作用户I/F 15086的某种用户输入。在步骤S15082中，如果确定不存在用户输入，也就是如果用户没有执行操作，流程跳过步骤S15083～S15085，并且前进到步骤S15086。

另一方面，如果在步骤S15082中确定存在用户输入，也就是如果用户已经观看显示在图像显示单元15085上的输入图像并且操作用户I/F 15086，从而执行指示某种指令或信息的用户输入，流程前进到步骤S15083，在那里用户I/F 15086确定用户输入是否是指示信号处理设备4处理结束的结束指令。

如果在步骤S15083中确定用户输入是结束指令，信号处理设备4结束处理。

另一方面，如果在步骤S15083中确定用户输入不是结束指令，流程前进到步骤S15084，在那里用户I/F 15086确定用户输入是否是约束条件信息。如果在步骤S15084中确定用户输入不是约束条件信息，流程跳过步骤S15085，并且前进到步骤S15086。

而且，在步骤S15084中，如果确定用户输入是约束条件信息，流程前进到步骤S15085，并且用户I/F 15086将约束条件信息提供给公式生成单元15092，并且流程前进到步骤S15086。

在步骤S15086中，处理区域设置单元15081基于输入图像设置处理区域，并且将标识处理区域的处理区域信息提供给连续性设置单元15082，现实世界估计单元15083的模型生成单元15091和公式生成单元15092，以及图像生成单元15084，并且流程前进到步骤S15087。这里，在步骤S15086中处理区域的设置中，用户通过操作用户I/F 15086输入处理区域指示信息，并且这可以基于处理区域指示信息来执行，或者它可以没有来自用户的处理区域指示信息而执行。

在步骤S15087中，连续性设置单元15082从处理区域设置单元15081提供的处理区域信息中识别输入图像中的处理区域。此外，连续性设置单元15082设置从处理区域的图像数据中连续性的一部分中丢失的现实世界1信号的连续性，并且将表示该连续性的连续性信息提供给现实世界估计单元15083的模型生成单元15091，并且流程前进到步骤S15088。

这里，连续性设置单元15082将表示以每个快门时间(曝光时间)v个像素的恒定速度在水平方向上的运动的运动量v设置为连续性信息，并且将其提供给现实世界估计单元15083的模型生成单元15091。连续性设置单元15082将仅显示运动大小的运动量设置为连续性信息，假设对象在水平方向上运动，但是显示对象运动的大小和方向的运动矢量同样可以设置为连续性信息。步骤S15087中连续性的设置可以由用户通过操作用户I/F 15086输入连续性指示信息来进行，并且可以基于该连续性指示信息来执行，或者可以没有来自用户的连续性指示信息而执行。

现实世界估计单元15083在步骤S15088中执行现实世界估计处理。换句话说，对于现实世界估计单元15083，模型生成单元15091基于步骤S15087中从连续性设置单元15082提供的运动量v以及步骤S15086中从处理区域设置单元15081提供的处理区域信息，来产生作为模型(关系模型)的公式(模型公式)，其中具有运动模糊的输入图像的每个像素的像素值与现实世界1的信号之间的关系被模拟，并且产生的模型提供给公式生成单元15092。

公式生成单元15092基于步骤S15085中从用户I/F 15086提供的约束条件信息产生约束条件表达式，并且设置用于调节产生的约束条件表达式中与模型公式的均衡的权重。而且，公式生成单元15092从加权的约束条件表达式以及模型生成单元15091提供给公式生成单元15092的模型公式中，产生用于得到模拟现实世界1信号的模型(近似模型)的近似函数的公式，并且将输入图像的每个像素的像素值代入该公式中，并且将其提供给现实世界波形估计单元15093。如果用户没有指定(设置)约束条件信息，也就是说，如果在步骤S15082或S15084中的情况下确定否，公式生成单元15092执行预先确定的处理例如求解由模型公式以及假设处理区域边缘部分“平坦”的公式形成的联立方程的方法，例如图113中实施方案中描述的。

现在，权重可以仅对于约束条件表达式，仅对于模型公式，或者对于约束条件表达式和模型公式二者来设置。

现实世界波形估计单元15093通过计算从公式生成单元15092提供的公式来估计现实世界1信号的波形，也就是说，得到作为模拟现实世界1信号的模型的近似函数，并且近似函数作为现实世界1信号波形的估计结果提供给图像生成单元15084。

步骤S15088的现实世界估计处理的细节随后将参考图138描述。

在步骤S15088的处理之后，流程前进到步骤S15089，并且图像生成单元15084从现实世界波形估计单元15093提供的近似函数中，产生更接近现实世界1信号的信号，也就是说，产生不具有运动模糊的图像，并且基于从处理区域设置单元15081提供的处理区域信息，将输入图像的处理区域的部分用产生的不具有运动模糊的图像取代，产生其作为输出图像，并提供给图像显示单元15085，并且流程前进到步骤S15090。

在步骤S15090中，图像显示单元15085显示从图像生成单元15084提供的输出图像，代替步骤S15081中显示的输入图像，或者与输入图像一起，并且流程前进到步骤S15091。

在步骤S15091中，与步骤S15082的情况一样，用户I/F 15086确定是否存在由用户操作用户I/F 15086的某种用户输入，并且如果确定不存在用户输入，也就是如果用户没有执行操作，流程返回到步骤S15091，并且等待某种用户输入。

而且，如果在步骤S15091中确定存在用户输入，也就是如果用户已经观看显示在图像显示单元15085上的输入图像或输出图像并且操作用户I/F 15086，从而执行表示某种指令或信息的用户输入，流程前进到步骤S15092，在那里用户I/F 15086确定用户输入是否是指示信号处理设备4处理结束的结束指令。

如果在步骤S15092中确定用户输入是结束指令，信号处理设备4结束处理。

另一方面，如果在步骤S15092中确定用户输入不是结束指令，流程前进到步骤S15093，在那里用户I/F 15086确定用户输入是否是约束条件信息。如果在步骤S15093中确定用户输入不是约束条件信息，流程返回到步骤S15091，此后重复相同的处理。

而且，在步骤S15093中，如果确定用户输入是约束条件信息，流程返回到步骤S15085，并且如上所述，用户I/F 15086将约束条件信息提供给公式生成单元15092。然后流程从步骤S15085前进到步骤S15086，此后重复相同的处理。现在，如果信号处理设备4重复步骤S15085至步骤S15093的处理，上述步骤S15086和S15087的处理与由第一次处理S15086和S15087设置的相同，并且与第一次处理相同的处理可以重复，或者可以跳过。

这样，使用图135中的信号处理设备4，通过得到模拟现实世界1信号的模型的近似函数，不具有运动模糊的高图像质量的输出图像可以产生。

而且，通过操作用户I/F 15086，用户可以设置约束不具有运动模糊的原始图像中每个像素之间关系的约束条件，并且如果新的约束条件输入，不具有运动模糊的图像可以再次获得，因此根据用户喜好的具有高图像质量的输出图像可以容易地获取。

在图135中的信号处理设备4中，不具有运动模糊的输出图像通过得到近似现实世界1光信号的近似函数而产生，但是该输出图像可以看作运动模糊从输入图像中去除。因此，可以说使用图135中信号处理设备4的运动模糊去除处理被执行。

接下来，将参考图137描述图135中现实世界估计单元15083的内部构造。同样，对于图135中的实施方案，产生反映在输入图像中的对象运动模糊的机理模拟为上述表达式(141)的关系，其是图125和126中所示的实例。

换句话说，作为输入图像的运动模糊图像的每个像素的像素值是不具有运动模糊的图像的每个像素的像素值(或与其相对应的电荷)在以运动量v运动时累积(积分)，并且模拟运动模糊产生机理的值。

现实世界估计单元15083包括模型生成单元15091，公式生成单元15092，以及现实世界波形估计单元15093。此外，公式生成单元15092包括约束条件设置单元15101，权重改变单元15102和正则方程生成单元15103。

作为连续性信息的运动量v由连续性设置单元15082提供给模型生成单元15091。该实例中的运动量v表示在处理区域设置单元15081中设置的输入图像的处理区域内，以每个快门时间v个像素的恒定速度在水平方向上运动的对象的连续性，与上述实例一样，例如v＝4。而且，运动量v可以是对每行而不同的值，并且如果运动量v对每行不同，等于行数的k个运动量v作为连续性信息从连续性设置单元15082提供给模型生成单元15091。

而且，指定输入图像中处理区域的处理区域信息也从处理区域设置单元15081提供给模型生成单元15091。在使用矩形区域作为处理区域的情况下，处理区域信息可以例如由关于输入图像的预先确定位置(像素)作为原点的绝对坐标系的矩形处理区域对角处的坐标值，或者处理区域的中心坐标以及处理区域的宽度(水平方向)和高度(垂直方向)等来表示。

模型生成单元15091从处理区域设置单元15081提供的处理区域信息中获取例如图119中所示的处理区域宽度1和行数k。在该实例中，让我们假定处理区域15042是矩形，并且例如具有l＝10和k＝4。在该情况下，每行的处理区域宽度(像素数目)相同，但是对于处理区域15042，每行可以具有不同的处理区域宽度。在处理区域宽度l对每行不同的情况下，模型生成单元15091获取与行数相同的数目(k)个处理区域宽度l。

而且，模型生成单元15091基于从连续性设置单元15082提供的运动量v以及从处理区域信息中获取的处理区域宽度l和行数k，产生上述表达式(141)中所示的混合像素值P_i的公式(模型公式)，并且将其提供给正则方程生成单元15103。

由用户操作用户I/F 15086指定的约束条件信息从用户I/F 15086提供给约束条件设置单元15101。例如，用户使用用户I/F 15086执行操作以从已经预先设置在约束条件设置单元15101内部、约束不具有运动模糊的图像的每个像素的像素值Q_h的关系的约束条件，例如上述表达式(143)或表达式(144)中，选择(指定)期望的约束条件，并且用户I/F 15086将描述所选约束条件的信息作为约束条件信息提供给约束条件设置单元15101。

约束条件设置单元15101从约束条件设置单元15101自身内的约束条件表达式中选择与从用户I/F 15086提供的约束条件信息相对应的约束条件表达式。此外，约束条件设置单元15101基于从处理区域设置单元15081提供给公式生成单元15092的输入图像的处理区域信息获取处理区域宽度l，并且仅产生与处理区域宽度l相对应数目的约束条件表达式。例如，如果使用条件“相邻像素差＝0”作为约束条件信息的表达式(143)，约束条件设置单元15101通过基于从处理区域设置单元15091提供的处理区域信息获取处理区域宽度l，来产生由上述表达式(145)表示的约束条件表达式，并且将其提供给正则方程生成单元15103。在图119中说明的处理区域15042的实例中，处理区域15042是矩形，并且处理区域宽度l对每行相同，但是在处理区域宽度l对每行不同的情况下，约束条件表达式的数目也对每行不同。

关于模型公式的权重W_m和关于约束条件表达式的权重W_b预先设置在权重改变单元15102中。对于该实施方案，关于约束条件表达式的加权系数W由表达式(153)设置，并且仅使用关于约束条件表达式的权重，模型公式与约束条件表达式的均衡被调节。

W＝W_b/W_m                                      ...(153)

权重改变单元15102通过将加权系数W提供给正则方程生成单元15103，来改变由正则方程生成单元15103产生的正则方程中模型公式和约束条件表达式的权重。

来自模型生成单元15091具有与行数相同的k个混合像素值P_i公式(表达式(141))，以及与由用户操作用户I/F 15086从约束条件设置单元15101中选择的约束条件相对应的约束条件表达式(表达式(145))提供给正则方程生成单元15103。

对于正则方程生成单元15103，加权系数W由权重改变单元15102关于误差e_bj在从约束条件设置单元15101提供的约束条件表达式(145)中考虑的表达式(147)而设置(原本为1∶1的关于模型公式和约束条件〔公式？〕的权重W被改变)。

换句话说，表达式(147)变成其两侧乘以权重W的下面表达式(154)。这里，加权系数W是例如预先确定的值例如0.1。在该情况下，使得模型公式的误差e_mi小于约束条件表达式的误差e_bj的像素值Q_h被得到。

W(Q₀-Q₁)＝We_b0

W(Q₁-Q₂)＝We_b1

W(Q₂-Q₃)＝We_b2

W(Q₃-Q₄)＝We_b3

W(Q₄-Q₅)＝We_b4

W(Q₅-Q₆)＝We_b5

W(Q₆-Q₇)＝We_b6

W(Q₇-Q₈)＝We_b7

W(Q₈-Q₉)＝We_b8                                 ...(154)

正则方程生成单元15103如图128中所示从处理区域15042中选择一个预先确定的行作为关注行。然后，正则方程生成单元15103从由模型生成单元15091提供的表达式(141)表示的、与所选关注行相对应的混合像素值P_i公式(模型公式)以及由加权系数W增加到约束条件设置单元15101提供的表达式(145)的表达式(154)表示的约束条件表达式中，产生由下面表达式(155)表示的正则方程。

$\left[\begin{array}{cccccccccc}1/v& 1/v& 1/v& 1/v& 0& 0& 0& 0& 0& 0\\ 0& 1/v& 1/v& 1/v& 1/v& 0& 0& 0& 0& 0\\ 0& 0& 1/v& 1/v& 1/v& 1/v& 0& 0& 0& 0\\ 0& 0& 0& 1/v& 1/v& 1/v& 1/v& 0& 0& 0\\ 0& 0& 0& 0& 1/v& 1/v& 1/v& 1/v& 0& 0\\ 0& 0& 0& 0& 0& 1/v& 1/v& 1/v& 1/v& 0\\ 0& 0& 0& 0& 0& 0& 1/v& 1/v& 1/v& 1/v\\ W& -W& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& W& -W& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& W& -W& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& W& -W& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& W& -W& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& W& -W& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& W& -W& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& W& -W& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& W& -W\end{array}\right]\left[\begin{array}{c}{Q}_0\\ Q_1\\ Q_2\\ Q_3\\ Q_4\\ Q_5\\ Q_6\\ Q_7\\ Q_8\\ Q_9\end{array}\right]=\left[\begin{array}{c}{P}_3\\ P_4\\ P_5\\ P_6\\ P_7\\ P_8\\ P_9\\ 0\\ 0\\ 0\\ 0\\ 0\\ 0\\ 0\\ 0\\ 0\end{array}\right]\left[\begin{array}{c}{e}_{m3}\\ e_{m4}\\ e_{m5}\\ e_{m6}\\ e_{m7}\\ e_{m8}\\ e_{m9}\\ {\mathrm{We}}_{b0}\\ W{e}_{b1}\\ W{e}_{b2}\\ {\mathrm{We}}_{b3}\\ W{e}_{b4}\\ W{e}_{b5}\\ W{e}_{b6}\\ {\mathrm{We}}_{b7}\\ {\mathrm{We}}_{b8}\end{array}\right]$ ...(155)

e_mi是在表达式(141)的每个表达式中发生的误差，而e_bj是在表达式(154)的每个表达式中发生的误差。

这里，表达式(155)将使用矩阵A′以及列向量x，y和e′由表达式(156)代替。

A′x＝y+e′                                    ...(156)

在该情况下，表达式(146)的误差e_mi和表达式(154)的误差e_bj的均方误差的总和E′可以用下面的表达式表示。

E′＝∑e_mi ²+W²∑e_bj ²                           ...(157)

为了得到均方误差的总和E’最小的Q_h，列向量x(以像素值Q_h作为分量的列向量x)可以从类似于上述公式(150)和(151)的公式中由表达式(158)表示。

x＝(A′^TA′)^-1A′^Ty                             ...(158)

现在，对于表达式(158)，上标T意思是转置，并且上标-1意思是逆矩阵。

对于表达式(157)，当加权系数W小时，锐利的图像可以得到，其可以更好地满足表达式(141)，即使具有一些允许的噪声，而另一方面，当加权系数W大时，可以满足表达式(145)，而不是表达式(141)的几乎不具有噪声的平坦图像可以得到。也就是说，通过调节加权系数W的值，“锐度”和“噪声”的均衡可以调节。

正则方程生成单元15103计算矩阵(A′^TA′)^-1A′^T，其是表达式(158)右侧列向量y的系数，并且将基于从传感器2(图1)提供的输入图像而获取的混合像素值P_i代入列向量y中。矩阵(A′^TA′)^-1A′^T被计算，并且混合像素值P_i代入其中的表达式(158)进一步从正则方程生成单元15103提供给现实世界波形估计单元15093。

当正则方程生成单元15103完成正则方程的上述生成，矩阵(A′^TA′)^-1A′^T的计算，以及处理例如关于所选关注行的混合像素值Pi的代入时，还没有选择的行选作下一个关注行，并且类似的处理关于所选下一个关注行而执行。

现实世界波形估计单元15093，通过计算从正则方程生成单元15103提供的表达式(158)，得到列向量x，也就是说，不具有运动模糊的像素值Q_h，并且将其提供给图像生成单元15084(图135)。

图像生成单元15084基于从处理区域设置单元15081提供的处理区域信息，将输入图像的处理区域15042的一部分用从现实世界波形估计单元15093提供的不具有运动模糊的像素值Q_h的图像取代，并且产生其作为输出图像，并提供给图像显示单元15085。

接下来，将参考图138中的流程图描述图136的步骤S15088中现实世界估计单元15083的现实世界估计处理。

首先，在步骤S15101中，模型生成单元15091基于从处理区域设置单元15081提供的处理区域信息获取处理区域宽度l和行数k，并且流程前进到步骤S15102。

在步骤S15102中，模型生成单元15091从连续性设置单元15082中获取运动量v，其相当于处理区域15042中的行数k，并且流程前进到步骤S15103。

在步骤S15103中，模型生成单元15091对于每行产生混合像素值P_i的公式，并且流程前进到步骤S15104。换句话说，模型生成单元15091产生k个模型公式(表达式(141))。

在步骤S15104中，约束条件设置单元15101从约束条件设置单元自身内存在的约束条件表达式中选择与从用户I/F 15086提供的约束条件信息相对应的约束条件表达式。而且，约束条件设置单元15101从处理区域设置单元15081提供给公式生成单元15092的输入图像的处理区域信息中获取处理区域宽度l，并且产生与来自用户I/F 15086的约束条件信息相对应的约束条件表达式(表达式(145))，其包括与处理区域宽度l相对应的数目的公式，并且流程前进到步骤S15105。

在步骤S15105中，权重改变单元15102将预先在权重改变单元15102自身内部设置的、由表达式(153)表示的加权系数W提供给正则方程生成单元15103，并且改变关于约束条件表达式的权重，并且流程前进到步骤S15106。也就是说，权重改变单元15102在正则方程生成单元15103处产生上述表达式(154)。

在步骤S15106中，正则方程生成单元15103从处理区域15042中选择一个预先确定的行作为关注行，并且流程前进到步骤S15107。

在步骤S15107中，正则方程生成单元15103从误差e_mi关于由模型生成单元15091提供的表达式(141)表示的混合像素值P_i公式的各个表达式而考虑的表达式(146)，以及通过在步骤S15105中由权重改变单元15102改变误差e_bj关于约束条件设置单元15101提供的表达式(145)而考虑的表达式(147)的权重而获得的约束条件表达式(154)中，产生由表达式(155)(表达式(156))表示的正则方程，并且流程前进到步骤S15108。

在步骤S15108中，正则方程生成单元15103计算矩阵(A′^TA′)^-1A′^T，其是表达式(158)右侧列向量y的系数，并且流程前进到步骤S15109。

在步骤S15109中，正则方程生成单元15103将基于从传感器2(图1)提供的输入图像而获取的混合像素值P_i代入列向量y中，并且流程前进到步骤S15110。

在步骤S15110中，现实世界波形估计单元15093计算正则方程。也就是说，现实世界波形估计单元15093通过计算从正则方程生成单元15103提供的表达式(158)得到不具有运动模糊的像素值Q_h，并且流程前进到步骤S15111。

在步骤S15111中，确定处理是否执行以得到关于处理区域15042的所有行的不具有运动模糊的像素值Q_h。如果确定处理没有执行以得到关于处理区域15042的所有行的不具有运动模糊的像素值Q_h，处理返回到步骤S15106，并且重复步骤S15106～S15111中的处理。也就是说，处理区域15042中还没有选择的行选作下一个关注行，并且处理被执行以得到不具有运动模糊的像素值Q_h。

另一方面，如果确定处理被执行以得到关于处理区域15042的所有行的不具有运动模糊的像素值Q_h，现实世界估计处理结束并返回。

因此，通过产生关于作为处理区域15042中关注行的一行的正则方程(表达式(155))，并且重复得到不具有运动模糊的像素值Q_h的处理k次，k是处理区域15042中的行数，不具有运动模糊的像素值Q_h可以跨越处理区域15042的整个区域而得到。

如果运动量v和处理区域宽度l对于处理区域15042的每行相同，表达式(155)中的矩阵A′对每行相同。因此，表达式(158)中的矩阵(A′^TA′)^-1A′^T也对每行相同，对于每行计算矩阵(A′^TA′)^-1A′^T的处理可以省略。

接下来，将参考图139的流程图描述在运动量v和处理区域宽度l对于处理区域15042的每行相同的情况下图136的步骤S15088中现实世界估计单元15083的现实世界估计处理。但是，图139中与图138中流程图类似的部分将省略其描述，如果适当的话。

在图139中，与图138中步骤S15106相对应的步骤S15138的处理不位于步骤S15135和S15136之间，而是位于步骤S15137和S15139之间。此外，在步骤S15141中，如果确定处理没有执行以得到关于处理区域15042的所有行的不具有运动模糊的像素值Qh，处理返回到步骤S15138。

换句话说，如果处理区域15042的每行的运动量v和处理区域宽度l每个相同，步骤S15136中产生的正则方程对每行相同，因此，在步骤S15137中关于第一个关注行计算矩阵(A′^TA′)^-1A′^T之后，关于剩余关注行计算矩阵(A′^TA′)^-1A′^T(步骤S15137中的处理)是不必要的。因此，关注行的选择(步骤S15138)，混合像素值P_i的代入(步骤S15139中的处理)，以及正则方程的计算(步骤S15140中的处理)仅需要关于处理区域15042中没有选择的行顺序地执行。

因此，对于图135中说明的实施方案，正则方程从产生运动模糊的像素值用不具有运动模糊的像素值模拟的混合像素值P_i的公式(模型公式)，以及使用不具有运动模糊的像素值的相邻像素之间关系的约束条件表达式中产生，并且通过计算该正则方程，不具有运动模糊的像素值(近似函数)得到，因此具有良好图像质量的图像可以产生。

而且，因为混合像素值P_i公式与约束条件表达式的均衡(权重)可以调节，考虑“锐度”与“噪声”且具有根据用户喜好的图像质量的不具有运动模糊的图像可以产生。

对于上述实例，从用户I/F 15086提供给约束条件设置单元15101的约束条件信息所述为显示用户从预先设置在约束条件设置单元15101内部的多个约束条件中选择(指示)哪个约束条件的信息，但是它可以被配置，使得用户可以通过操作用户I/F 15086直接输入约束条件表达式。

对于图135中信号处理设备4的实施方案，关于约束条件表达式的加权系数W，其调节混合像素值P_i公式与约束条件表达式的权重(均衡)，已经是预先设置的预先确定值(在上面的实例中，0.1)。

但是，将关于约束条件表达式的加权系数W设置为预先确定值(固定值)是关于约束条件没有建立的位置应用约束条件(像素之间的关系)，与约束条件建立的位置相类似，这在某些情况下引起处理图像的退化。

因此，接下来，将描述一种实施方案，其中信号处理设备4可以确定关于与输入图像的活动性(特征)相对应的约束条件表达式等的权重。

图140说明图111中所示信号处理设备4的应用实例的另一种实施方案的构造实例。

作为数据3来自传感器2的例如一帧或一场的图像输入到图140中的信号处理设备4中。这里，具有预先确定形状的对象显示在输入图像中，这种对象以每个快门时间(曝光时间)v个像素的恒定速度在图像水平方向(横向)上运动。换句话说，关于输入图像，对象以v个像素的运动量在水平方向上运动，因此因为传感器2的时间积分效应，对象的光信号与除对象之外的部分的光信号混合(时间混合)，因此，图像在例如对象边缘部分处模糊。使用图140中所示信号处理设备4，已经从输入图像中去除因这种时间混合而引起的运动模糊的高质量输出图像产生。

在图140中，处理区域设置单元15111，连续性设置单元15112，现实世界估计单元15113，图像生成单元15114，图像显示单元15115，以及用户I/F 15116，每个对应于图111中所示的处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F10006相同的处理。此外，在图140中，现实世界估计单元15113包括模型生成单元15121，公式生成单元15122，以及现实世界波形估计单元15123。模型生成单元15121，公式生成单元15122，以及现实世界波形估计单元15123对应于图111中的模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个，并且基本上执行与模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个相同的功能。

但是注意，在图140中，用户I/F 15116通过用户操作用户I/F15116输出的帮助信息提供给公式生成单元15122。

换句话说，在图140中，通过操作用户I/F 15116，对于公式生成单元15122，用户可以设置约束不具有运动模糊的图像的每个像素之间关系的约束条件，该图像是与输入图像相对应的现实世界1的图像，并且当用户执行操作以设置约束条件时，用户I/F 15116将表示由该操作设置的约束条件的约束条件信息提供给公式生成单元15122。

特别地，例如，观看显示在图像显示单元15115上、反映模糊图像的图像的用户猜测原始图像，也就是说，作为与输入图像相对应的现实世界1图像的不具有运动模糊的图像。而且，例如，用户猜测模糊发生的预先确定区域作为边缘部分，并且猜测每个像素之间像素值的关系(约束条件)，例如差在边缘部分处的相邻像素之间像素值(光度)之间大。此外，用户可以通过操作用户I/F 15116将适合于每个像素之间像素值的猜测关系的条件设置到公式生成单元15122中。

而且，在图140中，从处理区域设置单元15111提供给现实世界估计单元15113的处理区域信息提供给现实世界估计单元15113的模型生成单元15121和公式生成单元15122。模型生成单元15121和公式生成单元15122从处理区域设置单元15111提供的处理区域信息中识别输入图像中的处理区域。

连续性设置单元15112将输入图像中的运动量(运动矢量)v设置为对象以每个快门时间v个像素的恒定速度在图像水平方向上运动的连续性信息，并且将该运动量v作为连续性信息提供给现实世界估计单元15113的模型生成单元15121。

模型生成单元15121产生公式(以下称作模型公式，如果适当的话)作为模型(以下称作关系模型，如果适当的话)，其关于由从处理区域设置单元15111提供的处理区域信息中识别的处理区域，模拟现实世界1的信号与作为输入图像的运动模糊图像的每个像素的像素值之间的关系，其考虑运动量v作为从连续性设置单元15112提供的连续性信息，并且将产生的模型公式提供给公式生成单元15122。

公式生成单元15122基于从用户I/F 15116提供的约束条件信息，产生约束条件表达式(以下称作约束条件表达式，如果适当的话)。而且，公式生成单元15122将由输入图像的活动性确定的权重设置到约束条件表达式和模型生成单元15121提供的模型公式中，并且将包括处理区域的输入图像的每个像素的像素值代入由加权的约束条件表达式和模型公式形成的公式中，因此，产生公式以得到作为模拟现实世界1信号的模型(以下称作近似模型)的近似函数，并将其提供给现实世界波形估计单元15123。

现实世界波形估计单元15123通过计算从公式生成单元15122提供的公式来估计现实世界1信号的波形。换句话说，现实世界波形估计单元15123得到作为近似模型的近似函数，并且将近似函数作为现实世界1信号波形的估计结果提供给图像生成单元15114。注意，近似现实世界1信号的近似函数包括具有恒定函数值的函数，而不管自变量值。

图像生成单元15114从处理区域设置单元15111提供的处理区域信息中识别输入图像中的处理区域。而且，图像生成单元15114从现实世界波形估计单元15123提供的近似函数中产生更接近现实世界1信号的信号，也就是说，产生不具有运动模糊的图像，并且将输入图像的处理区域的图像用图像不具有运动模糊的图像取代，产生其作为输出图像，并且将其提供给图像显示单元15115。

接下来，将参考图141中的流程图描述图140中的信号处理设备4的处理。

首先，在步骤S15161中，信号处理设备4执行预处理，并且流程前进到步骤S15162。也就是说，信号处理设备4将从传感器2(图1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设置单元15111，连续性设置单元15112，现实世界估计单元15113，图像生成单元15114，以及图像显示单元15115。此外，信号处理设备4使得图像显示单元15115显示输入图像。

在步骤S15162中，用户I/F 15116确定是否存在由用户操作用户I/F 15116的某种用户输入。在步骤S15162中，如果确定不存在用户输入，也就是如果用户没有执行操作，流程跳过步骤S15163～S15165，并且前进到步骤S15166。

另一方面，在步骤S15162中，如果确定存在用户输入，也就是如果用户已经观看显示在图像显示单元15115上的输入图像并且操作用户I/F 15116，从而执行指示某种指令或信息的用户输入，流程前进到步骤S15163，在那里用户I/F 15116确定用户输入是否是指示信号处理设备4处理结束的用户指令。

如果在步骤S15163中确定用户输入是结束指令，信号处理设备4结束处理。

另一方面，如果在步骤S15163中确定用户输入不是结束指令，流程前进到步骤S15164，在那里用户I/F 15116确定用户输入是否是约束条件指示信息。如果在步骤S15164中确定用户输入不是约束条件指示信息，步骤S15165跳过，并且流程前进到步骤S15166。

而且，在步骤S15164中，如果确定用户输入是约束条件信息，流程前进到步骤S15165，在那里用户I/F 15116将约束条件信息提供给公式生成单元15122，并且流程前进到步骤S15166。

在步骤S15166中，处理区域设置单元15111基于输入图像设置处理区域，并且将标识处理区域的处理区域信息提供给连续性设置单元15112，现实世界估计单元15113的模型生成单元15121和公式生成单元15122，以及图像生成单元15114，并且流程前进到步骤S15167。现在，配置可以这样进行，其中步骤S15166中处理区域的设置可以由用户通过操作用户I/F 15116输入处理区域指示信息，以便基于该处理区域指示信息进行来执行，或者这可以没有来自用户的处理区域指示信息而执行。

在步骤S15167中，连续性设置单元15112从处理区域设置单元15111提供的处理区域信息中识别输入图像中的处理区域。此外，连续性设置单元15112设置已经在处理区域的图像数据中丢失的现实世界1信号的连续性，并且将指示其连续性的连续性信息提供给现实世界估计单元15113的模型生成单元15121，并且流程前进到步骤S15168。这里，连续性设置单元15112将表示以每个快门时间(曝光时间)v个像素的恒定速度在水平方向上的运动的运动量v设置为连续性信息，并且将其提供给现实世界估计单元15113的模型生成单元15121。这里，连续性设置单元15112将仅显示运动大小的运动量设置为连续性信息，假设对象在水平方向上运动，但是显示对象运动的大小和方向的运动矢量同样可以设置为连续性信息。现在，配置可以这样进行，其中步骤S15167中连续性的设置可以由用户通过操作用户I/F 15116输入连续性指示信息，以便基于该连续性指示信息进行来执行，或者这可以没有连续性指示信息而执行。

现实世界估计单元15113在步骤S15168中执行现实世界估计处理。换句话说，对于现实世界估计单元15113，模型生成单元15121基于步骤S15167中从连续性设置单元15112提供的运动量v以及步骤S15166中从处理区域设置单元15111提供的处理区域信息，来产生作为模型(关系模型)的公式(模型公式)，其中具有运动模糊的输入图像的每个像素的像素值与现实世界1的信号之间的关系被模拟，并且产生的模型提供给公式生成单元15122。

公式生成单元15122基于步骤S15165中从用户I/F 15116提供的约束条件信息产生约束条件表达式，并且将从输入图像的活动性确定的权重设置到产生的约束条件表达式以及从模型生成单元15121提供给公式生成单元15122的模型公式中。然后，公式生成单元15122将包含处理区域的输入图像的每个像素的像素值代入由加权的约束条件表达式和模型公式形成的公式中，从而产生得到作为模拟现实世界1信号的模型(近似模型)的近似函数的公式，并将其提供给现实世界波形估计单元15123。如果用户没有指定(设置)约束条件信息，也就是说，如果在步骤S15162或S15164中的情况下确定否，公式生成单元15122执行预先确定的处理例如求解由模型公式以及假设处理区域边缘部分“平坦”的公式形成的联立方程的方法，例如图113中实施方案中描述的。

现实世界波形估计单元15123通过计算从公式生成单元15122提供的公式来估计现实世界1信号的波形，也就是说，现实世界波形估计单元15123获得模拟现实世界1信号的近似函数，并且将该近似函数作为现实世界1信号波形的估计结果提供给图像生成单元15114。

步骤S15168的现实世界估计处理的细节随后将参考图143描述。

在步骤S15168的处理之后，流程前进到步骤S15169，并且图像生成单元15114从现实世界波形估计单元15123提供的近似函数中，产生更接近现实世界1信号的信号，也就是说，产生不具有运动模糊的图像，并且基于从处理区域设置单元15111提供的处理区域信息，将输入图像的处理区域的部分用产生的不具有运动模糊的图像取代，产生其作为输出图像，并提供给图像显示单元15115，并且流程前进到步骤S15170。

在步骤S15170中，图像显示单元15115显示从图像生成单元15114提供的输出图像，代替步骤S15161中显示的输入图像，或者与输入图像一起，并且流程前进到步骤S15171。

在步骤S15171中，与步骤S15162的情况一样，用户I/F 15116确定是否存在由用户操作用户I/F 15116的某种用户输入，并且如果确定不存在用户输入，也就是如果用户没有执行操作，流程返回到步骤S15171，并且等待某种用户输入。

而且，如果在步骤S15171中确定存在用户输入，也就是如果用户已经观看显示在图像显示单元15115上的输入图像或输出图像并且操作用户I/F 15116，从而执行表示某种指令或信息的用户输入，流程前进到步骤S15172，在那里用户I/F 15116确定用户输入是否是指示信号处理设备4处理结束的结束指令。

如果在步骤S15172中确定用户输入是结束指令，信号处理设备4结束处理。

另一方面，如果在步骤S15172中确定用户输入不是结束指令，流程前进到步骤S15173，在那里用户I/F 15116确定用户输入是否是约束条件信息。如果在步骤S15173中确定用户输入不是约束条件信息，流程返回到步骤S15171，此后重复相同的处理。

而且，在步骤S15173中，如果确定用户输入是约束条件信息，流程返回到步骤S15165，并且如上所述，用户I/F 15116将约束条件信息提供给公式生成单元15122。然后流程从步骤S15165前进到步骤S15166，此后重复相同的处理。如果信号处理设备4重复步骤S15165至步骤S15173的处理，上述步骤S15166和S15167的处理与由第一次处理S15166和S15167设置的相同，并且与第一次处理相同的处理可以重复，或者可以跳过。

这样，使用图140中的信号处理设备4，通过得到模拟现实世界1信号的模型的近似函数，不具有运动模糊的高图像质量的输出图像可以产生。

而且，通过操作用户I/F 15116，用户可以设置约束不具有运动模糊的原始图像中每个像素之间关系的约束条件，并且如果新的约束条件输入，不具有运动模糊的图像可以再次获得，因此根据用户喜好的具有高图像质量的输出图像可以容易地获取。

对于图140中的信号处理设备4，不具有运动模糊的输出图像通过得到近似现实世界1光信号的近似函数而产生，但是该输出图像可以看作运动模糊从输入图像中去除。因此，可以说使用图140中信号处理设备4的运动模糊去除处理被执行。

接下来，将参考图142描述图140中现实世界估计单元15113的内部构造。同样，对于图140中的实施方案，投影在输入图像上的对象的运动模糊产生的机理模拟为上述表达式(141)的关系，其作为一个实例在图125和126中说明。

换句话说，让我们假定运动模糊产生的机理被模拟，假设作为输入图像的运动模糊图像的每个像素的像素值是不具有运动模糊的图像的每个像素的像素值(或与其相对应的电荷)在以运动量v运动时累积(积分)的值。

现实世界估计单元15113包括模型生成单元15121，公式生成单元15122，以及现实世界波形估计单元15123。此外，公式生成单元15122包括约束条件设置单元15131，活动性检测单元15132，权重改变单元15133和正则方程生成单元15134。

作为连续性信息的运动量v由连续性设置单元15122提供给模型生成单元15121。该实例中的运动量v表示在处理区域设置单元15111中设置的输入图像的处理区域内，以每个快门时间v个像素的恒定速度在水平方向上运动的对象的连续性，与上述实例一样，例如让我们假定v＝4。而且，运动量v可以是对每行而不同的值，并且如果运动量v对每行不同，等于行数的k个运动量v作为连续性信息从连续性设置单元15112提供给模型生成单元15121。

而且，指定输入图像中处理区域的处理区域信息也从处理区域设置单元15111提供给模型生成单元15121。在使用矩形区域作为处理区域的情况下，处理区域信息可以例如由关于输入图像的预先确定位置(像素)作为原点的绝对坐标系的矩形处理区域对角处的坐标值，或者处理区域的中心坐标以及处理区域的宽度(水平方向)和高度(垂直方向)等来表示。

模型生成单元15121从处理区域设置单元15111提供的处理区域信息中获取例如图119中所示的处理区域宽度1和行数k。在该实例中，让我们假定处理区域15042是矩形，并且例如具有l＝10和k＝4。在该情况下，每行的处理区域宽度(像素数目)相同，但是对于处理区域15042，每行可以具有不同的处理区域宽度。在处理区域宽度l对每行不同的情况下，模型生成单元15121获取与行数相同的数目(k)个处理区域宽度l。

而且，模型生成单元15121基于从连续性设置单元15112提供的运动量v以及从处理区域信息中获取的处理区域宽度l和行数k，产生上述表达式(141)中所示的混合像素值P_i(i＝3～9)的公式(模型公式)，并且将其提供给正则方程生成单元15134。

由用户操作用户I/F 15116指定的约束条件信息从用户I/F 15116提供给约束条件设置单元15131。例如，用户使用用户I/F 15116执行操作以从已经预先设置在约束条件设置单元15131内部、约束不具有运动模糊的图像的每个像素的像素值Q_h的关系的约束条件，例如上述表达式(143)或表达式(144)中，选择(指定)期望的约束条件，并且用户I/F 15116将描述所选约束条件的信息作为约束条件信息提供给约束条件设置单元15131。

约束条件设置单元15131从约束条件设置单元15131自身内的约束条件表达式中选择与从用户I/F 15116提供的约束条件信息相对应的约束条件表达式。此外，约束条件设置单元15131基于从处理区域设置单元15111提供给公式生成单元15122的输入图像的处理区域信息获取处理区域宽度l，并且仅产生与处理区域宽度l相对应数目的约束条件表达式。例如，如果使用条件“相邻像素差＝0”作为约束条件信息的表达式(143)，约束条件设置单元15131通过基于从处理区域设置单元15111提供的处理区域信息获取处理区域宽度l，来产生由上述表达式(145)表示的约束条件表达式，并且将其提供给正则方程生成单元15134。在图119中说明的处理区域15042的实例中，处理区域15042是矩形，并且处理区域宽度l对每行相同，但是在处理区域宽度l对每行不同的情况下，约束条件表达式的数目也对每行不同。

使用活动性检测单元15132，输入图像的处理区域中每个像素(关注像素)的活动性(特征)，其将变成权重改变单元15133用于确定关于混合像素P_i的每个的公式(模型公式)的权重W_mi以及关于约束条件表达式的每个的权重W_bj的信息，被检测。

换句话说，活动性检测单元15132检测关注像素P_j与其右侧相邻的像素P_j+1的值之间的相邻像素差(P_j-P_j+1)的值等，例如，以输入图像处理区域中的每个像素作为关注像素P_j，例如，作为关注像素P_j的活动性，并且将其提供给权重改变单元15133。

权重改变单元15133具有关于混合像素值P_i的每个的公式(模型公式)的权重W_mi(以下将简称作权重W_mi)以及关于约束条件表达式的每个的权重W_bj(以下将简称作权重W_bj)。

通过将权重W_mi和权重W_bj提供给正则方程生成单元15134，权重改变单元15133改变(设置)从模型生成单元15121提供的混合像素P_i公式(模型公式)以及由约束条件设置单元15131提供的约束条件表达式形成的公式的每个公式的权重，其在正则公式生成单元15134中产生。

由使用现实世界估计单元15113获取的像素值Q_h包括的图像退化可以设想经常在约束条件不适当的位置发生，因此适当地调节权重W_bj比调节权重W_mi更有效。这样，对于该实施方案，权重W_mi是预先确定的值(固定值)，而权重W_bj基于从活动性检测单元15132提供的活动性而改变。现在，权重W_mi也可以由使用下述类似的方法，或由其他方法得到的活动性而改变。

如果例如由上述表达式(143)表示的“相邻像素差＝0”用作约束条件表达式，由表达式(143)表示的约束条件表达式没有建立的位置(像素)是与不具有运动模糊的图像中对象的边缘部分相对应的像素。这里，由表达式(143)表示的约束条件表达式考虑空间方向X方向上相邻像素之间的差，因此，约束条件表达式没有建立的对象边缘部分是对象边缘部分(边界线)没有在水平方向上(平行于空间方向X的方向)上的方向上的边缘。

没有运动模糊发生的图像的边缘部分也是具有运动模糊的图像中的边缘。换句话说，作为没有运动模糊发生的图像中边缘部分的像素仍然具有该像素附近边缘的特性，即使在运动模糊发生的图像中。因此，权重W_bj可以根据运动模糊发生的图像(输入图像)的相邻像素差(P_j-P_j+1)的值来确定。

换句话说，具有输入图像的相邻像素差(P_j-P_j+1)的大值的位置具有作为没有运动模糊发生的图像中边缘的较大可能性。因此，相邻像素差小的上述表达式(143)中约束条件表达式的权重W_bj被使得较小(约束条件放松)。下面将描述两种方法，例如，作为使得权重W_bj与显示活动性的相邻像素差(P_j-P_j+1)相对应地变小的方法。

第一方法是使用输入图像的相邻像素差(P_j-P_j+1)的值的反比作为权重W_bj的方法。这可以表示为下面的表达式。

$W_{\mathrm{bj}}=\frac{1}{P_j-P_{j+1}}---j=0,\&CenterDot;\&CenterDot;\&CenterDot;,8...\left(159\right)$

第二方法是根据输入图像的相邻像素差(P_j-P_j+1)的值将约束条件的权重W_bj设置为0或1，并且相当于确定是否包括约束条件表达式的方法。这可以表示为下面的表达式。

$W_{\mathrm{bj}}=\left\{\begin{array}{cc}0& (P_j-P_{j+1}>\mathrm{Th})\\ 1& (P_j-P_{j+1}<\mathrm{Th})\end{array}\right.---j=0,\&CenterDot;\&CenterDot;\&CenterDot;,8...\left(160\right)$

这里，在表达式(160)中，阈值Th是作为确定是否包括约束条件表达式的基础的值，并且可以预先在权重改变单元15133中设置。权重W_bj设置为0的约束条件表达式基本上从约束条件表达式中去除。

具有与行数相同数目k的混合像素值P_i的公式(表达式(141))从模型生成单元15121提供给正则方程生成单元15134。而且，与由用户操作用户I/F 15116选择的约束条件相对应的约束条件表达式(表达式(145))从约束条件设置单元15132提供给正则方程生成单元15134。

使用正则方程生成单元15134，权重W_bj由权重改变单元15133为误差e_bj关于从约束条件设置单元15132提供的约束条件表达式(145)而考虑的表达式(147)而设置(原本为1∶1的关于模型公式和约束条件的权重W_bj被改变)。

换句话说，表达式(147)变成其两侧乘以W_bj的下面表达式(161)。

W_b0(Q₀-Q₁)＝W_b0e_b0

W_b1(Q₁-Q₂)＝W_b1e_b1

W_b2(Q₂-Q₃)＝W_b2e_b2

W_b3(Q₃-Q₄)＝W_b3e_b3

W_b4(Q₄-Q₅)＝W_b4e_b4

W_b5(Q₅-Q₆)＝W_b5e_b5

W_b6(Q₆-Q₇)＝W_b6e_b6

W_b7(Q₇-Q₈)＝W_b7e_b7

W_b8(Q₈-Q₉)＝W_b8e_b8                              ...(161)

而且，使用正则方程生成单元15134，权重W_mi由权重改变单元15133为误差e_mi关于从模型生成单元15121提供的混合像素值P_i公式(模型公式)(141)而考虑的表达式(146)而设置。

换句话说，表达式(146)变成其两侧乘以权重W_mi的下面表达式(162)。

W_m3×(Q₀+Q₁+Q₂+Q₃)/v＝W_m3×(P₃+e_m3)

W_m4×(Q₁+Q₂+Q₃+Q₄)/v＝W_m4×(P₄+e_m4)

W_m5×(Q₂+Q₃+Q₄+Q₅)/v＝W_m5×(P₅+e_m5)

W_m6×(Q₃+Q₄+Q₅+Q₆)/v＝W_m6×(P₆+e_m6)

W_m7×(Q₄+Q₅+Q₆+Q₇)/v＝W_m7×(P₇+e_m7)

W_m8×(Q₅+Q₆+Q₇+Q₈)/v＝W_m8×(P₈+e_m8)

W_m9×(Q₆+Q₇+Q₈+Q₉)/v＝W_m9×(P₉+e_m9)             ...(162)

如上所述，这里，表达式(162)中的权重W_mi是固定值。

如图128中所示，正则方程生成单元15134从处理区域15042中选择一个预先确定的行作为关注行。然后正则方程生成单元15134从与所选关注行相对应的表达式(161)和表达式(162)中产生用下面表达式(163)表示的正则方程。

这里，表达式(163)使用矩阵A″以及列向量x，y，e″用表达式(164)表示。

A″x＝y+e″                                    ...(164)

在该情况下，表达式(161)的误差e_bj和表达式(162)的误差e_mi的均方误差的总和E″可以用下面的表达式表示。

E″＝∑(W_mie_mi)²+∑(W_bje_bj)²                   ...(165)

为了得到均方误差的总和E″非常小的Q_h，列向量x(以像素值Q_h作为分量的列向量x)可以从与上面表达式(150)和表达式(151)相同的表达式中用表达式(166)表示。

x＝(A″^TA″)^-1A″^Ty                            ...(166)

现在，对于表达式(166)，上标T意思是转置，并且上标-1意思是逆矩阵。

因此，正则方程生成单元15134计算矩阵(A″^TA″)^-1A″^T，其是表达式(166)右侧列向量y的系数，并且将基于从传感器2(图1)提供的输入图像而获取的混合像素值P_i代入列向量y中。矩阵(A″^TA″)^-1A″^T被计算，并且混合像素值P_i代入其中的表达式(166)从正则方程生成单元15134提供给现实世界波形估计单元15123。

当处理区域15042的一个预先确定的行选作关注行的例如上述处理完成时，正则方程生成单元15134选择还没有选择的行作为下一个关注行，并且类似的处理关于所选下一个关注行而执行。

现实世界波形估计单元15123，通过计算从正则方程生成单元15134提供的表达式(166)，得到列向量x，也就是说，不具有运动模糊的像素值Q_h，并且将其提供给图像生成单元15114(图140)。

图像生成单元15114基于从处理区域设置单元15111提供的处理区域信息，将输入图像的处理区域15042的一部分用从现实世界波形估计单元15123提供的不具有运动模糊的像素值Q_h的图像取代，并且产生其作为输出图像，并提供给图像显示单元15115。

接下来，将参考图143中的流程图描述图141的步骤S15168中现实世界估计单元15113的现实世界估计处理。

首先，在步骤S15191中，模型生成单元15121基于从处理区域设置单元15111提供的处理区域信息获取处理区域宽度l和行数k，并且流程前进到步骤S15192。

在步骤S15192中，模型生成单元15121从连续性设置单元15112中获取k个运动量v，其相当于处理区域15042中的行数，并且流程前进到步骤S15193。

在步骤S15193中，模型生成单元15121对于每行产生混合像素值P_i的公式，并且流程前进到步骤S15194。换句话说，模型生成单元15121产生k个模型公式(表达式(141))。

在步骤S15194中，约束条件设置单元15131从约束条件设置单元自身内存在的约束条件表达式中选择与从用户I/F 15116提供的约束条件信息相对应的约束条件表达式。而且，约束条件设置单元15131从处理区域设置单元15111提供给公式生成单元15122的输入图像的处理区域信息中获取处理区域宽度l，并且产生与来自用户接15116的约束条件信息相对应的约束条件表达式(表达式(145))，其包括与处理区域宽度l相对应的数目的公式，并且流程前进到步骤S15195。

在步骤S15195中，活动性检测单元15132检测输入图像的处理区域内每个像素的活动性(特征)，其是供权重改变单元15133确定权重W_bj的信息，并将其提供给权重改变单元15133，并且流程前进到步骤S15196。

在步骤S15196中，权重改变单元15133使用从活动性检测单元15132提供的、输入图像的处理区域内每个像素的活动性，计算用例如上述第一或第二方法得到的权重W_bj。而且，权重改变单元15133将计算的权重W_bj以及作为固定值预先提供的权重W_mi设置为分别对于正则方程生成单元15134的固定像素值P_i公式(模型公式)的每个公式以及约束条件的表达式(约束条件表达式)的权重，并且流程前进到步骤S15197。

在步骤S15197中，正则方程生成单元15134从处理区域15042中选择一个预先确定的行作为关注行，并且流程前进到步骤S15198。

在步骤S15198中，正则方程生成单元15134从权重W_mi在步骤S15196中由权重改变单元15133关于表达式(146)而改变的表达式(162)，以及权重W_bj在步骤S15196中由权重改变单元15133关于表达式(147)而改变的约束条件表达式(161)中，其中表达式(146)考虑用模型生成单元15121提供的表达式(141)表示的混合像素值P_i的公式中每个表达式的误差e_mi，且表达式(147)考虑从约束条件设置单元15131提供的约束条件表达式(145)中每个表达式的误差e_bj，产生由表达式(163)(表达式(164))表示的正则方程，并且流程前进到步骤S15199。

在步骤S15199中，正则方程生成单元15134计算矩阵(A″^TA″)^-1A″^T，其是表达式(166)右侧列向量y的系数，并且流程前进到步骤S15200。

在步骤S15200中，正则方程生成单元15134将基于从传感器2(图1)提供的输入图像而获取的混合像素值P_i代入列向量y中，并且流程前进到步骤S15201。

在步骤S15201中，现实世界波形估计单元15123计算正则方程。也就是说，现实世界波形估计单元15123通过计算从正则方程生成单元15134提供的表达式(166)得到不具有运动模糊的像素值Q_h，并且流程前进到步骤S15202。

在步骤S15202中，确定处理是否执行以得到关于处理区域15042的所有行的不具有运动模糊的像素值Q_h。如果确定处理没有执行以得到关于处理区域15042的所有行的不具有运动模糊的像素值Q_h，处理返回到步骤S15197，并且重复步骤S15197～S15202中的处理。也就是说，处理区域15042中还没有选择的行选作下一个关注行，并且处理被执行以得到不具有运动模糊的像素值Q_h。

另一方面，如果确定处理被执行以得到关于处理区域15042的所有行的不具有运动模糊的像素值Q_h，现实世界估计处理结束并返回。

因此，通过产生关于作为处理区域15042中关注行的一行的正则方程(表达式(163))，并且重复得到不具有运动模糊的像素值Q_h的处理k次，k是处理区域15042中的行数，不具有运动模糊的像素值Q_h可以跨越处理区域15042的整个区域而得到。

因此，对于图140中说明的实施方案，正则方程从产生运动模糊的像素值用不具有运动模糊的像素值模拟的混合像素值P_i的公式，以及使用不具有运动模糊的像素值的相邻像素之间关系的约束条件表达式中产生，并且通过计算该正则方程，不具有运动模糊的像素值得到，因此具有良好图像质量的图像可以产生。

而且，每个约束条件表达式的权重基于输入图像的活动性而改变，因此具有良好图像质量的图像可以根据输入图像的特征而产生。

图144至146是描述图140中信号处理设备4的处理结果的图。

图144说明输入到图140中信号处理设备4中的输入图像。对于图144中的输入图像，字符“TAL”以相同的速度在从左到右的方向上运动，并且运动模糊在水平方向上发生。

图145说明图144中的输入图像已经由图135中信号处理设备4处理的输出图像。也就是说，这是关于图144中所示输入的输出图像，其中关于约束条件的权重W_bj作为相同的权重应用到所有约束条件表达式。通过比较图144和图145，图145中的图像清晰，图144中输入图像中发生的运动模糊减小，并且字符“TAL”相对清晰地显示。

另一方面，图146说明图144中的输入图像已经由作为使用上述第二方法的上述实施方案的图140中信号处理设备4处理的输出图像。也就是，这是关于图144中所示输入的输出图像，其中关于约束条件表达式的权重W_bj取决于活动性而设置为0或1。同样，在图146中的图像中，图144中输入图像中发生的运动模糊减小，并且字符“TAL”清晰地显示。

现在，对于图144至图146中的实施方案，图146中的处理图像是边缘部分比图145中的处理图像更清晰的图像。

而且，在上述实例中，从用户I/F 15116提供给约束条件设置单元15131的约束条件信息所述为显示用户从预先设置在约束条件设置单元15131内部的多个约束条件中选择(指定)哪个约束条件的信息，但是用户可以通过操作用户I/F 15116直接输入约束条件表达式。

而且，在上述第二方法由权重改变单元15133使用的情况下，作为确定是否输入约束条件表达式的基础的值的阈值Th所述为内部预先设置，但是用户也可以在观看显示在图像显示单元15115上的处理图像的同时通过操作用户I/F 15116调节阈值Th，如果适当的话。

图147说明图111中信号处理设备4的应用实例的另一个实施方案的构造实例。

作为数据3来自传感器2的例如一帧或一场的图像输入到图147中的信号处理设备4中。这里，我们假定具有预先确定形状的对象显示在输入图像中，这种对象以每个快门时间(曝光时间)v个像素的固定速度在图像水平方向(横向)上运动。换句话说，关于输入图像，对象以v个像素的运动量在水平方向上运动，因此因为传感器2的时间积分效应，对象的光信号与除对象之外的部分的光信号混合(时间混合)，因此，图像在例如对象边缘部分处模糊。因此，使用图147中的信号处理设备4，不具有运动模糊的高图像质量的输出图像可以由这种时间混合而产生。

在图147中，处理区域设置单元15151，连续性设置单元15152，现实世界估计单元15153，图像生成单元15154，图像显示单元15155，以及用户I/F 15156，每个对应于图111中所示的处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F10006相同的处理。此外，在图147中，现实世界估计单元15153包括模型生成单元15161，公式生成单元15162，以及现实世界波形估计单元15163。模型生成单元15161，公式生成单元15162，以及现实世界波形估计单元15163对应于图111中的模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个，并且基本上执行与模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个相同的功能。

但是注意，在图147中，用户I/F 15156通过用户操作用户I/F15156输出的帮助信息仅提供给公式生成单元15162。

换句话说，在图147中，通过操作用户I/F 15156，对于公式生成单元15162，用户可以设置约束不具有运动模糊的图像的每个像素之间关系的约束条件，该图像是与输入图像相对应的现实世界1的图像，以及关于其约束条件的权重，并且当用户执行操作以设置约束条件或者执行操作以设置权重时，用户I/F 15156将表示由该操作设置的约束条件的约束条件信息或者关于约束条件的权重提供给公式生成单元15162。

特别地，例如，观看显示在图像显示单元15155上、反映模糊图像的图像的用户猜测原始图像，也就是说，作为与输入图像相对应的现实世界1图像的不具有运动模糊的图像。而且，例如，用户猜测模糊发生的预先确定区域作为边缘部分，并且猜测每个像素之间像素值的关系(约束条件)，例如差在边缘部分处的相邻像素之间像素值(光度)之间大。此外，用户可以通过操作用户I/F 15156将适合于每个像素之间像素值的猜测关系的条件设置到公式生成单元15162中。

而且，在图147中，从处理区域设置单元15151提供给现实世界估计单元15153的处理区域信息提供给现实世界估计单元15153的模型生成单元15161和公式生成单元15162。模型生成单元15161和公式生成单元15162从处理区域设置单元15151提供的处理区域信息中识别输入图像中的处理区域。

连续性设置单元15152将输入图像中的运动量(运动矢量)v设置为对象以每个快门时间v个像素的恒定速度在图像水平方向上运动的连续性信息，并且将该运动量v作为连续性信息提供给现实世界估计单元15153的模型生成单元15161。

模型生成单元15161产生公式(以下称作模型公式，如果适当的话)作为模型(以下称作关系模型，如果适当的话)，其关于由从处理区域设置单元15151提供的处理区域信息中识别的处理区域，模拟现实世界1的信号与作为输入图像的运动模糊图像的每个像素的像素值之间的关系，其考虑运动量v作为从连续性设置单元15152提供的连续性信息，并且将产生的模型公式提供给公式生成单元15162。

公式生成单元15162基于从用户I/F 15156提供的约束条件信息，产生约束条件表达式(以下称作约束条件表达式，如果适当的话)。而且，公式生成单元15162将从用户I/F 15156提供的权重设置到约束条件表达式以及由模型生成单元15161提供给公式生成单元15162的模型公式中，并且将包括处理区域的输入图像的每个像素的像素值代入由加权的约束条件表达式和模型公式形成的公式中，因此，产生公式以得到作为模拟现实世界1信号的模型(以下称作近似模型)的近似函数，并且将其提供给现实世界波形估计单元15163。

现实世界波形估计单元15163通过计算从公式生成单元15162提供的公式来估计现实世界1信号的波形。换句话说，现实世界波形估计单元15163得到作为近似模型的近似函数，并且将近似函数作为现实世界1信号波形的估计结果提供给图像生成单元15154。注意，近似现实世界1信号的近似函数包括具有恒定函数值的函数，而不管自变量值。

图像生成单元15154基于从处理区域设置单元15151提供的处理区域信息，识别输入图像中的处理区域。而且，图像生成单元15154从现实世界波形估计单元15163提供的近似函数中产生更接近现实世界1信号的信号，也就是说，产生不具有运动模糊的图像，并且将输入图像的处理区域的图像用图像不具有运动模糊的输出图像取代，产生其作为输出图像，并且将其提供给图像显示单元15155。

接下来，将参考图148中的流程图描述图147中的信号处理设备4的处理。

首先，在步骤S15211中，信号处理设备4执行预处理，并且流程前进到步骤S15212。也就是说，信号处理设备4将从传感器2(图1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设置单元15151，连续性设置单元15152，现实世界估计单元15153，图像生成单元15154，以及图像显示单元15155。此外，信号处理设备4使得图像显示单元15155显示输入图像。

在步骤S15212中，用户I/F 15156确定是否存在由用户操作用户I/F 15156的某种用户输入。在步骤S15212中，如果确定不存在用户输入，也就是如果用户没有执行操作，流程跳过步骤S15213～S15215，并且前进到步骤S15216。

另一方面，在步骤S15212中，如果确定存在用户输入，也就是如果用户已经观看显示在图像显示单元15155上的输入图像并且操作用户I/F 15156，从而执行指示某种指令或信息的用户输入，流程前进到步骤S15213，在那里用户I/F 15156确定用户输入是否是指示信号处理设备4处理结束的用户指令。

如果在步骤S15213中确定用户输入是结束指令，信号处理设备4结束处理。

另一方面，如果在步骤S15213中确定用户输入不是结束指令，流程前进到步骤S15214，在那里用户I/F 15156确定用户输入是否是约束条件信息或权重。如果在步骤S15214中确定用户输入不是约束条件信息或权重，步骤S15215跳过，并且流程前进到步骤S15216。

而且，在步骤S15214中，如果确定用户输入是约束条件信息或权重，流程前进到步骤S15215，并且用户I/F 15156将约束条件信息或权重提供给公式生成单元15162，并且流程前进到步骤S15216。使用用户I/F 15156，约束条件信息和权重都可以输入，并且如果用户输入约束条件信息和权重，用户I/F 15156将约束条件信息和权重都提供给公式生成单元15162。

在步骤S15216中，处理区域设置单元15151基于输入图像设置处理区域，并且将标识处理区域的处理区域信息提供给连续性设置单元15152，现实世界估计单元15153的模型生成单元15161和公式生成单元15162，以及图像生成单元15154，并且流程前进到步骤S15217。现在，配置可以这样进行，其中步骤S15216中处理区域的设置可以由用户通过操作用户I/F 15156输入处理区域指示信息，以便基于该处理区域指示信息进行来执行，或者可以没有来自用户的处理区域指示信息而执行。

在步骤S15217中，连续性设置单元15152从处理区域设置单元15151提供的处理区域信息中识别输入图像中的处理区域。此外，连续性设置单元15152设置其连续性的一部分在处理区域图像数据中丢失的现实世界1信号的连续性，并且将表示处理区域的连续性的连续性信息提供给现实世界估计单元15153的模型生成单元15161，并且流程前进到步骤S15218。这里，连续性设置单元15152将表示以每个快门时间(曝光时间)v个像素的恒定速度在水平方向上的运动的运动量v设置为连续性信息，并且将其提供给现实世界估计单元15153的模型生成单元15161。这里，连续性设置单元15152将仅显示运动大小的运动量设置为连续性信息，假设对象在水平方向上运动，但是显示对象运动的大小和方向的运动矢量同样可以设置为连续性信息。步骤S15217中连续性的设置可以由用户通过操作用户I/F 15156输入连续性指示信息来进行，并且可以基于该连续性指示信息来执行，或者可以没有来自用户的连续性指示信息而执行。

现实世界估计单元15153在步骤S15218中执行现实世界估计处理。换句话说，对于现实世界估计单元15153，模型生成单元15161基于步骤S15217中从连续性设置单元15152提供的运动量v以及步骤S15216中从处理区域设置单元15151提供的处理区域信息，来产生作为模型(关系模型)的公式(模型公式)，其中具有运动模糊的输入图像的每个像素的像素值与现实世界1的信号之间的关系被模拟，并且产生的模型提供给公式生成单元15162。

公式生成单元15162基于步骤S15215中从用户I/F 15156提供的约束条件信息产生约束条件表达式，并且将从用户I/F 15156提供的权重设置到产生的约束条件表达式中以及到从模型生成单元15161提供给公式生成单元15162的模型公式中。而且，公式生成单元15162将输入图像的每个像素的像素值代入由加权的约束条件表达式和模型公式形成的公式中，从而产生用于得到模型现实世界1信号的模型(近似模型)的近似函数的公式，并且将其提供给现实世界波形估计单元15163。如果用户没有指定(设置)约束条件信息，也就是说，如果在步骤S15212或S15214中的情况下确定否，公式生成单元15162执行预先确定的处理例如求解由模型公式以及假设处理区域边缘部分“平坦”的公式形成的联立方程的方法，例如图113中实施方案中描述的。

现在，权重可以仅对于模型公式，仅对于约束条件表达式，或者对于约束条件表达式和模型公式二者来设置。

现实世界波形估计单元15163通过求解从公式生成单元15162提供的公式来估计现实世界1信号的波形，也就是说，获得近似现实世界1信号的近似函数，并且将近似函数作为现实世界1信号波形的估计结果提供给图像生成单元15154。

步骤S15218的现实世界估计处理的细节随后将参考图150描述。

在步骤S15218的处理之后，流程前进到步骤S15219，并且图像生成单元15154从现实世界波形估计单元15163提供的近似函数中，产生更接近现实世界1信号的信号，也就是说，产生不具有运动模糊的图像，并且基于从处理区域设置单元15151提供的处理区域信息，将输入图像的处理区域的部分用产生的不具有运动模糊的图像取代，产生其作为输出图像，并提供给图像显示单元15155，并且流程前进到步骤S15220。

在步骤S15220中，图像显示单元15155显示从图像生成单元15154提供的输出图像，代替步骤S15211中显示的输入图像，或者与输入图像一起，并且流程前进到步骤S15221。

在步骤S15221中，与步骤S15212的情况一样，用户I/F 15156确定是否存在由用户操作用户I/F 15156的某种用户输入，并且如果确定不存在用户输入，也就是如果用户没有执行操作，流程返回到步骤S15221，并且等待某种用户输入。

而且，如果在步骤S15221中确定存在用户输入，也就是如果用户已经观看显示在图像显示单元15155上的输入图像或输出图像并且操作用户I/F 15156，从而执行表示某种指令或信息的用户输入，流程前进到步骤S15222，在那里用户I/F 15156确定用户输入是否是指示信号处理设备4处理结束的结束指令。

如果在步骤S15222中确定用户输入是结束指令，信号处理设备4结束处理。

另一方面，如果在步骤S15222中确定用户输入不是结束指令，流程前进到步骤S15223，在那里用户I/F 15156确定用户输入是否是约束条件信息或权重。如果在步骤S15223中确定用户输入不是约束条件信息也不是权重，流程返回到步骤S15221，此后重复相同的处理。

而且，在步骤S15223中，如果确定用户输入是约束条件信息或权重，流程返回到步骤S15215，并且如上所述，用户I/F 15156将约束条件信息或权重提供给公式生成单元15162。然后流程从步骤S15215前进到步骤S15216，此后重复相同的处理。现在，如果信号处理设备4重复步骤S15215至步骤S15223的处理，上述步骤S15216和S15217的处理与由第一次处理S15216和S15217设置的相同，并且与第一次处理相同的处理可以重复，或者可以跳过。

这样，使用图147中的信号处理设备4，通过得到模拟现实世界1信号的模型的近似函数，不具有运动模糊的高图像质量的输出图像可以产生。

而且，通过操作用户I/F 15156，用户可以设置约束不具有运动模糊的原始图像中每个像素之间关系的约束条件，并且如果新的约束条件输入，不具有运动模糊的图像可以再次请求，因此根据用户喜好的具有高图像质量的输出图像可以容易地获取。

在图147中的信号处理设备4中，不具有运动模糊的输出图像通过得到近似现实世界1光信号的近似函数而产生，但是该输出图像可以看作运动模糊从输入图像中去除。因此，可以说使用图147中信号处理设备4的运动模糊去除处理被执行。

接下来，将参考图149描述图147中现实世界估计单元15153的内部构造。同样，对于图147中的实施方案，产生反映在输入图像中的对象运动模糊的机理模拟为上述表达式(141)的关系，其是图125和126中所示的实例。

换句话说，让我们假定运动模糊产生的机理被模拟，假设作为输入图像的运动模糊图像的每个像素的像素值是不具有运动模糊的图像的每个像素的像素值(或与其相对应的电荷)在以运动量v运动时累积(积分)的值。

现实世界估计单元15153包括模型生成单元15161，公式生成单元15162，以及现实世界波形估计单元15163。此外，公式生成单元15162包括约束条件设置单元15171，权重改变单元15172和正则方程生成单元15173。

作为连续性信息的运动量v由连续性设置单元15152提供给模型生成单元15161。该实例中的运动量v表示在处理区域设置单元15151中设置的输入图像的处理区域内，以每个快门时间v个像素的恒定速度在水平方向上运动的对象的连续性，与上述实例一样，例如v＝4。而且，运动量v可以是对每行而不同的值，并且如果运动量v对每行不同，等于行数的k个运动量v作为连续性信息从连续性设置单元15152提供给模型生成单元15161。

而且，指定输入图像中处理区域的处理区域信息也从处理区域设置单元15151提供给模型生成单元15161。在使用矩形区域作为处理区域的情况下，处理区域信息可以例如由关于输入图像的预先确定位置(像素)作为原点的绝对坐标系的矩形处理区域对角处的坐标值，或者处理区域的中心坐标以及处理区域的宽度(水平方向)和高度(垂直方向)等来表示。

模型生成单元15161从处理区域设置单元15151提供的处理区域信息中获取例如图119中所示的处理区域宽度1和行数k。在该实例中，让我们假定处理区域15042是矩形，并且例如具有l＝10和k＝4。在该情况下，每行的处理区域宽度(像素数目)相同，但是对于处理区域15042，每行可以具有不同的处理区域宽度。在处理区域宽度l对每行不同的情况下，模型生成单元15161获取与行数相同的数目k个处理区域宽度l。

而且，模型生成单元15161基于从连续性设置单元15152提供的运动量v以及从处理区域信息中获取的处理区域宽度l和行数k，产生上述表达式(141)中所示的混合像素值Pi的公式(模型公式)，并且将其提供给正则方程生成单元15173。

由用户操作用户I/F 15156指定的约束条件信息从用户I/F 15156提供给约束条件设置单元15171。例如，用户使用用户I/F 15156执行操作以从已经预先设置在约束条件设置单元15171内部、约束不具有运动模糊的图像的每个像素的像素值Q_h的关系的约束条件，例如上述表达式(143)或表达式(144)中，选择(指定)期望的约束条件，并且用户I/F 15156将描述所选约束条件的信息作为约束条件信息提供给约束条件设置单元15171。

约束条件设置单元15171从约束条件设置单元15171自身内的约束条件表达式中选择与从用户I/F 15156提供的约束条件信息相对应的约束条件表达式。此外，约束条件设置单元15171基于从处理区域设置单元15151提供给公式生成单元15162的输入图像的处理区域信息获取处理区域宽度l，并且仅产生与处理区域宽度l相对应数目的约束条件表达式。例如，如果使用条件“相邻像素差＝0”作为约束条件信息的表达式(143)，约束条件设置单元15171通过基于从处理区域设置单元15161提供的处理区域信息获取处理区域宽度l，来产生由上述表达式(145)表示的约束条件表达式，并且将其提供给正则方程生成单元15173。在图119中说明的处理区域15042的实例中，处理区域15042是矩形，并且处理区域宽度l对每行相同，但是在处理区域宽度l对每行不同的情况下，约束条件表达式的数目也对每行不同。

权重改变单元15172具有关于混合像素值P_i的每个的公式(模型公式)的权重W_mi(以下将简称作权重W_mi)以及关于约束条件表达式的权重W_bj(以下将简称作权重W_bj)。权重W_mi和权重W_bj的每个的值由用户操作用户I/F 15156从用户I/F 15156提供，并且从默认值(例如1)改变。换句话说，用户可以通过操作用户I/F 15156来决定(设置)权重W_mi和权重W_bj的值的每个。权重改变单元15172将由用户设置的权重W_mi和权重W_bj的每个提供给正则方程生成单元15173，并且设置(改变)与正则方程生成单元15173的模型公式和约束条件表达式的每个相对应的表达式的权重。

特别地，使用正则方程生成单元15173，权重W_bj由权重改变单元15172关于考虑从约束条件设置单元15171提供的约束条件表达式(145)中的误差e_bj的表达式(147)而设置。换句话说，表达式(147)变成在其两侧乘以权重W_bj的表达式(161)。

而且，使用正则方程生成单元15173，权重W_mi由权重改变单元15172关于考虑从模型生成单元15161提供的混合像素值P_i的公式(模型公式)(141)中的误差e_mi的表达式(146)而设置。换句话说，表达式(146)变成在其两侧乘以权重W_mi的上述表达式(162)。

正则方程生成单元15173从处理区域15042中选择一个预先确定的行作为关注行，如图128中所示。然后，正则方程生成单元15173从与所选关注行相对应的表达式(161)和表达式(162)中产生上述表达式(163)中表示的正则方程。

这里，表达式(163)使用矩阵A″以及列向量x，y，e″用表达式(164)代替。在该情况下，表达式(161)的误差e_bj和表达式(162)的误差e_mi的均方误差的总和E″可以用表达式(165)表示，并且为了得到使得均方误差的总和E″达到最小的Q_h，列向量x(以像素值Q_h作为分量的列向量x)可以用表达式(166)表示，类似于上述表达式(150)和(151)。

因此，正则方程生成单元15173计算矩阵(A″^TA″)^-1A″^T，其是表达式(166)右侧列向量y的系数，并且将基于从传感器2(图1)提供的输入图像而获取的混合像素值P_i代入列向量y中。矩阵(A″^TA″)^-1A″^T被计算，并且混合像素值P_i代入其中的表达式(166)从正则方程生成单元15173提供给现实世界波形估计单元15163。

当处理区域15042的一个预先确定的行选作关注行的例如上述处理完成时，正则方程生成单元15173选择还没有选择的行作为下一个关注行，并且类似的处理关于所选下一个关注行而执行。

现实世界波形估计单元15163，通过计算从正则方程生成单元15173提供的表达式(166)，得到列向量x，也就是说，不具有运动模糊的像素值Q_h，并且将其提供给图像生成单元15154(图147)。

图像生成单元15154基于从处理区域设置单元15151提供的处理区域信息，将输入图像的处理区域15042的一部分用从现实世界波形估计单元15163提供的不具有运动模糊的像素值Q_h的图像取代，并且产生其作为输出图像，并提供给图像显示单元15155。

接下来，将参考图150中的流程图描述图148的步骤S15218中现实世界估计单元15153的现实世界估计处理。

首先，在步骤S15251中，模型生成单元15161基于从处理区域设置单元15151提供的处理区域信息获取处理区域宽度l和行数k，并且流程前进到步骤S15252。

在步骤S15252中，模型生成单元15161从连续性设置单元15152中获取k个运动量v，k相当于处理区域15042中的行数，并且流程前进到步骤S15253。

在步骤S15253中，模型生成单元15161对于每行产生混合像素值P_i的公式，并且流程前进到步骤S15254。换句话说，模型生成单元15161产生k个模型公式(表达式(141))。

在步骤S15254中，约束条件设置单元15171从约束条件设置单元自身内存在的约束条件表达式中选择与从用户I/F 15156提供的约束条件信息相对应的约束条件表达式。而且，约束条件设置单元15171基于从处理区域设置单元15151提供给公式生成单元15162的输入图像的处理区域信息获取处理区域宽度l，并且产生与来自用户I/F 15156的约束条件信息相对应的约束条件表达式(表达式(145))，其包括与处理区域宽度l相对应的数目的公式，并且流程前进到步骤S15255。

在步骤S15255中，权重改变单元15172通过将从用户I/F 15156提供的权重W_bj和权重W_mi提供给正则方程生成单元15173，来设置从模型生成单元15161提供的混合像素值P_i的每个表达式(模型公式)以及从约束条件设置单元15171提供的约束条件表达式的权重，并且流程前进到步骤S15256。

在步骤S15256中，正则方程生成单元15173从处理区域15042中选择一个预先确定的行作为关注行，并且流程前进到步骤S15257。在步骤S15257中，正则方程生成单元15173从权重W_bj由权重改变单元15172在步骤S15255中关于从约束条件设置单元15171提供的表达式(145)而改变的约束条件表达式(161)，以及权重W_mi由权重改变单元15172在步骤S15255中关于考虑由模型生成单元15161提供的表达式(141)表示的混合像素值P_i的每个表达式的误差e_mi的表达式(146)而改变的表达式(162)中，产生由表达式(163)(表达式(164))表示的正则方程，并且流程前进到步骤S15258。

在步骤S15258正则方程生成单元15173计算矩阵(A″^TA″)^-1A″^T，其是表达式(166)右侧列向量y的系数，并且流程前进到步骤S15259。

在步骤S15259中，正则方程生成单元15173将基于从传感器2(图1)提供的输入图像而获取的混合像素值P_i代入列向量y中，并且流程前进到步骤S15260。

在步骤S15260中，现实世界波形估计单元15163计算正则方程。也就是说，现实世界波形估计单元15163通过计算从正则方程生成单元15173提供的表达式(166)得到不具有运动模糊的像素值Q_h，并且流程前进到步骤S15261。

在步骤S15261中，确定处理是否执行以得到关于处理区域15042的所有行的不具有运动模糊的像素值Q_h。如果确定处理没有执行以得到关于处理区域15042的所有行的不具有运动模糊的像素值Q_h，处理返回到步骤S15256，并且重复步骤S15256～S15261中的处理。也就是说，处理区域15042中还没有选择的行选作下一个关注行，并且处理被执行以得到不具有运动模糊的像素值Q_h。

另一方面，如果确定处理被执行以得到关于处理区域15042的所有行的不具有运动模糊的像素值Q_h，现实世界估计处理结束并返回。

因此，通过产生关于作为处理区域15042中关注行的一行的正则方程(表达式(163))，并且重复得到不具有运动模糊的像素值Q_h的处理k次，k是处理区域15042中的行数，不具有运动模糊的像素值Q_h可以跨越处理区域15042的整个区域而得到。

这里，如果对于处理区域15042的每行的运动量v和处理区域宽度l每个相同，并且如果从用户I/F 15156提供给权重改变单元15172的权重W_bj和权重W_mi关于处理区域15042的每行类似地设置(提供)，则表达式(163)的矩阵A变得对每行相同。因此，表达式(166)中的矩阵(A″^TA″)^-1A″^T也对每行相同，对于每行计算矩阵(A″″^TA″)^-1A″^T的处理可以省略。

因此，将参考图151的流程图描述在处理区域15042的每行的运动量v和处理区域宽度l相同，并且从用户I/F 15156提供给权重改变单元15172的权重W_bj和权重W_mi关于处理区域15042的每行类似地设置(提供)的情况下图148中步骤S15218中现实世界估计单元15153的现实世界估计处理。但是，图151中与图150中流程图类似的部分将省略其描述，如果适当的话。

在图151中，与图150中步骤S15256相对应的步骤S15288的处理不位于步骤S15285和S15286之间，而是位于步骤S15287和S15289之间。此外，在步骤S15291中，如果确定得到不具有运动模糊的像素值Q_h的处理没有关于处理区域15042的所有行而执行，处理返回流程到步骤S15288。

换句话说，如果处理区域15042的每行的运动量v和处理区域宽度l每个相同，并且如果从用户I/F 15156提供给权重改变单元15172的权重W_bj和权重W_mi关于处理区域15042的每行类似地设置(提供)，步骤S15286中产生的正则方程变得对每行相同，因此，在步骤S15287中关于第一个关注行计算矩阵(A″^TA″)^-1A″^T之后，关于以下的关注行计算矩阵(A″^TA″)^-1A″^T(步骤S15287中的处理)是不必要的。因此，关注行的选择(步骤S15288)，混合像素值P_i的代入(步骤S15289中的处理)，以及正则方程的计算(步骤S15290中的处理)仅需要关于处理区域15042中没有选择的行顺序地执行。

因此，对于图147中说明的实施方案，正则方程从运动模糊发生的像素值用不具有运动模糊的像素值模拟的混合像素值P_i的公式，以及使用不具有运动模糊的像素值的相邻像素之间关系的约束条件表达式中产生，并且通过计算该正则方程，不具有运动模糊的像素值可以得到，因此具有良好图像质量的图像可以产生。

而且，因为混合像素值P_i公式和约束条件表达式的权重通过用户操作用户I/F 15156提供给信号处理设备4并设置为期望值，因此，根据用户喜好的高图像质量的图像可以产生。

在上述实例中，显示用户从预先设置在约束条件设置单元15171内部的几个约束条件中选择(指定)哪个约束条件的信息用作从用户I/F15156提供给约束条件设置单元15171的约束条件信息，但是用户也可以通过操作用户I/F 15156直接输入约束条件表达式。

而且，除了上述实施方案之外，对于约束条件设置单元15171，预先确定的约束条件被确定(固定)，用户可以操作用户I/F 15156以选择约束条件，或者使用直接输入约束条件表达式不是必需的实施方案。

现在，对于图113中的连续性设置单元15012(类似于其他连续性设置单元)，作为连续性信息的运动量可以基于用户操作来设置，也可以通过从输入图像中检测运动来设置。

将描述使用图113中的连续性设置单元15012的运动检测方法。

如果某一对象在输入图像中运动，关于检测用作对象运动的运动矢量的方法例如，所谓块匹配方法已知。

但是，对于块匹配方法，匹配在关注帧与关注帧之前和之后的帧之间执行，所以运动不能仅使用关注帧容易地检测。

为此目的，连续性设置单元15012被配置以便从仅具有一帧的输入图像中检测运动。

图152说明图113中连续性设置单元15012的构造实例。

使用其构造如图152中所示的连续性设置单元15012，输入图像的处理区域中对象的运动方向被检测，并且输入图像被校正使得运动方向变成水平方向。随后，在输入图像中对象的运动方向上经历一维微分的特征，其是运动方向上相邻的像素的像素值的差值被检测。

此外，关注像素的特征与在运动方向上具有预先确定距离的相应像素的特征之间的相关性被检测，并且对象的运动量根据相应像素与关注像素之间的距离来检测，其表现出最大检测相关性。

其构造如图152中所示的连续性设置单元15012包括运动方向检测单元11201，运动方向校正单元11202，特征检测单元11203，以及运动量检测单元11204。

此外，运动方向检测单元11201包括活动性计算单元11211，以及活动性评估单元11212。运动方向校正单元11202包括仿射变换单元11213。

特征检测单元11203包括差值计算单元11214、差值评估单元11215、中间图像创建单元11216、中间图像创建单元11217、帧存储器11218、符号反转单元11219、以及帧存储器11220。

此外，运动量检测单元11204包括相关性检测单元11221、以及相关性评估单元11222。

对于其构造如图152中所示的连续性设置单元15012，存储在图122中图像存储器11061中的输入图像提供给运动方向检测单元11201和运动检测校正单元11202。此外，从图119中处理区域设置单元11041输出的处理区域信息也提供给运动方向检测单元11201和运动方向校正单元11202。

运动方向检测单元11201获取输入图像和处理区域信息，并且从获取的输入图像中检测处理区域中的运动方向。

当捕捉运动对象时，运动模糊在对象的图像上发生。这是由用作捕捉对象图像的传感器2的照相机或摄影机的图像传感器的动作所引起。

也就是说，图像传感器例如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)传感器在曝光时间(快门时间)期间对于每个像素将入射光连续地转换成电荷，进一步将电荷转换成一个像素值。当捕捉的对象处于静止状态时，对象的同一部分的图像(光)在曝光时间期间转换成一个像素值。如此捕捉的图像不包括运动模糊。

另一方面，当对象运动时，投射到一个像素中的对象部分的图像在曝光时间期间改变，并且对象的不同部分的图像偶然地转换成一个像素值。反过来说，对象的一个部分的图像投射到多个像素值中，这就是运动模糊。

运动模糊在对象的运动方向上发生。

当集中在运动模糊发生的部分(包括运动模糊的区域)的运动方向上排列的像素的像素值时，对象的通常相同范围部分的图像投影到在运动方向上排列的像素的像素值。因此，我们可以说在运动模糊发生的部分处运动方向上排列的像素的像素值的变化进一步减小。

运动方向检测单元11201基于这种变化，也就是输入图像的处理区域中像素的像素值中的活动性检测运动方向。

更具体地说，运动方向检测单元11201的活动性计算单元11211对于每个预先确定的方向计算在各个方向上排列的像素的像素值的变化(活动性)。例如，活动性计算单元11211对于每个预先确定的方向计算与每个方向对应放置的像素的像素值之间的差值作为活动性。活动性计算单元11211将指示计算的像素值变化的信息提供给活动性评估单元11212。

活动性评估单元11212从活动性计算单元11211提供的对于每个预先确定方向的像素的像素值变化中选择最小的像素值变化，并且将与所选像素值变化相对应的方向取作运动方向。

运动方向检测单元11201将如此检测的指示运动方向的运动方向信息提供给运动方向校正单元11202。

运动方向校正单元11202同样提供有处理区域信息。运动方向校正单元11202基于从运动方向检测单元11201提供的运动方向信息转换输入图像中处理区域内的图像数据，使得运动方向变成图像的水平方向。

例如，运动方向校正单元11202的仿射变换单元11213使得输入图像中处理区域内的图像数据经历基于从运动方向检测单元11201提供的运动方向信息的仿射变换，使得运动方向信息中所示的运动方向变成图像的水平方向。

运动方向校正单元11202将转换使得运动方向变成图像水平方向的输入图像中处理区域内的图像数据提供给特征检测单元11203。

现在，对于输入图像，假设对象在水平方向(从左到右的方向)上运动，因此连续性设置单元15012可以被配置，而不提供运动方向检测单元11201和运动方向校正单元11202。

特征检测单元11203检测从运动方向校正单元11202提供的图像的特征。

也就是说，特征检测单元11203的差值计算单元11214将通过从输入图像处理区域中的像素中选择一个像素而选择的像素设置为关注像素。随后，特征检测单元11203的差值计算单元11214通过从关注像素的像素值中减去在右侧与关注像素相邻的像素的像素值来获得差值。

差值计算单元11214通过将输入图像处理区域中的像素顺序地取作关注像素而获得差值。也就是说，差值计算单元11214关于输入图像处理区域中的所有像素获得差值。差值计算单元11214将如此计算的差值，与指示对应于每个获得差值的关注像素位置的信息(指示每个差值的屏幕上位置的位置信息)一起提供给差值评估单元11215。

差值评估单元11215确定差值是否为0或更多，将等于或大于0的差值与指示每个差值的屏幕上位置的位置信息一起提供给中间图像创建单元11216，并且将小于0的差值与指示每个差值的屏幕上位置的位置信息一起提供给中间图像创建单元11217。

中间图像创建单元11216基于从差值评估单元11215提供的等于或大于0的差值，连同指示差值的屏幕上位置的位置信息一起，创建由每个差值构成的中间图像。也就是说，中间图像创建单元11216通过将从差值评估单元11215提供的等于或大于0的差值设置到由位置信息指示的屏幕上位置处的像素，并且将0设置到没有差值从差值评估单元11215提供的位置处的像素来创建中间图像。中间图像创建单元11216将这样创建的中间图像(以下，称作未反转中间图像)提供给帧存储器11218。

中间图像创建单元11217基于从差值评估单元11215提供的小于0的差值(负值)，与指示差值的屏幕上位置的位置信息一起，创建由差值构成的中间图像。也就是说，中间图像创建单元11217通过将从差值评估单元11215提供的小于0的差值设置到由位置信息指示的屏幕上位置处的像素，并且将0设置到没有差值从差值评估单元11215提供的位置处的像素来创建中间图像。中间图像创建单元11216将这样创建的中间图像提供给符号反转单元11219。

符号反转单元11219反转设置到从中间图像创建单元11217提供的中间图像的像素的小于0的差值的符号。设置到中间图像的像素的值0的符号不反转。也就是说，符号反转单元11219选择设置到从中间图像创建单元11217提供的中间图像的像素的小于0的差值，并且将小于0的所选差值转换成与差值具有相同绝对值的大于0的值。例如，差值-15通过反转其符号而转换成15。符号反转单元11219将这样符号反转的中间图像(以下称作反转的中间图像)提供给帧存储器11220。

帧存储器11218将由等于或大于0的差值以及0构成的未反转中间图像作为特征提供给运动量检测单元11204。帧存储器11220将由其符号反转的大于0的差值以及0构成的反转中间图像作为特征提供给运动量检测单元11204。

运动量检测单元11204基于从特征检测单元11203提供的特征检测运动。也就是说，运动量检测单元11204检测输入图像处理区域中对象图像的像素中至少关注像素的特征，与关于关注像素在运动方向上定位的相应像素的特征之间的相关性，并且根据检测的相关性检测输入图像处理区域中对象图像的运动量。

运动量检测单元11204的相关性检测单元11221检测用作从特征检测单元11203的帧存储器11218提供的特征的未反转中间图像，与用作从特征检测单元11203的帧存储器11220提供的特征的反转中间图像之间的相关性。相关性检测单元11221将检测的相关性提供给相关性评估单元11222。

更具体地描述，例如运动量检测单元11204的相关性检测单元11221在屏幕水平方向上关于从特征检测单元11203的帧存储器11218提供的、由等于或大于0的差值以及0构成的未反转中间图像以像素为单位，运动(移位)从特征检测单元11203的帧存储器11220提供的、由其符号反转以便大于0的差值以及0构成的反转中间图像。也就是说，相关性检测单元11221在水平方向上运动构成反转中间图像的像素的屏幕上位置。

未反转中间图像的像素与反转中间图像的像素之间屏幕上的位置关系通过在屏幕水平方向上运动反转中间图像(的像素)而改变。例如，运动之前屏幕上位置与未反转中间图像的关注像素相对应的反转中间图像的相应像素导致在运动之后以运动距离与对应于未反转中间图像关注像素的位置相离。更具体地说，当未反转中间图像向右运动20个像素时，反转中间图像的相应像素向右距离与未反转中间图像的关注像素相对应的位置20个像素。反过来说，运动之后屏幕上位置与未反转中间图像的关注像素相对应的反转中间图像的相应像素在运动之前以运动距离与对应于关注像素的位置相离。

相关性检测单元11221计算与未反转中间图像以及运动的反转中间图像相对应的像素的像素值之间的差，并且取差的绝对值的和作为相关性值。

例如，相关性检测单元11221在关于未反转中间图像的屏幕左向上70个像素至屏幕右向上70像素的范围内以一个像素的增量，在屏幕的水平方向上运动(移位)反转中间图像，关于未反转中间图像以及对于每个运动位置(每个运动距离)而运动的反转中间图像计算位于屏幕上相同位置的像素的像素值之间的差，并且取差的绝对值的和作为相关性值。

例如，当反转中间图像关于未反转中间图像运动到屏幕左向时，运动距离用负数(-)表示。当反转中间图像关于未反转中间图像运动到屏幕右向时，运动量用正数(+)表示。相关性检测单元11221关于未反转中间图像以及对于-70像素至+70像素的每个运动距离而运动的反转中间图像计算位于屏幕上相同位置的像素的像素值之间的差，并且取差的绝对值的和作为相关性值。

相关性检测单元11221将与运动距离相对应的相关性值提供给相关性评估单元11222。也就是说，相关性检测单元11221将一对运动距离和相关性值提供给相关性评估单元11222。

相关性评估单元11222根据相关性检测输入图像处理区域中对象图像的运动量。更具体地说，相关性评估单元11222将从相关性检测单元11221提供的相关性中，与最大(最强)相关性相对应的运动距离取作运动量。

例如，相关性评估单元11222选择用作从相关性检测单元11221提供的相关性值的差的绝对值的和中的最小值，并且设置与所选最小值相对应的运动距离为运动量。

相关性评估单元11222输出检测的运动量。

图153至图155是描述由图152中的连续性设置单元15012检测运动的原理的图。

现在，让我们假定用作待捕捉对象的白色前景对象位于用作另一个待捕捉对象的黑色背景对象的前面，且从左侧向右侧运动，并且具有图像传感器例如CCD或CMOS传感器的照相机使用预先确定的曝光时间(快门时间)捕捉前景对象和背景对象。

在该情况下，当集中在从照相机输出的图像的一帧上时，背景对象是黑色的，使得照相机关于背景对象图像输出例如像素值0。前景对象是白色的，所以照相机关于前景对象图像输出例如像素值255。注意这里让我们假定照相机输出0至28-1范围内的像素值。

图153上侧的图是说明当前景对象在照相机快门打开的时刻(开始曝光的时刻)位置处于静止状态时由照相机输出的图像的像素值的图。

图153下侧的图是说明当前景对象在照相机快门关闭的时刻(结束曝光的时刻)位置处于静止状态时由照相机输出的图像的像素值的图。

如图153中所示，前景对象的图像的运动量是从照相机快门打开的时候直到照相机快门关闭的时刻前景对象的图像运动的距离。

图154是说明当在背景对象前面运动的前景对象由照相机捕捉时从照相机输出的图像的像素值的图。照相机的图像传感器在曝光时间(快门时间)期间对于每个像素将对象的图像(光)连续地转换成电荷，并且进一步将电荷转换成一个像素值，因此，前景对象11251的图像投影到多个像素的像素值中。图154中所示图像的最大像素值与图153中所示图像的最大像素值相比较小。

图154中所示像素值的斜坡宽度对应于背景对象的图像的宽度。

当关于图154中所示图像的每个像素相对于右侧相邻像素的差值被计算，并设置到像素时，图155中所示由差值构成的图像被获得。

也就是说，一个像素从图154中所示图像的像素中选择，并且设置为注意的关注像素。随后，差值通过从关注像素的像素值中减去在右侧与关注像素相邻的像素的像素值来获得。差值设置到与关注像素相对应的位置处的像素。图154中所示图像的像素顺序地取作关注像素，并且图155中所示由差值构成的图像被获得。

具有负(-)符号的差值在关于图153上侧的图中所示照相机快门打开的时刻前景对象位置的左侧一个像素上出现，并且具有正(+)符号的差值在关于图153下侧的图中所示照相机快门关闭的时刻前景对象位置的左侧一个像素上出现。

因此，当匹配在通过反转具有负(-)符号的差值的符号而获得的值与图155中所示具有正(+)符号的差值之间执行时，通过反转具有负(-)符号的差值的符号而获得的值的运动距离与当执行匹配时基于具有正(+)符号的差值的运动量相同，例如。

例如，基于具有正(+)符号的差值，通过反转具有负(-)符号的差值的符号而获得的值在水平方向上运动，通过反转负差值而获得的值与正差值之间的相关性对于其每个运动距离而检测，从而检测最大(最强)相关性。当最大相关性被检测时的运动距离与运动量相同。

更具体地说，例如，基于具有正(+)符号的差值，通过反转具有负(-)符号的差值的符号而获得的值在水平方向上运动，作为对于其每个运动距离通过反转负差值而获得的值与正差值之间的相关性，正差值从每个像素的反转值中减去。随后，减法结果中的最小值，也就是最大相关性被检测。与检测的最大相关性相对应的运动距离与运动量相同。

如上所述，作为对象图像运动的量的运动量可以从曝光时间(快门时间)期间一帧图像中检测。

也就是说，特征检测单元11203的差值计算单元11214从输入图像处理区域中的像素中选择一个像素，将其设置为关注像素，并且从关注像素的像素值中减去在右侧与关注像素相邻的像素的像素值，从而计算图155中所示的差值，例如。差值评估单元11215基于差值的符号将差值分类成正差值和负差值。

中间图像创建单元11216从分类的正差值中，创建由其正差值构成的未反转中间图像。中间图像创建单元11217从分类的负差值中，创建由其负差值构成的中间图像。符号反转单元11219通过反转由负差值构成的中间图像的负像素值的符号来创建未反转中间图像。

运动量检测单元11204获得具有最强相关性的未反转中间图像和反转中间图像的运动距离，并且取获得的运动距离作为运动量。

当特征检测单元11203检测运动对象的图像，并且检测运动对象的图像的特征时，运动量检测单元11204基于特征检测相关性，并且根据检测的相关性来检测输入图像中对象的图像的运动量。

而且，当特征量检测单元11203从属于运动对象的图像的像素中选择注意的关注像素，并且检测关注像素的特征时，运动量检测单元11204检测关注像素的特征与在运动方向上关于关注像素定位的相应像素的特征之间的相关性，并且根据检测的相关性来检测输入图像处理区域中对象的图像的运动量。

图156是描述由图152中的连续性设置单元15012检测运动量的处理的流程图。

在步骤S11201中，运动方向检测单元11201和运动方向校正单元11202获取输入图像和处理区域信息，并且流程前进到步骤S11202。

在步骤S11202中，运动方向检测单元112011的活动性计算单元11211关于在步骤S11201的处理中获取的输入图像中处理区域的像素计算活动性，并且流程前进到步骤S11203。

例如，活动性计算单元11211选择输入图像处理区域的像素中注意的关注像素。活动性计算单元11211在关注像素附近提取预先确定数目的周围像素。例如，活动性计算单元11211提取由以关注像素为中心的5×5像素(5像素乘5像素)构成的周围像素。

随后，活动性计算单元11211从提取的周围像素中检测与图像上预先确定方向相对应的活动性。

对于下面的描述，水平方向上的像素阵列称作行，垂直方向上的像素阵列称作列。

关于例如5×5周围像素，活动性计算单元11211通过计算在屏幕上和下(垂直)方向上相邻像素的像素值之间的差，将计算的差的绝对值的和除以差的数目，并且取结果作为活动性，来检测关于基于屏幕水平方向的90度的角度(屏幕垂直方向)的活动性。

例如，像素值的差关于20对的屏幕上和下方向上相邻的两个像素而计算，计算的差的绝对值的和除以20，并且结果(商)设置为关于90度角度的活动性。

关于例如5×5周围像素，活动性计算单元11211通过计算最低行中最左侧像素至从左侧起第四像素的各个像素值，与关于各个像素上方四个像素以及右侧一个像素的像素的各个像素值之间的差，将计算的差的绝对值的和除以差的数目，并且取结果为活动性，检测关于基于屏幕水平方向的76度角度(tan^-1(4/1))的活动性。

例如，像素值的差关于四对具有垂直方向上四个像素以及水平方向上一个像素的距离的右上方的两个像素而计算，计算的差的绝对值的和除以四，并且结果(商)设置为关于76度角度的活动性。

活动性计算单元11211使用相同的处理检测关于基于屏幕水平方向的90度至180度范围内角度的活动性。如果检测关于90度至180度范围内角度的活动性，活动性基于位于左上方的像素的像素值的差来计算。

这样检测的活动性取作关于关注像素的活动性。

注意，检测的活动性可能是关于周围像素的活动性。

而且，已经描述周围像素由5×5像素(5像素乘5像素)构成，但是具有期望范围的像素可以使用而不是5×5像素。如果使用大量周围像素，角度分辨率提高。

活动性计算单元11211将指示与多个方向相对应的活动性的信息提供给活动性评估单元11212。

返回到图156，在步骤S11203中，活动性评估单元11212通过基于在步骤S11202的处理中计算的与预先确定方向相对应的活动性来选择最小活动性，并且将所选方向取作运动方向来获得运动方向，并且流程前进到步骤S11204。

在步骤S11204中，运动方向校正单元11202基于在步骤S11203的处理中获得的运动方向转换输入图像处理区域中的图像数据，使得运动方向变成图像的水平方向，并且流程前进到步骤S11205。例如，在步骤S11204中，运动方向校正单元11202的仿射变换单元11213使得输入图像处理区域中的图像数据经历基于步骤S11203的处理中获得的运动方向的仿射变换，使得运动方向变成图像的水平方向。更具体地说，例如，当运动方向是18度的角度时，仿射变换单元11213使得输入图像处理区域中的图像数据经历仿射变换以便基于屏幕水平方向以顺时针方向旋转18度。

在步骤S11205中，特征检测单元11203的差值计算单元11214关于被转换使得运动方向在步骤S11204的处理中变成屏幕水平方向的输入图像处理区域中的每个像素计算相对于水平方向上相邻的像素的像素值的差值，并且流程前进到步骤S11206。

例如，在步骤S11205中，差值计算单元11214通过从输入图像处理区域中的像素中选择一个像素来设置注意的关注像素。随后，差值计算单元11214通过从关注像素的像素值中减去右侧与关注像素相邻的像素的像素值来获得差值。

在步骤S11206中，特征检测单元11203的差值评估单元11215基于差值的符号分配差值，并且流程前进到步骤S11207。也就是说，差值评估单元11215将等于或大于0的差值提供给中间图像创建单元11216，而将小于0的差值提供给中间图像创建单元11217。在该情况下，差值评估单元11215将差值与指示屏幕上每个差值位置的位置信息一起提供给中间图像创建单元11216或中间图像创建单元11217。

在步骤S11207中，特征检测单元11203的中间图像创建单元11216基于在步骤S11206的处理中分配的等于或大于0的差值(正差值)来创建由正差值构成的中间图像，并且流程前进到步骤S11208。也就是说，在步骤S11207中，中间图像创建单元11216通过将正差值设置到用位置信息指示的屏幕上位置处的像素，并且将0设置到没有差值提供的位置处的像素来创建中间图像。

因此，未反转中间图像在步骤S11207的处理中创建。在步骤S11208中，特征检测单元11203的中间图像创建单元11217基于在步骤S11206的处理中分配的小于0的差值(负差值)来创建由负差值构成的中间图像，并且流程前进到步骤S11209。也就是说，在步骤S11208中，中间图像创建单元11217通过将负差值设置到用位置信息指示的屏幕上位置处的像素，并且将0设置到没有差值提供的位置处的像素来创建中间图像。

在步骤S11209中，特征检测单元11203的符号反转单元11219反转在步骤S11208的处理中创建的、由负差值构成的中间图像的负差值的符号。也就是说，在步骤S11209中，设置到负中间图像的像素的负差值转换成具有相同绝对值的正值。

因此，在步骤S11209中，未反转中间图像创建，然后流程前进到步骤S11210。

在步骤S11210中，运动量检测单元11204执行相关性检测处理。步骤S11210中处理的细节将参考图157中的流程图随后描述。

在步骤S11211中，相关性评估单元11222选择在步骤S11210的处理中检测的相关性中的最强相关性，并且流程前进到步骤S11212。例如，在步骤S11211中，用作像素值的差的绝对值的和的相关性值中，最小相关性值被选择。

在步骤S11212中，相关性评估单元11222将与步骤S11211的处理中选择的最强相关性相对应的运动距离设置为运动量，并且流程前进到步骤S11213。例如，在步骤S11212中，用作像素值的差的绝对值的和的相关性值中，与所选最小相关性值相对应的、在随后描述的步骤S11223的处理中存储的反转中间图像的运动距离设置为运动量。

在步骤S11213中，运动量检测单元11204输出在步骤S11210的处理中检测的运动量，并且处理结束。

图157是描述与步骤S11210中的处理相对应的相关性检测处理的流程图。

在步骤S11221中，运动量检测单元11204的相关性检测单元11221在水平方向上以像素为增量运动在步骤S11209的处理中创建的反转中间图像的像素的位置，并且流程前进到步骤S11222。

在步骤S11222中，相关性检测单元11221检测未反转中间图像与其像素位置在步骤S11221的处理中运动的反转中间图像之间的相关性，并且流程前进到步骤S11223。例如，在步骤S11222中，差值在未反转中间图像的像素的像素值与在屏幕上相应位置处的反转中间图像的像素的像素值之间计算，并且计算的差的绝对值的和检测为相关性值。相关性检测单元11221将指示检测的相关性的相关性信息与步骤S11221的处理中反转中间图像的像素的运动距离一起，提供给相关性评估单元11222。

在步骤S11223中，相关性评估单元11222存储在步骤S11222的处理中检测的相关性，以及步骤S11221的处理中反转中间图像的像素的运动距离，并且流程前进到步骤S11224。例如，相关性评估单元11222存储用作像素值的差的绝对值的和的相关性值，以及步骤S11221的处理中反转中间图像的像素的运动距离。

在步骤S11224中，相关性检测单元11221确定是否关于所有运动距离的相关性都已检测，并且如果确定相关性还没有对一些运动距离而检测，流程返回到步骤S11221，在那里检测关于下一个运动距离的相关性的处理被重复。

例如，在步骤S11224中，相关性检测单元11221确定是否所有相关性都已检测，在图像中左向上70个像素至图像中右向上70个像素的范围内运动反转中间图像的像素的情况下。

如果在步骤S11224中确定所有运动量的相关性都已检测，处理结束(返回)。

因此，相关性检测单元11221可以检测相关性。

如上所述，其构造如图152中所示的连续性设置单元15012可以从图像的一帧中检测运动量。

现在，虽然运动已经在这里关于处理区域而检测，配置可以这样进行，其中例如因手摇动而导致的整个屏幕上的运动，可以通过处理整个屏幕而检测。

而且，即使在输入图像中存在大量具有相同设计的各个图案的情况下，这些可以准确地检测，只要待处理的输入图像中处理区域的运动距离和运动方向是恒定的。

虽然从图像的一帧中的运动距离检测已经在上面描述，无需说，配置可以这样进行，其中运动距离从一个场检测。

而且，配置可以这样进行，其中运动量关于仅所选关注像素的周围而检测。

除了在权利要求书中描述的本发明的实施方案之外，上述实施方案包括关于下面给出的第一和第二信号处理设备的实施方案。

第一信号处理设备包括：处理区域设置装置，用于设置数据中的处理区域，其中真实世界的光信号已经投影到每个具有时间积分效应的多个像素上，并且真实世界光信号的连续性的一部分已经丢失；运动矢量设置装置，用于设置图像数据中对象的运动矢量，其对应于一部分连续性已经在图像数据中丢失的真实世界光信号的连续性；模型生成装置，用于模拟处理区域中每个像素的像素值与不存在运动模糊的每个像素的像素值之间的关系，处理区域中每个像素的像素值是由关于对象的不具有运动模糊的每个像素的像素值在对应于运动矢量而运动时积分所获得的值；正则方程生成装置，用于从处理区域中像素的像素值已经代入由模型生成装置产生的模型中的第一公式，以及约束不存在运动模糊的像素之间关系的第二公式中产生正则方程；活动性检测装置，用于检测与处理区域中每个像素相对应的活动性；权重改变装置，用于根据活动性检测装置的检测结果改变关于第一和第二公式的一部分的权重；以及现实世界估计装置，用于通过计算由正则方程生成装置产生的且其权重已经由权重改变装置改变的正则方程，来估计不存在运动模糊的每个像素的像素值。

对于第二信号处理设备，除了第一信号处理设备的特征之外，权重改变装置将关于与关注像素相对应的第一和第二公式的一部分的权重变成零，当与图像数据的处理区域内关注像素相对应的活动性大于预先确定的阈值时。

上述实施方案也包括关于下面给出的信号处理方法、程序和记录介质的实施方案。

一种信号处理方法、程序和记录介质包括：处理区域设置步骤，用于设置数据中的处理区域，其中真实世界的光信号已经投影到每个具有时间积分效应的多个像素上，并且真实世界光信号的连续性的一部分已经丢失；运动矢量设置步骤，用于设置图像数据中对象的运动矢量，其对应于一部分连续性已经在图像数据中丢失的真实世界光信号的连续性；模型生成步骤，用于模拟处理区域中每个像素的像素值与不存在运动模糊的每个像素的像素值之间的关系，处理区域中每个像素的像素值是由关于对象的不具有运动模糊的每个像素的像素值在对应于运动矢量而运动时积分所获得的值；正则方程生成步骤，用于从处理区域中像素的像素值已经代入在模型生成步骤中产生的模型中的第一公式，以及约束不存在运动模糊的像素之间关系的第二公式中产生正则方程；活动性检测步骤，用于检测与处理区域中每个像素相对应的活动性；权重改变步骤，用于根据活动性检测步骤中的检测结果改变关于第一和第二公式的一部分的权重；以及现实世界估计步骤，用于通过计算由正则方程生成步骤产生的且其权重已经在权重改变步骤中改变的正则方程，来估计不存在运动模糊的每个像素的像素值。

工业适用性

如上所述，根据本发明可以获得更接近真实世界信号的图像等。

Claims (5)

1.一种信号处理设备，包括：

处理区域设置装置，用于设置图像数据中的处理区域，其中真实世界的光信号投影到每个具有时间积分效应的多个像素上，并且真实世界光信号的连续性的一部分丢失；

运动矢量设置装置，用于对所述图像数据中的对象设置运动矢量，其对应于所述图像数据的一部分连续性丢失的真实世界光信号的连续性；

模型生成装置，用于模拟所述处理区域中每个像素的像素值与所述运动模糊没有发生的每个像素的像素值之间的关系，假设所述处理区域中每个像素的像素值是与所述对象相对应的运动模糊没有发生的每个像素的像素值在对应于所述运动矢量而移位时积分的值；

正则方程生成装置，用于使用所述处理区域中每个像素的像素值代入由所述模型生成装置产生的模型的第一公式、以及约束所述运动模糊没有发生的每个像素之间关系的第二公式，产生正则方程；以及

现实世界估计装置，用于通过计算由所述正则方程生成装置产生的所述正则方程，来估计所述运动模糊没有发生的每个像素的像素值。

2.根据权利要求1的信号处理设备，其中所述正则方程生成装置使用所述处理区域中每个像素的像素值代入由所述模型生成装置产生的模型的第一公式、以及所述运动模糊没有发生的每个像素的像素值的差的第二公式，产生正则方程。

3.一种信号处理方法，包括：

处理区域设置步骤，用于设置图像数据中的处理区域，其中真实世界的光信号投影到每个具有时间积分效应的多个像素上，并且真实世界光信号的连续性的一部分丢失；

运动矢量设置步骤，用于对所述图像数据中的对象设置运动矢量，其对应于所述图像数据的一部分连续性丢失的真实世界光信号的连续性；

模型生成步骤，用于模拟所述处理区域中每个像素的像素值与所述运动模糊没有发生的每个像素的像素值之间的关系，假设所述处理区域中每个像素的像素值是与所述对象相对应的运动模糊没有发生的每个像素的像素值在对应于所述运动矢量而移位时积分的值；

正则方程生成步骤，用于使用所述处理区域中每个像素的像素值代入由所述模型生成步骤中的处理产生的模型的第一公式、以及约束所述运动模糊没有发生的每个像素之间关系的第二公式，产生正则方程；以及

现实世界估计步骤，用于通过计算由所述正则方程生成步骤中的处理产生的所述正则方程，来估计所述运动模糊没有发生的每个像素的像素值。

4.一种使得计算机执行预先确定信号处理的程序，包括：

处理区域设置步骤，用于设置图像数据中的处理区域，其中真实世界的光信号投影到每个具有时间积分效应的多个像素上，并且真实世界光信号的连续性的一部分丢失；

运动矢量设置步骤，用于对所述图像数据中的对象设置运动矢量，其对应于所述图像数据的一部分连续性丢失的真实世界光信号的连续性；

模型生成步骤，用于模拟所述处理区域中每个像素的像素值与所述运动模糊没有发生的每个像素的像素值之间的关系，假设所述处理区域中每个像素的像素值是与所述对象相对应的运动模糊没有发生的每个像素的像素值在对应于所述运动矢量而移位时积分的值；

正则方程生成步骤，用于使用所述处理区域中每个像素的像素值代入由所述模型生成步骤中的处理产生的模型的第一公式、以及约束所述运动模糊没有发生的每个像素之间关系的第二公式，产生正则方程；以及

现实世界估计步骤，用于通过计算由所述正则方程生成步骤中的处理产生的所述正则方程，来估计所述运动模糊没有发生的每个像素的像素值。

5.一种记录介质，使得计算机执行预先确定的信号处理的程序记录在其中，所述程序包括：

处理区域设置步骤，用于设置图像数据中的处理区域，其中真实世界的光信号投影到每个具有时间积分效应的多个像素上，并且真实世界光信号的连续性的一部分丢失；

运动矢量设置步骤，用于对所述图像数据中的对象设置运动矢量，其对应于所述图像数据的一部分连续性丢失的真实世界光信号的连续性；

模型生成步骤，用于模拟所述处理区域中每个像素的像素值与所述运动模糊没有发生的每个像素的像素值之间的关系，假设所述处理区域中每个像素的像素值是与所述对象相对应的运动模糊没有发生的每个像素的像素值在对应于所述运动矢量而移位时积分的值；

正则方程生成步骤，用于使用所述处理区域中每个像素的像素值代入由所述模型生成步骤中的处理产生的模型的第一公式、以及约束所述运动模糊没有发生的每个像素之间关系的第二公式，产生正则方程；以及

现实世界估计步骤，用于通过计算由所述正则方程生成步骤中的处理产生的所述正则方程，来估计所述运动模糊没有发生的每个像素的像素值。

Images