CN1813267A - 信号处理设备和信号处理方法、以及程序和记录介质 - Google Patents

Abstract

本发明提供一种能够获得近似真实世界信号的图像的信号处理设备、信号处理方法、程序以及记录介质。对于具有投影的真实世界光信号以及比真实世界光信号的维度数目小的维度数目的输入图像，其稳定性部分缺乏，真实世界信号根据在稳定性设置部件(10002)中设置的稳定性从由真实世界信号估计部件(10003)中的处理区域设置部件(10001)设置的处理区域中的输入图像中估计。另一方面，根据用户操作，关于处理区域、稳定性和真实世界信号中至少一个的信息从用户接口(10006)提供给处理区域设置部件(10001)、稳定性设置部件(10002)，或真实世界估计部件(10003)。本发明可以应用于例如将运动模糊从图像中去除的情况。

Description

信号处理设备和信号处理方法、以及程序和记录介质

技术领域

本发明涉及一种信号处理设备和信号处理方法、以及程序和记录介质，尤其涉及一种使得图像等能够更接近真实世界信号的信号处理设备和信号处理方法、以及程序和记录介质。

背景技术

使用传感器检测现实世界(真实世界)中的现象并处理从传感器输出的采样数据的技术得到广泛使用。例如，现实世界使用成像传感器来成像并且处理作为图像数据的采样数据的图像处理技术被广泛使用。

同样，已知这种方案，其具有维度比通过用传感器检测第一信号而获得的第一维度少的第二维度，该第一信号是具有第一维度的真实世界的信号，获得包括关于第一信号的畸变的第二信号，以及基于第二信号执行信号处理，从而产生与第二信号相比较具有减轻的畸变的第三信号(例如，日本未经审查专利申请公开号2001-250119)。

但是，常规地，考虑真实世界信号连续性的信号处理还没有执行，所以获得更接近真实世界信号的图像等是困难的。

发明内容

本发明已经考虑到上述情况而提出，并且提供更接近真实世界信号的图像等的获得。

根据本发明的一种信号处理设备包括：处理区域设置装置，用于相对于具有比第一信号具有的第一维度少的第二维度的第二信号设置待处理的处理区域，该第一信号是真实世界信号并且被投影，由此真实世界信号的连续性的一部分丢失；连续性设置装置，用于设置已经在第二信号中丢失的真实世界信号的连续性；现实世界估计装置，用于根据由连续性设置装置设置的连续性，估计对应于由处理区域设置装置设置的处理区域内第二信号的真实世界的信号；以及信息供给装置，用于根据用户操作将与处理区域、连续性和真实世界信号中至少一个相关的信息提供给处理区域设置装置、连续性设置装置或现实世界估计装置。

根据本发明的一种信号处理方法包括：使用处理区域设置装置设置处理区域的处理区域设置步骤，该处理区域设置装置用于相对于具有比第一信号具有的第一维度少的第二维度的第二信号设置待处理的处理区域，该第一信号是真实世界信号并且被投影，由此真实世界信号的连续性的一部分丢失；使用连续性设置装置设置连续性的连续性设置步骤，该连续性设置装置用于设置已经在第二信号中丢失的真实世界信号的连续性；使用现实世界估计装置估计真实世界信号的现实世界估计步骤，该现实世界估计装置用于根据在连续性设置步骤中设置的连续性，估计对应于在处理区域设置步骤中设置的处理区域内第二信号的真实世界的信号；以及信息供给步骤，用于根据用户操作将与处理区域、连续性和真实世界信号中至少一个相关的信息提供给处理区域设置装置、连续性设置装置或现实世界估计装置。

根据本发明的一种程序使得计算机执行预先确定的信号处理，该程序包括：使用处理区域设置装置设置处理区域的处理区域设置步骤，该处理区域设置装置用于相对于具有比第一信号具有的第一维度少的第二维度的第二信号设置待处理的处理区域，该第一信号是真实世界信号并且被投影，由此真实世界信号的连续性的一部分丢失；使用连续性设置装置设置连续性的连续性设置步骤，该连续性设置装置用于设置已经在第二信号中丢失的真实世界信号的连续性；使用现实世界估计装置估计真实世界信号的现实世界估计步骤，该现实世界估计装置用于根据在连续性设置步骤中设置的连续性，估计对应于在处理区域设置步骤中设置的处理区域内第二信号的真实世界的信号；以及信息供给步骤，用于根据用户操作将与处理区域、连续性和真实世界信号中至少一个相关的信息提供给处理区域设置装置、连续性设置装置或现实世界估计装置。

根据本发明的一种记录介质存储使得计算机执行预先确定信号处理的程序，该程序包括：使用处理区域设置装置设置处理区域的处理区域设置步骤，该处理区域设置装置用于相对于具有比第一信号具有的第一维度少的第二维度的第二信号设置待处理的处理区域，该第一信号是真实世界信号并且被投影，由此真实世界信号的连续性的一部分丢失；使用连续性设置装置设置连续性的连续性设置步骤，该连续性设置装置用于设置已经在第二信号中丢失的真实世界信号的连续性；使用现实世界估计装置估计真实世界信号的现实世界估计步骤，该现实世界估计装置用于根据在连续性设置步骤中设置的连续性，估计对应于在处理区域设置步骤中设置的处理区域内第二信号的真实世界的信号；以及信息供给步骤，用于根据用户操作将与处理区域、连续性和真实世界信号中至少一个相关的信息提供给处理区域设置装置、连续性设置装置或现实世界估计装置。

使用根据本发明的信号处理设备和信号处理方法、以及程序和记录介质，处理区域由处理区域设置装置相对于具有比第一信号具有的第一维度少的第二维度的第二信号来设置，该第一信号是真实世界信号并且被投影，由此真实世界信号的连续性的一部分丢失；已经在第二信号中丢失的真实世界信号的连续性由连续性设置装置来设置；并且对应于由处理区域设置装置设置的处理区域内第二信号的真实世界的信号由现实世界信号估计装置根据由连续性设置装置设置的连续性来估计。另一方面，处理区域、连续性和真实世界信号中至少一个由信息供给装置根据用户操作提供给处理区域设置装置、连续性设置装置或现实世界估计装置。

附图说明

图1是说明本发明原理的图。

图2是说明信号处理设备4的硬件构造实例的框图。

图3是说明图1中所示信号处理设备4的一种实施方案的构造实例的框图。

图4是详细描述由信号处理设备4执行的信号处理原理的图。

图5是描述图像传感器上像素阵列实例的图。

图6是描述作为CCD的检测设备的操作的图。

图7是描述投射到与像素D至像素F相对应的检测元件中的光与像素值之间关系的图。

图8是描述时间的消逝、投射到与一个像素相对应的检测元件中的光、以及像素值之间关系的图。

图9是说明现实世界1中线形对象的图像实例的图。

图10是说明由实际成像获得的图像数据的像素值实例的图。

图11是说明具有不同于背景的颜色、具有单色和线形边缘的对象的现实世界1图像实例的图。

图12是说明由实际成像获得的图像数据的像素值实例的图。

图13是图像数据的示意图。

图14是描述具有M块数据162的模型161的估计的图。

图15是描述现实世界1的信号与数据3之间关系的图。

图16是说明创建表达式时所关注的数据3的实例的图。

图17是描述现实世界1中两个对象的信号，以及创建表达式时属于混合区域的值的图。

图18是描述由表达式(18)，表达式(19)，和表达式(22)表示的连续性的图。

图19是说明从数据3中选取的M块数据162的实例的图。

图20是描述数据3中现实世界1的信号在时间方向和二维空间方向上的积分的图。

图21是描述当产生具有空间方向上更高分辨率的高分辨率数据时积分区域的图。

图22是描述当产生具有时间方向上更高分辨率的高分辨率数据时积分区域的图。

图23是描述当产生具有时间-空间方向上更高分辨率的高分辨率数据时积分区域的图。

图24是说明输入图像的原始图像的图。

图25是说明输入图像实例的图。

图26是说明通过应用常规类型分类适应处理而获得的图像的图。

图27是说明检测细线区域的结果的图。

图28是说明从信号处理设备4输出的输出图像实例的图。

图29是描述使用信号处理设备4的信号处理的流程图。

图30是说明数据连续性检测单元101的构造的框图。

图31是说明在背景前面具有细线的现实世界1中图像的图。

图32是描述使用平面近似背景的图。

图33是说明细线图像已经投影的图像数据横截面形状的图。

图34是说明细线图像已经投影的图像数据横截面形状的图。

图35是说明细线图像已经投影的图像数据横截面形状的图。

图36是描述检测峰值和检测单调增大/减小区域的处理的图。

图37是描述检测细线区域的处理的图，其中峰值的像素值超过阈值，而相邻像素的像素值等于或低于阈值。

图38是表示在由图37中虚线AA′指示的方向上排列的像素的像素值的图。

图39是描述检测单调增大/减小区域中连续性的处理的图。

图40是说明检测细线图像已经投影到其中的区域的另一种处理实例的图。

图41是描述连续性检测处理的流程图。

图42是描述检测时间方向上数据连续性的处理的图。

图43是说明非连续性分量提取单元201的构造的框图。

图44是描述剔除次数的图。

图45是描述提取非连续性分量的处理的流程图。

图46是描述提取连续性分量的处理的流程图。

图47是描述提取连续性分量的另一种处理的流程图。

图48是描述提取连续性分量的再一种处理的流程图。

图49是说明连续性分量提取单元101的另一种构造的框图。

图50是描述具有数据连续性的输入图像中活动性的图。

图51是描述检测活动性的块的图。

图52是描述数据连续性相对于活动性的角度的图。

图53是说明数据连续性检测单元101的详细构造的框图。

图54是描述一组像素的图。

图55是描述像素组的位置与数据连续性的角度之间关系的图。

图56是描述检测数据连续性的处理的流程图。

图57是说明当检测时间方向和空间方向上数据连续性角度时选取的一组像素的图。

图58是描述函数近似的原理的图，其是图3中所示现实世界估计单元的一种实施方案的实例。

图59是描述在传感器是CCD的情况下积分效应的图。

图60是描述图59中所示传感器的积分效应的特定实例的图。

图61是描述图59中所示传感器的积分效应的另一个特定实例的图。

图62是表示图60中所示包含细线的现实世界区域的图。

图63是描述与图58中所示实例相比较，图3中所示现实世界估计单元的一种实施方案的实例原理的图。

图64是表示图60中所示包含细线的数据区域的图。

图65是包含在图64中所示包含细线数据区域中的每个像素值绘制在曲线图上的图。

图66是近似包含在图65中所示包含细线数据区域中的像素值的近似函数绘制在曲线图上的图。

图67是描述图60中所示包含细线现实世界区域具有的空间方向上连续性的图。

图68是包含在图64中所示包含细线数据区域中的每个像素值绘制在曲线图上的图。

图69是描述图68中指示的输入像素值的每个以预先确定移位量移位的状态的图。

图70是考虑到空间方向连续性、近似包含在图65中所示包含细线数据区域中的像素值的近似函数绘制在曲线图上的图。

图71是描述空间混合区域的图。

图72是描述近似空间混合区域中现实世界信号的近似函数的图。

图73是考虑到传感器积分性质和空间方向连续性、近似与图65中所示包含细线数据区域相对应的现实世界信号的近似函数绘制在曲线图上的图。

图74是描述使用具有图58中所示原理的函数近似技术中初级多项式近似的现实世界估计单元的构造实例的框图。

图75是描述具有图74中所示构造的现实世界估计单元执行的现实世界估计处理的流程图。

图76是描述分接范围的图。

图77是描述具有空间方向上连续性的现实世界信号的图。

图78是描述在传感器是CCD的情况下积分效应的图。

图79是描述横截面方向上距离的图。

图80是描述使用具有图58中所示原理的函数近似技术中二次多项式近似的现实世界估计单元的构造实例的框图。

图81是描述具有图80中所示构造的现实世界估计单元执行的现实世界估计处理的流程图。

图82是描述分接范围的图。

图83是描述时间-空间方向上连续性方向的图。

图84是描述在传感器是CCD的情况下积分效应的图。

图85是描述具有空间方向上连续性的现实世界信号的图。

图86是描述具有空间-时间方向上连续性的现实世界信号的图。

图87是描述使用具有图58中所示原理的函数近似技术中三次多项式近似的现实世界估计单元的构造实例的框图。

图88是描述具有图87中所示构造的现实世界估计单元执行的现实世界估计处理的流程图。

图89是描述再积分原理的图，其是图3中所示图像生成单元的一种实施方案的实例。

图90是描述输入像素的实例以及近似对应于输入像素的现实世界信号的近似函数的图。

图91是描述从图90中所示的近似函数中，在图90中所示的一个输入像素中产生四个高分辨率像素的实例的图。

图92是描述使用具有图89中所示原理的再积分技术中一维再积分技术的图像生成单元的构造实例的框图。

图93是描述具有图92中所示构造的图像生成单元执行的图像生成处理的流程图。

图94是说明输入图像的原始图像实例的图。

图95是说明与图94中所示图像相对应的图像数据的实例的图。

图96是表示输入图像实例的图。

图97是表示与图96中所示图像相对应的图像数据的实例的图。

图98是说明通过使输入图像经历常规类型分类适应处理而获得的图像实例的图。

图99是表示与图98中所示图像相对应的图像数据的实例的图。

图100是说明通过使输入图像经历根据本发明的一维再积分技术而获得的图像实例的图。

图101是说明与图100中所示图像相对应的图像数据的实例的图。

图102是描述具有空间方向上连续性的现实世界信号的图。

图103是描述使用具有图89中所示原理的再积分技术中二维再积分技术的图像生成单元的构造实例的框图。

图104是描述横截面方向上距离的图。

图105是描述具有图103中所示构造的图像生成单元执行的图像生成处理的流程图。

图106是描述输入像素实例的图。

图107是描述使用二维再积分技术在图106中所示一个输入像素中产生四个高分辨率像素的实例的图。

图108是描述空间-时间方向上连续性方向的图。

图109是描述使用具有图89中所示原理的再积分技术中三维再积分技术的图像生成单元的构造实例的框图。

图110是描述具有图109中所示构造的图像生成单元执行的图像生成处理的流程图。

图111是说明图1中所示信号处理设备4的另一种实施方案的构造实例的框图。

图112是描述图111中所示信号处理设备4的处理的流程图。

图113是说明图111中所示信号处理设备4的应用实施方案的构造实例的框图。

图114是描述图113中所示信号处理设备4的处理的流程图。

图115是说明处理区域设置单元11001的构造实例的框图。

图116是描述处理区域设置单元11001的处理的流程图。

图117是说明运动模糊出现的输入图像的图。

图118是说明显示由处理区域设置单元11001设置的M个版本处理区域的帧的显示实例的图。

图119是说明图111中所示信号处理设备4的另一种应用实施方案的构造实例的框图。

图120A是描述运动矢量的图。

图120B是描述运动矢量的图。

图120C是描述运动矢量的图。

图120D是描述运动矢量的图。

图121是描述图119中所示信号处理设备4的处理的流程图。

图122是说明连续性设置单元11042的构造实例的框图。

图123是描述连续性设置单元11042的处理的流程图。

图124是描述连续性设置单元11042的处理的流程图。

图125是描述连续性设置单元11042的处理的图。

图126A是说明关于三种类型的运动量的每种而获得的输出图像的图。

图126B是说明关于三种类型的运动量的每种而获得的输出图像的图。

图126C是说明关于三种类型的运动量的每种而获得的输出图像的图。

图126D是说明关于三种类型的运动量的每种而获得的输出图像的图。

图126E是说明关于三种类型的运动量的每种而获得的输出图像的图。

图127是说明图111中所示信号处理设备4的另一种应用实施方案的构造实例的框图。

图128是描述图127中所示信号处理设备4的处理的流程图。

图129是说明图111中所示信号处理设备4的另一种应用实施方案的构造实例的框图。

图130是描述图129中所示信号处理设备4的处理的流程图。

图131是描述图129中所示信号处理设备4的处理的流程图。

图132是描述图129中所示信号处理设备4的处理的图。

图133是描述使用信号处理设备4的主处理的流程图。

图134是说明输入图像中的处理区域和连续性方向的图。

图135A是说明现实世界1的光信号与从传感器2获得的关于光信号的输入图像的图。

图135B是说明现实世界1的光信号与从传感器2获得的关于光信号的输入图像的图。

图136A是描述使用信号处理设备4的主处理的图。

图136B是描述使用信号处理设备4的主处理的图。

图136C是描述使用信号处理设备4的主处理的图。

图136D是描述使用信号处理设备4的主处理的图。

图136E是描述使用信号处理设备4的主处理的图。

图137是说明运动检测单元11062的构造实例的框图。

图138是描述运动量的图。

图139是说明当前景对象经过背景对象前面时由照相机拍摄的、从照相机输出的图像的像素值的图。

图140是说明图139中所示图像中像素的像素值的差值的图。

图141是描述检测运动量的处理的流程图。

图142是描述检测相关性的处理的流程图。

图143是说明图111中所示信号处理设备4的另一种应用实施方案的构造实例的框图。

图144是描述图143中所示信号处理设备4的处理的流程图。

图145是描述在传感器2是CCD的情况下积分效应的图。

图146是描述运动量的图。

图147A是描述由传感器2的积分效应产生的运动模糊的图。

图147B是描述由传感器2的积分效应产生的运动模糊的图。

图147C是描述由传感器2的积分效应产生的运动模糊的图。

图148A是描述由传感器2的积分效应产生的运动模糊的图。

图148B是描述由传感器2的积分效应产生的运动模糊的图。

图148C是描述由传感器2的积分效应产生的运动模糊的图。

图149是描述现实世界估计单元12003的现实世界估计处理的流程图。

图150是说明公式生成单元12012的构造实例的框图。

图151是描述图149的步骤S12032中公式生成处理的流程图。

图152A是描述约束条件的图。

图152B是描述约束条件的图。

图152C是描述约束条件的图。

图153是说明图111中所示信号处理设备4的另一种应用实施方案的构造实例的框图。

图154是描述图153中所示信号处理设备4的处理的流程图。

图155是描述现实世界估计单元12073的现实世界估计处理的流程图。

图156是说明公式生成单元12082的构造实例的框图。

图157是描述图155的步骤S12102中公式生成处理的流程图。

图158是描述图153中所示信号处理设备4的处理概述的图。

图159是描述图153中所示信号处理设备4的处理概述的图。

图160A是描述约束条件的图。

图160B是描述约束条件的图。

图160C是描述约束条件的图。

图161是说明图111中所示信号处理设备4的另一种应用实施方案的构造实例的框图。

图162是描述图161中所示信号处理设备4的处理的流程图。

图163是描述现实世界估计单元12163的现实世界估计处理的流程图。

图164是说明公式生成单元12172的构造实例的框图。

图165是描述图163的步骤S12172中公式生成处理的流程图。

图166是描述图161中所示信号处理设备4的处理概述的图。

图167是说明图111中所示信号处理设备4的另一种应用实施方案的构造实例的框图。

图168是描述图167中所示信号处理设备4的处理的流程图。

图169是描述现实世界估计单元12243的现实世界估计处理的流程图。

图170是说明公式生成单元12252的构造实例的图。

图171是描述图169的步骤S12232中公式生成处理的流程图。

图172A是描述图167中所示信号处理设备4的处理概述的图。

图172B是描述图167中所示信号处理设备4的处理概述的图。

图173是说明图111中所示信号处理设备4的另一种应用实施方案的构造实例的框图。

图174是描述图173中所示信号处理设备4的处理的流程图。

图175是描述现实世界估计单元12293的现实世界估计处理的流程图。

图176是说明公式生成单元12302的构造实例的图。

图177是描述图175的步骤S12292中公式生成处理的流程图。

图178是描述图173中所示信号处理设备4的处理概述的图。

图179A是描述图173中所示信号处理设备4的处理概述的图。

图179B是描述图173中所示信号处理设备4的处理概述的图。

图180是说明与图153，图161，图167和图173中所示信号处理设备4相当的信号处理设备4的构造实例的框图。

图181是描述图180中所示信号处理设备4的处理的流程图。

图182是描述图180中所示信号处理设备4的处理的流程图。

图183是描述图180中所示信号处理设备4的处理的流程图。

图184是描述图180中所示信号处理设备4的处理的流程图。

图185是说明输入图像的图。

图186是描述相对于图185中所示输入图像指示平坦区域的图。

图187是说明作为图185中所示输入图像处理结果的输出图像的图。

图188是说明作为图185中所示输入图像处理结果的输出图像的图。

图189是描述相对于图188中所示输出图像指示不满意区域的图。

图190A是说明作为图188中所示输出图像再处理结果的输出图像的图。

图190B是说明作为图188中所示输出图像再处理结果的输出图像的图。

图191A是说明作为在图190A和图190B中选择的输出图像再处理结果的输出图像的图。

图191B是说明作为在图190A和图190B中选择的输出图像再处理结果的输出图像的图。

图191C是说明作为在图190A和图190B中选择的输出图像再处理结果的输出图像的图。

图191D是说明作为在图190A和图190B中选择的输出图像再处理结果的输出图像的图。

图192是图185中所示输入图像已经放大的图。

图193是说明作为图192中所示输入图像处理结果的输出图像的图。

图194是说明作为图192中所示输入图像处理结果的输出图像的图。

具体实施方式

图1说明本发明的原理。如附图中所示，具有空间、时间和质量维度的现实世界1中的事件(现象)由传感器2获取，并形成数据。现实世界1中的事件指光(图像)、声音、压力、温度、质量、湿度、亮度/暗度或气味等。现实世界1中的事件分布在空间-时间方向上。例如，现实世界1的图像是现实世界1的光强在空间-时间方向上的分布。

注意传感器2，具有空间、时间和质量维度的现实世界1中的事件中，传感器2可以获取的现实世界1中的事件由传感器2转换成数据3。可以说指示现实世界1中事件的信息由传感器2获取。

也就是说，传感器2将指示现实世界1中事件的信息转换成数据3。可以说，作为指示具有空间、时间和质量维度的现实世界1中事件(现象)的信息的信号由传感器2获取并形成数据。

以下，现实世界1中事件例如图像、声音、压力、温度、质量、湿度、亮度/暗度或气味等的分布将称作现实世界1的信号，其作为指示事件的信息。同样，作为指示现实世界1的事件的信息的信号也将简称作现实世界1的信号。在本说明书中，信号将被理解为包括现象和事件，并且还包括在传输侧没有目的的那些事物。

从传感器2输出的数据3(检测信号)是通过将指示现实世界1的事件的信息投影到维度比现实世界1少的空间-时间上而获得的信息。例如，作为运动图像的图像数据的数据3是通过将现实世界1的三维空间方向和时间方向的图像投影到具有二维空间方向和时间方向的时间-空间上而获得的信息。而且，如果数据3是例如数字数据，数据3根据采样增量舍入。如果数据3是模拟数据，数据3的信息根据动态范围压缩，或者信息的一部分由限幅器等删除。

因此，通过将所示作为指示具有预先确定维度数目的现实世界1中事件的信息的信号投影到数据3(检测信号)上，指示现实世界1中事件的信息的一部分被丢弃。也就是说，指示现实世界1中事件的信息的一部分从传感器2输出的数据3中丢弃。

但是，即使指示现实世界1中事件的信息的一部分因投影而丢弃，数据3包括用于估计作为指示现实世界1中事件(现象)的信息的信号的有用信息。

对于本发明，具有包含在现实世界1或数据3中的连续性的信息用作估计作为现实世界1信息的信号的有用信息。连续性是重新定义的概念。

注意现实世界1，现实世界1中的事件包括在预先确定维度方向上恒定的特性。例如，现实世界1中的对象(有形对象)具有在空间方向或时间方向上连续的形状、图案或颜色，或者具有形状、图案或颜色的重复图案。

因此，指示现实世界1中事件的信息包括在预先确定维度方向上恒定的特性。

对于更具体的实例，线形对象例如线、细绳或粗绳具有在长度方向上也就是空间方向上恒定的特性，即横截面形状在长度方向上任意位置处是相同的。空间方向上的恒定特性即横截面形状在长度方向上任意位置处相同，来自于线形对象为长形的特性。

因此，线形对象的图像具有在长度方向也就是空间方向上恒定的特性，即横截面形状在长度方向上任意位置处是相同的。

而且，作为在空间方向上展开的有形对象的单调对象可以假定具有这样的恒定特性，即在空间方向上具有相同颜色而不管其部分。

同样地，作为在空间方向上展开的有形对象的单调对象的图像具有这样的恒定特性，即在空间方向上具有相同颜色而不管其部分。

这样，现实世界1(真实世界)中的事件具有在预先确定维度方向上恒定的特性，所以现实世界1的信号具有在预先确定维度方向上恒定的特性。

在本说明书中，在预先确定维度方向上恒定的这种特性将称作连续性。现实世界1(真实世界)的信号的连续性意思是指示现实世界1(真实世界)的事件的信号具有的、在预先确定维度方向上恒定的特性。

现实世界1(真实世界)中存在无数这种连续性。

接下来，注意数据3，数据3由指示具有预先确定维度的现实世界1事件的信息的信号由传感器2投影而获得，并且包括与真实世界中信号连续性相对应的连续性。可以说，数据3包括现实世界信号的连续性已经投影于其中的连续性。

但是，如上所述，在从传感器2输出的数据3中，现实世界1的信息的一部分已经丢失，所以包含在现实世界1(真实世界)信号中的连续性的一部分可能从数据中丢失。

换句话说，数据3包含现实世界1(真实世界)信号连续性中的至少一部分连续性作为数据连续性。数据连续性意思是数据3具有的、在预先确定维度方向上恒定的特性。

对于本发明，现实世界1信号的连续性，或者数据3具有的数据连续性用作估计作为指示现实世界1事件的信息的信号的重要数据。

例如，对于信号处理设备4，指示现实世界1中事件的、已经丢失的信息由数据3的信号处理使用数据连续性而产生。

现在，对于信号处理设备4，作为用作指示现实世界1中事件的信息的信号维度的长度(空间)、时间和质量中，空间方向或时间方向上的连续性被使用。

在图1中，传感器2由例如数字静物照相机、视频摄影机等形成，并且拍摄现实世界1的图像，并将作为获得数据3的图像数据输出到信号处理设备4。传感器2也可以是温度记录设备、使用光致弹性的压力传感器等。

信号处理设备4由例如个人计算机等构成，并且执行关于数据3的信号处理。

信号处理设备4例如如图2中所示构成。CPU(中央处理单元)21根据存储在ROM(只读存储器)22或存储单元28中的程序执行各种类型的处理。RAM(随机存取存储器)23在适当的时候存储待由CPU21执行的程序、数据等。CUP 21、ROM 22和RAM 23通过总线24互相连接。

同样经由总线24连接到CPU 21的是输入/输出接口25。由键盘、鼠标、麦克风等构成的输入设备26，以及由显示器、扬声器等构成的输出单元27连接到输入/输出接口25。CPU 21执行与从输入单元26输入的命令相对应的各种类型的处理。然后，CPU 21将作为处理结果而获得的图像和音频等输出到输出单元27。

连接到输入/输出接口25的存储单元28由例如硬盘构成，并存储CPU 21执行的程序和各种类型的数据。通信单元29经由互联网和其它网络与外部设备通信。在该实例的情况下，通信单元29用作获取从传感器2输出的数据3的获取单元。

而且，配置可以这样进行，其中程序经由通信单元29获得并存储在存储单元28中。

连接到输入/输出接口25的驱动器30驱动安装在那里的磁盘51、光盘52、磁光盘53、或半导体存储器54等，并且获得记录在其中的程序和数据。获得的程序和数据根据需要传送到存储单元28并存储。

图3是说明信号处理设备4的框图。

注意，信号处理设备4的功能由硬件实现还是由软件实现不相关。也就是说，本说明书中的框图可以看作硬件框图或可以看作软件功能框图。

对于其构造如图3中所示的信号处理设备4，作为数据3的实例的图像数据输入，并且数据连续性从输入图像数据(输入图像)中检测。接下来，由传感器2获取的现实世界1的信号从检测的数据连续性中估计。然后，基于现实世界1的估计信号，图像生成，并且生成的图像(输出图像)被输出。也就是说，图3是说明作为图像处理设备的信号处理设备4构造的图。

输入到信号处理设备4的输入图像(作为数据3的实例的图像数据)提供给数据连续性检测单元101和现实世界估计单元102。

数据连续性检测单元101从输入图像中检测数据的连续性，并将指示检测的连续性的数据连续性信息提供给现实世界估计单元102和图像生成单元103。数据连续性信息包括例如输入图像中具有数据连续性的像素区域的位置、具有数据连续性的像素区域的方向(时间方向和空间方向的角度或梯度)、或具有数据连续性的像素区域的长度等。数据连续性检测单元101的详细构造将随后描述。

现实世界估计单元102基于输入图像和从数据连续性检测单元101提供的数据连续性信息估计现实世界1的信号。也就是说，现实世界估计单元102估计作为在获取输入图像时投射到传感器2中的现实世界信号的图像。现实世界估计单元102将指示现实世界1信号估计结果的现实世界估计信息提供给图像生成单元103。现实世界估计单元102的详细构造将随后描述。

图像生成单元103基于从现实世界估计单元102提供的、指示现实世界1的估计信号的现实世界估计信息生成更接近现实世界1信号的信号，并输出生成的信号。或者，图像生成单元103基于从数据连续性检测单元101提供的数据连续性信息，以及从现实世界估计单元102提供的、指示现实世界1的估计信号的现实世界估计信息生成更接近现实世界1信号的信号，并输出生成的信号。

也就是说，图像生成单元103基于现实世界估计信息生成更接近现实世界1图像的图像，并输出生成的图像作为输出图像。或者，图像生成单元103基于数据连续性信息和现实世界估计信息生成更接近现实世界1图像的图像，并输出生成的图像作为输出图像。

例如，图像生成单元103通过基于现实世界估计信息，在空间方向或时间方向的期望范围内积分现实世界1的估计图像，来生成与输入图像相比较具有空间方向或时间方向上更高分辨率的图像，并输出生成的图像作为输出图像。例如，图像生成单元103通过外插/内插生成图像，并输出生成的图像作为输出图像。

图像生成单元103的详细构造将随后描述。

接下来，将参考图4来描述本发明的原理。

例如，现实世界1的信号，其是例如图像，成像在作为传感器2实例的CCD(电荷耦合器件)的感光面上。作为传感器2实例的CCD具有积分性质，所以差异在从CCD输出的、关于现实世界1图像的数据3中产生。传感器2的积分性质的细节将随后描述。

对于信号处理设备4的信号处理，由CCD获得的现实世界1的图像与由CCD获取并输出的数据3之间的关系被明确地考虑。也就是说，数据3与作为由传感器2获得的现实世界信息的信号之间的关系被明确地考虑。

更具体地说，如图4中所示，信号处理设备4使用模型161来近似(描述)现实世界1。模型161由例如N个变量表示。更准确地说，模型161近似(描述)现实世界1的信号。

为了预测模型161，信号处理设备4从数据3中选取M块数据162。当从数据3中选取M块数据162时，信号处理设备4使用例如包含在数据3中的数据连续性。换句话说，信号处理设备4基于包含在数据3中的数据连续性，选取预测模型161的数据162。因此，在该情况下，模型161由数据连续性约束。

也就是说，模型161近似具有连续性(预先确定维度方向上的恒定特性)的现实世界1的事件(指示事件的信息(信号))，当使用传感器2获取时该连续性产生数据3中的数据连续性。

现在，如果数据162的数目M为N或更多，其中N是模型的变量数目，由N个变量表示的模型161可以从M块数据162中预测。

这样，信号处理设备4可以通过预测近似(描述)现实世界1(的信号)的模型161来考虑作为现实世界1信息的信号。

接下来，将描述传感器2的积分效应。

在成像真实世界时，图像传感器例如CCD或CMOS(互补金属氧化物半导体)传感器等，其作为获取图像的传感器2，将作为真实世界信息的信号投影到二维数据上。图像传感器的像素每个具有预先确定的面积，作为所谓感光面(感光区域)。到具有预先确定面积的感光面的入射光在每个像素的空间方向和时间方向上积分，并且转换成每个像素的单个像素值。

将参考图5至图8来描述图像的空间-时间积分。

图像传感器成像真实世界中的主体(对象)，并输出获得的图像数据为单帧累加的成像结果。也就是说，图像传感器获取现实世界1的信号，该信号为从现实世界1的主体反射的光，并输出数据3。

例如，图像传感器输出每秒30帧的图像数据。在该情况下，图像传感器的曝光时间可以为1/30秒。曝光时间是从图像传感器开始入射光到电荷的转换，到入射光到电荷的转换结束的时间。以下，曝光时间也将称作快门时间。

图5是描述图像传感器上像素阵列实例的图。在图5中，A～I表示各个像素。像素设置在与由图像数据显示的图像相对应的平面上。与单个像素相对应的单个检测元件设置在图像传感器上。当图像传感器获取现实世界1的图像时，一个检测元件输出与构成图像数据的一个像素相对应的一个像素值。例如，检测元件空间方向X上的位置(X坐标)对应于由图像数据显示的图像上的水平位置，并且检测元件空间方向Y上的位置(Y坐标)对应于由图像数据显示的图像上的垂直位置。

现实世界1的光强分布在三维空间方向和时间方向上展开，但是图像传感器在二维空间方向和时间方向上获取现实世界1的光，并产生表示二维空间方向和时间方向上光强分布的数据3。

如图6中所示，检测设备例如CCD在对应于快门时间的时期中将投射到感光面(感光区域)(检测区域)上的光转换成电荷，并积累转换的电荷。该光是现实世界1的信息(信号)，关于其的强度由三维空间位置和时间点确定。现实世界1的光强分布可以由函数F(x，y，z，t)表示，其中三维空间中的位置x，y，z以及时间点t为变量。

在检测设备CCD中积累的电荷量与投射到具有二维空间展开的整个感光面上的光强、以及光投射到其上的时间量近似成比例。检测设备将从投射到整个感光面上的光中转换的电荷加到在对应于快门时间的时期中已经积累的电荷。也就是说，检测设备积分投射到具有二维空间展开的整个感光面上的光，并累积与在对应于快门时间的时期中积分的光相对应的量的变化。检测设备也可以说具有关于空间(感光面)和时间(快门时间)的积分效应。

检测设备中累积的电荷由未显示的电路转换成电压值，电压值进一步转换成像素值例如数字数据等，并且作为数据3输出。因此，从图像传感器输出的各个像素值具有投影到一维空间上的值，该值是关于快门时间的时间方向和检测设备感光面的空间方向积分具有时间-空间展开的现实世界1信息(信号)的部分的结果。

也就是说，一个像素的像素值表示为F(x，y，t)的积分。F(x，y，t)是表示检测设备感光面上的光强分布的函数。例如，像素值P由表达式(1)表示。

$P={\∫}_{t_1}^{t_2}{\∫}_{y_1}^{y_2}{\∫}_{x_1}^{x_2}F(x,y,t)\mathrm{dxdydt}---\left(1\right)$

在表达式(1)中，x₁表示检测设备感光面的左侧边界处的空间坐标(X坐标)。x₂表示检测设备感光面的右侧边界处的空间坐标(X坐标)。在表达式(1)中，y₁表示检测设备感光面的上侧边界处的空间坐标(Y坐标)。y₂表示检测设备感光面的下侧边界处的空间坐标(Y坐标)。并且，t₁表示入射光到电荷的转换开始的时间点。t₂表示入射光到电荷的转换结束的时间点。

注意实际上，从图像传感器输出的图像数据的像素值的增益对于例如整个帧而校正。

图像数据的每个像素值是投射到图像传感器的每个检测元件的感光面上的光的积分值，并且投射到图像传感器上的光中，比检测元件感光面更细的现实世界1的光的波形在作为积分值的像素值中隐藏。

以下，在本说明书中，用预先确定维度表示作为参考的信号的波形可以简称作波形。

因此，现实世界1的图像(光信号)以像素为增量在空间方向和时间方向上积分，所以现实世界1的图像连续性的一部分从图像数据中丢失，从而现实世界1的图像连续性的另一部分留在图像数据中。或者，可能存在这种情况，其中已经从现实世界1的图像连续性变化的连续性包括在图像数据中。

将进一步描述由具有积分效应的图像传感器获取的图像在空间方向上的积分效应。

图7是描述到与像素D至像素F相对应的检测元件的入射光与像素值之间关系的图。图7中的F(x)是以空间中(检测设备上)空间方向X上的坐标x作为变量、表示现实世界1的光强分布的函数的实例。换句话说，F(x)是表示空间方向Y和时间方向恒定的、现实世界1的光强分布的函数的实例。在图7中，L表示与像素D至像素F相对应的检测设备感光面的空间方向X上的长度。

单个像素的像素值表示为F(x)的积分。例如，像素E的像素值P由表达式(2)表示。

$P={\∫}_{x_1}^{x_2}F\left(x\right)\mathrm{dx}---\left(2\right)$

在表达式(2)中，x₁表示与像素E相对应的检测设备感光面左侧边界处的空间方向X上的空间坐标。x₂表示与像素E相对应的检测设备感光面右侧边界处的空间方向X上的空间坐标。

同样地，将进一步描述由具有积分效应的图像传感器获取的图像在时间方向上的积分效应。

图8是描述消逝的时间、到与单个像素相对应的检测元件的入射光，以及像素值之间关系的图。图8中的F(t)是以时间点t作为变量、表示现实世界1的光强分布的函数。换句话说，F(t)是表示空间方向Y和空间方向X恒定的、现实世界1的光强分布的函数的实例。T_s表示快门时间。

帧#n-1是时间方向上帧#n之前的帧，而帧#n+1是时间方向上帧#n之后的帧。也就是说，帧#n-1、帧#n和帧#n+1以帧#n-1、帧#n和帧#n+1的顺序显示。

注意，在图8中所示实例中，快门时间t_s和帧间隔是相同的。

单个像素的像素值表示为F(t)的积分。例如，帧#n的像素的像素值P由表达式(3)表示。

$P={\∫}_{t_1}^{t_2}F\left(t\right)\mathrm{dt}---\left(3\right)$

在表达式(3)中，t₁表示入射光到电荷的转换开始的时刻。t₂表示入射光到电荷的转换结束的时刻。

以下，传感器2在空间方向上的积分效应将简称作空间积分效应，而传感器2在时间方向上的积分效应也将简称作时间积分效应。并且，空间积分效应或时间积分效应将简称作积分效应。

接下来，将描述由具有积分效应的图像传感器获取的数据3中包括的数据连续性的实例。

图9是说明现实世界1的线形对象(例如细线)，即光强分布的实例的图。在图9中，到附图上侧的位置表示光强(光度)，到附图右上侧的位置表示在作为图像空间方向的一个方向的空间方向X上的位置，并且到附图右侧的位置表示在作为图像空间方向的另一个方向的空间方向Y上的位置。

现实世界1的线形对象的图像包括预先确定的连续性。也就是说，图9中所示图像具有在长度方向上任意位置处横截面形状方面(关于与长度方向垂直的方向上位置的变化，光度变化)的连续性。

图10是说明与图9中所示图像相对应、由实际图像拍摄获得的图像数据的像素值的实例的图。

也就是说，图10是通过使用图像传感器对直径比每个像素的感光面长度L短，并且在从图像传感器像素阵列(像素的垂直或水平阵列)偏移的方向上延伸的线形对象的图像成像而获得的图像数据的模型图。图10中所示图像数据获取时投射到图像传感器中的图像是图9中所示现实世界1的线形对象的图像。

在图10中，到附图上侧的位置表示像素值，到附图右上侧的位置表示作为图像空间方向的一个方向的空间方向X上的位置，并且到附图右侧的位置表示作为图像空间方向的另一个方向的空间方向Y上的位置。图10中表示像素值的方向对应于图9中光度的方向，并且图10中的空间方向X和空间方向Y也与图9中的方向相同。

如果使用图像传感器获取直径比每个像素的感光面长度L短的线形对象的图像，在模型表示中，例如，线形对象在作为图像获取结果而获得的图像数据中表示为以对角偏移方式排列的、具有预先确定长度的多个弧形(半盘)。弧形具有近似相同的形状。一个弧形形成在垂直地一行像素上，或者水平地一行像素上。例如，图10中所示的一个弧形形成在垂直地一行像素上。

因此，对于由例如图像传感器获取并获得的图像数据，现实世界1的线形对象图像具有的、在长度方向上任意位置处空间方向Y上横截面形状相同的连续性丢失。而且，可以说，现实世界1的线形对象图像具有的连续性已经变成这种连续性，即在垂直地一行像素或水平地一行像素上形成的、具有相同形状的弧形以预先确定的间隔排列。

图11是说明具有直边且具有不同于背景的单色的对象在现实世界1中的图像，即光强分布实例的图。在图11中，到附图上侧的位置表示光强(光度)，到附图右上侧的位置表示作为图像空间方向的一个方向的空间方向X上的位置，并且到附图右侧的位置表示作为图像空间方向的另一个方向的空间方向Y上的位置。

具有直边且具有不同于背景的单色的现实世界1的对象的图像包括预先确定的连续性。也就是说，图11中所示图像具有这种连续性，即在边缘长度方向上任意位置处横截面形状(关于在与长度方向垂直的方向上位置的变化，光度变化)相同。

图12是说明与图11中所示图像相对应、由实际图像拍摄获得的图像数据的像素值的实例的图。如图12中所示，图像数据为阶梯形，因为图像数据由以像素为增量的像素值构成。

图13是说明图12中所示图像数据的模型图。

图13中所示模型图是通过使用图像传感器对具有直边以及不同于背景的单色，并且在从图像传感器像素阵列(像素的垂直或水平阵列)偏移的方向上延伸的现实世界1对象的图像成像而获得的图像数据的模型图。图13中所示图像数据获取时投射到图像传感器中的图像是图11中所示具有直边以及不同于背景的单色的现实世界1对象的图像。

在图13中，到附图上侧的位置表示像素值，到附图右上侧的位置表示作为图像空间方向的一个方向的空间方向X上的位置，以及到附图右侧的位置表示作为图像空间方向的另一个方向的空间方向Y上的位置。图13中表示像素值的方向对应于图11中光度的方向，并且图13中的空间方向X和空间方向Y与图11中的方向相同。

如果使用图像传感器获取具有直边以及不同于背景的单色的现实世界1对象的图像，在模型表示中，例如，直边在作为图像获取结果而获得的图像数据中表示为以对角偏移方式排列的、具有预先确定长度的多个爪形。爪形具有近似相同的形状。一个爪形形成在垂直地一行像素上，或者水平地一行像素上。例如，图13中所示的一个爪形形成在垂直地一行像素上。

因此，具有直边以及不同于背景的单色的现实世界1对象的图像的连续性，即在边缘长度方向上任意位置处横截面形状相同，例如，在通过使用图像传感器成像而获得的图像数据中丢失。而且，可以说，具有直边以及不同于背景的单色的现实世界1对象的图像具有的连续性已经变成这种连续性，即在垂直地一行像素或水平地一行像素上形成的、具有相同形状的爪形以预先确定的间隔排列。

数据连续性检测单元101检测例如作为输入图像的数据3的这种数据连续性。例如，数据连续性检测单元101通过检测在预先确定维度方向上具有恒定特性的区域来检测数据连续性。例如，数据连续性检测单元101检测例如图10中所示相同的弧形以恒定间隔排列的区域。同样，例如，数据连续性检测单元101检测例如图13中所示相同的爪形以恒定间隔排列的区域。

而且，数据连续性检测单元101通过检测指示相同形状排列的空间方向上的角度(梯度)来检测数据的连续性。

而且，例如，数据连续性检测单元101通过检测指示空间方向和时间方向上相同形状排列的空间方向和时间方向上的角度(运动)来检测数据的连续性。

此外，例如，数据连续性检测单元101通过检测在预先确定维度方向上具有恒定特性的区域的长度来检测数据中的连续性。

以下，数据3中传感器2已经投影具有直边以及不同于背景的单色的现实世界1对象的图像的部分也将称作二值边缘。

现在，使用常规信号处理，期望高分辨率数据例如从数据3中产生。

相反地，使用信号处理设备4的信号处理，现实世界1从数据3中估计，并且高分辨率数据基于估计结果而产生。也就是说，现实世界1从数据3中估计，并且高分辨率数据基于考虑数据3的估计的现实世界1而产生。

为了从现实世界1中产生高分辨率数据，需要考虑现实世界1与数据3之间的关系。例如，考虑现实世界1如何由传感器2即CCD投影到数据3上。

传感器2即CCD如上所述具有积分性质。也就是说，数据3的一个单位(例如像素值)可以通过关于传感器2的检测设备(例如CCD)的检测区域(例如感光面)积分现实世界1的信号来计算。

将此应用到高分辨率数据，高分辨率数据可以通过施加处理到估计的现实世界1而获得，其中虚拟高分辨率传感器将现实世界1的信号投影到数据3。

换句话说，如果现实世界1的信号可以从数据3中估计，包含在高分辨率数据中的一个值可以通过对虚拟高分辨率传感器的检测元件的每个检测区域(在时间-空间方向上)积分现实世界1的信号来获得。

例如，如果现实世界1信号的变化小于传感器2的检测元件检测区域的大小，数据3不能表示现实世界1信号的小变化。因此，指示现实世界1信号的小变化的高分辨率数据可以通过关于比现实世界1信号的变化小的每个区域(在时间-空间方向上)积分从数据3中估计的现实世界1的信号来获得。

也就是说，对关于虚拟高分辨率传感器的每个检测元件的检测区域积分估计的现实世界1的信号，能够获得高分辨率数据。

对于信号处理设备4，图像生成单元103通过关于虚拟高分辨率传感器的检测元件的检测区域在时间-空间方向上积分估计的现实世界1的信号，来产生高分辨率数据。

接下来，为了从数据3中估计现实世界1，在信号处理设备4处，数据3与现实世界1之间的关系、连续性以及数据3中的空间或时间混合(空间混合或时间混合)被使用。

这里，混合意思是数据3中的值，其中现实世界1中两个对象的信号混合以产生单个值。

空间混合意思是因传感器2的空间积分效应，空间方向上两个对象的信号的混合。时间混合将随后描述。

现实世界1自身由无数事件构成，因此，为了用数学表达式表示现实世界1自身，例如，需要具有无数个变量。从数据3中预测现实世界1的所有事件是不可能的。

同样地，从数据3中预测现实世界1的所有信号是不可能的。

因此，使用信号处理设备4，现实世界1的信号中，具有连续性且可以由函数f(x，y，z，t)表示的部分被关注，并且可以由函数f(x，y，z，t)表示且具有连续性的现实世界1信号的部分用由N个变量表示的模型161近似。如图14中所示，模型161从数据3中的M块数据162中预测。

为了使得模型161能够从M块数据162中预测，首先，需要基于连续性用N个变量表示模型161，第二，基于传感器2的积分性质，产生使用N个变量、指示由N个变量表示的模型161与M块数据162之间关系的表达式。因为模型161基于连续性由N个变量表示，可以说使用N个变量、指示由N个变量表示的模型161与M块数据162之间关系的表达式，描述具有连续性的现实世界1信号的部分与具有数据连续性的数据3的部分之间的关系。

换句话说，由N个变量表示的模型161近似的、具有连续性的现实世界1信号的部分产生数据3中的数据连续性。

数据连续性检测单元101检测数据连续性已经由具有连续性的现实世界1信号的部分产生的数据3的部分，以及数据连续性已经产生的部分的特性。

例如，如图15中所示，在具有直边以及不同于背景的单色的现实世界1对象的图像中，图15中由A指示的关注位置处的边缘具有梯度。图15中的箭头B指示边缘的梯度。预先确定的边缘梯度可以表示为关于参考轴的角度或者关于参考位置的方向。例如，预先确定的边缘梯度可以表示为空间方向X的坐标轴与边缘之间的角度。例如，预先确定的边缘梯度可以表示为由空间方向X的长度和空间方向Y的长度指示的方向。

当具有直边以及不同于背景的单色的现实世界1对象的图像在传感器2处获得并且数据3输出时，对应于边缘的爪形排列在数据3中与现实世界1的图像中边缘的关注位置(A)相对应的位置处，其在图15中由A′指示，并且对应于边缘的爪形在与现实世界1中图像边缘的梯度相对应的方向上，图15中由B′指示的梯度的方向上排列。

用N个变量表示的模型161近似产生数据3中数据连续性的现实世界1信号的这种部分。

当列出使用N个变量、指示由N个变量表示的模型161与M块数据162之间关系的表达式时，使用数据连续性在数据3中产生的部分的值。

在该情况下，在图16中所示数据3中，注意数据连续性在其中产生并且属于混合区域的值，表达式用积分现实世界1的信号、与由传感器2的检测元件输出的值相等的值列出。例如，多个表达式可以关于数据连续性在其中产生的数据3中多个值而列出。

在图16中，A表示边缘的关注位置，A′表示与现实世界1的图像中关注边缘的位置(A)相对应的像素(位置)。

现在，混合区域意思是现实世界1中两个对象的信号混合并变为一个值的数据3中的数据区域。例如，这样的像素值属于混合区域，其中在具有直边以及不同于数据3中背景的单色的现实世界1对象的图像中，具有直边的对象的图像和背景的图像被积分。

图17是描述在列出表达式的情况下，现实世界1中两个对象的信号以及属于混合区域的值的图。

图17的左侧说明与在空间方向X和空间方向Y上具有预先确定展开的现实世界1中两个对象相对应的现实世界1的信号，该信号在传感器2的单个检测元件的检测区域处获取。图17的右侧说明数据3中单个像素的像素值P，图17中左侧说明的现实世界1的信号已经由传感器2的单个检测元件投影到其中。也就是说，说明数据3中单个像素的像素值P，与在空间方向X和空间方向Y上具有预先确定展开的现实世界1中两个对象相对应、并且由传感器2的单个检测元件获取的现实世界1的信号已经投影到其中。

图17中的L表示与现实世界1中一个对象相对应的现实世界1的信号的光度，其在图17中以白色显示。图17中的R表示与现实世界1中另一个对象相对应的现实世界1的信号的光度，其在图17中显示为阴影。

这里，混合比α是投射到在空间方向X和空间方向Y上具有预先确定展开的传感器2的一个检测元件的检测区域中、与两个对象相对应的信号(面积)比。例如，混合比α表示投射到在空间方向X和空间方向Y上具有预先确定展开的传感器2的一个检测元件的检测区域中的光度L信号的面积，关于传感器2的单个检测元件的检测区域的面积的比值。

在该情况下，光度L、光度R和像素值P之间的关系可以由表达式(4)表示。

α×L+f(1-α)×R＝P         ...(4)

注意，可能存在这种情况，其中光度R可以看作位于关注像素右侧的数据3中像素的像素值，并且可能存在这种情况，其中光度L可以看作位于关注像素左侧的数据3中像素的像素值。

而且，对于混合比α和混合区域，时间方向可以与空间方向相同的方法考虑。例如，如果作为图像获取对象的现实世界1中的对象正关于传感器2运动，投射到传感器2的单个检测元件的检测区域中的两个对象的信号比在时间方向上变化。已经投射到传感器2的单个检测元件的检测区域中、其比值在时间方向上变化的两个对象的信号由传感器2的检测元件投影到数据3的单个值中。

因传感器2的时间积分效应两个对象的信号在时间方向上的混合将称作时间混合。

数据连续性检测单元101检测现实世界1中两个对象的现实世界1的信号例如已经投影到其中的数据3中的像素区域。数据连续性检测单元101例如检测与现实世界1中图像边缘的梯度相对应的数据3中的梯度。

现实世界估计单元102通过基于例如具有由数据连续性检测单元101检测的预先确定混合比α的像素区域以及区域的梯度，列出使用N个变量、表示由N个变量表示的模型161与M块数据162之间关系的表达式，并求解列出的表达式来估计现实世界1的信号。

将进一步描述现实世界1的具体估计。

在由函数F(x，y，z，t)表示的现实世界的信号中，让我们考虑使用由空间方向X上的位置x、空间方向Y上的位置y以及时间点t确定的近似函数f(x，y，t)，来近似空间方向Z上横截面处(传感器2的位置)由函数F(x，y，t)表示的现实世界的信号。

现在，传感器2的检测区域具有在空间方向X和空间方向Y上的展开。换句话说，近似函数f(x，y，t)是近似由传感器2获取的、具有在空间方向和时间方向上的展开的现实世界1的信号的函数。

让我们假定，来自传感器2的现实世界1的信号的投影产生数据3的值P(x，y，t)。数据3的值P(x，y，t)是例如作为图像传感器的传感器2输出的像素值。

现在，如果传感器2的投影可以用公式表示，通过投影近似函数f(x，y，t)而获得的值可以表示为投影函数S(x，y，t)。

获得投影函数S(x，y，t)具有下面的问题。

首先，通常，表示现实世界1的信号的函数F(x，y，z，t)可以是具有无穷阶数的函数。

第二，即使现实世界的信号可以描述为函数，经由传感器2投影的投影函数S(x，y，t)通常不能确定。也就是说，传感器2的投影动作，换句话说，传感器2的输入信号与输出信号之间的关系是未知的，所以投影函数S(x，y，t)不能确定。

对于第一个问题，让我们考虑用作为可描述函数(例如具有有穷阶数的函数)的函数f_i(x，y，t)与变量w_i的乘积的和来表示近似现实世界1的信号的函数f(x，y，t)。

同样，对于第二个问题，用公式表示传感器2的投影允许我们从函数f_i(x，y，t)的描述中描述函数S_i(x，y，t)。

也就是说，用函数f_i(x，y，t)与变量w_i的乘积的和来表示近似现实世界1的信号的函数f(x，y，t)，可以获得表达式(5)。

$f(x,y,t)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{f}_i(x,y,t)---\left(5\right)$

例如，如表达式(6)中所示，数据3与现实世界信号之间的关系可以通过用公式表示传感器2的投影从表达式(5)中如表达式(7)中所示而列出。

S_i(x，y，t)＝∫∫∫f_i(x，y，t)dxdydt      ...(6)

$P_j(x_j,y_j,t_j)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{S}_i(x_j,y_j,t_j)---\left(7\right)$

在表达式(7)中，j表示数据的索引。

如果M个数据组(j＝1～M)与N个变量w_i(i＝1～N)存在于表达式(7)中，表达式(8)满足，所以现实世界的模型161可以从数据3中获得。

N≤M       ...(8)

N是表示近似现实世界1的模型161的变量数目。M是包括在数据3中的数据块162的数目。

用表达式(5)表示近似现实世界1信号的函数f(x，y，t)允许变量部分w_i可以独立地处理。这里，i表示变量数目。而且，由f_i表示的函数的形式可以独立地处理，并且期望的函数可以用于f_i。

因此，变量w_i的数目N可以不依赖于函数f_i而定义，并且变量w_i可以从变量w_i的数目N与数据块的数目M之间的关系中获得。

也就是说，使用下面三条允许现实世界1从数据3中估计。

首先，确定N个变量。也就是说，确定表达式(5)。这使得可以使用连续性描述现实世界1。例如，现实世界1的信号可以用模型161描述，其中横截面用多项式表示，并且相同的横截面形状在恒定方向上连续。

第二，例如传感器2的投影用公式表示，描述表达式(7)。例如，这用公式表示使得现实世界1的信号的积分结果是数据3。

第三，M块数据162被收集以满足表达式(8)。例如，数据162从具有已经用数据连续性检测单元101检测的数据连续性的区域中收集。例如，作为连续性的实例恒定的横截面连续的区域的数据162被收集。

这样，数据3与现实世界1之间的关系用表达式(5)描述，并且M块数据162被收集，从而满足表达式(8)，且现实世界1可以估计。

更具体地说，如果N＝M，变量数目N和表达式数目M相等，所以变量w_i可以通过列出联立方程而获得。

同样，如果N＜M，各种求解方法可以应用。例如，变量w_i可以由最小二乘法获得。

现在，将详细描述最小二乘法的求解方法。

首先，从现实世界1预测数据3的表达式(9)将根据表达式(7)显示。

${P^{\′}}_j(x_j,y_j,t_j)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{S}_i(x_j,y_j,t_j)---\left(9\right)$

在表达式(9)中，P′_j(x_j，y_j，t_j)是预测值。

预测值P′与观测值P的方差和E由表达式(10)表示。

$E=\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{(P_j(x_j,y_j,t_j)-{P^{\′}}_j(x_j,y_j,t_j))}^2---\left(10\right)$

变量w_i获得使得方差和E最小。因此，表达式(10)对于每个变量w_k的偏微分值为0。也就是说，表达式(11)成立。

$\frac{\∂E}{\∂w_k}=-2\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{w}_i{S}_k(x_j,y_j,t_j)(P_j(x_j,y_j,t_j)-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{S}_i(x_j,y_j,t_j))=0---\left(11\right)$

表达式(11)产生表达式(12)。

$\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\left(S_k(x_j,y_j,t_j)\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{S}_i(x_j,y_j,t_j)\right)=\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{S}_k(x_j,y_j,t_j)P_j(x_j,y_j,t_j)---\left(12\right)$

当表达式(12)对k＝1～N成立时，获得最小二乘法的解。其正则方程在表达式(13)中显示。

注意，在表达式(13)中，将S_i(x_j，y_j，t_j)描述为S_i(j)。

$W_{\mathrm{MAT}}=\left(\begin{array}{c}{w}_1\\ w_2\\ \·\\ \·\\ \·\\ w_N\end{array}\right)---\left(15\right)$

$P_{\mathrm{MAT}}=\left(\begin{array}{c}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{S}_1\left(j\right)P_j\left(j\right)\\ \underset{j=1}{\overset{M}{\mathrm{\Σ}}}{S}_2\left(j\right)P_j\left(j\right)\\ \·\\ \·\\ \·\\ \underset{j=1}{\overset{M}{\mathrm{\Σ}}}{S}_N\left(j\right)P_j\left(j\right)\end{array}\right)---\left(16\right)$

从表达式(14)到表达式(16)中，表达式(13)可以表示为S_MATW_MAT＝P_MAT。

在表达式(13)中，S_i表示现实世界1的投影。在表达式(13)中，P_j表示数据3。在表达式(13)中，w_i表示描述和获得现实世界1的信号的特性的变量。

因此，将数据3输入表达式(13)中并通过矩阵解法等获得W_MAT使得现实世界1可以被估计。也就是说，现实世界1可以通过计算表达式(17)来估计。

$W_{\mathrm{MAT}}=S_{\mathrm{MAT}}^{-1}{P}_{\mathrm{MAT}}---\left(17\right)$

注意，如果S_MAT不是正则的，S_MAT的转置矩阵可以用来获得W_MAT。

现实世界估计单元102通过例如将数据3输入表达式(13)中并由矩阵解法等获得W_MAT来估计现实世界1。

现在，将描述更详细的实例。例如，现实世界1的信号的横截面形状，即关于位置变化的光度变化将用多项式描述。让我们假设现实世界1的信号的横截面形状是恒定的，并且现实世界1的信号的横截面以恒定速度运动。来自传感器2的现实世界1的信号到数据3的投影由现实世界1的信号在时间-空间方向上的三维积分来用公式表示。

现实世界1的信号的横截面以恒定速度运动的假设产生表达式(18)和表达式(19)。

$\frac{\mathrm{dx}}{\mathrm{dt}}=v_x---\left(18\right)$

$\frac{\mathrm{dg}}{\mathrm{dt}}=v_y---\left(19\right)$

这里，v_x和v_y是恒定的。

使用表达式(18)和表达式(19)，现实世界1的信号的横截面形状可以在表达式(20)中表示。

f(x′，y′)＝f(x+v_xt，y+v_yt)       ...(20)

由现实世界1的信号在时间-空间方向上的三维积分表示来自传感器2的现实世界1的信号到数据3的投影产生表达式(21)。

$(x,y,t)={\∫}_{x_s}^{x_e}{\∫}_{y_s}^{y_e}{\∫}_{t_s}^{t_e}f(x^{\′},y^{\′})\mathrm{dxdydt}$

$={\∫}_{x_s}^{x_e}{\∫}_{y_s}^{y_e}{\∫}_{t_s}^{t_e}f(x+v_{x}t,y+v_{y}t)\mathrm{dxdydt}---\left(21\right)$

在表达式(21)中，S(x，y，t)表示从空间方向X的位置x_s到位置x_e、从空间方向Y的位置y_s到位置y_e，以及从时间方向t的时间点t_s到时间点t_e的区域，也就是表示为空间-时间立方体的区域的积分值。

使用表达式(21)可以由此确定的期望函数f(x′，y′)来求解表达式(13)使得现实世界1的信号可以被估计。

在下文中，我们将使用表达式(22)中指示的函数作为函数f(x′，y′)的实例。

f(x′，y′)＝w₁x′+w₂y′+w₃

           ＝w₁(x+v_xt)+w₂(y+v_yt)+w₃          ...(22)

也就是说，现实世界1的信号被估计以包括表达式(18)、表达式(19)以及表达式(22)中表示的连续性。这指示具有恒定形状的横截面在空间-时间方向上运动，如图18中所示。

将表达式(22)代入表达式(21)产生表达式(23)。

$S(x,y,t)={\∫}_{x_s}^{x_e}{\∫}_{y_s}^{y_e}{\∫}_{t_s}^{t_e}f(x+v_{x}t,y+v_{y}t)\mathrm{dxdydt}$

$=\mathrm{Volume}(\frac{w_0}{2}(x_e+x_s+v_x(t_e+t_s))+\frac{w_1}{2}(y_e+y_s+v_y(t_e+t_s))+w_2)$

$=w_0{S}_0(x,y,t)+w_1{S}_1(x,y,t)+w_2{S}_2(x,y,t)---\left(23\right)$

其中

Volume＝(x_e-x_s)(y_e-y_s)(t_e-t_s)

s₀(x，y，t)＝Volume/2×(x_e+x_s+v_x(t_e+t_s))

s₁(x，y，t)＝Volume/2×(y_e+y_s+v_y(t_e+t_s))

s₂(x，y，t)＝1

成立。

图19是说明从数据3中选取的M块数据162的实例的图。例如，让我们假定27个像素值被选取作为数据162，并且选取的像素值为P_j(x，y，t)。在该情况下，j为0～26。

在图19中所示的实例中，如果与t为n的时间点处关注位置相对应的像素的像素值为P₁₃(x，y，t)，并且具有数据连续性的像素的像素值的阵列方向(例如由数据连续性检测单元101检测的形状相同的爪形排列的方向)是连接P₄(x，y，t)、P₁₃(x，y，t)和P₂₂(x，y，t)的方向，则t为n的时间点处的像素值P₉(x，y，t)～P₁₇(x，y，t)、时间上早于n的n-1的时间点t处的像素值P₀(x，y，t)～P₈(x，y，t)，以及时间上迟于n的n+1的时间点t处的像素值P₁₈(x，y，t)～P₂₆(x，y，t)被选取。

现在，作为从为传感器2的图像传感器输出的数据3的像素值已经获得的区域具有时间方向和二维空间方向展开。现在，例如，与像素值相对应的立方体的重心(像素值已经获得的区域)可以用作空间-时间方向上的像素位置。

从27个像素值P₀(x，y，t)～P₂₆(x，y，t)以及表达式(23)中产生表达式(13)，并获得W，使得现实世界1可以被估计。

这样，现实世界估计单元102从27个像素值P₀(x，y，t)～P₂₆(x，y，t)以及表达式(23)中产生表达式(13)，并获得W，从而估计现实世界1的信号。

注意，高斯函数、S形函数等可以用于函数f_i(x，y，t)。

将参考图20至图23来描述从估计的现实世界1信号中产生与数据3相对应的、具有更高分辨率的高分辨率数据的处理实例。

如图20中所示，数据3具有现实世界1的信号在时间方向和二维空间方向上积分的值。例如，作为已经从为传感器2的图像传感器输出的数据3的像素值具有这样的值，其中作为投射到检测设备中的光的现实世界1的信号在时间方向上以作为检测时间的快门时间积分，并且在空间方向上以检测元件的感光区域积分。

相反地，如图21中所示，具有空间方向上更高分辨率的高分辨率数据通过在时间方向上以与已经输出数据3的传感器2的检测时间相同的时间、以及在空间方向上以比已经输出数据3的传感器2的检测元件感光区域窄的区域，积分估计的现实世界1信号而产生。

注意，当产生具有空间方向上更高分辨率的高分辨率数据时，现实世界1的估计信号被积分的区域可以完全脱离已经输出数据3的传感器2的检测元件感光区域而设置。例如，高分辨率数据可以提供有这样的分辨率，其为在空间方向上放大整数倍的数据3的分辨率，当然，还可以提供有这样的分辨率，其为在空间方向上放大有理数例如5/3倍的数据3的分辨率。

同样，如图22中所示，具有时间方向上更高分辨率的高分辨率数据通过在空间方向上以与已经输出数据3的传感器2的检测元件感光区域相同的区域、以及在时间方向上以比已经输出数据3的传感器2的检测时间短的时间，积分估计的现实世界1信号而产生。

注意，当产生具有时间方向上更高分辨率的高分辨率数据时，现实世界1的估计信号被积分的时间可以完全脱离已经输出数据3的传感器2的检测元件快门时间而设置。例如，高分辨率数据可以提供有这样的分辨率，其为在时间方向上放大整数倍的数据3的分辨率，当然，还可以提供有这样的分辨率，其为在时间方向上放大有理数例如7/4倍的数据3的分辨率。

去除了运动模糊的高分辨率数据通过仅在空间方向而不在时间方向上积分估计的现实世界1信号来产生。

此外，如图23中所示，具有时间方向和空间方向上更高分辨率的高分辨率数据通过在空间方向上以比已经输出数据3的传感器2的检测元件感光区域小的区域，以及在时间方向上以比已经输出数据3的传感器2的检测时间短的时间，积分估计的现实世界1信号而产生。

在该情况下，积分估计的现实世界1信号的区域和时间可以完全不相关于已经输出数据3的传感器2的检测元件的感光区域和快门时间而设置。

从而，图像生成单元103通过例如以期望的空间-时间区域积分估计的现实世界1信号，来产生具有时间方向或空间方向上更高分辨率的数据。

因此，关于现实世界1的信号更精确并且具有时间方向或空间方向上更高分辨率的数据可以通过估计现实世界1的信号来产生。

图24至图28说明输入图像的实例以及用于信号处理的信号处理设备4处理结果的实例。

图24是说明输入图像的原始图像(相当于现实世界1的光信号)的图。图25是说明输入图像实例的图。图25中所示输入图像是通过取属于由图24中所示图像的2×2像素构成的块的像素的像素值平均值作为单个像素的像素值而产生的图像。也就是说，输入图像是通过对图24中所示图像应用空间方向积分，模仿传感器的积分性质而获得的图像。

图24中所示原始图像包含从垂直方向顺时针方向倾斜大约5度的细线的图像。同样地，图25中所示输入图像包含从垂直方向顺时针方向倾斜大约5度的细线的图像。

图26是说明通过对图25中所示输入图像应用常规类型分类适应处理而获得的图像。现在，类型分类处理由类型分类处理和适应处理构成，其中数据由类型分类适应处理基于其特性来分类，并对每一类进行适应处理。在适应处理中，例如低图像质量或标准图像质量图像通过经历使用预先确定抽头系数的映射(映射)转换成高图像质量图像。

也就是说，使用适应处理，第一数据通过使用预先确定抽头系数被映射(映射)而转换成第二数据。

现在，适应处理将关于使用抽头系数的映射方法来描述，其中例如线性组合模型被使用，而且通过用低通滤波器过滤高分辨率HD(高清晰度)图像而获得的低分辨率图像或标准分辨率SD(标准清晰度)图像用作第一数据，而用于获得SD图像的HD图像用作第二数据。

现在，在上述条件下，构成HD图像的HD像素y可以使用从构成SD图像的SD像素中选取的多个SD像素作为预测HD图像的预测抽头以及抽头系数，通过下面的线性表达式(线性组合)获得。

$y=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}_n---\left(24\right)$

其中，在表达式(24)中，x_n表示构成关于HD像素y的预测抽头、SD图像中第n个像素的像素值，并且w_n表示与第n个SD像素(的像素值)相乘的第n个抽头系数。注意在表达式(24)中，预测抽头由N个SD像素x₁，x₂，...，x_N构成。

现在，HD像素的像素值y可以由二次表达式或更高，代替表达式(24)中所示线性表达式来获得。

现在，在HD图像中，假定y_k表示第k个HD像素(的像素值)的真实值，并且y_k′表示由表达式(24)获得的真实值y_k的预测值，其预测误差e_k如下面的表达式中表示，例如。

e_k＝y_k-y_k′    ...(25)

表达式(25)中的预测值y_k′根据表达式(24)获得，所以将依照表达式(24)的y_k′代入表达式(25)中产生下面的表达式。

$e_k=y_k-\left(\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}_{n,k}\right)---\left(26\right)$

其中，在表达式(26)中，x_n，k表示构成第k个HD像素的预测抽头的第n个SD像素。

虽然表达式(26)中预测误差e_k为0的抽头系数w_n对于预测HD像素是最佳的，对于所有HD像素获得这种抽头系数w_n通常是困难的。

因此，作为表示最佳的抽头系数w_n的规则，使用最小二乘法例如，意思是最佳抽头系数w_n可以通过使得作为统计误差的例如下面表达式中表示的均方误差的求和E达到最小来获得。

$E=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e_k}^2---\left(27\right)$

其中，在表达式(27)中，k表示由HD像素y_k以及构成关于该HD像素y_k的预测抽头的SD像素x_1，k，x_2，k，...，x_N，k构成的样品集的数目。

使得表达式(27)中的均方误差的求和E最小(最小值)的抽头系数W_n是这样的，即求和E对于抽头系数w_n的偏微分为0。因此，下面的表达式必须满足。

$\frac{\∂E}{\∂w_n}=e_1\frac{\∂e_1}{\∂w_n}+e_2\frac{\∂e_2}{\∂w_n}+\·\·\·+e_k\frac{\∂e_{k2}}{\∂w_n}=0(n=\mathrm{1,2},\·\·\·,N)---\left(28\right)$

现在，上面表达式(26)对抽头系数w_n的偏微分产生下面的表达式。

$\frac{\∂e_k}{\∂w_1}=-x_{1,k},\frac{\∂e_k}{\∂w_2}=-x_{2,k},\·\·\·,\frac{\∂e_k}{\∂w_N}=-x_{N,k},(k=\mathrm{1,2},\·\·\·K)---\left(29\right)$

表达式(28)和(29)产生下面的表达式。

$\underset{k=1}{\overset{k}{\mathrm{\Σ}}}{e}_k{x}_{1,k}=0,\underset{k=1}{\overset{k}{\mathrm{\Σ}}}{e}_k{x}_{2,k}=0,\·\·\·\underset{k=1}{\overset{k}{\mathrm{\Σ}}}{e}_k{x}_{N,k}=0---\left(30\right)$

用表达式(26)代替表达式(30)中的e_k使得表达式(30)能够以表达式(31)中的正则方程的形式表示。

准备一定数目的HD像素y_k和SD像素x_n，k的集合允许与抽头系数w_n数据相同的列出的表达式(31)中正则方程可以获得，并且求解表达式(31)可以获得最佳抽头系数w_n。注意扫描(高斯-约旦消除)等例如可以用于求解表达式(31)。

如上所述，适应处理涉及取大量HD像素y₁，y₂，...，y_k作为导师数据以用作为抽头系数学习的导师，同样取构成关于每个HD像素y_k的预测抽头的SD像素x_1，k，x_2，k，...，x_N，k作为学生数据以用作为抽头系数学习的学生，并且求解表达式(31)，从而执行获得最佳抽头系数w_n的学习，进一步使用最佳抽头系数w_n来执行根据表达式(24)SD图像到HD图像的映射(转换)。

现在，对于构成HD像素y_k的预测抽头的SD像素x_1，k，x_2，k，...，x_N，k，空间上或时间上接近对应于HD像素y_k的SD图像上位置的SD像素可以使用。

同样，使用类型分类适应处理，抽头系数w_n的学习以及使用抽头系数w_n的映射可以根据类型执行。使用类型分类适应处理，类型分类处理关于关注的HD像素y_k执行，并且抽头系数w_n的学习以及使用抽头系数w_n的映射对于由类型分类处理获得的每个类而执行。

关于HD像素y_k的类型分类处理的一个实例是从SD图像中选取多个SD像素用作用于HD像素y_k类型分类的类抽头，并且使用由多个SD像素构成的类抽头来执行M位ADRC(自适应动态范围编码)。

在M位ADRC处理中，构成类抽头的SD像素的最大值MAX和最小值MIN被检测，DR＝MAX-MIN设置为局部动态范围，并且构成类抽头的SD像素基于该动态范围DR重新量化为k位。也就是说，最小值MIN从构成类抽头的SD像素中减去，并且减少值除以DR/2^K(量化)。因此，如果类抽头经历例如1位ADRC处理，构成类抽头的每个SD像素是一位。在该情况下，通过以预先确定顺序排列关于构成已经如上所述获得的类抽头的每个SD像素的1位像素值而获得的位串作为ADRC编码输出，并且ADRC编码看作表示类的类编码。

注意，类型分类适应处理不同于例如简单的内插处理等，在于没有包括在SD图像中但是包括在HD图像中的分量被再现。也就是说，使用类型分类适应处理，通过仅看表达式(24)看起来这与使用所谓内插滤波器的内插处理相同，但是相当于内插滤波器抽头系数的抽头系数w_n已经通过使用用作导师数据的HD图像和用作学生数据的SD图像学习来获得，所以包含在HD图像中的分量可以再现。

现在，执行各种类型转换的抽头系数w_n可以依赖于使用哪种类型组合的导师数据y和学生数据x在抽头系数w_n学习中获得。

也就是说，在取高分辨率HD图像作为导师数据y并且取HD图像的分辨率已经退化的SD图像作为学生数据x例如的情况下，将图像映射到分辨率提高的图像的抽头系数w_n可以获得。此外，在取HD图像作为导师数据y并且取HD图像的像素数目已经减少的SD图像作为学生数据x例如的情况下，将图像映射到具有构成图像的增大数目像素的图像的抽头系数w_n可以获得。

图26是通过使图25中所示输入图像经历例如上述类型分类适应处理的映射而获得的图像。可以理解，在图26中所示图像中，细线的图像不同于图24中原始图像。

图27是说明由数据连续性检测单元101从图25中实例中所示的输入图像中检测细线区域的结果的图。在图27中，白色区域表示细线区域，即图10中所示弧形排列于其中的区域。

图28是说明通过以图25中所示图像作为输入图像，在信号处理设备4处执行信号处理而获得的输出图像的实例的图。如图28中所示，信号处理设备4产生更接近图24中所示原始图像的细线图像的图像。

图29是描述使用信号处理设备4的信号处理的流程图。

在步骤S101中，数据连续性检测单元101执行检测连续性的处理。数据连续性检测单元101检测包含在作为数据3的输入图像中的数据连续性，并将指示检测的数据连续性的数据连续性信息提供给现实世界估计单元102和图像生成单元103。

数据连续性检测单元101检测与现实世界的信号的连续性相对应的数据的连续性。在步骤S101的处理中，由数据连续性检测单元101检测的数据连续性或者是包含在数据3中的现实世界1图像连续性的一部分，或者是已经从现实世界1信号的连续性变化的连续性。

例如，数据连续性检测单元101通过检测在预先确定维度方向上具有恒定特性的区域来检测数据连续性。同样，例如，数据连续性检测单元101通过检测指示相同形状排列的空间方向上的角度(梯度)来检测数据连续性。

步骤S101中的连续性检测处理的细节将随后描述。

注意，数据连续性信息可以用作指示数据3特性的特征。

在步骤S102中，现实世界估计单元102执行估计现实世界的处理。也就是说，现实世界估计单元102基于输入图像以及从数据连续性检测单元101提供的数据连续性信息来估计现实世界的信号。在步骤S102的处理中例如，现实世界估计单元102通过预测近似(描述)现实世界1的模型161来估计现实世界1的信号。现实世界估计单元102将指示现实世界1的估计信号的现实世界估计信息提供给图像生成单元103。

例如，现实世界估计单元102通过预测线形对象的宽度来估计现实世界1信号。同样，例如，现实世界估计单元102通过预测指示线形对象颜色的光度来估计现实世界1信号。

步骤S102中估计现实世界的处理细节将随后描述。

注意，现实世界估计信息可以用作指示数据3特性的特征。

在步骤S103中，图像生成单元103执行图像生成处理，并且处理结束。也就是说，图像生成单元103基于现实世界估计信息产生图像，并输出生成的图像。或者，图像生成单元103基于数据连续性信息和现实世界估计信息产生图像，并输出生成的图像。

例如，在步骤S103的处理中，图像生成单元103基于现实世界估计信息，在空间方向上积分估计的真实世界的光，从而产生与输入图像相比较具有空间方向上更高分辨率的图像，并输出生成的图像。例如，图像生成单元103基于现实世界估计信息，在时间-空间方向上积分估计的真实世界的光，从而生成与输入图像相比较具有时间方向和空间方向上更高分辨率的图像，并输出生成的图像。步骤S103中的图像生成处理的细节将随后描述。

因此，信号处理设备4从数据3中检测数据连续性，并从检测的数据连续性中估计现实世界1。信号处理设备4然后基于估计的现实世界1产生更接近现实世界1的信号。

如上所述，如果执行估计现实世界的信号的处理，可以获得准确且高度精确的处理结果。

另外，如果作为具有第一维度的真实世界信号的第一信号被投影，与真实世界信号的丢失连续性相对应的数据连续性对于具有第二维度的第二信号而检测，该第二维度具有少于第一维度的维度数目，真实世界信号的连续性的一部分从其中丢失，并且第一信号通过基于检测的数据连续性估计丢失的真实世界信号连续性而估计，准确且高度精确的处理结果可以关于真实世界中的事件而获得。

接下来，将描述数据连续性检测单元101的构造细节。

图30是说明数据连续性检测单元101的构造的框图。

当获取细线对象的图像时，其构造如图30中所示的数据连续性检测单元101检测包含在数据3中的数据连续性，该连续性从对象具有的横截面形状相同的连续性中产生。也就是说，具有图30中所示构造的数据连续性检测单元101检测包含在数据3中的数据连续性，该连续性从作为细线的现实世界1的图像具有的连续性中产生，即关于垂直于长度方向的方向上位置变化的光度变化在长度方向上任意位置处相同。

更具体地说，其构造如图30中所示的数据连续性检测单元101在通过用具有空间积分效应的传感器2获取细线图像而获得的数据3中，检测具有预先确定长度的多个弧形(半盘)以对角偏移相邻方式排列的区域。

数据连续性检测单元101从作为数据3的输入图像中提取除具有数据连续性的细线图像已经投影到其中的图像数据部分(下文中，具有数据连续性的细线图像已经投影到其中的图像数据部分也将称作连续性分量，并且其它部分将称作非连续性分量)之外的图像数据部分(以下称作非连续性分量)，从提取的非连续性分量和输入图像中检测现实世界1的细线图像已经投影到其中的像素，并检测由现实世界1的细线图像已经投影到其中的像素构成的输入图像的区域。

非连续性分量提取单元201从输入图像中提取非连续性分量，并将指示提取的非连续性分量的非连续性分量信息与输入图像一起提供给峰值检测单元202和单调增大/减小检测单元203。

例如，如图31中所示，如果细线存在于具有近似恒定光度的背景前面的现实世界1的图像投影在数据3上，非连续性分量提取单元201通过在平面上近似作为数据3的输入图像中的背景来提取作为背景的非连续性分量，如图32所示。在图32中，实线表示数据3的像素值，而虚线说明由近似背景的平面表示的近似值。在图32中，A表示细线的图像已经投影到其中的像素的像素值，而PL表示近似背景的平面。

这样，具有数据连续性的图像数据的部分处多个像素的像素值关于非连续性分量是不连续的。

非连续性分量提取单元201检测作为数据3的图像数据的多个像素的像素值的不连续部分，其中作为现实世界1光信号的图像已经投影到其中并且现实世界1图像连续性的一部分已经丢失。

使用非连续性分量提取单元201提取非连续性分量的处理细节将随后描述。

峰值检测单元202和单调增大/减小检测单元203基于从非连续性分量提取单元201提供的非连续性分量信息，从输入图像中去除非连续性分量。例如，峰值检测单元202和单调增大/减小检测单元203通过将仅背景图像投影到其中的输入图像像素的像素值设置为0而从输入图像中去除非连续性分量。同样，例如，峰值检测单元202和单调增大/减小检测单元203通过从输入图像的每个像素的像素值中减去由平面PL近似的值而从输入图像中去除非连续性分量。

因为背景可以从输入图像中去除，峰值检测单元202至连续性检测单元204可以仅处理细线投影到其中的图像数据的部分，从而进一步简化峰值检测单元202至连续性检测单元204的处理。

注意，非连续性分量提取单元201可以将非连续性分量已经从输入图像中去除的图像数据提供给峰值检测单元202和单调增大/减小检测单元203。

在下述处理的实例中，非连续性分量已经从输入图像中去除的图像数据，即仅由包含连续性分量的像素构成的图像数据作为对象。

现在，将描述峰值检测单元202至连续性检测单元204将检测的、细线图像已经投影到其上的图像数据。

如果没有光学LPF，如图31中所示细线图像已经投影到其上的图像数据在空间方向Y上的横截面图像(关于空间方向上位置的变化，像素值变化)可以看作图33中所示的梯形，或图34中所示的三角形，因作为传感器2的图像传感器的空间积分效应。但是，普通的图像传感器具有光学LPF，图像传感器获得已经通过光学LPF的图像，并将获得的图像投影到数据3上，所以实际上，在空间方向Y上具有细线的图像数据的横截面形状具有类似高斯分布的形状，如图35中所示。

峰值检测单元202至连续性检测单元204检测由细线图像已经投影到其上的像素构成的区域，其中相同的横截面形状(关于空间方向上位置的变化，像素值变化)以恒定间隔在屏幕中垂直方向上排列，并且，通过检测与现实世界1细线的长度方向相对应的区域连接，检测由细线图像已经投影到其上的像素构成的区域，即具有数据连续性的区域。也就是说，峰值检测单元202至连续性检测单元204检测弧形(半盘形)在输入图像中单个垂直行像素上形成的区域，并确定检测的区域是否在水平方向上相邻，从而检测与作为现实世界1信号的细线图像长度方向相对应的、弧形形成的区域的连接。

同样，峰值检测单元202至连续性检测单元204检测由细线图像已经投影到其上的像素构成的区域，其中相同的横截面形状以恒定间隔在屏幕中水平方向上排列，并且，通过检测与现实世界1细线的长度方向相对应的检测区域的连接，检测由细线图像已经投影到其上的像素构成的区域，即具有数据连续性的区域。也就是说，峰值检测单元202至连续性检测单元204检测弧形在输入图像中单个水平行像素上形成的区域，并确定检测的区域是否在垂直方向上相邻，从而检测与作为现实世界1信号的细线图像长度方向相对应的、弧形形成的区域的连接。

首先，将描述检测细线图像已经投影到其上的像素区域的处理，其中相同的弧形以恒定间隔在屏幕中垂直方向上排列。

峰值检测单元202检测像素值比周围像素大的像素，即峰值，并将指示峰值位置的峰值信息提供给单调增大/减小检测单元203。如果以在屏幕中单个垂直方向行中排列的像素作为对象，峰值检测单元202比较屏幕中上方的像素位置的像素值与屏幕中下方的像素位置的像素值，并检测具有较大像素值的像素作为峰值。峰值检测单元202从单个图像例如从单帧图像中检测一个或多个峰值。

单个屏幕包含帧或场。这在下面的描述中同样成立。

例如，峰值检测单元202从还没有取作关注像素的一帧图像的像素中选择关注像素，比较关注像素的像素值与在关注像素上方的像素的像素值，比较关注像素的像素值与在关注像素下方的像素的像素值，检测像素值大于其上方像素的像素值并大于其下方像素的像素值的关注像素，并取检测的关注像素作为峰值。峰值检测单元202将指示检测峰值的峰值信息提供给单调增大/减小检测单元203。

存在峰值检测单元202没有检测到峰值的情况。例如，如果图像的所有像素的像素值是相同值，或者如果像素值在一个或两个方向上减小，检测不到峰值。在该情况下，没有细线图像投影在图像数据上。

单调增大/减小检测单元203基于从峰值检测单元202提供的指示峰值位置的峰值信息，检测由细线图像已经投影到其上的像素构成的区域的候选，其中像素关于由峰值检测单元202检测的峰值垂直地排列在单行中，并且将指示检测的区域的区域信息与峰值信息一起提供给连续性检测单元204。

更具体地说，单调增大/减小检测单元203检测由具有参考峰值像素值单调减小的像素值的像素构成的区域，作为由细线图像已经投影到其上的像素构成的区域的候选。单调减小意思是，在距离方向上离峰值较远的像素的像素值比离峰值较近的像素的像素值小。

同样，单调增大/减小检测单元203检测由具有参考峰值像素值单调增大的像素值的像素构成的区域，作为由细线图像已经投影到其上的像素构成的区域的候选。单调增大意思是，在距离方向上离峰值较远的像素的像素值比离峰值较近的像素的像素值大。

下面，关于具有单调增大像素值的像素区域的处理与关于具有单调减小像素值的像素区域的处理相同，因此其描述将省略。同样，对于关于检测细线图像已经投影到其上的像素区域的处理的描述，其中相同的弧形以恒定间隔在屏幕中水平排列，关于具有单调增大像素值的像素区域的处理与关于具有单调减小像素值的像素区域的处理相同，因此其描述将省略。

例如，单调增大/减小检测单元203获得关于峰值的垂直行中每个像素的像素值、关于上方像素的像素值的差、以及关于下方像素的像素值的差。单调增大/减小检测单元203然后通过检测差符号改变的像素来检测像素值单调减小的区域。

此外，单调增大/减小检测单元203使用峰值的像素值的符号作为参考，从像素值单调减小的区域中检测由具有与峰值像素值符号相同的像素值的像素构成的区域，作为由细线图像投影到其上的像素构成的区域的候选。

例如，单调增大/减小检测单元203比较每个像素的像素值的符号与上方像素的像素值的符号以及下方像素的像素值的符号，并且检测像素值符号改变的像素，从而检测像素值单调减小的区域中具有与峰值符号相同的像素值的像素区域。

因此，单调增大/减小检测单元203检测由在垂直方向上排列的像素形成的区域，其中像素值关于峰值单调减小，并且与峰值具有相同的符号。

图36是描述峰值检测和单调增大/减小区域检测的处理的图，该处理用于从关于空间方向Y上位置的像素值中，检测细线图像已经投影到其中的像素区域。

在图36至图38中，P表示峰值。在其构造如图30中所示的数据连续性检测单元101的描述中，P表示峰值。

峰值检测单元202比较像素的像素值与在空间方向Y上与其相邻的像素的像素值，并通过检测像素值大于在空间方向Y上相邻的两个像素的像素值的像素，来检测峰值P。

由峰值P以及在空间方向Y上在峰值P两侧的像素构成的区域是单调减小区域，其中在空间方向Y上两侧像素的像素值关于峰值P的像素值单调减小。在图36中，由A表示的箭头和由B表示的箭头代表在峰值P任一侧上存在的单调减小区域。

单调增大/减小检测单元203获得每个像素的像素值与在空间方向Y上相邻的像素的像素值之间的差，并检测差符号改变的像素。单调增大/减小检测单元203取差符号改变的检测像素与(在峰值P侧上)紧邻其在其之前的像素之间的边界，作为由细线图像已经投影到其中的像素构成的细线区域的边界。

在图36中，细线区域的边界，即差符号改变的像素与(在峰值P侧上)紧邻其在其之前的像素之间的边界，由C表示。

此外，单调增大/减小检测单元203比较每个像素的像素值的符号与在空间方向Y上与其相邻的像素的像素值，并检测单调减小区域中像素值符号改变的像素。单调增大/减小检测单元203取像素值符号改变的检测像素与(在峰值P侧上)紧邻其在其之前的像素之间的边界作为细线区域的边界。

在图36中，细线区域的边界，即像素值符号改变的像素与(在峰值P侧上)紧邻其在其之前的像素之间的边界，由D表示。

如图36中所示，由细线图像已经投影到其中的像素构成的细线区域F是细线区域边界C与细线区域边界D之间的区域。

单调增大/减小检测单元203从由这种单调增大/减小区域构成的细线区域F中获得长于预先确定阈值的细线区域F，即细线区域F具有比阈值更多的像素数目。例如，如果阈值为3，单调增大/减小检测单元203检测到包括4个或更多像素的细线区域F。

另外，单调增大/减小检测单元203将从这样检测的细线区域F中的峰值P的像素值、峰值P右侧的像素的像素值、以及峰值P左侧的像素的像素值，每个与阈值相比较，检测具有这种峰值P的细线像素区域F，其中峰值P的像素值超过阈值，峰值P右侧的像素的像素值为阈值或更小、以及峰值P左侧的像素的像素值为阈值或更小，并取检测的细线区域F作为由包含细线图像分量的像素构成的区域的候选。

换句话说，确定具有这种峰值P的细线区域F，其中峰值P的像素值为阈值或更小，或者峰值P右侧的像素的像素值超过阈值，或者峰值P左侧的像素的像素值超过阈值，不包含细线图像的分量，并且从由包括细线图像分量的像素构成的区域的候选中去除。

也就是，如图37中所示，单调增大/减小检测单元203比较峰值P的像素值与阈值，并且也比较在空间方向X(由虚线AA′表示的方向)上与峰值P相邻的像素的像素值与阈值，从而检测峰值P所属的细线区域F，其中峰值P的像素值超过阈值，并且在空间方向X上与其相邻的像素的像素值等于或小于阈值。

图38是说明在由图37中虚线AA′表示的空间方向X上排列的像素的像素值的图。峰值P所属的细线区域F，其中峰值P的像素值超过阈值Th_s，并且在空间方向X上与其相邻的像素的像素值等于或小于阈值Th_s，包含细线分量。

注意，配置可以这样进行，其中单调增大/减小检测单元203以背景的像素值作为参考，将峰值P的像素值和背景的像素值之间的差与阈值相比较，并且也将在空间方向X上与峰值P相邻的像素的像素值和背景的像素值之间的差与阈值相比较，从而检测峰值P所属的细线区域F，其中峰值P的像素值和背景的像素值之间的差超过阈值，并且其中在空间方向X上相邻的像素的像素值和背景的像素值之间的差等于或小于阈值。

单调增大/减小检测单元203将指示由以峰值P作为参考像素值单调减小并且像素值的符号与峰值P的相同的像素构成的区域的单调增大/减小区域信息提供给连续性检测单元204，其中峰值P超过阈值并且其中峰值P右侧的像素的像素值等于或低于阈值，以及峰值P左侧的像素的像素值等于或低于阈值。

如果检测在屏幕垂直方向上以单行排列、细线图像已经投影到其中的像素区域，属于由单调增大/减小区域信息指示的区域的像素在垂直方向上排列，并且包括细线图像投影到其中的像素。也就是说，由单调增大/减小区域信息指示的区域包括由在屏幕垂直方向上以单行排列、细线图像已经投影到其中的像素形成的区域。

这样，峰值检测单元202和单调增大/减小检测单元203使用细线图像已经投影到其中的像素中，空间方向上像素值的变化近似高斯分布的特性，检测由细线图像已经投影到其中的像素构成的连续性区域。

在由垂直方向上排列的像素构成的、由从单调增大/减小检测单元203提供的单调增大/减小区域信息指示的区域中，连续性检测单元204检测包括在水平方向上相邻的像素的区域，即具有类似像素值变化且在垂直方向上重复的区域作为连续区域，并且输出峰值信息和指示检测的连续区域的数据连续性信息。数据连续性信息包括单调增大/减小区域信息、指示区域的连接的信息等。

弧形以与细线已经投影到其中的像素相邻的方式以恒定间隔排列，所以检测的连续区域包括细线已经投影到其中的像素。

检测的连续区域包括弧形以相邻方式以恒定间隔排列、细线已经投影到其中的像素，所以检测的连续区域看作连续性区域，并且连续性检测单元204输出指示检测的连续区域的数据连续性信息。

也就是说，连续性检测单元204使用在通过成像细线而获得的数据3中弧形以相邻方式以恒定间隔排列的连续性，该连续性因现实世界1中细线图像的连续性而产生，该连续性的特性在长度方向上连续，以便进一步缩小使用峰值检测单元202和单调增大/减小检测单元203检测的区域的候选。

图39是描述检测单调增大/减小区域的连续性的处理的图。

如图39中所示，如果由在屏幕垂直方向上以单行排列的像素形成的细线区域F包括在水平方向上相邻的像素，连续性检测单元204确定在两个单调增大/减小区域之间存在连续性，并且如果不包括在水平方向上相邻的像素，确定两个细线区域F之间不存在连续性。例如，如果包含在水平方向上与细线区域F₀的像素相邻的像素，由在屏幕垂直方向上以单行排列的像素构成的细线区域F_-1被确定与由在屏幕垂直方向上以单行排列的像素构成的细线区域F₀连续。如果包含在水平方向上与细线区域F₁的像素相邻的像素，由在屏幕垂直方向上以单行排列的像素构成的细线区域F₀被确定与由在屏幕垂直方向上以单行排列的像素构成的细线区域F₁连续。

这样，由在屏幕垂直方向上以单行排列、细线图像已经投影到其中的像素构成的区域由峰值检测单元202至连续性检测单元204检测。

如上所述，峰值检测单元202至连续性检测单元204检测由在屏幕垂直方向上以单行排列、细线图像已经投影到其中的像素构成的区域，并且还检测在屏幕水平方向上以单行排列、细线图像已经投影到其中的像素构成的区域。

注意，处理顺序并不特别地限制，并且当然可以并行执行。

也就是说，峰值检测单元202对于在屏幕水平方向上以单行排列的像素，检测具有比位于屏幕上左侧的像素的像素值以及位于屏幕上右侧的像素的像素值大的像素值的像素作为峰值，并且将指示检测峰值的位置的峰值信息提供给单调增大/减小检测单元203。峰值检测单元202从一个图像例如一帧图像中检测一个或多个峰值。

例如，峰值检测单元202从还没有取作关注像素的一帧图像的像素中选择关注像素，比较关注像素的像素值与在关注像素左侧的像素的像素值，比较关注像素的像素值与在关注像素右侧的像素的像素值，检测像素值大于关注像素左侧的像素的像素值并大于关注像素右侧的像素的像素值的关注像素，并取该检测的关注像素作为峰值。峰值检测单元202将指示检测峰值的峰值信息提供给单调增大/减小检测单元203。

存在峰值检测单元202没有检测到峰值的情况。

单调增大/减小检测单元203检测关于由峰值检测单元202检测的峰值在水平方向上以单行排列、细线图像已经投影到其中的像素构成的区域的候选，并且将指示检测的区域的单调增大/减小区域信息与峰值信息一起提供给连续性检测单元204。

更具体地说，单调增大/减小检测单元203检测由以峰值的像素值作为参考具有单调减小的像素值的像素构成的区域，作为由细线图像已经投影到其中的像素构成的区域的候选。

例如，单调增大/减小检测单元203对于关于峰值在水平方向上以单行排列的每个像素，获得每个像素的像素值、关于左侧像素的像素值的差、以及关于右侧像素的像素值的差。单调增大/减小检测单元203然后通过检测差符号改变的像素来检测像素值单调减小的区域。

此外，单调增大/减小检测单元203参考峰值的像素值的符号，从像素值单调减小的区域中检测由具有与峰值像素值符号相同的像素值的像素构成的区域，作为由细线图像已经投影到其中的像素构成的区域的候选。

例如，单调增大/减小检测单元203比较每个像素的像素值的符号与左侧像素的像素值的符号或右侧像素的像素值的符号，并且检测像素值符号改变的像素，从而从像素值单调减小的区域中检测由具有与峰值符号相同的像素值的像素构成的区域。

因此，单调增大/减小检测单元203检测由在水平方向上排列且具有与峰值符号相同的像素值的像素构成的区域，其中像素值关于峰值单调减小。

从由这种单调增大/减小区域构成的细线区域中，单调增大/减小检测单元203获得长于预先设置的阈值的细线区域，即细线区域具有比阈值更多的像素数目。

另外，从这样检测的细线区域中，单调增大/减小检测单元203将峰值的像素值、峰值上方的像素的像素值、以及峰值下方的像素的像素值，每个与阈值相比较，检测这种峰值所属的细线区域，其中峰值的像素值超过阈值，峰值上方的像素的像素值在阈值内、以及峰值下方的像素的像素值在阈值内，并取检测的细线区域作为由包含细线图像分量的像素构成的区域的候选。

另一种说法是，峰值所属的细线区域，其中峰值的像素值在阈值内，或峰值上方的像素的像素值超过阈值，或峰值下方的像素的像素值超过阈值，被确定不包含细线图像分量，并且从由包含细线图像分量的像素构成的区域的候选中去除。

注意，单调增大/减小检测单元203可以配置以取背景像素值作为参考，将峰值的像素值和背景的像素值之间的差与阈值相比较，并且也将背景的像素值和在垂直方向上与峰值相邻的像素的像素值之间的差与阈值相比较，并且取检测的细线区域作为由包含细线图像分量的像素构成的区域的候选，其中峰值的像素值和背景的像素值之间的差超过阈值，而背景的像素值和在垂直方向上相邻的像素的像素值之间的差在阈值内。

单调增大/减小检测单元203将指示由具有与峰值相同的像素值符号以及关于作为参考的峰值单调减小的像素值的像素构成的区域的单调增大/减小区域信息提供给连续性检测单元204，其中峰值超过阈值，并且峰值右侧的像素的像素值在阈值内，以及峰值左侧的像素的像素值在阈值内。

如果检测在屏幕水平方向上以单行排列、细线图像已经投影到其中的像素构成的区域，属于由单调增大/减小区域信息指示的区域的像素包括在水平方向上排列、细线图像已经投影到其中的像素。也就是说，由单调增大/减小区域信息指示的区域包括由在屏幕水平方向上以单行排列、细线图像已经投影到其中的像素构成的区域。

在由从单调增大/减小检测单元203提供的单调增大/减小区域信息中指示的水平方向上排列的像素构成的区域中，连续性检测单元204检测包括在垂直方向上相邻的像素的区域，即具有类似像素值变化且在水平方向上重复的区域作为连续区域，并且输出指示峰值信息和检测的连续区域的数据连续性信息。数据连续性信息包括指示区域的连接的信息。

在细线已经投影到其中的像素处，弧形以相邻方式以恒定间隔排列，所以检测的连续区域包括细线已经投影到其中的像素。

检测的连续区域包括弧形以相邻方式以恒定间隔排列、细线已经投影到其中的像素，所以检测的连续区域看作连续性区域，并且连续性检测单元204输出指示检测的连续区域的数据连续性信息。

也就是说，连续性检测单元204使用在通过成像细线而获得的数据3中弧形以相邻方式以恒定间隔排列的连续性，该连续性从在长度方向上连续的现实世界1中细线图像的连续性中产生，以便进一步缩小由峰值检测单元202和单调增大/减小检测单元203检测的区域的候选。

因此，数据连续性检测单元101能够检测包含在作为输入图像的数据3中的连续性。也就是说，数据连续性检测单元101可以检测由作为已经投影到数据3上的细线的现实世界1图像产生的、包括在数据3中的数据连续性。数据连续性检测单元101从数据3中检测由作为细线的现实世界1图像已经投影到其中的像素构成的区域。

图40是说明使用数据连续性检测单元101检测细线图像已经投影到其中、具有连续性的区域的另一种处理的实例的图。

如图40中所示，数据连续性检测单元101计算每个像素与相邻像素的像素值差的绝对值。计算的差的绝对值与像素相对应地放置。例如，在例如图40中所示的情况下，其中排列有具有各自像素值P0，P1和P2的像素，数据连续性检测单元101计算差d0＝P0-P1和差d1＝P1-P2。另外，数据连续性检测单元101计算差d0和差d1的绝对值。

如果包含在像素值P0，P1和P2中的非连续性分量相同，仅与细线分量相对应的值设置为差d0和差d1。

因此，在与像素对应放置的差的绝对值中，如果相邻的差值相同，数据连续性检测单元101确定与两个差的绝对值相对应的像素(差的两个绝对值之间的像素)包含细线分量。但是，如果差的绝对值小，数据连续性检测单元101不需要检测细线。例如，如果差的绝对值等于或大于阈值，数据连续性检测单元101确定像素包含细线分量。

数据连续性检测单元101也可以使用例如这样的简单方法检测细线。

图41是描述连续性检测处理的流程图。

在步骤S201中，非连续性分量提取单元201从输入图像中提取非连续性分量，其是除细线已经投影到其中的部分之外的部分。非连续性分量提取单元201将指示提取的非连续性分量的非连续性分量信息与输入图像一起提供给峰值检测单元202和单调增大/减小检测单元203。提取非连续性分量的处理细节将随后描述。

在步骤S202中，峰值检测单元202基于从非连续性分量提取单元201提供的非连续性分量信息，从输入图像中去除非连续性分量，以便只留下输入图像中包括连续性分量的像素。此外，在步骤S202中，峰值检测单元202检测峰值。

也就是说，如果以屏幕的垂直方向作为参考执行处理，在包含连续性分量的像素中，峰值检测单元202比较每个像素的像素值与上方和下方像素的像素值，并检测像素值大于上方像素的像素值和下方像素的像素值的像素，从而检测峰值。同样，在步骤S202中，如果以屏幕的水平方向作为参考执行处理，在包含连续性分量的像素中，峰值检测单元202比较每个像素的像素值与右侧和左侧像素的像素值，并检测像素值大于右侧像素的像素值和左侧像素的像素值的像素，从而检测峰值。

峰值检测单元202将指示检测的峰值的峰值信息提供给单调增大/减小检测单元203。

在步骤S203中，单调增大/减小检测单元203基于从非连续性分量提取单元201提供的非连续性分量信息，从输入图像中去除非连续性分量，以便只留下输入图像中包括连续性分量的像素。此外，在步骤S203中，单调增大/减小检测单元203基于从峰值检测单元202提供的指示峰值位置的峰值信息，通过检测关于峰值的单调增大/减小，检测由具有数据连续性的像素构成的区域。

如果以屏幕垂直方向作为参考执行处理，单调增大/减小检测单元203基于峰值的像素值以及关于峰值垂直排列的一行像素的像素值，检测由单个细线图像已经投影到其中、垂直排列的一行像素构成的单调增大/减小，从而检测由具有数据连续性的像素构成的区域。也就是说，在步骤S203中，如果以屏幕垂直方向作为参考执行处理，对于峰值以及关于峰值垂直排列的一行像素，单调增大/减小检测单元203获得每个像素的像素值与上方或下方像素的像素值之间的差，从而检测差符号改变的像素。同样，对于峰值以及关于峰值垂直排列的一行像素，单调增大/减小检测单元203比较每个像素的像素值的符号与上方或下方像素的像素值的符号，从而检测像素值符号改变的像素。另外，单调增大/减小检测单元203将峰值的像素值以及峰值右侧和左侧像素的像素值与阈值相比较，并检测由其中峰值的像素值超过阈值并且峰值右侧和左侧像素的像素值在阈值内的像素构成的区域。

单调增大/减小检测单元203取这样检测的区域作为单调增大/减小区域，并将指示单调增大/减小区域的单调增大/减小区域信息提供给连续性检测单元204。

如果以屏幕水平方向作为参考执行处理，单调增大/减小检测单元203基于峰值的像素值以及关于峰值水平排列的一行像素的像素值，检测由单个细线图像已经投影到其中、水平排列的一行像素构成的单调增大/减小，从而检测由具有数据连续性的像素构成的区域。也就是说，在步骤S203中，如果以屏幕水平方向作为参考执行处理，对于峰值以及关于峰值水平排列的一行像素，单调增大/减小检测单元203获得每个像素的像素值与右侧或左侧像素的像素值之间的差，从而检测差符号改变的像素。同样，对于峰值以及关于峰值水平排列的一行像素，单调增大/减小检测单元203比较每个像素的像素值的符号与右侧或左侧像素的像素值的符号，从而检测像素值符号改变的像素。另外，单调增大/减小检测单元203将峰值的像素值以及峰值上方和下方像素的像素值与阈值相比较，并检测由其中峰值的像素值超过阈值并且峰值上方和下方像素的像素值在阈值内的像素构成的区域。

单调增大/减小检测单元203取这样检测的区域作为单调增大/减小区域，并将指示单调增大/减小区域的单调增大/减小区域信息提供给连续性检测单元204。

在步骤S204中，单调增大/减小检测单元203确定是否所有像素的处理已经结束。例如，非连续性分量提取单元201对于输入图像的单个屏幕(例如帧、场等)的所有像素检测峰值，并确定是否已经检测单调增大/减小区域。

如果在步骤S204中确定并不是所有像素的处理都已结束，即还存在没有经历峰值检测和单调增大/减小区域检测处理的像素，则流程返回到步骤S202，还没有经历峰值检测和单调增大/减小区域检测处理的像素选作处理的对象，并且重复峰值检测和单调增大/减小区域检测的处理。

如果在步骤S204中确定所有像素的处理已经结束，即峰值和单调增大/减小区域已经关于所有像素而检测，则流程前进到步骤S205，在那里连续性检测单元204基于单调增大/减小区域信息检测已检测区域的连续性。例如，如果由单调增大/减小区域信息指示的、由在屏幕垂直方向上排列的一行像素构成的单调增大/减小区域包括在水平方向上相邻的像素，则连续性检测单元204确定在两个单调增大/减小区域之间存在连续性，而如果不包括在水平方向上相邻的像素，确定在两个单调增大/减小区域之间不存在连续性。例如，如果由单调增大/减小区域信息指示的、由在屏幕水平方向上排列的一行像素构成的单调增大/减小区域包括在垂直方向上相邻的像素，则连续性检测单元204确定在两个单调增大/减小区域之间存在连续性，而如果不包括在垂直方向上相邻的像素，确定在两个单调增大/减小区域之间不存在连续性。

连续性检测单元204取检测的连续区域作为具有数据连续性的连续性区域，并输出指示峰值位置和连续性区域的数据连续性信息。数据连续性信息包含指示区域的连接的信息。从连续性检测单元204输出的数据连续性信息指示由现实世界1细线图像已经投影到其中的像素构成的、作为连续性区域的细线区域。

在步骤S206中，连续性方向检测单元205确定是否所有像素的处理已经结束。也就是说，连续性方向检测单元205确定区域连续是否已经关于输入图像某一帧的所有像素而检测。

如果在步骤S206中确定并不是所有像素的处理都已结束，即还存在没有取作区域连续的检测对象的像素，则流程返回到步骤S205，还没有经历区域连续性检测处理的像素选作处理像素，并且重复区域连续性检测的处理。

如果在步骤S206中确定所有像素的处理已经结束，即所有像素都已取作区域连续性检测的对象，则处理结束。

因此，包含在作为输入图像的数据3中的连续性被检测。也就是说，由已经投影到数据3上的作为细线的现实世界1图像产生的、包括在数据3中的数据连续性被检测，并且具有数据连续性、由作为细线的现实世界1图像已经投影到其中的像素构成的区域从数据3中检测。

现在，其构造如图30中所示的数据连续性检测单元101可以基于具有从数据3的帧中检测的数据连续性的区域，检测时间方向的数据连续性。

例如，如图42中所示，连续性检测单元204通过连接帧#n中具有检测的数据连续性的区域、帧#n-1中具有检测的数据连续性的区域、以及帧#n+1中具有检测的数据连续性的区域的边缘，来检测时间方向的数据连续性。

帧#n-1是在时间方向上帧#n之前的帧，而帧#n+1是在时间方向上帧#n之后的帧。也就是说，帧#n-1、帧#n以及#n+1以帧#n-1、帧#n以及#n+1的顺序显示。

更具体地说，在图42中，G表示通过连接帧#n中具有检测的数据连续性的区域、帧#n-1中具有检测的数据连续性的区域、以及帧#n+1中具有检测的数据连续性的区域的一个边缘而获得的运动矢量，而G′表示通过连接具有检测的数据连续性的区域的另一个边缘而获得的运动矢量。运动矢量G和运动矢量G′是时间方向上数据连续性的实例。

另外，其构造如图30中所示的数据连续性检测单元101可以输出指示具有数据连续性的区域的长度的信息作为数据连续性信息。

图43是说明非连续性分量提取单元201构造的框图，其执行作为不具有数据连续性的图像数据部分的非连续性分量的平面近似，并提取非连续性分量。

其构造如图43中所示的非连续性分量提取单元201从输入图像中选取由预先确定数目的像素构成的块，执行块的平面近似，使得块与平面值之间的误差小于预先确定的阈值，从而提取非连续性分量。

输入图像提供给块选取单元221，并且也被输出而不改变。

块选取单元221从输入图像中选取由预先确定数目的像素构成的块。例如，块选取单元221选取由7×7个像素构成的块，并将其提供给平面近似单元222。例如，块选取单元221以光栅扫描顺序运动用作被提取块中心的像素，从而从输入图像中顺序地选取块。

平面近似单元222在预先确定的平面上近似包含在块中的像素的像素值。例如，平面近似单元222在由表达式(32)表示的平面上近似包含在块中的像素的像素值。

z＝ax+by+c     ...(32)

在表达式(32)中，x表示在屏幕一个方向(空间方向X)上像素的位置，而y表示在屏幕另一个方向(空间方向Y)上像素的位置。z表示由平面表示的应用值。a表示平面的空间方向X的梯度，而b表示平面的空间方向Y的梯度。在表达式(32)中，c表示平面的偏移量(截距)。

例如，平面近似单元222通过回归处理获得梯度a、梯度b和偏移量c，从而在由表达式(32)表示的平面上近似包含在块中的像素的像素值。平面近似单元222通过包括剔除的回归处理获得梯度a、梯度b和偏离量c，从而在由表达式(32)表示的平面上近似包含在块中的像素的像素值。

例如，平面近似单元222使用最小二乘法获得由表达式(32)表示的平面，其中关于块的像素的像素值的误差最小，从而在平面上近似包含在块中的像素的像素值。

注意，虽然平面近似单元222已被描述为在由表达式(32)表示的平面上近似块，但是这不局限于由表达式(32)表示的平面，而是可以在由具有更高自由度的函数，例如n阶多项式(其中n为任意整数)表示的平面上近似块。

重复确定单元223计算由块的像素值已经近似到其上的平面表示的近似值与块的像素的相应像素值之间的误差。表达式(33)是显示误差ei的表达式，该误差是由块的像素值已经近似到其上的平面表示的近似值与块的像素的相应像素值zi之间的差。

$e_i=z_i-\hat{z}=z_i-(\hat{a}{x}_i+\hat{b}{y}_i+\hat{c})---\left(33\right)$

在表达式(33)中，z-帽(z上具有^的符号将被描述为z-帽。相同的描述将在本说明书的下文中使用)表示由块的像素值近似到其上的平面表示的近似值，a-帽表示块的像素值近似到其上的平面的空间方向X的梯度，b-帽表示块的像素值近似到其上的平面的空间方向Y的梯度，以及c-帽表示块的像素值近似到其上的平面的偏移量(截距)。

重复确定单元223剔除这样的像素，即近似值与块的像素的相应像素值之间的误差ei最大，如表达式(33)中所示。从而，细线已经投影到其中的像素，即具有连续性的像素被剔除。重复确定单元223将指示剔除像素的剔除信息提供给平面近似单元222。

另外，重复确定单元223计算标准误差，并且如果标准误差等于或大于预先设置以确定近似的结束的阈值，且块的像素的一半或更多像素没有被剔除，则重复确定单元223使得平面近似单元222重复包含在块中的像素上的平面近似处理，剔除像素已经从其中去除。

具有连续性的像素被剔除，所以在平面上近似剔除像素已经去除的像素意味着平面近似非连续性分量。

当标准误差小于确定近似结束的阈值，或者块的像素的一半或更多的像素已被剔除时，重复确定单元223结束平面近似。

对于由5×5个像素构成的块，标准误差e_s可以用例如表达式(34)计算。

$e_s=\mathrm{\Σ}(z_i-\hat{z})/(n-3)$

$=\mathrm{\Σ}\left\{(z_i-(\hat{a}{x}_i+\hat{b}{y}_i+\hat{c})\right\}/(n-3)---\left(34\right)$

这里，n是像素数目。

注意，重复确定单元223并不局限于标准误差，并且可以设置以对包含在块中的所有像素计算误差平方和，并执行下面的处理。

现在，当块的平面近似在光栅扫描方向上运动一个像素时，如图44中所示，由附图中黑色圆点指示的、具有连续性的像素，即包含细线分量的像素，将被多次剔除。

一旦完成平面近似，重复确定单元223输出表示用于近似块的像素值的平面的信息(表达式32的平面的梯度和截距)作为非连续性信息。

注意，配置可以这样进行，其中重复确定单元223比较每个像素剔除的次数与预置的阈值，并取剔除次数等于或大于阈值的像素作为包含连续性分量的像素，并输出指示包含连续性分量的像素的信息作为连续性分量信息。在该情况下，峰值检测单元202至连续性方向检测单元205在由连续性分量信息指示的、包含连续性分量的像素上执行各自的处理。

剔除次数、近似块的像素的像素值的平面的空间方向X的梯度、近似块的像素的像素值的平面的空间方向Y的梯度、由近似块的像素的像素值的平面表示的近似值，以及误差ei可以用作输入图像的特征。

图45是描述使用其构造如图43中所示的非连续性分量提取单元201提取非连续性分量的处理的流程图，该处理对应于步骤S201。

在步骤S221中，块选取单元221从输入图像中选取由预先确定数目的像素构成的块，并将选取的块提供给平面近似单元222。例如，块选取单元221选择还没有被选择的输入图像的像素的一个像素，并选取以所选像素为中心的7×7个像素构成的块。例如，块选取单元221可以光栅扫描顺序选择像素。

在步骤S222中，平面近似单元222在平面上近似选取的块。例如，平面近似单元222通过回归处理在平面上近似选取块的像素的像素值。例如，平面近似单元222通过回归处理在平面上近似除剔除像素以外的选取块的像素的像素值。在步骤S223中，重复确定单元223执行重复确定。例如，重复确定通过从块的像素的像素值和平面近似值中计算标准误差，并计数剔除像素的数目来执行。

在步骤S224中，重复确定单元223确定标准误差是否等于或大于阈值，并且如果确定标准误差等于或大于阈值，则流程前进到步骤S225。

注意，配置可以这样进行，其中重复确定单元223在步骤S224中确定是否块的一半或更多像素已被剔除，以及标准误差是否等于或大于阈值，并且如果确定块的一半或更多像素已被剔除，以及标准误差等于或大于阈值，流程前进到步骤S225。

在步骤S225中，重复确定单元223计算块的每个像素的像素值与近似的平面近似值之间的误差，剔除具有最大误差的像素，并通知平面近似单元222。该过程返回到步骤S222，并且平面近似处理和重复确定处理关于除剔除像素以外的块的像素而重复。

在步骤S225中，如果在步骤S221的处理中选取在光栅扫描方向上移位一个像素的块，(由附图中黑色圆点指示的)包含细线分量的像素被剔除多次，如图44中所示。

如果在步骤S224中确定标准误差不等于或大于阈值，块已经在平面上近似，从而流程前进到步骤S226。

注意，配置可以这样进行，其中重复确定单元223在步骤S224中确定是否块的一半或更多像素已被剔除，以及标准误差是否等于或大于阈值，并且如果确定块的一半或更多像素已被剔除，以及标准误差等于或大于阈值，流程前进到步骤S225。

在步骤S226中，重复确定单元223输出用于近似块的像素的像素值的平面的梯度和截距作为非连续性分量信息。

在步骤S227中，块选取单元221确定是否输入图像一个屏幕的所有像素的处理都已结束，并且如果确定仍然存在还没有取作处理对象的像素，则流程返回到步骤S221，块从还没有经历处理的像素中选取，并重复上面的处理。

如果在步骤S227中确定处理对输入图像一个屏幕的所有像素都已结束，处理结束。

因此，其构造如图43中所示的非连续性分量提取单元201可以从输入图像中提取非连续性分量。非连续性分量提取单元201从输入图像中提取非连续性分量，从而峰值检测单元202和单调增大/减小检测单元203可以获得输入图像与由非连续性分量提取单元201提取的非连续性分量之间的差，以便执行关于包含连续性分量的差的处理。

注意，在执行剔除的情况下的标准误差、在不执行剔除的情况下的标准误差、像素的剔除次数、平面的空间方向X的梯度(表达式(32)中的a-帽)、平面的空间方向Y的梯度(表达式(32)中的b-帽)、平面转移的水平(表达式(32)中的c-帽)、以及输入图像的像素值与由在平面近似处理中计算的平面表示的近似值之间的差可以用作特征。

图46是描述与步骤S201相对应的、使用其构造如图43中所示的非连续性分量提取单元201提取连续性分量的处理，代替提取非连续性分量的处理的流程图。步骤S241至步骤S245的处理与步骤S221至步骤S225的处理相同，所以其描述将省略。

在步骤S246中，重复确定单元223输出由平面表示的近似值与输入图像的像素值之间的差作为输入图像的连续性分量。也就是说，重复确定单元223输出平面近似值与真实像素值之间的差。

注意，重复确定单元223可以配置以输出由平面表示的近似值与输入图像的像素值之间的差，关于其差等于或大于预先确定预置的像素的像素值，作为输入图像的连续性分量。

步骤S247的处理与步骤S227的处理相同，因此其描述将省略。

平面近似非连续性分量，所以非连续性分量提取单元201可以通过从输入图像中每个像素的像素值中减去由近似像素值的平面表示的近似值，从输入图像中去除非连续性分量。在该情况下，峰值检测单元202至连续性检测单元204可以只处理输入图像的连续性分量，即细线图像已经投影到其中的值，从而使用峰值检测单元202至连续性检测单元204的处理变得更加容易。

图47是描述与步骤S201相对应的、使用其构造如图43中所示的非连续性分量提取单元201提取连续性分量的另一种处理，代替提取非连续性分量的处理的流程图。步骤S261至步骤S265的处理与步骤S221至步骤S225的处理相同，因此其描述将省略。

在步骤S266中，重复确定单元223存储每个像素的剔除次数，流程返回到步骤S262，并且重复处理。

在步骤S264中，如果确定标准误差不等于或大于阈值，块已经在平面上近似，所以流程前进到步骤S267，重复确定单元223确定是否输入图像一个屏幕的所有像素的处理都已结束，并且如果确定仍然存在还没有取作处理对象的像素，则流程返回到步骤S261，关于还没有经历处理的像素，选取块，并重复上面的处理。

如果在步骤S267中确定处理对输入图像一个屏幕的所有像素都已结束，则流程前进到步骤S268，重复确定单元223选择还没有被选择的像素，并确定所选像素的剔除次数是否等于或大于阈值。例如，重复确定单元223在步骤S268中确定所选像素的剔除次数是否等于或大于预先存储的阈值。

如果在步骤S268中确定所选像素的剔除次数等于或大于阈值，则所选像素包含连续性分量，从而流程前进到步骤S269，在那里重复确定单元223输出所选像素的像素值(输入图像中的像素值)作为输入图像的连续性分量，并且流程前进到步骤S270。

如果步骤S268中确定所选像素的剔除次数不等于或大于阈值，则所选像素不包含连续性分量，从而跳过步骤S269中的处理，并且过程前进到步骤S270。也就是说，不输出已经确定剔除次数不等于或大于阈值的像素的像素值。

注意，配置可以这样进行，其中重复确定单元223对于已经确定剔除次数不等于或大于阈值的像素，输出设置为0的像素值。

在步骤S270中，重复确定单元223确定是否输入图像一个屏幕的所有像素的处理都已结束，以确定剔除次数是否等于或大于阈值，并且如果确定处理并不是对所有像素都已结束，这意味着仍然存在还没有取作处理对象的像素，从而流程返回到步骤S268，选择还没有经历处理的像素，并重复上面的处理。

如果在步骤S270中确定处理对输入图像一个屏幕的所有像素都已结束，处理结束。

因此，输入图像的像素中，非连续性分量提取单元201可以输出包含连续性分量的像素的像素值作为连续性分量信息。也就是说，输入图像的像素中，非连续性分量提取单元201可以输出包含细线图像的分量的像素的像素值。

图48是描述与步骤S201相对应的、使用其构造如图43中所示的非连续性分量提取单元201提取连续性分量的再一种处理，代替提取非连续性分量的处理的流程图。步骤S281至步骤S288的处理与步骤S261至步骤S268的处理相同，因此其描述将省略。

在步骤S289中，重复确定单元223输出由平面表示的近似值与所选像素的像素值之间的差作为输入图像的连续性分量。也就是说，重复确定单元223输出非连续性分量已经从输入图像中去除的图像作为连续性信息。

步骤S290的处理与步骤S270的处理相同，因此其描述将省略。

因此，非连续性分量提取单元201可以输出非连续性分量已经从输入图像中去除的图像作为连续性信息。

如上所述，在真实世界光信号被投影，真实世界光信号的一部分连续性已经丢失的第一图像数据的多个像素的像素值的非连续性部分被检测，数据连续性从检测的非连续性部分中检测，近似光信号的模型(函数)通过基于检测的数据连续性估计真实世界光信号的连续性而产生，并且第二图像数据基于产生的函数而产生的情况下，关于真实世界中的事件更准确且具有更高精度的处理结果可以获得。

图49是说明数据连续性检测单元101的另一种构造的框图。

使用其构造如图49中所示的数据连续性检测单元101，关注像素的像素值的变化，该关注像素是输入图像的空间方向上的关注像素，即输入图像的空间方向上的活动性被检测，由垂直方向上一行中或水平方向上一行中的预先确定数目的像素构成的多组像素对于基于关注像素和根据检测活动性的参考轴的每个角度而选取，选取的像素组的相关性被检测，并且基于输入图像中参考轴的数据连续性的角度基于相关性而检测。

数据连续性的角度意思是由参考轴以及恒定特性在数据3中重复出现的预先确定维度方向所成的角度。恒定特性重复出现意思是例如数据3中关于位置改变的值的变化，即横截面形状相同等。

参考轴可以是例如指示空间方向X(屏幕的水平方向)的轴、指示空间方向Y(屏幕的垂直方向)的轴等。

输入图像提供给活动性检测单元401和数据选择单元402。

活动性检测单元401检测关于输入图像空间方向的像素值的变化，即空间方向上的活动性，并将指示检测结果的活动性信息提供给数据选择单元402和连续性方向推导单元404。

例如，活动性检测单元401检测关于屏幕水平方向的像素值的变化和关于平面垂直方向的像素值的变化，并比较检测的水平方向上像素值的变化和垂直方向上像素值的变化，从而检测是否与垂直方向上像素值的变化相比较水平方向上像素值的变化较大，或者是否与水平方向上像素值的变化相比较垂直方向上像素值的变化较大。

活动性检测单元401将活动性信息提供给数据选择单元402和连续性方向推导单元404，该活动性信息是指示与垂直方向上像素值的变化相比较水平方向上像素值的变化较大，或者与水平方向上像素值的变化相比较垂直方向上像素值的变化较大的检测结果。

如果与垂直方向上像素值的变化相比较水平方向上像素值的变化较大，例如图50所示，弧形(半盘形)或爪形在垂直方向上的一行像素上形成，并且弧形或爪形在垂直方向上多次重复地形成。也就是说，如果与垂直方向上像素值的变化相比较水平方向上像素值的变化较大，取参考轴为表示空间方向X的轴，输入图像中基于参考轴的数据连续性的角度是45～90度的任意值。

如果与水平方向上像素值的变化相比较垂直方向上像素值的变化较大，弧形或爪形在水平方向上的一行像素上形成，并且弧形或爪形在水平方向上多次重复地形成。也就是说，如果与水平方向上像素值的变化相比较垂直方向上像素值的变化较大，取参考轴为表示空间方向X的轴，输入图像中基于参考轴的数据连续性的角度是0～45度的任意值。

例如，活动性检测单元401从输入图像中选取由以关注像素为中心的3×3的9个像素构成的块，如图51中所示。活动性检测单元401计算关于垂直相邻像素的像素值的差的和、以及关于水平相邻像素的像素值的差的和。关于水平相邻像素的像素值的差的和h_diff可以用表达式(35)获得。

h_diff＝∑(P_i+1，j-P_i，j)       ...(35)

同样地，关于垂直相邻像素的像素值的差的和v_diff可以用表达式(36)获得。

v_diff＝∑(P_i，j+1-P_i，j)       ...(36)

在表达式(35)和表达式(36)中，P表示像素值，i表示水平方向上像素的位置，以及j表示垂直方向上像素的位置。

配置可以这样进行，其中活动性检测单元401比较计算的关于水平相邻像素的像素值的差的和h_diff与关于垂直相邻像素的像素值的差的和v_diff，以便确定输入图像中基于参考轴的数据连续性的角度范围。也就是说，在该情况下，活动性检测单元401确定由关于空间方向上位置的像素值的变化所指示的形状是在水平方向上重复形成，还是在垂直方向上重复形成。

例如，关于在一水平行中的像素上形成的弧形水平方向上像素值的变化大于垂直方向上像素值的变化，关于在一垂直行中的像素上形成的弧形垂直方向上像素值的变化大于水平方向上像素值的变化，并且可以说，数据连续性的方向，即作为数据3的输入图像具有的恒定特征的预先确定维度方向的变化与数据连续性的正交方向上的变化相比较较小。换句话说，与数据连续性方向正交的方向(以下也称作非连续性方向)的差与数据连续性方向上的差相比较较大。

例如，如图52中所示，活动性检测单元401比较计算的关于水平相邻像素的像素值的差的和h_diff与关于垂直相邻像素的像素值的差的和v_diff，并且如果关于水平相邻像素的像素值的差的和h_diff较大，确定基于参考轴的数据连续性的角度是45～135度的任意值，而如果关于垂直相邻像素的像素值的差的和v_diff较大，确定基于参考轴的数据连续性的角度是0～45度的任意值、或135～180度的任意值。

例如，活动性检测单元401将指示确定结果的活动性信息提供给数据选择单元402和连续性方向推导单元404。

注意，活动性检测单元401可以通过选取任意大小的块，例如由5×5的25个像素构成的块、由7×7的49个像素构成的块等来检测活动性。

数据选择单元402从输入图像的像素中顺序选择关注像素，并基于从活动性检测单元401提供的活动性信息，对于基于关注像素和参考轴的每个角度，选取由垂直方向上一行中或水平方向上一行中的预先确定数目的像素构成的多组像素。

例如，如果活动性信息指示与垂直方向上像素值的变化相比较水平方向上像素值的变化较大，这意味着数据连续性角度是45～135度的任意值，所以数据选择单元402对于基于关注像素和参考轴的45～135度范围内的每个预先确定角度，选取由垂直方向上一行中的预先确定数目的像素构成的多组像素。

如果活动性信息指示与水平方向上像素值的变化相比较垂直方向上像素值的变化较大，这意味着数据连续性角度是0～45度或135～180度的任意值，所以数据选择单元402对于基于关注像素和参考轴的0～45度或135～180度范围内的每个预先确定角度，选取由水平方向上一行中的预先确定数目的像素构成的多组像素。

而且，例如，如果活动性信息指示数据连续性的角度是45～135度的任意值，数据选择单元402对于基于关注像素和参考轴的45～135度范围内的每个预先确定角度，选取由垂直方向上一行中的预先确定数目的像素构成的多组像素。

如果活动性信息指示数据连续性的角度是0～45度或135～180度的任意值，数据选择单元402对于基于关注像素和参考轴的0～45度或135～180度范围内的每个预先确定角度，选取由水平方向上一行中的预先确定数目的像素构成的多组像素。

数据选择单元402将由选取像素构成的多组提供给误差估计单元403。

误差估计单元403检测相对于多组选取像素的每个角度的像素组的相关性。

例如，关于与一个角度相对应的、由垂直方向上一行中的预先确定数目的像素构成的多组像素，误差估计单元403检测在像素组的相应位置处像素的像素值的相关性。关于与一个角度相对应的、由水平方向上一行中的预先确定数目的像素构成的多组像素，误差估计单元403检测在组的相应位置处像素的像素值的相关性。

误差估计单元403将指示检测的相关性的相关性信息提供给连续性方向推导单元404。误差估计单元403计算从数据选择单元402提供的包括关注像素的一组像素的像素值的和作为指示相关性的值，以及在其它组中相应位置处像素的像素值的差的绝对值，并将差的绝对值的和作为相关性信息提供给连续性方向推导单元404。

基于从误差估计单元403提供的相关性信息，连续性方向推导单元404检测输入图像中基于参考轴的数据连续性角度，其对应于现实世界1的光信号的丢失连续性，并输出指示角度的数据连续性信息。例如，基于从误差估计单元403提供的相关性信息，连续性方向推导单元404检测与具有最大相关性的像素组相对应的角度作为数据连续性角度，并输出指示与已经检测的具有最大相关性的像素组相对应的角度的数据连续性信息。

下面将描述0～90度(所谓第一象限)范围内的数据连续性角度的检测。

图53是说明图49中所示数据连续性检测单元101的更详细构造的框图。

数据选择单元402包括像素选择单元411-1至像素选择单元411-L。误差估计单元403包括估计误差计算单元412-1至估计误差计算单元412-L。连续性方向推导单元404包括最小误差角度选择单元413。

首先，将描述如果由活动性信息指示的数据连续性角度是45～135度的任意值，像素选择单元411-1至像素选择单元411-L的处理。

像素选择单元411-1至像素选择单元411-L设置经过关注像素的相互不同预先确定角度的直线，以指示空间方向X的轴作为参考轴。像素选择单元411-1至像素选择单元411-L选择，属于关注像素所属垂直行像素的像素中，关注像素上方的预先确定数目的像素、关注像素下方的预先确定数目的像素以及关注像素作为一组。

例如，如图54中所示，像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素的像素中，选择以关注像素为中心的9个像素作为一组像素。

在图54中，一个格形方块(一格)表示一个像素。在图54中，中心处所示的圆形表示关注像素。

像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素左侧的垂直行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。在图54中，关注像素左下方的圆形表示所选像素的实例。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属垂直行像素左侧的垂直行像素的像素中，选择所选像素上方的预先确定数目的像素、所选像素下方的预先确定数目的像素以及所选像素作为一组像素。

例如，如图54中所示，像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素左侧的垂直行像素的像素中，选择以最接近直线的位置处的像素为中心的9个像素作为一组像素。

像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素次左侧的垂直行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。在图54中，远处左边的圆形表示所选像素的实例。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属垂直行像素次左侧的垂直行像素的像素中，选择所选像素上方的预先确定数目的像素、所选像素下方的预先确定数目的像素以及所选像素作为一组像素。

例如，如图54中所示，像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素次左侧的垂直行像素的像素中，选择以最接近直线的位置处的像素为中心的9个像素作为一组像素。

像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素右侧的垂直行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。在图54中，关注像素右上方的圆形表示所选像素的实例。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属垂直行像素右侧的垂直行像素的像素中，选择所选像素上方的预先确定数目的像素、所选像素下方的预先确定数目的像素以及所选像素作为一组像素。

例如，如图54中所示，像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素右侧的垂直行像素的像素中，选择以最接近直线的位置处的像素为中心的9个像素作为一组像素。

像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素次右侧的垂直行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。在图54中，远处右边的圆形表示所选像素的实例。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属垂直行像素次右侧的垂直行像素的像素中，选择所选像素上方的预先确定数目的像素、所选像素下方的预先确定数目的像素以及所选像素作为一组像素。

例如，如图54中所示，像素选择单元411-1至像素选择单元411-L从属于关注像素所属垂直行像素次右侧的垂直行像素的像素中，选择以最接近直线的位置处的像素为中心的9个像素作为一组像素。

从而，像素选择单元411-1至像素选择单元411-L每个选择五组像素。

像素选择单元411-1至像素选择单元411-L为相互不同的角度(设置为相互不同角度的直线)选择像素组。例如，像素选择单元411-1选择关于45度的像素组，像素选择单元411-2选择关于47.5度的像素组，以及像素选择单元411-3选择关于50度的像素组。像素选择单元411-4至像素选择单元411-L选择关于从52.5度至135度的每2.5度的角度的像素组。

注意，像素组的数目是可选数目，例如3或7，而不限制本发明。而且，选作一组的像素数目是可选数目，例如5或13，而并不限制本发明。

注意，像素选择单元411-1至像素选择单元411-L可以配置以从垂直方向上预先确定范围内的像素中选择像素组。例如，像素选择单元411-1至像素选择单元411-L可以从垂直方向上的121个像素(关注像素上方的60个像素和下方的60个像素)中选择像素组。在该情况下，数据连续性检测单元101可以检测关于表示空间方向X的轴高达88.09度的数据连续性的角度。

像素选择单元411-1将所选像素组提供给估计误差计算单元412-1，并且像素选择单元411-2将所选像素组提供给估计误差计算单元412-2。同样地，每个像素选择单元411-3至像素选择单元411-L将所选像素组提供给每个估计误差计算单元412-3至估计误差计算单元412-L。

估计误差计算单元412-1至估计误差计算单元412-L检测从像素选择单元411-1至像素选择单元411-L的每个提供的多组中位置处的像素的像素值的相关性。例如，估计误差计算单元412-1至估计误差计算单元412-L计算包含关注像素的组的像素的像素值与从像素选择单元411-1至像素选择单元411-L的一个提供的另一组中相应位置处像素的像素值之间的差的绝对值的和，作为指示相关性的值。

更具体地说，基于包含关注像素的组的像素的像素值，以及从像素选择单元411-1至像素选择单元411-L的一个提供的、由属于关注像素左侧一垂直行像素的像素构成的组的像素的像素值，估计误差计算单元412-1至估计误差计算单元412-L计算最顶端像素的像素值的差，然后计算次顶端像素的像素值的差等等，以便计算从顶端像素开始顺序的像素值的差的绝对值，进一步计算所计算的差的绝对值的和。基于包含关注像素的组的像素的像素值，以及从像素选择单元411-1至像素选择单元411-L的一个提供的、由属于关注像素次左侧一垂直行像素的像素构成的组的像素的像素值，估计误差计算单元412-1至估计误差计算单元412-L计算从顶端像素开始顺序的像素值的差的绝对值，并计算所计算的差的绝对值的和。

然后，基于包含关注像素的组的像素的像素值，以及从像素选择单元411-1至像素选择单元411-L的一个提供的、由属于关注像素右侧一垂直行像素的像素构成的组的像素的像素值，估计误差计算单元412-1至估计误差计算单元412-L计算最顶端像素的像素值的差，然后计算次顶端像素的像素值的差等等，以便计算从顶端像素开始顺序的像素值的差的绝对值，进一步计算所计算的差的绝对值的和。基于包含关注像素的组的像素的像素值，以及从像素选择单元411-1至像素选择单元411-L的一个提供的、由属于关注像素次右侧一垂直行像素的像素构成的组的像素的像素值，估计误差计算单元412-1至估计误差计算单元412-L计算从顶端像素开始顺序的像素值的差的绝对值，并计算所计算的差的绝对值的和。

估计误差计算单元412-1至估计误差计算单元412-L将这样计算的像素值差的绝对值的和全部加起来，从而计算像素值的差的绝对值的总计。

估计误差计算单元412-1至估计误差计算单元412-L将指示检测的相关性的信息提供给最小误差角度选择单元413。例如，估计误差计算单元412-1至估计误差计算单元412-L将计算的像素值差的绝对值的总计提供给最小误差角度选择单元413。

注意，估计误差计算单元412-1至估计误差计算单元412-L并不局限于像素值差的绝对值的和，同样可以计算其它值作为相关性值，例如像素值的平方差的和、或基于像素值的相关性系数等。

最小误差角度选择单元413基于由估计误差计算单元412-1至估计误差计算单元412-L关于相互不同角度检测的相关性，检测输入图像中基于参考轴的数据连续性角度，其对应于作为丢失的现实世界1光信号的图像的连续性。也就是说，基于由估计误差计算单元412-1至估计误差计算单元412-L关于相互不同角度检测的相关性，最小误差角度选择单元413选择最大相关性，并取所选相关性关于其检测的角度作为基于参考轴的数据连续性角度，从而检测输入图像中基于参考轴的数据连续性角度。

例如，在从估计误差计算单元412-1至估计误差计算单元412-L提供的像素值差的绝对值的总计中，最小误差角度选择单元413选择最小总计。关于所选总计被计算的像素值，最小误差角度选择单元413参考属于关注像素次左侧一垂直行像素并且位于距离直线最近像素位置处的像素，以及属于关注像素次右侧一垂直行像素并且位于距离直线最近像素位置处的像素。

如图54中所示，最小误差角度选择单元413获得参考像素位置与关注像素位置在垂直方向上的距离S。如图55中所示，最小误差角度选择单元413从表达式(37)中检测作为图像数据的输入图像中基于作为参考轴的指示空间方向X的轴的数据连续性的角度θ，其对应于丢失的现实世界1光信号连续性。

$\mathrm{\θ}={\tan }^{-1}\frac{S}{2}---\left(37\right)$

接下来，将描述如果由活动性信息指示的数据连续性角度是0～45度和135～180度的任意值，像素选择单元411-1至像素选择单元411-L的处理。

像素选择单元411-1至像素选择单元411-L设置经过关注像素的预先确定角度的直线，以指示空间方向X的轴作为参考轴，并且从属于关注像素所属水平行像素的像素中，选择关注像素左侧的预先确定数目的像素、关注像素右侧的预先确定数目的像素以及关注像素作为一个像素组。

像素选择单元411-1至像素选择单元411-L从属于关注像素所属水平行像素上方的水平行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属水平行像素上方的水平行像素的像素中，选择所选像素左侧的预先确定数目的像素、所选像素右侧的预先确定数目的像素以及所选像素作为一个像素组。

像素选择单元411-1至像素选择单元411-L从属于关注像素所属水平行像素次上方的水平行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属水平行像素次上方的水平行像素的像素中，选择所选像素左侧的预先确定数目的像素、所选像素右侧的预先确定数目的像素以及所选像素作为一个像素组。

像素选择单元411-1至像素选择单元411-L从属于关注像素所属水平行像素下方的水平行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属水平行像素下方的水平行像素的像素中，选择所选像素左侧的预先确定数目的像素、所选像素右侧的预先确定数目的像素以及所选像素作为一个像素组。

像素选择单元411-1至像素选择单元411-L从属于关注像素所属水平行像素次下方的水平行像素的像素中，选择最接近为每个而设置的直线的位置处的像素。像素选择单元411-1至像素选择单元411-L然后从属于关注像素所属水平行像素次下方的水平行像素的像素中，选择所选像素左侧的预先确定数目的像素、所选像素右侧的预先确定数目的像素以及所选像素作为一个像素组。

从而，像素选择单元411-1至像素选择单元411-L每个选择五组像素。

像素选择单元411-1至像素选择单元411-L为相互不同的角度选择像素组。例如，像素选择单元411-1选择关于0度的像素组，像素选择单元411-2选择关于2.5度的像素组，以及像素选择单元411-3选择关于5度的像素组。像素选择单元411-4至像素选择单元411-L选择关于从7.5度至45度和从135度至180度的每2.5度的角度的像素组。

像素选择单元411-1将所选像素组提供给估计误差计算单元412-1，并且像素选择单元411-2将所选像素组提供给估计误差计算单元412-2。同样地，每个像素选择单元411-3至像素选择单元411-L将所选像素组提供给每个估计误差计算单元412-3至估计误差计算单元412-L。

估计误差计算单元412-1至估计误差计算单元412-L检测从像素选择单元411-1至像素选择单元411-L的每个提供的多组中位置处的像素的像素值的相关性。估计误差计算单元412-1至估计误差计算单元412-L将指示检测的相关性的信息提供给最小误差角度选择单元413。

最小误差角度选择单元413基于由估计误差计算单元412-1至估计误差计算单元412-L检测的相关性，检测输入图像中基于参考轴的数据连续性角度，其对应于作为丢失的现实世界1光信号的图像的连续性。

接下来，将参考图56中的流程图描述其构造如图49中所示的数据连续性检测单元101的处理，该处理对应于步骤S101中的处理。

在步骤S401中，活动性检测单元401和数据选择单元402从输入图像中选择作为关注像素的关注像素。活动性检测单元401和数据选择单元402选择同一个关注像素。例如，活动性检测单元401和数据选择单元402以光栅扫描顺序从输入图像中选择关注像素。

在步骤S402中，活动性检测单元401检测关于关注像素的活动性。例如，活动性检测单元401基于在由以关注像素为中心的预先确定数目的像素构成的块的垂直方向上排列的像素的像素值的差，以及在水平方向上排列的像素的像素值的差来检测活动性。

活动性检测单元401检测关于关注像素在空间方向上的活动性，并将指示检测结果的活动性信息提供给数据选择单元402和连续性方向推导单元404。

在步骤S403中，数据选择单元402从包括关注像素的一行像素中选择以关注像素为中心的预先确定数目的像素作为一个像素组。例如，数据选择单元402选择关注像素上方或左侧的预先确定数目的像素、关注像素下方或右侧的预先确定数目的像素，其是属于关注像素所属水平或垂直行像素的像素，以及关注像素，作为一个像素组。

在步骤S404中，数据选择单元402对于基于由步骤S402的处理检测的活动性的预先确定范围内的每个角度，从预先确定数目的像素行中选择每个预先确定数目的像素作为一个像素组。例如，数据选择单元402设置具有预先确定范围内的角度、经过关注像素的直线，以指示空间方向X的轴作为参考轴，选择在水平方向或垂直方向上距离关注像素一行或两行并且离直线最近的像素，并且选择所选像素上方或左侧的预先确定数目的像素、所选像素下方或右侧的预先确定数目的像素、以及最接近直线的所选像素作为一个像素组。数据选择单元402对每个角度选择像素组。

数据选择单元402将所选像素组提供给误差估计单元403。

在步骤S405中，误差估计单元403计算以关注像素为中心的像素组与为每个角度所选的像素组之间的相关性。例如，误差估计单元403对于每个角度计算包括关注像素的组的像素的像素值与在其它组中相应位置处像素的像素值的差的绝对值的和。

数据连续性的角度可以基于为每个角度选择的像素组之间的相关性来检测。

误差估计单元403将指示计算的相关性的信息提供给连续性方向推导单元404。

在步骤S406中，基于在步骤S405的处理中计算的相关性，从具有最强相关性的像素组的位置，连续性方向推导单元404检测作为图像数据的输入图像中基于参考轴的数据连续性角度，其对应于丢失的现实世界1光信号连续性。例如，连续性方向推导单元404选择像素值的差的绝对值的总计中的最小总计，并从所选总计关于其计算的像素组的位置中检测数据连续性角度θ。

连续性方向推导单元404输出指示已经检测的数据连续性的角度的数据连续性信息。

在步骤S407中，数据选择单元402确定是否所有像素的处理都已结束，并且如果确定所有像素的处理还没有结束，则流程返回到步骤S401，关注像素从还没有取作关注像素的像素中选择，并重复上述处理。

如果在步骤S407中确定所有像素的处理都已结束，处理结束。

因此，数据连续性检测单元101可以检测图像数据中基于参考轴的数据连续性角度，其对应于丢失的现实世界1光信号连续性。

注意，配置可以这样进行，其中其构造如图49中所示的数据连续性检测单元101关于作为关注帧的关注帧中作为关注像素的关注像素，检测输入图像的空间方向上的活动性；根据检测的活动性，对于基于关注像素和空间方向参考轴的每个角度和运动矢量，从关注帧中以及从在时间方向上在关注帧之前或之后的每个帧中选取由垂直方向上一行或水平方向上一行中的预先确定数目的像素构成的多个像素组；检测选取的像素组的相关性；以及基于该相关性，检测输入图像中时间方向和空间方向上的数据连续性角度。

例如，如图57中所示，数据选择单元402根据检测的活动性，对于基于关注像素和空间方向参考轴的每个角度和运动矢量，从作为关注帧的帧#n、帧#n-1以及帧#n+1中选取由垂直方向上一行或水平方向上一行中的预先确定数目的像素构成的多个像素组。

帧#n-1是时间方向上帧#n之前的帧，而帧#n+1是时间方向上帧#n之后的帧。也就是说，帧#n-1、帧#n和帧#n+1以帧#n-1、帧#n和帧#n+1的顺序显示。

误差估计单元403关于已经选取的多组像素检测每个单个角度和单个运动矢量的像素组的相关性。连续性方向推导单元404基于像素组的相关性检测输入图像中时间方向和空间方向上的数据连续性角度，其对应于丢失的现实世界1光信号连续性，并输出指示角度的数据连续性信息。

接下来，将参考图58至图88描述现实世界估计单元102(图3)的另一种实施方案实例。

图58是描述本实施方案实例的原理的图。

如图58中所示，现实世界1中的信号(光强分配)，其是投射到传感器2上的图像，用预先确定的函数F表示。注意以下，对于该实施方案实例的描述，用作现实世界1中图像的信号特别地称作光信号，并且函数F特别地称作光信号函数F。

对于该实施方案实例，如果用光信号函数F表示的现实世界1中的光信号具有预先确定的连续性，现实世界估计单元102通过用使用来自传感器2的输入图像(包括与连续性相对应的数据连续性的图像数据)，以及来自数据连续性检测单元101的数据连续性信息(与输入图像数据的连续性相对应的数据连续性信息)的预先确定函数f近似光信号函数F来估计光信号函数F。注意对于该实施方案实例的描述，以下，函数f特别地称作近似函数f。

换句话说，对于该实施方案实例，现实世界估计单元102使用由近似函数f表示的模型161(图4)近似(描述)由光信号函数F表示的图像(现实世界1中的光信号)。因此，以下，该实施方案实例称作函数近似方法。

现在，在进入函数近似方法的具体描述之前，将描述本申请已经发明的函数近似方法的背景。

图59是描述在传感器2看作CCD的情况下的积分效应的图。

如图59中所示，多个检测元件2-1布置在传感器2的平面上。

对于图59中的实例，平行于检测元件2-1的预先确定边的方向取作作为空间方向中的一个方向的X方向，并且与X方向正交的方向取作作为空间方向中的另一个方向的Y方向。而且，与X-Y平面垂直的方向取作用作时间方向的方向t。

而且，对于图59中的实例，传感器2的每个检测元件2-1的空间形状用一边长度为1的正方形表示。传感器2的快门时间(曝光时间)用1表示。

此外，对于图59中的实例，传感器2的一个检测元件2-1的中心取作空间方向(X方向和Y方向)上的原点(X方向上位置x＝0，并且Y方向上y＝0)，并且曝光时间的中间时间点取作时间方向(t方向)上的原点(t方向上位置t＝0)。

在该情况下，其中心在空间方向上原点(x＝0，y＝0)的检测元件2-1使得光信号函数F(x，y，t)经历X方向上-0.5～0.5的范围，Y方向上-0.5～0.5的范围，以及t方向上-0.5～0.5的范围的积分，并且输出其积分值作为像素值P。

也就是说，从其中心位于空间方向上原点的检测元件2-1输出的像素值P用下面的表达式(38)表示。

$P={\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}F(x,y,t)\mathrm{dxdydt}---\left(38\right)$

其他检测元件2-1同样地也通过取主体检测元件2-1的中心为空间方向上的原点来输出表达式(38)中所示的像素值P。

图60是描述传感器2的积分效应的特定实例的图。

在图60中，X方向和Y方向代表传感器2的X方向和Y方向(图59)。

现实世界1中光信号的部分2301(以下，这种部分称作区域)代表具有预先确定连续性的区域的实例。

注意，区域2301是连续的光信号的部分(连续区域)。另一方面，在图60中，区域2301显示为实际上划分成20个小区域(正方形区域)。这是因为表示区域2301的大小相当于X方向上传感器2的四个检测元件(像素)，以及Y方向上传感器2的五个检测元件(像素)排列于其中的大小。也就是说，区域2301中的20个小区域(可视区域)的每个相当于一个像素。

而且，区域2301内附图中所示白色部分表示与细线相对应的光信号。因此，区域2301具有细线连续的方向上的连续性。以下，区域2301称作包含细线的现实世界区域2301。

在该情况下，当包含细线的现实世界区域2301(现实世界1中光信号的一部分)由传感器2检测时，输入图像(像素值)的区域2302(以下，它称作包含细线的数据区域2302)因积分效应从传感器2输出。

注意，包含细线的数据区域2302的每个像素在附图中表示为图像，但是实际上是代表预先确定值的数据。也就是说，包含细线的现实世界区域2301由传感器2的积分效应而变成(畸变)包含细线的数据区域2302，其划分成每个具有预先确定像素值的20个像素(X方向上4个像素且Y方向上5个像素的总共20个像素)。

图61是描述传感器2的积分效应的另一个特定实例(不同于图60的实例)的图。

在图61中，X方向和Y方向代表传感器2的X方向和Y方向(图59)。

现实世界1中光信号的部分(区域)2303代表具有预先确定连续性的区域的另一个实例(不同于图60中包含细线的现实世界区域2301的实例)。

注意，区域2303是与包含细线的现实世界区域2301具有相同大小的区域。也就是说，区域2303实际上与包含细线的现实世界区域2301一样，也是现实世界1中的连续光信号的一部分(连续区域)，但是在图61中显示为划分成20个相当于传感器2一个像素的小区域(正方形区域)。

而且，区域2303包括具有预先确定第一光强(值)的第一部分，以及具有预先确定第二光强(值)的第二部分边缘。因此，区域2303具有边缘连续的方向上的连续性。以下，区域2303称作包含二值边缘的现实世界区域2303。

在该情况下，当包含二值边缘的现实世界区域2303(现实世界1中光信号的一部分)由传感器2检测时，输入图像(像素值)的区域2304(以下，称作包含二值边缘的数据区域2304)因积分效应从传感器2输出。

注意，包含二值边缘的数据区域2304的每个像素值与包含细线的数据区域2302一样在附图中表示为图像，但是实际上是代表预先确定值的数据。也就是说，包含二值边缘的现实世界区域2303由传感器2的积分效应而变成(畸变)包含二值边缘的数据区域2304，其划分成每个具有预先确定像素值的20个像素(X方向上4个像素且Y方向上5个像素的总共20个像素)。

常规图像处理设备已经将从传感器2输出的图像数据，例如包含细线的数据区域2302，包含二值边缘的数据区域2304等看作原点(基础)，并且也使得图像数据经历随后的图像处理。也就是说，尽管从传感器2输出的图像数据已经因积分效应而变成(畸变)不同于现实世界1中光信号的数据，常规图像处理设备基于不同于现实世界1中光信号的数据是正确的假设而执行图像处理。

结果，常规图像处理设备提出一个问题，即基于现实世界中其细节在图像数据从传感器2输出的阶段畸变的波形，非常难以从波形中恢复原始细节。

因此，对于函数近似方法，为了解决该问题，如上所述(图58中所示)，现实世界估计单元102通过用基于从传感器2输出的图像数据(输入图像)例如包含细线的数据区域2302和包含二值边缘的数据区域2304的近似函数f近似光信号函数F(现实世界1中的光信号)来估计光信号函数F。

因此，在现实世界估计单元102随后的阶段(在该情况下，图3中的图像生成单元103)，处理可以通过取已经考虑积分效应的图像数据，即可以用近似函数f表示的图像数据作为原点来执行。

以下，将参考附图独立地描述这种函数近似方法的三种具体方法(第一至第三函数近似方法)。

首先，将参考图62至图76描述第一函数近似方法。

图62是再次表示上述图60中所示包含细线的现实世界区域2301的图。

在图62中，X方向和Y方向代表传感器2的X方向和Y方向(图59)。

第一函数近似方法是使用例如用作n维(n是任意整数)多项式的近似函数f(x)近似一维波形(以下，这种波形称作X横截面波形F(x))的方法，其中与例如图62中所示包含细线的现实世界区域2301相对应的光信号函数F(x，y，t)在X方向(附图中箭头2311的方向)上投影。因此，以下，第一函数近似方法特别地称作一维近似函数。

注意，对于一维近似方法，将被近似的X横截面波形F(x)当然并不局限于与图62中包含细线的现实世界区域2301相对应的波形。也就是说，如随后描述的，对于一维近似方法，任意波形可以被近似只要X横截面波形F(x)对应于具有连续性的现实世界1中的光信号。

而且，光信号函数F(x，y，t)的投影方向并不局限于X方向，Y方向或t方向可以使用。也就是说，对于一维近似方法，光信号函数F(x，y，t)在Y方向上投影的函数F(y)可以用预先确定的近似函数f(y)近似，或者光信号函数F(x，y，t)在t方向上投影的函数F(t)可以用预先确定的近似函数f(t)近似。

更具体地说，一维近似方法是使用用作例如下面表达式(39)中所示的n维多项式的近似函数f(x)来近似X横截面波形F(x)的方法。

$\left(x\right)=w_0+w_{1}x+w_2{x}^2+\·\·\·+w_n{x}^n=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{x}^i---\left(39\right)$

也就是说，对于一维近似方法，现实世界估计单元102通过计算表达式(39)中xⁱ的系数(特征)w_i来估计X横截面波形F(x)。

特征w_i的该计算方法并不局限于特定的方法，例如下面第一至第三方法可以使用。

也就是说，第一方法是到目前为止已经使用的方法。

另一方面，第二方法是本申请者最新发明的方法，其是关于第一方法考虑空间方向上连续性的方法。

但是，如随后描述的，对于第一和第二方法，传感器2的积分效应没有考虑。因此，通过将由第一方法或第二方法计算的特征w_i代入上面表达式(39)而获得的近似函数f(x)是关于输入图像的近似函数，但是严格地说，不能称作X横截面波形F(x)的近似函数。

因此，本申请者发明了关于第二方法进一步考虑传感器2积分效应的计算特征w_i的第三方法。通过将使用该第三方法计算的特征w_i代入上面表达式(39)而获得的近似函数f(x)可以称作X横截面波形F(x)的近似函数，因为传感器2的积分效应被考虑。

因此，严格地说，第一方法和第二方法不能称作一维近似方法，而只有第三方法可以称作一维近似方法。

换句话说，如图63中所示，第二方法不同于一维近似方法。也就是说，图63是描述与第二方法相对应的实施方案原理的图。

如图63中所示，对于与第二方法相对应的实施方案，如果用光信号函数F表示的现实世界1中的光信号具有预先确定的连续性，现实世界估计单元102不是用来自传感器2的输入图像(包含与连续性相对应的数据连续性的图像数据)，以及来自数据连续性检测单元101的数据连续性信息(与输入图像数据的连续性相对应的数据连续性信息)近似X横截面波形F(x)，而是用预先确定的近似函数f₂(x)近似来自传感器2的输入图像。

因此，难说第二方法是与第三方法具有同等水平的方法，因为仅输入图像的近似被执行而没有考虑传感器2的积分效应。但是，第二方法是优于常规第一方法的方法，因为第二方法考虑了空间方向上的连续性。

以下，将以该顺序独立地描述第一方法、第二方法和第三方法的细节。

注意以下，如果由第一方法、第二方法和第三方法产生的各自近似函数f(x)与其他方法的相区分，它们分别特别地称作近似函数f₁(x)、近似函数f₂(x)以及近似函数f₃(x)。

首先，将描述第一方法的细节。

对于第一方法，如果上面表达式(39)中所示近似函数f₁(x)在图64中包含细线的现实世界区域2301内成立，下面的预测公式(40)被定义。

P(x，y)＝f₁(x)+e     ...(40)

在表达式(40)中，x表示关于X方向相对于关注像素的像素位置。y表示关于Y方向相对于关注像素的像素位置。e表示误差限度。特别地，例如，如图64中所示，让我们假定关注像素是包含细线的数据区域2302(包含细线的现实世界区域2301(图62)由传感器2检测并输出其数据)中，附图中X方向上从左起第二像素以及Y方向上从底部起第三像素。而且，让我们假定关注像素的中心是原点(0，0)，并且其轴是分别平行于传感器2的X方向和Y方向(图59)的x轴和y轴的坐标系(以下，称作关注像素坐标系)被设置。在该情况下，关注像素坐标系的坐标值(x，y)表示相对像素位置。

而且，在表达式(40)中，P(x，y)表示相对像素位置(x，y)中的像素值。特别地，在该情况下，包含细线的数据区域2302中的P(x，y)例如图65中所示。

图65以图形方式表示该像素值P(x，y)。

在图65中，曲线图的各个垂直轴表示像素值，而水平轴表示X方向上距离关注像素的相对位置x。而且，在附图中，分别地，从顶部开始第一曲线图中的虚线表示输入像素值P(x，-2)，从顶部开始第二曲线图中的断续三重虚线表示输入像素值P(x，-1)，从顶部开始第三曲线图中的实线表示输入像素值P(x，0)，从顶部开始第四曲线图中的断续线表示输入像素值P(x，1)，并且从顶部开始第五(从底部开始第一)曲线图中的断续双重虚线表示输入像素值P(x，2)。

当图65中所示20个输入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)和P(x，2)(但是，x是-1～2的任意一个整数值)分别代入上面表达式(40)时，如下面表达式(41)中所示20个公式产生。注意，每个e_k(k是1～20的整数值的任意一个)表示误差限度。

P(-1，-2)＝f₁(-1)+e₁

P(0，-2)＝f₁(0)+e₂

P(1，-2)＝f₁(1)+e₃

P(2，-2)＝f₁(2)+e₄

P(-1，-1)＝f₁(-1)+e₅

P(0，-1)＝f₁(0)+e₆

P(1，-1)＝f₁(1)+e₇

P(2，-1)＝f₁(2)+e₈

P(-1，0)＝f₁(-1)+e₉

P(0，0)＝f₁(0)+e₁₀

P(1，0)＝f₁(1)+e₁₁

P(2，0)＝f₁(2)+e₁₂

P(-1，1)＝f₁(-1)+e₁₃

P(0，1)＝f₁(0)+e₁₄

P(1，1)＝f₁(1)+e₁₅

P(2，1)＝f₁(2)+e₁₆

P(-1，2)＝f₁(-1)+e₁₇

P(0，2)＝f₁(0)+e₁₈

P(1，2)＝f₁(1)+e₁₉

P(2，2)＝f₁(2)+e₂₀         ...(41)

表达式(41)由20个公式构成，所以如果近似函数f₁(x)的特征w_i的数目少于20，也就是如果近似函数f₁(x)是具有少于19的维度数目的多项式，特征w_i可以使用例如最小二乘法计算。注意，最小二乘法的具体解法将随后描述。

例如，如果我们假定近似函数f₁(x)的维度数目是五，使用表达式(41)用最小二乘法计算的近似函数f₁(x)(由计算的特征w_i产生的近似函数f₁(x))变成图66中所示的曲线。

注意在图66中，垂直轴表示像素值，而水平轴表示距离关注像素的相对位置x。

也就是说，例如，如果我们补充沿着x轴构成图64中包含细线的数据区域2302而没有任何修改的各个20个像素值P(x，y)(图65中所示各个输入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2))(如果我们认为Y方向上的相对位置y恒定，并且重叠图65中所示的五个曲线图)，与x轴平行的多条线(虚线、断续三重虚线、实线、断续线、以及断续双重虚线)被分布，例如图66中所示。

但是，在图66中，分别地，虚线表示输入像素值P(x，-2)，断续三重虚线表示输入像素值P(x，-1)，实线表示输入像素值P(x，0)，断续线表示输入像素值P(x，1)，以及断续双重虚线表示输入像素值P(x，2)。而且，在相同像素值的情况下，多于2条线的线实际上重叠，但是在图66中，线被画出以便区分每条线，以便不重叠每条线。

这样分布的各个20个输入像素值(P(x，-2)，P(x，-1)，P(x，0)，P(x，1)，以及P(x，2))，以及回归曲线(通过将使用最小二乘法计算的特征w_i代入上面表达式(38)而获得的近似函数f₁(x))以使得值f₁(x)的误差达到最小，变成图66中所示的曲线(近似函数f₁(x))。

因此，近似函数f₁(x)只表示在X方向上连接Y方向上P(x，-2)，P(x，-1)，P(x，0)，P(x，1)和P(x，2)的像素值(具有X方向上距离关注像素的相同相对位置x的像素值)的平均值的曲线。也就是说，近似函数f₁(x)没有考虑包括在光信号中的空间方向上连续性而产生。

例如，在该情况下，包含细线的现实世界区域2301(图62)看作待近似的主体。该包含细线的现实世界区域2301具有空间方向上的连续性，其由梯度G_F表示，如图67中所示。注意在图67中，X方向和Y方向代表传感器2的X方向和Y方向(图59)。

因此，数据连续性检测单元101(图58)可以输出例如图67中所示的角度θ(用与梯度G_F相对应的梯度G_f表示的数据连续性方向，与X方向之间产生的角度θ)作为与作为空间方向上连续性的梯度G_F相对应的数据连续性信息。

但是，对于第一方法，从数据连续性检测单元101中输出的数据连续性信息根本不使用。

换句话说，例如图67中所示，包含细线的现实世界区域2301的空间方向上的连续性方向是普通角度θ方向。但是，第一方法是基于包含细线的现实世界区域2301的空间方向上的连续性方向是Y方向的假设(也就是假设角度θ是90°)计算近似函数f₁(x)的特征w_i的方法。

所以，近似函数f₁(x)变成其波形变缓和的函数，并且细节比原始像素值减少。换句话说，虽然附图中没有显示，对于使用第一方法产生的近似函数f₁(x)，其波形变成不同于实际X横截面波形F(x)的波形。

为此，本申请者已经发明相对于第一方法通过进一步考虑空间方向上连续性(利用角度θ)计算特征w_i的第二方法。

也就是说，第二方法是基于包含细线的现实世界区域2301的连续性方向是普通角度θ方向的假设计算近似函数f₂(x)的特征w_i的方法。

特别地，例如，表示与空间方向上连续性相对应的数据连续性的梯度G_f用下面的表达式(42)表示。

$G_f=\tan \mathrm{\θ}=\frac{\mathrm{dy}}{\mathrm{dx}}---\left(42\right)$

注意在表达式(42)中，dx表示例如图67中所示X方向上细微运动的量，dy表示例如图67中所示关于dx在Y方向上细微运动的量。

在该情况下，如果我们如下面表达式(43)中所示定义移位量C_x(y)，对于第二方法，与第一方法中使用的表达式(40)相对应的公式变成例如下面的表达式(44)。

$C_x\left(y\right)=\frac{y}{G_f}---\left(43\right)$

P(x，y)＝f₂(x-C_x(y))+e        ...(44)

也就是说，第一方法中使用的表达式(40)表示像素中心位置(x，y)的X方向上的位置x是关于位于相同位置中的任何像素的像素值P(x，y)的相同值。换句话说，表达式(40)表示具有相同像素值的像素在Y方向上连续(表现出Y方向上的连续性)。

另一方面，第二方法中使用的表达式(44)表示其中心位置为(x，y)的像素的像素值P(x，y)与位于X方向上距离关注像素(其中心位置为原点(0，0)的像素)x的位置的像素的像素值(近似相当于f₂(x))不同，而是与位于X方向上以移位量C_x(y)进一步远离其像素的位置的像素(位于X方向上距离关注像素x+C_x(y)的位置中的像素)的像素值(近似相当于f₂(x)+C_x(y)相同的值。换句话说，表达式(44)表示具有相同像素值的像素在对应于移位量C_x(y)的角度θ方向上连续(表现出普通角度θ方向上的连续性)。

因此，移位量C_x(y)是考虑空间方向上连续性(在该情况下，图67中用梯度G_F表示的连续性(严格地说，用梯度G_f表示的数据连续性))的校正量，并且表达式(44)通过用移位量C_x(y)校正表达式(40)而获得。

在该情况下，当图64中所示包含细线的数据区域2302的20个像素值P(x，y)(但是，x是-1～2的任意一个整数值，且y是-2～2的任何一个整数值)分别代入上面表达式(44)时，如下面表达式(45)中所示的20个公式产生。

P(-1，-2)＝f₂(-1-C_x(-2))+e₁

P(0，-2)＝f₂(0-C_x(-2))+e₂

P(1，-2)＝f₂(1-C_x(-2))+e₃

P(2，-2)＝f₂(2-C_x(-2))+e₄

P(-1，-1)＝f₂(-1-C_x(-1))+e₅

P(0，-1)＝f₂(0-C_x(-1))+e₆

P(1，-1)＝f₂(1-C_x(-1))+e₇

P(2，-1)＝f₂(2-C_x(-1))+e₈

P(-1，0)＝f₂(-1)+e₉

P(0，0)＝f₂(0)+e₁₀

P(1，0)＝f₂(1)+e₁₁

P(2，0)＝f₂(2)+e₁₂

P(-1，1)＝f₂(-1-C_x(1))+e₁₃

P(0，1)＝f₂(0-C_x(1))+e₁₄

P(1，1)＝f₂(1-C_x(1))+e₁₅

P(2，1)＝f₂(2-C_x(1))+e₁₆

P(-1，2)＝f₂(-1-C_x(2))+e₁₇

P(0，2)＝f₂(0-C_x(2))+e₁₈

P(1，2)＝f₂(1-C_x(2))+e₁₉

P(2，2)＝f₂(2-C_x(2))+e₂₀        ...(45)

与上面表达式(41)一样，表达式(45)由20个公式构成。因此，对于第二方法，与第一方法一样，如果近似函数f₂(x)的特征w_i的数目少于20，也就是如果近似函数f₂(x)是具有少于19的维度数目的多项式，特征w_i可以使用例如最小二乘法计算。注意，关于最小二乘法的具体解法将随后描述。

例如，与第一方法一样，如果我们假定近似函数f₂(x)的维度数目是五，对于第二方法，特征w_i如下计算。

也就是说，图68以图形方式表示表达式(45)左侧中显示的像素值P(x，y)。图68中所示各个五个曲线图基本上与图65中所示的相同。

如图68中所示，最大像素值(与细线相对应的像素值)在用梯度G_f表示的数据连续性方向上连续。

所以，对于第二方法，如果我们例如沿着x轴补充图68中所示的各个输入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2)，我们补充像素值在图69中所示状态中改变的像素值，而不是与第一方法一样补充像素值而没有任何修改(让我们假设y是恒定的，并且五个曲线图在图68中所示的状态中重叠)。

也就是说，图69表示图68中所示的各个输入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2)以上面表达式(43)中所示的移位量C_x(y)移位的状态。换句话说，图69表示图68中所示的五个曲线图运动好像表示数据连续性实际方向的梯度G_F看作梯度G_F′的状态(在附图中，由虚线构成的直线看作由实线构成的直线)。

在图69中的状态中，如果我们例如沿着x轴补充各个输入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2)(在图69中所示的状态中，如果我们重叠五个曲线图)，与x轴平行的多条线(虚线、断续三重虚线、实线、断续线、以及断续双重虚线)被分布，例如图70中所示。

注意在图70中，垂直轴表示像素值，并且水平轴表示距离关注像素的相对位置x。而且，分别地，虚线表示输入像素值P(x，-2)，断续三重虚线表示输入像素值P(x，-1)，实线表示输入像素值P(x，0)，断续线表示输入像素值P(x，1)，以及断续双重虚线表示输入像素值P(x，2)。而且，在同样像素值的情况下，多于2条线的线实际上重叠，但是在图70中，线被画出以便区分每条线，以便不重叠每条线。

这样分布的各个20个输入像素值P(x，y)(但是，x是-1～2的任意一个整数值，并且y是-2～2的任意一个整数值)，以及回归曲线(通过将使用最小二乘法计算的特征w_i代入上面表达式(38)而获得的近似函数f₂(x))以使得值f₂(x+C_x(y))的误差达到最小，变成图70中实线所示的曲线f₂(x)。

因此，使用第二方法产生的近似函数f₂(x)表示在X方向上连接从数据连续性检测单元101(图58)输出的角度θ方向(也就是普通空间方向上的连续性方向)上输入像素值P(x，y)的平均值的曲线。

另一方面，如上所述，使用第一方法产生的近似函数f₁(x)只表示在X方向上连接Y方向(也就是与空间方向上的连续性不同的方向)上输入像素值P(x，y)的平均值的曲线。

因此，如图70中所示，使用第二方法产生的近似函数f₂(x)变成其波形的缓和度减小，而且关于原始像素值的细节减少程度比使用第一方法产生的近似函数f₁(x)减少得小的函数。换句话说，虽然附图中没有显示，对于使用第二方法产生的近似函数f₂(x)，其波形变成比使用第一方法产生的近似函数f₁(x)更接近实际X横截面波形F(x)的波形。

但是，如上所述，近似函数f₂(x)是考虑空间方向上连续性的函数，但是仅是输入图像(输入像素值)看作原点(基础)而产生的函数。也就是说，如上述图63中所示，近似函数f₂(x)仅是近似不同于X横截面波形F(x)的输入图像的函数，并且难说近似函数f₂(x)是近似X横截面波形F(x)的函数。换句话说，第二方法是基于上面表达式(44)成立的假设计算特征w_i的方法，但是没有考虑上述表达式(38)中的关系(没有考虑传感器2的积分效应)。

因此，本申请者已经发明相对于第二方法通过进一步考虑传感器2的积分效应计算近似函数f₃(x)的特征w_i的第三方法。

也就是说，第三方法是引入空间混合或时间混合概念的方法。现在，考虑空间混合和时间混合将使得描述复杂，所以空间混合和时间混合中仅空间混合将在这里考虑，而时间混合将忽略。

在第三方法的描述之前，将参考图71描述空间混合。

在图71中，现实世界1中光信号的部分2321(以下，称作区域2321)表示与传感器2的一个检测元件(像素)具有相同面积的区域。

当传感器2检测区域2321时，传感器2输出由区域2321经历时间和空间方向(X方向、Y方向和t方向)上的积分而获得的值(一个像素值)2322。注意，像素值2322在附图中表示为图像，但实际上是代表预先确定值的数据。

现实世界1中的区域2321清楚地分类成与前景(例如上面的细线)相对应的光信号(附图中白色区域)，以及与背景相对应的光信号(附图中黑色区域)。

另一方面，像素值2322是由与前景相对应的现实世界1中光信号和与背景相对应的现实世界1中光信号经历积分而获得的值。换句话说，像素值2322是与对应于前景的光度与对应于背景的光度空间混合的光度相对应的值。

因此，如果与现实世界1中光信号的一个像素(传感器2的检测元件)相对应的部分不是具有相同光度的光信号在空间上均匀分布的部分，而是具有不同光度的光信号例如前景和背景分布于其中的部分，当其区域由传感器2检测时，区域变成一个像素值，好像不同光度因传感器2的积分效应而空间混合(在空间方向上积分)。因此，由对应于前景的图像(现实世界1中光信号)和对应于背景的图像(现实世界1中光信号)经历空间积分，也就是好像被混合，即空间混合的像素构成的区域在这里称作空间混合区域。

因此，对于第三方法，现实世界估计单元102(图58)通过使用用作例如图72中所示一维多项式的近似函数f₃(x)近似X横截面波形F(x)，来估计表示现实世界1中原始区域2321(现实世界1中光信号，部分2321对应于传感器2的一个像素)的X横截面波形F(x)。

也就是说，图72表示与用作空间混合区域的像素值2322(图71)相对应的近似函数f₃(x)，即近似与现实世界1中区域2331中的实线(图71)相对应的X横截面波形F(x)的近似函数f₃(x)的实例。在图72中，附图中水平方向上的轴表示与从对应于像素值2322(图71)的像素的左上端x_s到右下端x_e的边平行的轴，其看作x轴。附图中垂直方向上的轴看作表示像素值的轴。

在图72中，下面的表达式(46)被定义，如果由使得近似函数f₃(x)经历从x_s到x_e的范围(像素宽度)内的积分而获得的结果通常与从传感器2输出的像素值P(x，y)完全相同(仅取决于误差限度e)。

$P={\∫}_{x_s}^{x_e}{f}_3\left(x\right)\mathrm{dx}+e$

$={\∫}_{x_s}^{x_e}(w_0+w_{1}x+w_2{x}^2+\·\·\·w_n{x}^n)\mathrm{dx}+e$

$=w_0(x_e-x_s)+\·\·\·+w_{n-1}\frac{x_e^n-x_s^n}{n}+w_n\frac{x_e^{n+1}-x_s^{n+1}}{n+1}+e---\left(46\right)$

在该情况下，近似函数f₃(x)的特征w_i从图67中所示包含细线的数据区域2302的20个像素值P(x，y)(但是，x是-1～2的任意一个整数值，并且y是-2～2的任意一个整数值)中计算，所以表达式(46)中的像素值P变成像素值P(x，y)。

而且，与第二方法一样，考虑空间方向上的连续性是必需的，因此，表达式(46)中积分范围中的开始位置x_s和结束位置x_e的每个取决于移位量C_x(y)。也就是说，表达式(46)中积分范围的开始位置x_s和结束位置x_e例如下面表达式(47)中表示。

x_s＝x-C_x(y)-0.5

x_e＝x-C_x(y)+0.5       ...(47)

在该情况下，当图67中所示包含细线的数据区域2302的每个像素值，即图68中所示输入像素值P(x，-2)，P(x，-1)，P(x，0)，P(x，1)以及P(x，2)(但是，x是-1～2的任意一个整数值)的每个代入上面表达式(46)(积分范围是上面表达式(47))时，下面表达式(48)中的20个公式产生。

$P(-1,-2)={\∫}_{-1-c_x(-2)-0.5}^{-1-c_x(-2)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_1,$

$P(0,-2)={\∫}_{0-C_x(-2)-0.5}^{0-C_x(-2)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_2,$

$P(1,-2)={\∫}_{1-C_x(-2)-0.5}^{1-C_x(-2)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_3,$

$P(2,-2)={\∫}_{2-C_x(-2)-0.5}^{2-C_x(-2)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_4,$

$P(-1,-1)={\∫}_{-1-C_x(-1)-0.5}^{-1-C_x(-1)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_5,$

$P(0,-1)={\∫}_{0-C_x(-1)-0.5}^{0-C_x(-1)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_6,$

$P(1,-1)={\∫}_{1-C_x(-1)-0.5}^{1-C_x(-1)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_7,$

$P(2,-1)={\∫}_{2-C_x(-1)-0.5}^{2-C_x(-1)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_8,$

$P(-1,0)={\∫}_{-1-0.5}^{-1+0.5}{f}_3\left(x\right)\mathrm{dx}+e_9,$

$P(0,0)={\∫}_{0-0.5}^{0+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{10},$

$P(1,0)={\∫}_{1-0.5}^{1+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{11},$

$P(2,0)={\∫}_{2-0.5}^{2+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{12},$

$P(-1,1)={\∫}_{-1-C_x\left(1\right)-0.5}^{-1-C_x\left(1\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{13},$

$P(0,1)={\∫}_{0-C_x\left(1\right)-0.5}^{0-C_x\left(1\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{14},$

$P(1,1)={\∫}_{1-C_x\left(1\right)-0.5}^{1-C_x\left(1\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{15},$

$P(2,1)={\∫}_{2-C_x\left(1\right)-0.5}^{2-C_x\left(1\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{16},$

$P(-1,2)={\∫}_{-1-C_x\left(2\right)-0.5}^{-1-C_x\left(2\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{17},$

$P(0,2)={\∫}_{0-C_x\left(2\right)-0.5}^{0-C_x\left(2\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{18},$

$P(1,2)={\∫}_{1-C_x\left(2\right)-0.5}^{1-C_x\left(2\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{19},$

$P(2,2)={\∫}_{2-C_x\left(2\right)-0.5}^{2-C_x\left(2\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{20}---\left(48\right)$

与上面表达式(45)一样，表达式(48)由20个公式构成。因此，对于第三方法，与第二方法一样，如果近似函数f₃(x)的特征w_i的数目少于20，也就是如果近似函数f₃(x)是具有少于19的维度数目的多项式，例如，特征w_i可以使用最小二乘法计算。注意，最小二乘法的具体解法将随后描述。

例如，如果我们假定近似函数f₃(x)的维度数目是五，使用表达式(48)用最小二乘法计算的近似函数f₃(x)(用计算的特征w_i产生的近似函数f₃(x))变成图73中实线所示的曲线。

注意在图73中，垂直轴表示像素值，而水平轴表示距离关注像素的相对位置x。

如图73中所示，如果用第三方法产生的近似函数f₃(x)(附图中用实线显示的曲线)与用第二方法产生的近似函数f₂(x)(附图中用虚线显示的曲线)相比较，x＝0处的像素值变大，而且曲线的梯度产生陡峭波形。这是因为细节增加多于输入像素，导致与输入像素的分辨率无关。也就是说，我们可以说近似函数f₃(x)近似X横截面波形F(x)。因此，虽然附图中没有显示，近似函数f₃(x)变成比近似函数f₂(x)更接近X横截面波形F(x)的波形。

图74表示使用这种一维近似方法的现实世界估计单元102的构造实例。

在图74中，现实世界估计单元102通过使用例如上面第三方法(最小二乘法)计算特征w_i，并且使用计算的特征w_i产生上面表达式(39)的近似函数f(x)来估计X横截面波形F(x)。

如图74中所示，现实世界估计单元102包括条件设置单元2331，输入图像存储单元2332，输入像素值获取单元2333，积分分量计算单元2334，正则方程生成单元2335，以及近似函数生成单元2336。

条件设置单元2331设置用于估计对应于关注像素的X横截面波形F(x)的像素范围(以下，称作分接范围)，以及近似函数f(x)的维度数目n。

输入图像存储单元2332临时地存储来自传感器2的输入图像(像素值)。

输入像素值获取单元2333从输入图像存储单元2332中存储的输入图像中，获取与由条件设置单元2331设置的分接范围相对应的输入图像区域，并且将其作为输入像素值表提供给正则方程生成单元2335。也就是说，输入像素值表是描述包括在输入图像区域中的像素的各个像素值的表。注意，输入像素值表的具体实例将随后描述。

现在，现实世界估计单元102使用上面的表达式(46)和表达式(47)在这里用最小二乘法计算近似函数f(x)的特征w_i，但是上面表达式(46)可以例如下面表达式(49)表示。

P(x，y)

$=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×\frac{{(x-C_x\left(y\right)+0.5)}^{i+1}-{(x-C_x\left(y\right)-0.5)}^{i+1}}{i+1}+e$

$=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×S_i(x_s,x_e)+e---\left(49\right)$

在表达式(49)中，S_i(x_s，x_e)表示i维项的积分分量。也就是说，积分分量S_i(x_s，x_e)在下面表达式(50)中显示。

$S_i(x_s,x_e)=\frac{x_e^{i+1}-x_s^{i+1}}{i+1}---\left(50\right)$

积分分量计算单元2334计算积分分量S_i(x_s，x_e)。

特别地，表达式(50)中所示的积分分量S_i(x_s，x_e)(但是，值x_s和值x_e是上面表达式(46)中显示的值)可以计算，只要相对像素位置(x，y)，移位量C_x(y)，以及i维项的i已知。而且，这些中，分别地，相对像素位置(x，y)由关注像素和分接范围确定，移位量C_x(y)由角度θ(由上面表达式(41)和表达式(43))确定，并且i的范围由维度数目n确定。

因此，积分分量计算单元2334基于由条件设置单元2331设置的分接范围和维度数目，以及从数据连续性检测单元101输出的数据连续性信息的角度θ来计算积分分量S_i(x_s，x_e)，并且将计算结果作为积分分量表提供给正则方程生成单元2335。

正则方程生成单元2335产生上面的表达式(46)，即正则方程，在使用从输入像素值获取单元2333提供的输入像素值表，以及从积分分量计算单元2334提供的积分分量表，用最小二乘法获得表达式(49)右侧的特征w_i的情况下，并且将其作为正则方程表提供给近似函数生成单元2336。注意正则方程的具体实例将随后描述。

近似函数生成单元2336通过使用矩阵解法求解包括在从正则方程生成单元2335提供的正则方程表中的正则方程，来计算上面表达式(49)的各个特征w_i(也就是用作一维多项式的近似函数f(x)的各个系数w_i)，并且将这些输出到图像生成单元103。

接下来，将参考图75中的流程图描述使用一维近似方法的现实世界估计单元102(图74)的现实世界估计处理(图29的步骤S102中的处理)。

例如，让我们假定作为从传感器2输出的一帧输入图像、包括上述图60中包含细线的数据区域2302的输入图像已经存储在输入图像存储单元2332中。而且，让我们假定数据连续性检测单元101已经在步骤S101(图29)的连续性检测处理中使包含细线的数据区域2302经历其处理，并且已经输出角度θ作为数据连续性信息。

在该情况下，条件设置单元2331在图75的步骤S2301中设置条件(分接范围和维度数目)。

例如，让我们假定图76中所示的分接范围2351被设置，并且5维度设置为维度数目。

也就是说，图76是描述分接范围实例的图。在图76中，X方向和Y方向分别是传感器2的X方向和Y方向(图59)。而且，分接范围2351表示由X方向上4个像素以及Y方向上5个像素总共20个像素(附图中20个正方形)构成的像素组。

此外，如图76中所示，让我们假定关注像素设置在分接范围2351中附图中从左起第二像素以及从底部起第三像素处。而且，让我们假定每个像素根据距离关注像素的相对像素位置(x，y)(关注像素坐标系的坐标值，其中关注像素的中心(0，0)取作原点)用例如图76中所示数字l表示(l是0～19的任意整数值)。

现在，描述将返回图75，其中在步骤S2302中，条件设置单元2331设置关注像素。

在步骤S2303中，输入像素值获取单元2333基于由条件设置单元2331设置的条件(分接范围)获取输入像素值，并且产生输入像素值表。也就是说，在该情况下，输入像素值获取单元2333获取包含细线的数据区域2302(图64)，并且产生由20个输入像素值P(l)构成的表作为输入像素值表。

注意在该情况下，输入像素值P(l)与上面输入像素值P(x，y)之间的关系是下面表达式(51)中所示的关系。但是，在表达式(51)中，左侧表示输入像素值P(l)，而右侧表示输入像素值P(x，y)。

P(0)＝P(0，0)

P(1)＝P(-1，2)

P(2)＝P(0，2)

P(3)＝P(1，2)

P(4)＝P(2，2)

P(5)＝P(-1，1)

P(6)＝P(0，1)

P(7)＝P(1，1)

P(8)＝P(2，1)

P(9)＝P(-1，0)

P(10)＝P(1，0)

P(11)＝P(2，0)

P(12)＝P(-1，-1)

P(13)＝P(0，-1)

P(14)＝P(1，-1)

P(15)＝P(2，-1)

P(16)＝P(-1，-2)

P(17)＝P(0，-2)

P(18)＝P(1，-2)

P(19)＝P(2，-2)          ...(51)

在步骤S2304中，积分分量计算单元2334基于由条件设置单元2331设置的条件(分接范围和维度数目)，以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并且产生积分分量表。

在该情况下，如上所述，输入像素值不是P(x，y)而是P(l)，并且作为像素编号l的值而获取，所以积分分量计算单元2334将表达式(50)中上面积分分量S_i(x_s，x_e)计算为l的函数，例如下面表达式(52)左侧中所示的积分分量S_i(l)。

S_i(l)＝S_i(x_s，x_e)       ...(52)

特别地，在该情况下，下面表达式(53)中所示的积分分量S_i(l)被计算。

S_i(0)＝S_i(-0.5，0.5)

S_i(1)＝S_i(-1.5-C_x(2)，-0.5-C_x(2))

S_i(2)＝S_i(-0.5-C_x(2)，0.5-C_x(2))

S_i(3)＝S_i(0.5-C_x(2)，1.5-C_x(2))

S_i(4)＝S_i(1.5-C_x(2)，2.5-C_x(2))

S_i(5)＝S_i(-1.5-C_x(1)，-0.5-C_x(1))

S_i(6)＝S_i(-0.5-C_x(1)，0.5-C_x(1))

S_i(7)＝S_i(0.5-C_x(1)，1.5-C_x(1))

S_i(8)＝S_i(1.5-C_x(1)，2.5-C_x(1))

S_i(9)＝S_i(-1.5，-0.5)

S_i(10)＝S_i(0.5，1.5)

S_i(11)＝S_i(1.5，2.5)

S_i(12)＝S_i(-1.5-C_x(-1)，-0.5-C_x(-1))

S_i(13)＝S_i(-0.5-C_x(-1)，0.5-C_x(-1))

S_i(14)＝S_i(0.5-C_x(-1)，1.5-C_x(-1))

S_i(15)＝S_i(1.5-C_x(-1)，2.5-C_x(-1))

S_i(16)＝S_i(-1.5-C_x(-2)，-0.5-C_x(-2))

S_i(17)＝S_i(-0.5-C_x(-2)，0.5-C_x(-2))

S_i(18)＝S_i(0.5-C_x(-2)，1.5-C_x(-2))

S_i(19)＝S_i(1.5-C_x(-2)，2.5-C_x(-2))        ...(53)

注意在表达式(53)中，左侧表示积分分量S_i(l)，而右侧表示积分分量S_i(x_s，x_e)。也就是说，在该情况下，i是0～5，因此20个S₀(l)，20个S₁(l)，20个S₂(l)，20个S₃(l)，20个S₄(l)以及20个S₅(l)总共120个S_i(l)被计算。

更具体地说，首先积分分量计算单元2334使用从数据连续性检测单元101提供的角度θ计算移位量C_x(-2)，C_x(-1)，C_x(1)，和C_x(2)的每个。接下来，积分分量计算单元2334使用计算的移位量C_x(-2)，C_x(-1)，C_x(1)，和C_x(2)关于i＝0～5的每个计算表达式(52)右侧中显示的20个积分分量S_i(x_s，x_e)的每个。也就是说，计算120个积分分量S_i(x_s，x_e)。注意对于积分分量S_i(x_s，x_e)的该计算，使用上面表达式(50)。随后，积分分量计算单元2334根据表达式(53)将计算的120个积分分量S_i(x_s，x_e)的每个转换成相应的积分分量S_i(l)，并且产生包括转换后的120个积分分量S_i(l)的积分分量表。

注意，步骤S2303中的处理和步骤S2304中的处理的顺序并不局限于图75中的实例，步骤S2304中的处理可以首先执行，或者步骤S2303中的处理和步骤S2304中的处理可以同时执行。

接下来，在步骤S2305中，正则方程生成单元2335基于在步骤S2303的处理中由输入像素值获取单元2333产生的输入像素值表，以及在步骤S2304的处理中由积分分量计算单元2334产生的积分分量表来产生正则方程表。

特别地，在该情况下，对应于上面表达式(49)的下面表达式(54)的特征w_i使用最小二乘法计算。与此对应的正则方程表示为下面的表达式(55)。

$P\left(l\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×S_i\left(l\right)+e---\left(54\right)$

注意在表达式(55)中，L表示分接范围中像素编号l的最大值。n表示用作多项式的近似函数f(x)的维度数目。特别地，在该实例中，n＝5且L＝19。

如果我们将表达式(55)中所示的正则方程的每个矩阵定义为下面的表达式(56)～(58)，正则方程表示为下面的表达式(59)。

$W_{\mathrm{MAT}}=\left(\begin{array}{c}{w}_0\\ w_1\\ \·\\ \·\\ \·\\ w_n\end{array}\right)---\left(57\right)$

$P_{\mathrm{MAT}}=\left(\begin{array}{c}\underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_0\left(l\right)P\left(l\right)\\ \underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_1\left(l\right)P\left(l\right)\\ \·\\ \·\\ \·\\ \underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_n\left(l\right)P\left(l\right)\end{array}\right)---\left(58\right)$

S_MATW_MAT＝P_MAT    ...(59)

如表达式(57)中所示，矩阵W_MAT的各个分量是待获得的特征w_i。因此，在表达式(59)中，如果左侧的矩阵S_MAT和右侧的矩阵P_MAT被确定，矩阵W_MAT(也就是特征w_i)可以使用矩阵解法计算。

特别地，如表达式(56)中所示，矩阵S_MAT的各个分量可以计算，只要上面积分分量S_i(l)已知。积分分量S_i(l)包括在从积分分量计算单元2334提供的积分分量表中，所以正则方程生成单元2335可以使用积分分量表计算矩阵S_MAT的每个分量。

而且，如表达式(58)中所示，矩阵P_MAT的各个分量可以计算，只要积分分量S_i(l)和输入像素值P(l)已知。积分分量S_i(l)与包括在矩阵S_MAT的各个分量中的那些相同，并且输入像素值P(l)包括在从输入像素值获取单元2333提供的输入像素值表中，所以正则方程生成单元2335可以使用积分分量表和输入像素值表计算矩阵P_MAT的每个分量。

因此，正则方程生成单元2335计算矩阵S_MAT和矩阵P_MAT的每个分量，并将计算结果(矩阵S_MAT和矩阵P_MAT的每个分量)作为正则方程表输出到近似函数生成单元2336。

当正则方程表从正则方程生成单元2335输出时，在步骤S2306中，近似函数生成单元2336基于正则方程表计算用作上面表达式(59)中矩阵W_MAT的各个分量的特征w_i(也就是，用作一维多项式的近似函数f(x)的系数w_i)。

特别地，上面表达式(59)中的正则方程可以转换为下面的表达式(60)。

$W_{\mathrm{MAT}}=S_{\mathrm{MAT}}^{-1}{P}_{\mathrm{MAT}}---\left(60\right)$

在表达式(60)中，左侧矩阵W_MAT的各个分量是待获得的特征w_i。关于矩阵S_MAT和矩阵P_MAT的各个分量包括在从正则方程生成单元2335提供的正则方程表中。因此，近似函数生成单元2336通过使用正则方程表计算表达式(60)右侧中的矩阵来计算矩阵W_MAT，并将计算结果(特征w_i)输出到图像生成单元103。

在步骤S2307中，近似函数生成单元2336确定是否所有像素的处理都已完成。

在步骤S2307中，如果确定所有像素的处理还没有完成，处理返回到步骤S2302，其中随后的处理重复地执行。也就是说，没有变成关注像素的像素顺序地取作关注像素，并且步骤S2302～S2307中的处理重复地执行。

如果所有像素的处理都已完成(在步骤S2307中，如果确定所有像素的处理都已完成)，现实世界1的估计处理结束。

注意使用这样计算的系数(特征)w_i产生的近似函数f(x)的波形变成例如上述图73中近似函数f₃(x)的波形。

因此，对于一维近似方法，用作一维多项式的近似函数f(x)的特征在例如与一维X横截面波形F(x)具有相同形式的波形在连续性方向上连续的假设下计算。因此，对于一维近似方法，近似函数f(x)的特征可以使用比其他函数近似方法少量的计算处理而计算。

接下来，将参考图77至图83描述第二函数近似方法。

也就是说，第二函数近似方法是具有用例如图77中所示梯度G_F表示的空间方向上连续性的现实世界1中光信号看作X-Y平面上(在用作空间方向一个方向的X方向，以及与X方向正交的Y方向上的平面水平上)的波形F(x，y)的方法，并且波形F(x，y)使用用作二维多项式的近似函数f(x，y)近似，从而估计波形F(x，y)。因此，以下，第二函数近似方法称作二维多项式近似方法。

注意在图77中，分别地，水平方向表示用作空间方向的一个方向的X方向，右上方向表示用作空间方向的另一个方向的Y方向，以及垂直方向表示光度。G_F表示作为空间方向上连续性的梯度。

而且，对于二维多项式近似方法的描述，让我们假定传感器2是由布置在其平面上的多个检测元件2-1构成的CCD，例如图78中所示。

对于图78中的实例，平行于检测元件2-1的预先确定边的方向取作用作空间方向的一个方向的X方向，并且与X方向正交的方向取作用作空间方向的另一个方向的Y方向。与X-Y平面正交的方向取作用作时间方向的t方向。

而且，对于图78中的实例，传感器2的每个检测元件2-1的空间形状取作一边长度为1的正方形。传感器2的快门时间(曝光时间)取作1。

此外，对于图78中的实例，传感器2的某个检测元件2-1的中心取作空间方向(X方向和Y方向)上的原点(X方向上位置为x＝0，且Y方向上位置为y＝0)，而且曝光时间的中间时间点取作时间方向(t方向)上的原点(t方向上位置为t＝0)。

在该情况下，其中心在空间方向上原点(x＝0，y＝0)的检测元件2-1使得光信号函数F(x，y，t)经历X方向上-0.5～0.5的范围，Y方向上-0.5～0.5的范围，以及t方向上-0.5～0.5的范围的积分，并且输出积分值作为像素值P。

也就是说，从其中心位于空间方向上原点的检测元件2-1输出的像素值P用下面的表达式(61)表示。

$P={\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}F(x,y,t)\mathrm{dxdydt}---\left(61\right)$

类似地，其他检测元件2-1通过将待处理检测元件2-1的中心取作空间方向上的原点来输出表达式(61)中所示的像素值P。

顺便提及，如上所述，二维多项式近似方法是现实世界1中的光信号作为例如图77中所示波形F(x，y)处理，并且二维波形F(x，y)使用用作二维多项式的近似函数f(x，y)近似的方法。

首先，将描述用二维多项式表示这种近似函数f(x，y)的方法。

如上所述，现实世界1中的光信号用其变量为三维空间x，y和z上的位置以及时间点t的光信号函数F(x，y，t)表示。该光信号函数F(x，y，t)，即在Y方向上任意位置y处投影在X方向上的一维波形这里称作X横截面波形F(x)。

当注意该X横截面波形F(x)时，如果现实世界1中的信号具有在空间方向中某一方向上的连续性，可以设想与X横截面波形F(x)具有相同形式的波形在连续性方向上连续。例如，对于图77中的实例，与X横截面波形F(x)具有相同形式的波形在梯度G_F的方向上连续。换句话说，可以说波形F(x，y)由与在梯度G_F方向上连续的X横截面波形F(x)具有相同形式的波形形成。

因此，近似函数f(x，y)可以通过考虑近似波形F(x，y)的近似函数f(x，y)的波形由与近似连续的X横截面F(x)的近似函数f(x)具有相同形式的波形形成，而用二维多项式表示。

将更详细地描述近似函数f(x，y)的表示方法。

例如，让我们假定例如上述图77中所示现实世界1中的光信号，也就是具有用梯度G_F表示的空间方向上连续性的光信号由传感器2检测(图78)，并且输出作为输入图像(像素值)。

此外，让我们假定如图79中所示，数据连续性检测单元101(图3)使得由该输入图像的X方向上4个像素以及Y方向上5个像素总共20个像素(在附图中，用虚线表示的20个正方形)构成的输入图像区域2401经历其处理，并且输出角度θ(用与梯度G_F相对应的梯度G_f表示的数据连续性方向，与X方向之间产生的角度θ)作为数据连续性信息之一。

注意，对于输入图像区域2401，附图中水平方向表示用作空间方向中一个方向的X方向，并且附图中垂直方向表示用作空间方向中另一个方向的Y方向。

而且，在图79中，(x，y)坐标系被设置，使得从左起第二像素以及从底部起第三像素中的像素取作关注像素，并且关注像素的中心取作原点(0，0)。在X方向上关于经过原点(0，0)具有角度θ的直线(具有表示数据连续性方向的梯度G_f的直线)的相对距离(以下，称作横截面方向距离)描述为x′。

此外，在图79中，右侧的曲线图是X横截面波形F(x′)被近似的函数，其表示用作n维(n是任意整数)多项式的近似函数f(x′)。右侧上曲线图的轴中，附图中水平方向上的轴表示横截面方向距离，而附图中垂直方向上的轴表示像素值。

在该情况下，图79中所示近似函数f(x′)是n维多项式，所以表示为下面的表达式(62)。

$f\left(x^{\′}\right)=w_0+w_1{x}^{\′}+w_2{x}^{\′2}+\·\·\·+w_n{x}^{\′n}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_t{x}^{\′i}---\left(62\right)$

而且，因为角度θ确定，经过原点(0，0)具有角度θ的直线唯一确定，并且在Y方向上任意位置y处直线的X方向上的位置x_l表示为下面的表达式(63)。但是，在表达式(63)中，s代表cotθ(＝1/tanθ)。

x_l＝s×y               ...(63)

也就是说，如图79中所示，与用梯度G_f表示的数据连续性相对应的直线上的点用坐标值(x_l，y)表示。

横截面方向距离x′使用表达式(63)表示为下面的表达式(64)。

x′＝x-x_l＝x-s×y      ...(64)

因此，输入图像区域2401中任意位置(x，y)处的近似函数f(x，y)使用表达式(62)和表达式(64)表示为下面的表达式(65)。

$f(x,y)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{(x-s\×y)}^i---\left(65\right)$

注意在表达式(65)中，w_i表示近似函数f(x，y)的系数。注意，包括近似函数f(x，y)的近似函数f的系数w_i可以作为近似函数f的特征来估计。因此，近似函数f的系数w_i也称作近似函数f的特征w_i。

因此，具有二维波形的近似函数f(x，y)可以表示为表达式(65)的多项式，只要角度θ已知。

因此，如果现实世界估计单元102可以计算表达式(65)的特征w_i，现实世界估计单元102可以估计例如图77中所示的波形F(x，y)。

因此，以下，将描述计算表达式(65)的特征w_i的方法。

也就是说，当用表达式(65)表示的近似函数f(x，y)经历关于与像素(传感器2的检测元件2-1(图78))相对应的积分范围(空间方向上的积分范围)的积分时，积分值变成关于像素的像素值的估计值。下面的表达式(66)是用公式表示。注意对于二维多项式近似方法，时间方向t看作恒定值，所以表达式(66)看作其变量为空间方向(X方向和Y方向)上位置x和y的公式。

$P(x,y)={\∫}_{y-0.5}^{y+0.5}{\∫}_{x-0.5}^{x+0.5}\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{(x-s\×y)}^i\mathrm{dxdy}+e---\left(66\right)$

在表达式(66)中，P(x，y)表示其中心位置在来自传感器2的输入图像的位置(x，y)(距离关注像素的相对位置(x，y))中的像素的像素值。同样，e表示误差限度。

因此，对于二维多项式近似方法，输入像素值P(x，y)与用作二维多项式的近似函数f(x，y)之间的关系可以用表达式(66)表示，因此，现实世界估计单元102可以通过使用表达式(66)用例如最小二乘法等计算特征w_i(通过将计算的特征w_i代入表达式(64)而产生近似函数f(x，y))来估计二维函数F(x，y)(波形F(x，y)，其中具有用梯度G_F(图77)表示的空间方向上连续性的现实世界1中光信号关注空间方向来表示)。

图80表示使用这种二维多项式近似方法的现实世界估计单元102的构造实例。

如图80中所示，现实世界估计单元102包括条件设置单元2421，输入图像存储单元2422，输入像素值获取单元2423，积分分量计算单元2424，正则方程生成单元2425，以及近似函数生成单元2426。

条件设置单元2421设置用于估计对应于关注像素的函数F(x，y)的像素范围(分接范围)，以及近似函数f(x，y)的维度数目n。

输入图像存储单元2422临时地存储来自传感器2的输入图像(像素值)。

输入像素值获取单元2423从输入图像存储单元2422中存储的输入图像中，获取与由条件设置单元2421设置的分接范围相对应的输入图像区域，并且将其作为输入像素值表提供给正则方程生成单元2425。也就是说，输入像素值表是描述包括在输入图像区域中的像素的各个像素值的表。注意，输入像素值表的具体实例将随后描述。

顺便提及，如上所述，使用二维近似方法的现实世界估计单元102通过使用最小二乘法求解上面表达式(66)来计算用上面表达式(65)表示的近似函数f(x，y)的特征w_i。

表达式(66)可以通过使用由下面表达式(67)～(69)获得的下面表达式(70)表示为下面的表达式(71)。

${\∫x}^i\mathrm{dx}=\frac{x^{i+1}}{i+1}---\left(67\right)$

$\∫{(x-s\×y)}^i\mathrm{dx}=\frac{{(x-s\×y)}^{i+1}}{(i+1)}---\left(68\right)$

${\∫(x-s\×y)}^i\mathrm{dy}=\frac{{(x-s\×y)}^{i+1}}{s(i+1)}---\left(69\right)$

${\∫}_{y-0.5}^{y+0.5}{\∫}_{x-0.5}^{x+0.5}{(x-s\×y)}^i\mathrm{dxdy}={\∫}_{y-0.5}^{y+0.5}{\left[\frac{{(x-s\×y)}^{i+1}}{(i+1)}\right]}_{x-0.5}^{x+0.5}\mathrm{dy}$

$={\∫}_{y-0.5}^{y+0.5}\frac{{(x+0.5-x\×y)}^{i+1}-{(x-0.5-s\×y)}^{i+1}}{i+1}\mathrm{dy}$

$={\left[\frac{{(x+0.5-s\×y)}^{i+2}}{s(i+1)(i+2)}\right]}_{y-0.5}^{y+0.5}-{\left[\frac{{(x-0.5-s\×y)}^{i+2}}{s(i+1)(i+2)}\right]}_{y-0.5}^{y+0.5}$

$=\frac{{(x+0.5-s\×y+0.5s)}^{i+2}-{(x+0.5-s\×y-0.5s)}^{i+2}-{(x-0.5-s\×y+0.5s)}^{i+2}+{(x-0.5-s\×y-0.5s)}^{i+2}}{s(i+1)(i+2)}---\left(70\right)$

$P(x,y)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\frac{w_i}{s(i+1)(i+2)}\{{(x+0.5-s\×y+0.5s)}^{i+2}$

$-{(x+0.5-s\×y-0.5s)}^{i+2}-{(x-0.5-s\×y+0.5s)}^{i+2}$

$+{(x-0.5-s\×y-0.5s)}^{i+2}\}+e$

$=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{s}_i(x-0.5,x+0.5,y-0.5,y+0.5)+e---\left(71\right)$

在表达式(71)中，S_i(x-0.5，x+0.5，y-0.5，y+0.5)表示i维项的积分分量。也就是说，积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)如下面表达式(72)中所示。

s_i(x-0.5，x+0.5，y-0.5，y+0.5)＝

$\frac{{(x+0.5-s\×y+0.5s)}^{i+2}-{(x+0.5-s\×y-0.5s)}^{i+2}-{(x-0.5-s\×y+0.5s)}^{i+2}+{(x-0.5-s\×y-0.5s)}^{i+2}}{s(i+1)(i+2)}$

积分分量计算单元2424计算积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)。

特别地，表达式(72)中所示的积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)可以计算，只要相对像素位置(x，y)，上面表达式(65)中i维项的变量s和i已知。当然，分别地，相对像素位置(x，y)由关注像素和分接范围确定，变量s是由角度θ确定的cotθ，并且i的范围由维度数目n确定。

因此，积分分量计算单元2424基于由条件设置单元2421设置的分接范围和维度数目，以及从数据连续性检测单元101输出的数据连续性信息的角度θ来计算积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)，并且将计算结果作为积分分量表提供给正则方程生成单元2425。

正则方程生成单元2425产生正则方程，在使用从输入像素值获取单元2423提供的输入像素值表，以及从积分分量计算单元2424提供的积分分量表，用最小二乘法获得上面表达式(66)，也就是表达式(71)的情况下，并且将其作为正则方程表输出到近似函数生成单元2426。注意正则方程的具体实例将随后描述。

近似函数生成单元2426通过使用矩阵解法求解包括在从正则方程生成单元2425提供的正则方程表中的正则方程，来计算上面表达式(66)的各个特征w_i(也就是用作二维多项式的近似函数f(x，y)的系数w_i)，并且将这些输出到图像生成单元103。

接下来，将参考图81中的流程图描述应用二维多项式近似方法的现实世界估计处理(图29的步骤S102中的处理)。

例如，让我们假定具有用梯度G_F表示的空间方向上连续性的现实世界1中光信号已经由传感器2检测(图78)，并且已经作为与一帧相对应的输入图像存储在输入图像存储单元2422中。而且，让我们假定数据连续性检测单元101已经使得输入图像中上述图79中所示的区域2401经历步骤S101(图29)的连续性检测处理中的处理，并且已经输出角度θ作为数据连续性信息。

在该情况下，在步骤S2401中，条件设置单元2421设置条件(分接范围和维度数目)。

例如，让我们假定图82中所示的分接范围2441已经设置，并且5已经设置为维度数目。

图82是描述分接范围实例的图。在图82中，X方向和Y方向代表传感器2的X方向和Y方向(图78)。而且，分接范围2441表示由X方向上4个像素以及Y方向上5个像素总共20个像素(附图中20个正方形)构成的像素组。

此外，如图82中所示，让我们假定关注像素已经设置为分接范围2441中附图中从左起第二像素以及从底部起第三像素的像素。而且，让我们假定每个像素根据距离关注像素的相对像素位置(x，y)(关注像素坐标系的坐标值，其中关注像素的中心(0，0)取作原点)例如图82中所示用数字l表示(l是0～19的任意整数值)。

现在，描述将返回图81，其中在步骤S2402中，条件设置单元2421设置关注像素。

在步骤S2403中，输入像素值获取单元2423基于由条件设置单元2421设置的条件(分接范围)获取输入像素值，并且产生输入像素值表。也就是说，在该情况下，输入像素值获取单元2423获取输入图像区域2401(图79)，产生由20个输入像素值P(l)构成的表作为输入像素值表。

注意在该情况下，输入像素值P(l)与上面输入像素值P(x，y)之间的关系是下面表达式(73)中所示的关系。但是，在表达式(73)中，左侧表示输入像素值P(l)，而右侧表示输入像素值P(x，y)。

P(0)＝P(0，0)

P(1)＝P(-1，2)

P(2)＝P(0，2)

P(3)＝P(1，2)

P(4)＝P(2，2)

P(5)＝P(-1，1)

P(6)＝P(0，1)

P(7)＝P(1，1)

P(8)＝P(2，1)

P(9)＝P(-1，0)

P(10)＝P(1，0)

P(11)＝P(2，0)

P(12)＝P(-1，-1)

P(13)＝P(0，-1)

P(14)＝P(1，-1)

P(15)＝P(2，-1)

P(16)＝P(-1，-2)

P(17)＝P(0，-2)

P(18)＝P(1，-2)

P(19)＝P(2，-2)        ...(73)

在步骤S2404中，积分分量计算单元2424基于由条件设置单元2421设置的条件(分接范围和维度数目)，以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并且产生积分分量表。

在该情况下，如上所述，输入像素值不是P(x，y)而是P(l)，并且作为像素编号l的值而获得，所以积分分量计算单元2424将上面表达式(72)中的积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)计算为l的函数，例如下面表达式(74)左侧中所示的积分分量S_i(l)。

S_i(l)＝S_i(x-0.5，x+0.5，y-0.5，y+0.5)      ...(74)

特别地，在该情况下，下面表达式(75)中所示的积分分量S_i(l)被计算。

S_i(0)＝S_i(-0.5，0.5，-0.5，0.5)

S_i(1)＝S_i(-1.5，-0.5，1.5，2.5)

S_i(2)＝S_i(-0.5，0.5，1.5，2.5)

S_i(3)＝S_i(0.5，1.5，1.5，2.5)

S_i(4)＝S_i(1.5，2.5，1.5，2.5)

S_i(5)＝S_i(-1.5，-0.5，0.5，1.5)

S_i(6)＝S_i(-0.5，0.5，0.5，1.5)

S_i(7)＝S_i(0.5，1.5，0.5，1.5)

S_i(8)＝S_i(1.5，2.5，0.5，1.5)

S_i(9)＝S_i(-1.5，-0.5，-0.5，0.5)

S_i(10)＝S_i(0.5，1.5，-0.5，0.5)

S_i(11)＝S_i(1.5，2.5，-0.5，0.5)

S_i(12)＝S_i(-1.5，-0.5，-1.5，-0.5)

S_i(13)＝S_i(-0.5，0.5，-1.5，-0.5)

S_i(14)＝S_i(0.5，1.5，-1.5，-0.5)

S_i(15)＝S_i(1.5，2.5，-1.5，-0.5)

S_i(16)＝S_i(-1.5，-0.5，-2.5，-1.5)

S_i(17)＝S_i(-0.5，0.5，-2.5，-1.5)

S_i(18)＝S_i(0.5，1.5，-2.5，-1.5)

S_i(19)＝S_i(1.5，2.5，-2.5，-1.5)         ...(75)

注意在表达式(75)中，左侧表示积分分量S_i(l)，而右侧表示积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)。也就是说，在该情况下，i是0～5，因此20个S₀(l)，20个S₁(l)，20个S₂(l)，20个S₃(l)，20个S₄(l)以及20个S₅(l)总共120个S_i(l)被计算。

更具体地说，首先积分分量计算单元2424计算与从数据连续性检测单元101提供的角度θ相对应的cotθ，并取计算结果作为变量s。接下来，积分分量计算单元2424使用计算的变量s关于i＝0～5的每个计算表达式(74)右侧中显示的20个积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)的每个。也就是说，计算120个积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)。注意对于积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)的该计算，使用上面表达式(72)。随后，积分分量计算单元2424根据表达式(75)将计算的120个积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)的每个转换成相应的积分分量S_i(l)，并且产生包括转换后的120个积分分量S_i(l)的积分分量表。

注意，步骤S2403中的处理和步骤S2404中的处理的顺序并不局限于图81中的实例，步骤S2404中的处理可以首先执行，或者步骤S2403中的处理和步骤S2404中的处理可以同时执行。

接下来，在步骤S2405中，正则方程生成单元2425基于在步骤S2403的处理中由输入像素值获取单元2423产生的输入像素值表，以及在步骤S2404的处理中由积分分量计算单元2424产生的积分分量表来产生正则方程表。

特别地，在该情况下，特征w_i使用上面表达式(71)用最小二乘法计算(但是，在表达式(70)中，使用积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)使用表达式(74)转换成的S_i(l))，所以与此对应的正则方程表示为下面的表达式(76)。

注意在表达式(76)中，L表示分接范围中像素编号l的最大值。n表示用作多项式的近似函数f(x)的维度数目。特别地，在该实例中，n＝5且L＝19。

如果我们将表达式(76)中所示的正则方程的每个矩阵定义为下面的表达式(77)～(79)，正则方程表示为下面的表达式(80)。

$W_{\mathrm{MAT}}=\left(\begin{array}{c}{w}_0\\ w_1\\ \·\\ \·\\ \·\\ w_n\end{array}\right)---\left(78\right)$

$P_{\mathrm{MAT}}=\left(\begin{array}{c}\underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_0\left(l\right)P\left(l\right)\\ \underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_1\left(l\right)P\left(l\right)\\ \·\\ \·\\ \·\\ \underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_n\left(l\right)P\left(l\right)\end{array}\right)---\left(79\right)$

S_MATW_MAT＝P_MAT             ...(80)

如表达式(78)中所示，矩阵W_MAT的各个分量是待获得的特征w_i。因此，在表达式(80)中，如果左侧的矩阵S_MAT和右侧的矩阵P_MAT被确定，矩阵W_MAT可以使用矩阵解法计算。

特别地，如表达式(77)中所示，矩阵S_MAT的各个分量可以使用上面的积分分量S_i(l)计算。也就是说，积分分量S_i(l)包括在从积分分量计算单元2424提供的积分分量表中，所以正则方程生成单元2425可以使用积分分量表计算矩阵S_MAT的每个分量。

而且，如表达式(79)中所示，矩阵P_MAT的各个分量可以使用积分分量S_i(l)和输入像素值P(l)计算。也就是说，积分分量S_i(l)与包括在矩阵S_MAT的各个分量中的那些相同，并且输入像素值P(l)包括在从输入像素值获取单元2423提供的输入像素值表中，所以正则方程生成单元2425可以使用积分分量表和输入像素值表计算矩阵P_MAT的每个分量。

因此，正则方程生成单元2425计算矩阵S_MAT和矩阵P_MAT的每个分量，并且将计算结果(矩阵S_MAT和矩阵P_MAT的每个分量)作为正则方程表输出到近似函数生成单元2426。

当正则方程表从正则方程生成单元2425输出时，在步骤S2406中，近似函数生成单元2426基于正则方程表计算用作上面表达式(80)中矩阵W_MAT的各个分量的特征w_i(也就是，用作二维多项式的近似函数f(x，y)的系数w_i)。

特别地，上面表达式(80)中的正则方程可以转换为下面的表达式(81)。

$W_{\mathrm{MAT}}=S_{\mathrm{MAT}}^{-1}{P}_{\mathrm{MAT}}---\left(81\right)$

在表达式(81)中，左侧矩阵W_MAT的各个分量是待获得的特征w_i。关于矩阵S_MAT和矩阵P_MAT的各个分量包括在从正则方程生成单元2425提供的正则方程表中。因此，近似函数生成单元2426通过使用正则方程表计算表达式(81)右侧中的矩阵来计算矩阵W_MAT，并将计算结果(特征w_i)输出到图像生成单元103。

在步骤S2407中，近似函数生成单元2426确定是否所有像素的处理都已完成。

在步骤S2407中，如果确定所有像素的处理还没有完成，处理返回到步骤S2402，其中随后的处理重复地执行。也就是说，没有变成关注像素的像素顺序地取作关注像素，并且步骤S2402～S2407中的处理重复地执行。

如果所有像素的处理都已完成(在步骤S2407中，如果确定所有像素的处理都已完成)，现实世界1的估计处理结束。

作为二维多项式近似方法的描述，计算与空间方向(X方向和Y方向)相对应的近似函数f(x，y)的系数(特征)w_i的实例已经使用，但是二维多项式近似方法同样可以应用于时间和空间方向(X方向和t方向，或者Y方向和t方向)。

也就是说，上面的实例是现实世界1中的光信号具有用梯度G_F(图77)表示的空间方向上连续性，因此，公式包括例如上面表达式(66)中所示空间方向(X方向和Y方向)上的二维积分的情况下的实例。但是，关于二维积分的概念不仅可以应用于空间方向，而且可以应用于时间和空间方向(X方向和t方向，或者Y方向和t方向)。

换句话说，对于二维多项式近似方法，即使在需要估计的光信号函数F(x，y，t)不仅具有空间方向上的连续性而且具有时间和空间方向(但是，X方向和t方向，或者Y方向和t方向)上的连续性的情况下，这可以用二维近似函数f近似。

特别地，例如，如果存在以均匀速度在X方向上水平运动的对象，对象运动的方向用例如图83中所示X-t平面中的梯度V_F表示。换句话说，可以说梯度V_F表示X-t平面中时间和空间方向上连续性的方向。因此，数据连续性检测单元101可以输出例如图83中所示的运动θ(严格地说，虽然附图中没有显示，运动θ是由用与梯度V_F相对应的梯度V_f表示的数据连续性的方向与空间方向中X方向产生的角度)作为与表示X-t平面中时间和空间方向上连续性的梯度V_F相对应的数据连续性信息，以及上面的角度θ(与用X-Y平面中的梯度G_F表示的空间方向上的连续性相对应的数据连续性信息)。

因此，使用二维多项式近似方法的现实世界估计单元102可以通过使用运动θ代替角度θ，以与上面方法相同的方法计算近似函数f(x，t)的系数(特征)w_i。但是，在该情况下，待使用的公式不是上面的表达式(66)而是下面的表达式(82)。

$P(x,t)={\∫}_{t-0.5}^{t+0.5}{\∫}_{x-0.5}^{x+0.5}\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{(x-s\×t)}^i\mathrm{dxdt}+e---\left(82\right)$

注意在表达式(82)中，s是cotθ(但是，θ是运动)。

而且，注意力集中在空间方向Y而不是空间方向X上的近似函数f(y，t)可以与上面近似函数f(x，t)相同的方法处理。

因此，二维多项式近似方法考虑不是一维而是二维积分效应，所以可以比一维近似方法更准确地估计现实世界1中的光信号。

接下来，将参考图84至图88描述第三函数近似方法。

也就是说，第三函数近似方法是通过用注意力集中在具有时间和空间方向的预先确定方向上连续性的现实世界1中光信号用例如光信号函数F(x，y，t)表示的近似函数f(x，y，t)近似光信号函数F(x，y，t)，来估计光信号函数F(x，y，t)的方法。因此，以下，第三函数近似方法称作三维多项式近似方法。

同样，对于三维函数近似方法的描述，让我们假定传感器2是由布置在其平面上的多个检测元件2-1构成的CCD，例如图84中所示。

对于图84中的实例，平行于检测元件2-1的预先确定边的方向取作用作空间方向的一个方向的X方向，并且与X方向正交的方向取作用作空间方向的另一个方向的Y方向。与X-Y平面正交的方向取作用作时间方向的t方向。

而且，对于图84中的实例，传感器2的各个检测元件2-1的空间形状取作一边长度为1的正方形。传感器2的快门时间(曝光时间)取作1。

此外，对于图84中的实例，传感器2的某个检测元件2-1的中心取作空间方向(X方向和Y方向)上的原点(X方向上位置为x＝0，且Y方向上位置为y＝0)，而且曝光时间的中间时间点取作时间方向(t方向)上的原点(t方向上位置为t＝0)。

在该情况下，其中心在空间方向上原点(x＝0，y＝0)的检测元件2-1使得光信号函数F(x，y，t)经历X方向上-0.5～0.5的范围，Y方向上-0.5～0.5的范围，以及t方向上-0.5～0.5的范围的积分，并且输出积分值作为像素值P。

也就是说，从其中心位于空间方向上原点中的检测元件2-1输出的像素值P用下面的表达式(83)表示。

$P={\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}F(x,y,t)\mathrm{dxdydt}---\left(83\right)$

类似地，其他检测元件2-1通过将待处理检测元件2-1的中心取作空间方向上的原点来输出表达式(83)中所示的像素值P。

顺便提及，如上所述，对于三维函数近似方法，光信号函数F(x，y，t)近似成三维近似函数f(x，y，t)。

特别地，例如，近似函数f(x，y，t)取作具有N个变量(特征)的函数，与表达式(83)相对应的输入像素值P(x，y，t)与近似函数f(x，y，t)之间的关系表达式被定义。因此，如果多个N的M个输入像素值P(x，y，t)被获取，N个变量(特征)可以从定义的关系表达式中计算。也就是说，现实世界估计单元102可以通过获取M个输入像素值P(x，y，t)并且计算N个变量(特征)来估计光信号函数F(x，y，t)。

在该情况下，现实世界估计单元102通过使用包括在来自传感器2的输入图像(输入像素值)中的数据连续性作为约束(也就是，使用将从数据连续性检测单元101输出的关于输入图像的数据连续性信息)从整个输入图像中选取(获取)M个输入图像P(x，y，t)。结果，近似函数f(x，y，t)由数据的连续性所约束。

例如，如图85中所示，如果与输入图像相对应的光信号函数F(x，y，t)具有用梯度G_F表示的空间方向上的连续性，数据连续性检测单元101导致输出角度θ(用与梯度G_F相对应的梯度G_f(没有显示)表示的数据连续性方向，与X方向之间产生的角度θ)作为关于输入图像的数据连续性信息。

在这种情况下，让我们假定光信号函数F(x，y，t))投影在X方向上的一维波形(这种波形在这里称作X横截面波形)具有相同的形式，即使在Y方向上任意位置处投影的情况下。

也就是说，让我们假定存在具有相同形式的X横截面波形，其是在连续性方向(相对于X方向的角度θ方向)上连续的二维(空间方向)波形，并且这种二维波形在时间方向t上连续的三维波形用近似函数f(x，y，t)近似。

换句话说，在Y方向上从关注像素中心以位置y移位的X横截面波形，变成经过关注像素中心的X横截面波形在X方向上以预先确定量(量根据角度θ而变化)运动(移位)的波形。注意以下，这种量称作移位量。

该移位量可以如下计算。

也就是说，梯度V_f(例如，表示与图85中梯度V_F相对应的数据连续性方向的梯度V_f)和角度θ表示为下面的表达式(84)。

$G_f=\tan \mathrm{\θ}=\frac{\mathrm{dy}}{\mathrm{dx}}---\left(84\right)$

注意在表达式(84)中，dx表示X方向上细微运动的量，且dy表示关于dx在Y方向上细微运动的量。

因此，如果关于X方向的移位量描述为C_x(y)，这表示为下面的表达式(85)。

$C_x\left(y\right)=\frac{y}{G_f}---\left(85\right)$

如果移位量C_x(y)这样定义，与表达式(83)相对应的输入像素值P(x，y，t)与近似函数f(x，y，t)之间的关系表达式表示为下面的表达式(86)。

$P(x,y,t)={\∫}_{t_s}^{t_e}{\∫}_{y_s}^{y_e}{\∫}_{x_s}^{x_e}f(x,y,t)\mathrm{dxdydt}+e---\left(86\right)$

在表达式(86)中，e表示误差限度。t_s表示t方向上的积分开始位置，且t_e表示t方向上的积分结束位置。同样地，y_s表示Y方向上的积分开始位置，且y_e表示Y方向上的积分结束位置。而且，x_s表示X方向上的积分开始位置，且x_e表示X方向上的积分结束位置。但是，各自具体积分范围如下面表达式(87)中所示。

t_s＝t-0.5

t_e＝t+0.5

y_s＝y-0.5

y_e＝y+0.5

x_s＝x-C_x(y)-0.5

x_e＝x-C_x(y)+0.5               ...(87)

如表达式(87)中所示，可以表示，具有相同形式的X横截面波形通过在X方向上以移位量C_x(y)关于位置距离关注像素空间方向上的(x，y)的像素移位积分范围，而在连续性方向(相对于X方向的角度θ方向)上连续。

因此，对于三维近似方法，像素值P(x，y，t)与三维近似函数f(x，y，t)之间的关系可以用表达式(86)表示(表达式(87)为积分范围)，因此，光信号函数F(x，y，t)(例如，具有用例如图85中所示梯度V_F表示的空间方向上连续性的光信号)可以通过使用表达式(86)和表达式(87)例如用最小二乘法计算近似函数f(x，y，t)的N个特征来估计。

注意，如果用光信号函数F(x，y，t)表示的光信号具有用例如图85中所示梯度V_F表示的空间方向上的连续性，光信号函数F(x，y，t)可以如下近似。

也就是说，让我们假定光信号函数F(x，y，t)投影在Y方向上的一维波形(以下，这种波形称作Y横截面波形)具有相同的形式，即使在X方向上任意位置处投影的情况下。

换句话说，让我们假定存在具有相同形式的Y横截面波形在连续性方向(相对于X方向的角度θ方向)上连续的二维(空间方向)波形，并且这种二维波形在时间方向t上连续的三维波形用近似函数f(x，y，t)近似。

因此，在X方向上从关注像素中心移位x的Y横截面波形，变成经过关注像素中心的Y横截面波形在Y方向上以预先确定移位量(移位量根据角度θ而变化)运动的波形。

该移位量可以如下计算。

也就是说，梯度G_F表示为上面表达式(84)，所以如果关于Y方向的移位量描述为C_y(x)，这表示为下面的表达式(88)。

C_y(x)＝G_f×x      ...(88)

如果移位量C_y(x)这样定义，与表达式(83)相对应的输入像素值P(x，y，t)与近似函数f(x，y，t)之间的关系表达式表示为上面的表达式(86)，与当移位量C_x(y)被定义时一样。

但是，在该情况下，各自具体积分范围如下面表达式(89)中所示。

t_s＝t-0.5

t_e＝t+0.5

y_s＝y-C_y(x)-0.5

y_e＝y-C_y(x)+0.5

x_s＝x-0.5

x_e＝x+0.5            ...(89)

如表达式(89)(以及上面表达式(86))中所示，可以表示，具有相同形式的Y横截面波形通过在Y方向上以移位量C_y(x)关于位置距离关注像素(x，y)的像素移位积分范围，而在连续性方向(相对于X方向的角度θ方向)上连续。

因此，对于三维近似方法，表达式(86)右侧的积分范围不仅可以设置为表达式(87)而且可以设置为表达式(89)，因此，光信号函数F(x，y，t)(具有用梯度G_F表示的空间方向上连续性的现实世界1中的光信号)可以通过使用表达式(89)用作积分范围的表达式(86)，用例如最小二乘法等计算近似函数f(x，y，t)的n个特征来估计。

因此，表示积分范围的表达式(87)和表达式(89)基本上表示得相同，差别仅在于周围像素响应连续性方向在X方向上移位(表达式(87)的情况下)还是在Y方向上移位(表达式(89)的情况下)。

但是，响应连续性方向(梯度G_F)，存在关于光信号函数F(x，y，t)看作一组X横截面波形，还是看作一组Y横截面波形的差别。也就是说，如果连续性方向接近Y方向，光信号函数F(x，y，t)优选地看作一组X横截面波形。另一方面，如果连续性方向接近X方向，光信号函数F(x，y，t)优选地看作一组Y横截面波形。

因此，优选地，现实世界估计单元102准备表达式(87)和表达式(89)作为积分范围，并且响应连续性方向选择表达式(87)和表达式(89)中任何一个作为适当表达式(86)右侧的积分范围。

已经描述了在光信号函数F(x，y，t)具有空间方向(X方向和Y方向)上连续性(例如，图85中用梯度G_F表示的空间方向上的连续性)的情况下的三维近似方法，但是三维近似方法可以应用于光信号函数F(x，y，t)具有时间和空间方向(X方向、Y方向和t方向)上连续性(用梯度V_F表示的连续性)的情况，如图86中所示。

也就是说，在图86中，与帧#N-1相对应的光信号函数取作F(x，y，#N-1)，与帧#N相对应的光信号函数取作F(x，y，#N)，以及与帧#N+1相对应的光信号函数取作F(x，y，#N+1)。

注意在图86中，附图中水平方向取作用作空间方向的一个方向的X方向，右上对角方向取作用作空间方向的另一个方向的Y方向，并且垂直方向取作用作时间方向的t方向。

而且，帧#N-1是时间上在帧#N之前的帧，帧#N+1是时间上在帧#N之后的帧。也就是说，帧#N-1，帧#N，和帧#N+1以帧#N-1，帧#N和帧#N+1的顺序显示。

对于图86中的实例，沿着梯度V_F所示的方向(从附图中接近左下侧的右上内部方向)的横截面光度看作通常恒定。因此，对于图86中的实例，可以说光信号函数F(x，y，t)具有用梯度V_F表示的时间和空间方向上的连续性。

在该情况下，如果表示时间和空间方向上连续性的函数C(x，y，t)被定义，并且上面表达式(86)的积分范围用定义的函数C(x，y，t)定义，近似函数f(x，y，t)的N个特征可以计算，与上面表达式(87)和表达式(89)一样。

函数C(x，y，t)并不局限于特定函数，只要它是表示连续性方向的函数。但是，以下，让我们假定使用线性连续性，并且与作为表示上述空间方向上连续性的函数的移位量C_x(y)(表达式(85))和移位量C_y(x)(表达式(87))相对应的C_x(t)和C_y(t)，如下定义为与此对应的函数C(x，y，t)。

也就是说，如果作为与表示上面空间方向上数据连续性的梯度G_f相对应的时间和空间方向上数据连续性的梯度取作V_f，并且如果该梯度V_f划分成X方向上的梯度(以下，称作V_fx)和Y方向上的梯度(以下，称作V_fy)，则分别地，梯度V_fx用下面表达式(90)表示，而梯度V_fy用下面表达式(91)表示。

$V_{\mathrm{fx}}=\frac{\mathrm{dx}}{\mathrm{dt}}---\left(90\right)$

$V_{\mathrm{fy}}=\frac{\mathrm{dy}}{\mathrm{dt}}---\left(91\right)$

在该情况下，函数C_x(t)使用表达式(90)中所示的梯度V_fx表示为下面的表达式(92)。

C_x(t)＝V_fx×t    ...(92)

类似地，函数C_y(t)使用表达式(91)中所示的梯度V_fy表示为下面的表达式(93)。

C_y(t)＝V_fy×t    ...(93)

这样，当表示时间和空间方向上连续性2511的函数C_x(t)和函数C_y(t)被定义时，表达式(86)的积分范围表示为下面的表达式(94)。

t_s＝t-0.5

t_e＝t+0.5

y_s＝y-C_y(t)-0.5

y_e＝y-C_y(t)+0.5

x_s＝x-C_x(t)-0.5

x_e＝x-C_x(t)+0.5         ...(94)

因此，对于三维近似方法，像素值P(x，y，t)与三维近似函数f(x，y，t)之间的关系可以用表达式(86)表示，因此，光信号函数F(x，y，t)(具有时间和空间方向的预先确定方向上连续性的现实世界1中光信号)可以通过使用表达式(94)作为表达式(86)右侧的积分范围，用例如最小二乘法等计算近似函数f(x，y，t)的n+1个特征来估计。

图87表示使用这种三维近似方法的现实世界估计单元102的构造实例。

注意，由使用三维近似方法的现实世界估计单元102计算的近似函数f(x，y，t)(实际上，其特征(系数))并不局限于特定函数，但是n(n＝N-1)维多项式在下面的描述中使用。

如图87中所示，现实世界估计单元102包括条件设置单元2521，输入图像存储单元2522，输入像素值获取单元2523，积分分量计算单元2524，正则方程生成单元2525，以及近似函数生成单元2526。

条件设置单元2521设置用于估计对应于关注像素的光信号函数F(x，y，t)的像素范围(分接范围)，以及近似函数f(x，y，t)的维度数目n。

输入图像存储单元2522临时地存储来自传感器2的输入图像(像素值)。

输入像素值获取单元2523从输入图像存储单元2522中存储的输入图像中，获取与由条件设置单元2521设置的分接范围相对应的输入图像区域，并且将其作为输入像素值表提供给正则方程生成单元2525。也就是说，输入像素值表是描述包括在输入图像区域中的像素的各个像素值的表。

顺便提及，如上所述，使用三维近似方法的现实世界估计单元102使用上面表达式(86)(但是，表达式(87)、表达式(90)或表达式(94)作为积分范围)用最小二乘法计算近似函数f(x，y，t)的N个特征(在该情况下，每个维度的系数)。

表达式(86)的右侧可以通过计算其积分表示为下面的表达式(95)。

$P(x,y,t)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{S}_i(x_s,x_e,y_s,y_e,t_s,t_e)+e---\left(95\right)$

在表达式(95)中，w_i表示i维项的系数(特征)，并且S_i(x_s，x_e，y_s，y_e，t_s，t_e)表示i维项的积分分量。但是，分别地，x_s表示X方向上的积分范围开始位置，x_e表示X方向上的积分范围结束位置，y_s表示Y方向上的积分范围开始位置，y_e表示Y方向上的积分范围结束位置，t_s表示t方向上的积分范围开始位置，t_e表示t方向上的积分范围结束位置。

积分分量计算单元2524计算积分分量S_i(x_s，x_e，y_s，y_e，t_s，t_e)。

也就是说，积分分量计算单元2524基于由条件设置单元2521设置的分接范围和维度数目，以及从数据连续性检测单元101输出的数据连续性信息的角度或运动(作为积分范围，在使用上面表达式(87)或表达式(90)的情况下为角度，在使用上面表达式(94)的情况下为运动)来计算积分分量S_i(x_s，x_e，y_s，y_e，t_s，t_e)，并且将计算结果作为积分分量表提供给正则方程生成单元2525。

正则方程生成单元2525产生正则方程，在使用从输入像素值获取单元2523提供的输入像素值表，以及从积分分量计算单元2524提供的积分分量表，用最小二乘法获得上面表达式(95)的情况下，并且将其作为正则方程表输出到近似函数生成单元2526。正则方程的实例将随后描述。

近似函数生成单元2526通过使用矩阵解法求解包括在从正则方程生成单元2525提供的正则方程表中的正则方程，来计算各个特征w_i(在该情况下，用作三维多项式的近似函数f(x，y，t)的系数w_i)，并且将这些输出到图像生成单元103。

接下来，将参考图88中的流程图描述应用三维近似方法的现实世界估计处理(图29的步骤S102中的处理)。

首先，在步骤S2501中，条件设置单元2521设置条件(分接范围和维度数目)。

例如，让我们假定由L个像素构成的分接范围已经设置。并且，让我们假定预先确定的编号l(l是整数值0～L-1的任意一个)附加到每个像素。

接下来，在步骤S2502中，条件设置单元2521设置关注像素。

在步骤S2503中，输入像素值获取单元2523基于由条件设置单元2521设置的条件(分接范围)获取输入像素值，并且产生输入像素值表。在该情况下，由L个输入像素值P(x，y，t)构成的表产生。这里，让我们假定L个输入像素值P(x，y，t)的每个描述为用作其像素编号l的函数的P(l)。也就是说，输入像素值表变成包括L个P(l)的表。

在步骤S2504中，积分分量计算单元2524基于由条件设置单元2521设置的条件(分接范围和维度数目)，以及从数据连续性检测单元101提供的数据连续性信息(角度或运动)计算积分分量，并且产生积分分量表。

但是，在该情况下，如上所述，输入像素值不是P(x，y，t)而是P(l)，并且作为像素编号l的值而获得，所以积分分量计算单元2524导致将上面表达式(95)中的积分分量S_i(x_s，x_e，y_s，y_e，t_s，t_e)计算为l的函数，例如积分分量S_i(l)。也就是说，积分分量表变成包括L×i个S_i(l)的表。

注意步骤S2503中的处理和步骤S2504中的处理的顺序并不局限于图88中的实例，所以步骤S2504中的处理可以首先执行，或者步骤S2503中的处理和步骤S2504中的处理可以同时执行。

接下来，在步骤S2505中，正则方程生成单元2525基于在步骤S2503的处理中由输入像素值获取单元2523产生的输入像素值表，以及在步骤S2504的处理中由积分分量计算单元2524产生的积分分量表来产生正则方程表。

特别地，在该情况下，与上面表达式(95)相对应的下面表达式(96)的特征w_i使用最小二乘法计算。与此对应的正则方程表示为下面的表达式(97)。

$P\left(l\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{S}_i\left(l\right)+e---\left(96\right)$

如果我们将表达式(97)中所示的正则方程的每个矩阵定义为下面的表达式(98)～(100)，正则方程表示为下面的表达式(101)。

$W_{\mathrm{MAT}}=\left(\begin{array}{c}{w}_0\\ w_1\\ \·\\ \·\\ \·\\ w_n\end{array}\right)---\left(99\right)$

$P_{\mathrm{MAT}}=\left(\begin{array}{c}\underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_0\left(l\right)P\left(l\right)\\ \underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_1\left(l\right)P\left(l\right)\\ \·\\ \·\\ \·\\ \underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_n\left(l\right)P\left(l\right)\end{array}\right)---\left(100\right)$

S_MATW_MAT＝P_MAT        ...(101)

如表达式(99)中所示，矩阵W_MAT的各个分量是待获得的特征w_i。因此，在表达式(101)中，如果左侧的矩阵S_MAT和右侧的矩阵P_MAT被确定，矩阵W_MAT(也就是特征w_i)可以使用矩阵解法计算。

特别地，如表达式(98)中所示，矩阵S_MAT的各个分量可以计算，只要上面的积分分量S_i(l)已知。积分分量S_i(l)包括在从积分分量计算单元2524提供的积分分量表中，所以正则方程生成单元2525可以使用积分分量表计算矩阵S_MAT的每个分量。

而且，如表达式(100)中所示，矩阵P_MAT的各个分量可以计算，只要积分分量S_i(l)和输入像素值P(l)已知。积分分量S_i(l)与包括在矩阵S_MAT的各个分量中的那些相同，并且输入像素值P(l)包括在从输入像素值获取单元2523提供的输入像素值表中，所以正则方程生成单元2525可以使用积分分量表和输入像素值表计算矩阵P_MAT的每个分量。

因此，正则方程生成单元2525计算矩阵S_MAT和矩阵P_MAT的每个分量，并且将计算结果(矩阵S_MAT和矩阵P_MAT的每个分量)作为正则方程表输出到近似函数生成单元2526。

当正则方程表从正则方程生成单元2525输出时，在步骤S2506中，近似函数生成单元2526基于正则方程表计算用作上面表达式(101)中矩阵W_MAT的各个分量的特征w_i(也就是，近似函数f(x，y，t)的系数w_i)。

特别地，上面表达式(101)中的正则方程可以转换为下面的表达式(102)。

$W_{\mathrm{MAT}}=S_{\mathrm{MAT}}^{-1}{P}_{\mathrm{MAT}}---\left(102\right)$

在表达式(102)中，左侧矩阵W_MAT的各个分量是待获得的特征w_i。关于矩阵S_MAT和矩阵P_MAT的各个分量包括在从正则方程生成单元2525提供的正则方程表中。因此，近似函数生成单元2526通过使用正则方程表计算表达式(102)右侧中的矩阵来计算矩阵W_MAT，并且将计算结果(特征w_i)输出到图像生成单元103。

在步骤S2507中，近似函数生成单元2526确定是否所有像素的处理都已完成。

在步骤S2507中，如果确定所有像素的处理还没有完成，处理返回到步骤S2502，其中随后的处理重复地执行。也就是说，没有变成关注像素的像素顺序地取作关注像素，并且步骤S2502～S2507中的处理重复地执行。

如果所有像素的处理都已完成(在步骤S2507中，如果确定所有像素的处理都已完成)，现实世界1的估计处理结束。

如上所述，三维近似方法考虑时间和空间方向上的三维积分效应，而不是一维或二维积分效应，因此，可以比一维近似方法和二维多项式近似方法更准确地估计现实世界1中的光信号。

接下来，将参考图89至图110描述图像生成单元103(图3)的实施方案。

图89是描述本实施方案原理的图。

如图89中所示，本实施方案基于现实世界估计单元102使用函数近似方法的条件。也就是说，让我们假定用作投射到传感器2中图像的现实世界1中的信号(光强分布)用预先确定的函数F表示，假设现实世界估计单元102通过用使用从传感器2输出的输入图像(像素值P)以及从数据连续性检测单元101输出的数据连续性信息的预先确定函数f近似函数F来估计函数F。

注意以下对于本实施方案的描述，用作图像的现实世界1中的信号特别地称作光信号，并且函数F特别地称作光信号函数F。而且，函数f特别地称作近似函数f。

对于本实施方案，图像生成单元103关于使用从数据连续性检测单元101输出的数据连续性信息，以及基于这种假设从现实世界估计单元102输出的现实世界估计信息(在图89中的实例中，近似函数f的特征或者其特征被识别的近似函数f)的预先确定时间-空间范围积分近似函数f，并且输出积分值作为输出像素值M(输出图像)。注意对于本实施方案，输入像素值描述为P，而输出像素值描述为M以便区分输入图像像素和输出图像像素。

换句话说，当光信号函数F一旦被积分时，光信号函数F变成输入像素值P，光信号函数F从输入像素值P中估计(用近似函数f近似)，估计的光信号函数F(也就是，近似函数f)再次积分，并且产生输出像素值M。因此，以下，由图像生成单元103执行的近似函数f的积分称作再积分。而且，本实施方案称作再积分方法。

注意如随后描述的，对于再积分方法，产生输出像素值M的情况下近似函数f的积分范围并不局限于产生输入像素值P的情况下光信号函数F的积分范围(也就是，对于空间方向为传感器2的检测元件的垂直宽度和水平宽度，对于时间方向为传感器2的曝光时间)，任意积分范围可以使用。

例如，在产生输出像素值M的情况下，改变近似函数f的积分范围的空间方向上积分范围使得根据其积分范围的输出图像的像素间距改变。也就是说，空间分辨率的创建可用。

同样地，例如，在产生输出像素值M的情况下，改变近似函数f的积分范围的时间方向上积分范围引起时间分辨率的创建。

以下，将参考附图分别描述这种再积分方法的三种具体方法。

也就是说，三种具体方法是分别与函数近似方法的三种具体方法(现实世界估计单元102的实施方案的上面三种具体实例)相对应的再积分方法。

特别地，第一方法是与上面一维近似方法(函数近似方法的一种方法)相对应的再积分方法。因此，对于第一方法，执行一维再积分，所以以下，这种再积分方法称作一维再积分方法。

第二方法是与上面二维多项式近似方法(函数近似方法的一种方法)相对应的再积分方法。因此，对于第二方法，执行二维再积分，所以以下，这种再积分方法称作二维再积分方法。

第三方法是与上面三维近似方法(函数近似方法的一种方法)相对应的再积分方法。因此，对于第三方法，执行三维再积分，所以以下，这种再积分方法称作三维再积分方法。

以下，将以该顺序描述一维再积分方法、二维再积分方法和三维再积分方法的每个细节。

首先，将描述一维再积分方法。

对于一维再积分方法，假设近似函数f(x)使用一维近似方法产生。

也就是说，假设其变量为三维空间上的位置x，y和z，以及时间点t的光信号函数F(x，y，t)投影在用作空间方向的X方向、Y方向和Z方向以及用作时间方向的t方向的预先确定方向(例如X方向)上的一维波形(对于再积分方法的描述，在这种波形的X方向上投影的波形称作X横截面波形F(x))，使用用作n维(n是任意整数)多项式的近似函数f(x)近似。

在该情况下，对于一维再积分方法，输出像素值M例如下面的表达式(103)计算。

$M=G_e\×{\∫}_{x_s}^{x_e}f\left(x\right)\mathrm{dx}---\left(103\right)$

注意在表达式(103)中，x_s表示积分开始位置，x_e表示积分结束位置。而且，G_e表示预先确定的增益。

特别地，例如，让我们假定现实世界估计单元102已经使用例如图90中所示的像素3101(与传感器2的预先确定检测元件相对应的像素3101)作为关注像素来产生例如图90中所示的近似函数f(x)(X横截面波形F(x)的近似函数f(x))。

注意对于图90中的实例，像素3101的像素值(输入像素值)取作P，并且像素3101的形状取作一边长度为1的正方形。而且，在空间方向中，与像素3101的一边平行的方向(附图中水平方向)取作X方向，而与X方向正交的方向(附图中垂直方向)取作Y方向。

而且，在图90的下部，像素3101的中心取作其原点的空间方向(X方向和Y方向)上的坐标系(以下，称作关注像素坐标系)，以及坐标系中的像素3101被显示。

此外，在图90的向上方向，表示y＝0处的近似函数f(x)的曲线图(y是在附图中下部所示的关注像素坐标系中Y方向上的坐标值)被显示。在该曲线图中，与附图中水平方向平行的轴是与附图中下部所示的关注像素坐标系的X方向上的x轴相同的轴(原点也相同)，而且与附图中垂直方向平行的轴取作表示像素值的轴。

在该情况下，下面表达式(104)的关系在近似函数f(x)与像素3101的像素值P之间成立。

$P={\∫}_{-0.5}^{0.5}f\left(x\right)\mathrm{dx}+e---\left(104\right)$

而且，如图90中所示，让我们假定像素3101具有用梯度G_f表示的空间方向上的数据连续性。此外，让我们假定数据连续性检测单元101(图89)已经输出例如图90中所示的角度θ作为与用梯度G_f表示的数据连续性相对应的数据连续性信息。

在该情况下，例如，对于一维再积分方法，如图91中所示，四个像素3111～3114可以在X方向上-0.5～0.5的范围内，以及在Y方向上-0.5～0.5的范围内(图90中像素3101位于其中的范围内)重新创建。

注意在图91的下部，与图90中相同的关注像素坐标系，以及其关注像素坐标系中的像素3111～3114被显示。同样，在图91的上部，与图90中相同的曲线图(表示y＝0处近似函数f(x)的曲线图)被显示。

特别地，如图91中所示，对于一维再积分方法，使用下面表达式(105)的像素3111的像素值M(1)的计算，使用下面表达式(106)的像素3112的像素值M(2)的计算，使用下面表达式(107)的像素3113的像素值M(3)的计算，以及使用下面表达式(108)的像素3114的像素值M(4)的计算分别可用。

$M\left(1\right)=2\×{\∫}_{x_{s1}}^{x_{e1}}f\left(x\right)\mathrm{dx}---\left(105\right)$

$M\left(2\right)=2\×{\∫}_{x_{s2}}^{x_{e2}}f\left(x\right)\mathrm{dx}---\left(106\right)$

$M\left(3\right)=2\×{\∫}_{x_{s3}}^{x_{e3}}f\left(x\right)\mathrm{dx}---\left(107\right)$

$M\left(4\right)=2\×{\∫}_{x_{s4}}^{x_{e4}}f\left(x\right)\mathrm{dx}---\left(108\right)$

注意表达式(105)中的x_s1，表达式(106)中的x_s2，表达式(107)中的x_s3，和表达式(108)中的x_s4每个代表相应表达式的积分开始位置。而且，表达式(105)中的x_e1，表达式(106)中的x_e2，表达式(107)中的x_e3，和表达式(108)中的x_e4每个代表相应表达式的积分结束位置。

表达式(105)至表达式(108)每个右侧的积分范围变成像素3111至像素3114的每个的像素宽度(X方向上的长度)。也就是说，x_e1-x_s1，x_e2-x_s2，x_e3-x_s3，以及x_e4-x_s4的每个变成0.5。

但是，在该情况下，可以设想与y＝0处的近似函数f(x)具有相同形式的一维波形不是在Y方向上而是在用梯度G_f表示的数据连续性方向(也就是角度θ方向)上连续(实际上，与y＝0处的X横截面波形F(x)具有相同形式的波形在连续性方向上连续)。也就是说，在图91中关注象素坐标系中原点(0，0)(图90中像素3101的中心)中像素值f(0)取作像素值f1的情况下，像素值f1连续的方向不是Y方向而是用梯度G_f表示的数据连续性的方向(角度θ方向)。

换句话说，在考虑Y方向上预先确定位置y(但是，y是除零以外的数值)中近似函数f(x)的波形的情况，与像素值f1相对应的位置不是位置(0，y)，而是通过在X方向上以预先确定的量从位置(0，y)运动而获得的位置(C_x(y)，y)(这里，让我们假定这种量也称作移位量。而且，移位量是取决于Y方向上位置y的量，所以让我们假定该移位量描述为C_x(y))。

因此，作为上面表达式(105)至表达式(108)每个右侧的积分范围，积分范围需要考虑待获得的像素值M(l)的中心存在于那里(但是，l是1～4的任意整数值)的Y方向上的位置y，也就是移位量C_x(y)而设置。

特别地，例如，像素3111和像素3112的中心存在于那里的Y方向上的位置y不是y＝0而是y＝0.25。

因此，y＝0.25处近似函数f(x)的波形相当于通过在X方向上以移位量C_x(0.25)运动y＝0处近似函数f(x)的波形而获得的波形。

换句话说，在上面表达式(105)中，如果我们假定关于像素3111的像素值M(1)通过用预先确定的积分范围(从开始位置x_s1到结束位置x_e1)积分y＝0处的近似函数f(x)而获得，其积分范围不是变成从开始位置x_s1＝-0.5到结束位置x_e1＝0的范围(像素3111在X方向上占据的范围本身)，而是图91中所示的范围，也就是从开始位置x_s1＝-0.5+C_x(0.25)到结束位置x_e1＝0+C_x(0.25)(如果像素3111尝试以移位量C_x(0.25)运动，则为像素3111在X方向上占据的范围)。

类似地，在上面表达式(106)中，如果我们假定关于像素3112的像素值M(2)通过用预先确定的积分范围(从开始位置x_s2到结束位置x_e2)积分y＝0处的近似函数f(x)而获得，其积分范围不是变成从开始位置x_s2＝0到结束位置x_e2＝0.5的范围(像素3112在X方向上占据的范围本身)，而是图91中所示的范围，也就是从开始位置x_s2＝0+C_x(0.25)到结束位置x_e2＝0.5+C_x(0.25)(如果像素3112尝试以移位量C_x(0.25)运动，则为像素3112在X方向上占据的范围)。

而且，例如，像素3113和像素3114的中心存在于那里的Y方向上的位置y不是y＝0而是y＝-0.25。

因此，y＝-0.25处近似函数f(x)的波形相当于通过在X方向上以移位量C_x(-0.25)运动y＝0处的近似函数f(x)的波形而获得的波形。

换句话说，在上面表达式(107)中，如果我们假定关于像素3113的像素值M(3)通过用预先确定的积分范围(从开始位置x_s3到结束位置x_e3)积分y＝0处的近似函数f(x)而获得，其积分范围不是变成从开始位置x_s3＝-0.5到结束位置x_e3＝0的范围(像素3113在X方向上占据的范围本身)，而是图91中所示的范围，也就是从开始位置x_s3＝-0.5+C_x(-0.25)到结束位置x_e3＝0+C_x(-0.25)(如果像素3113尝试以移位量C_x(-0.25)运动，则为像素3113在X方向上占据的范围)。

类似地，在上面表达式(108)中，如果我们假定关于像素3114的像素值M(4)通过用预先确定的积分范围(从开始位置x_s4到结束位置x_e4)积分y＝0处的近似函数f(x)而获得，其积分范围不是变成从开始位置x_s4＝0到结束位置x_e4＝0.5的范围(像素3114在X方向上占据的范围本身)，而是图91中所示的范围，也就是从开始位置x_s4＝0+C_x(-0.25)到结束位置x_e4＝0.5+C_x(-0.25)(如果像素3114尝试以移位量C_x(-0.25)运动，则为像素3114在X方向上占据的范围)。

因此，图像生成单元103(图89)通过将上面积分范围的相应积分范围代入这些表达式的每个而计算上面表达式(105)至表达式(108)，并且输出这些的计算结果作为输出像素值M(1)～M(4)。

这样，图像生成单元103可以通过使用一维再积分方法创建比输出像素3101具有更高空间分辨率的四个像素，也就是像素3111至像素3114(图91)，作为来自传感器2(图89)的输出像素3101(图90)处的像素。此外，虽然附图中没有显示，如上所述，除像素3111至像素3114之外，图像生成单元103可以通过适当地改变积分范围而创建具有关于输出像素3101的任意增强空间分辨率的像素而不退化。

图92表示使用这种一维再积分方法的图像生成单元103的构造实例。

如图92中所示，该实例中所示的图像生成单元103包括条件设置单元3121，特征存储单元3122，积分分量计算单元3123，以及输出像素值计算单元3124。

条件设置单元3121基于从现实世界估计单元102提供的现实世界估计信息(图92中实例中近似函数f(x)的特征)来设置近似函数f(x)的维度数目n。

条件设置单元3121也设置再积分近似函数f(x)的情况下(计算输出像素值的情况下)的积分范围。注意，由条件设置单元3121设置的积分范围不需要是像素的宽度。例如，近似函数f(x)在空间方向(X方向)上积分，因此，具体积分范围可以确定，只要输出像素(待由图像生成单元103计算的像素)相对于来自传感器2(图89)的输入图像的每个像素空间大小的相对大小(空间分辨能力)已知。因此，条件设置单元3121可以设置例如空间分辨能力为积分范围。

特征存储单元3122临时存储从现实世界估计单元102顺序提供的近似函数f(x)的特征。随后，当特征存储单元3122存储近似函数f(x)的全部特征时，特征存储单元3122产生包括近似函数f(x)的全部特征的特征表，并且将其提供给输出像素值计算单元3124。

顺便提及，如上所述，图像生成单元103使用上面表达式(103)计算输出像素值M，但是包括在上面表达式(103)右侧中的近似函数f(x)具体地表示为下面的表达式(109)。

$\left(x\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×x^i\mathrm{dx}---\left(109\right)$

注意在表达式(109)中，w_i表示从现实世界估计单元102提供的近似函数f(x)的特征。

因此，当表达式(109)的近似函数f(x)代入上面表达式(103)右侧的近似函数f(x)以便展开(计算)表达式(103)的右侧时，输出像素值M表示为下面的表达式(110)。

$M=G_e\×\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×\frac{x_e^{i+1}-x_s^{i+1}}{i+1}$

$=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×k_i(x_s,x_e)---\left(110\right)$

在表达式(110)中，k_i(x_s，x_e)表示i维项的积分分量。也就是说，积分分量k_i(x_s，x_e)例如下面表达式(111)中所示。

$k_i(x_s,x_e)=G_e\×\frac{x_e^{i+1}-x_s^{i+1}}{i+1}---\left(111\right)$

积分分量计算单元3123计算积分分量k_i(x_s，x_e)。

特别地，如表达式(111)中所示，积分分量k_i(x_s，x_e)可以计算，只要积分范围的开始位置x_s和结束位置x_e，增益G_e，以及i维项的i已知。

这些中，增益G_e用由条件设置单元3121设置的空间分辨能力(积分范围)确定。

i的范围用由条件设置单元3121设置的维度数目n确定。

而且，积分范围的开始位置x_s和结束位置x_e的每个用从现在起产生的输出像素的中心像素位置(x，y)和像素宽度，以及表示数据连续性方向的移位量C_x(y)确定。注意(x，y)表示当现实世界估计单元102产生近似函数f(x)时距离关注像素中心位置的相对位置。

此外，从现在起产生的输出像素的中心像素位置(x，y)和像素宽度的每个用由条件设置单元3121设置的空间分辨能力(积分范围)确定。

而且，对于移位量C_x(y)，以及从数据连续性检测单元101提供的角度θ，例如下面表达式(112)和表达式(113)的关系成立，因此移位量C_x(y)用角度θ表示。

$G_f=\tan \mathrm{\θ}=\frac{\mathrm{dy}}{\mathrm{dx}}---\left(112\right)$

$C_x\left(y\right)=\frac{y}{G_f}---\left(113\right)$

注意在表达式(112)中，G_f表示代表数据连续性方向的梯度，θ表示从数据连续性检测单元101(图89)输出的数据连续性信息之一的角度(用作空间方向一个方向的X方向与用梯度G_f表示的数据连续性方向之间产生的角度)。而且，dx表示X方向上细微运动的量，且dy表示关于dx在Y方向(垂直于X方向的空间方向)上细微运动的量。

因此，积分分量计算单元3123基于由条件设置单元3121设置的维度数目和空间分辨能力(积分范围)，以及从数据连续性检测单元101输出的数据连续性信息的角度θ计算积分分量k_i(x_s，x_e)，并将计算结果作为积分分量表提供给输出像素值计算单元3124。

输出像素值计算单元3124使用从特征存储单元3122提供的特征表以及从积分分量计算单元3123提供的积分分量表来计算上面表达式(110)的右侧，并且输出计算结果作为输出像素值M。

接下来，将参考图93中的流程图描述使用一维再积分方法的图像生成单元103(图92)的图像生成处理(图29的步骤S103中的处理)。

例如，现在让我们假定现实世界估计单元102已经在上述图29中步骤S102的处理中产生例如图90中所示的近似函数f(x)，当取例如上述图90中所示像素3101作为关注像素时。

而且，让我们假定数据连续性检测单元101已经在上述图29中步骤S101的处理中输出例如图90中所示的角度θ作为数据连续性信息。

在该情况下，条件设置单元3121在图93的步骤S3101中设置条件(维度数目和积分范围)。

例如，现在让我们假定5已经设置为维度数目，而且空间四倍密度(空间分辨能力以使得像素的像素宽度在上/下/左/右侧变成一半能力)已经设置为积分范围。

也就是说，在该情况下已经设置四个像素3111至像素3114在X方向上-0.5～0.5的范围内，以及Y方向上-0.5～0.5的范围内(图90中像素3101的范围内)重新创建，例如图91中所示。

在步骤S3102中，特征存储单元3122获取从现实世界估计单元102提供的近似函数f(x)的特征，并产生特征表。在该情况下，用作五维多项式的近似函数f(x)的系数w₀～w₅从现实世界估计单元102提供，因此，(w₀，w₁，w₂，w₃，w₄，w₅)作为特征表产生。

在步骤S3103中，积分分量计算单元3123基于由条件设置单元3121设置的条件(维度数目和积分范围)，以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并产生积分分量表。

特别地，例如，如果我们假定从现在起产生的各个像素3111～3114附加编号1～4(以下，这种编号称作模数)，积分分量计算单元3123将上面表达式(111)的积分分量k_i(x_s，x_e)计算为l的函数(但是，l表示模数)，例如下面表达式(114)左侧中所示的积分分量k_i(l)。

k_i(l)＝k_i(x_s，x_e)    ...(114)

特别地，在该情况下，下面表达式(115)中所示的积分分量k_i(l)被计算。

k_i(1)＝k_i(-0.5-C_x(-0.25)，0-C_x(-0.25))

k_i(2)＝k_i(0-C_x(-0.25)，0.5-C_x(-0.25))

k_i(3)＝k_i(-0.5-C_x(0.25)，0-C_x(0.25))

k_i(4)＝k_i(0-C_x(0.25)，0.5-C_x(0.25))    ...(115)

注意在表达式(115)中，左侧表示积分分量k_i(l)，而右侧表示积分分量k_i(x_s，x_e)。也就是说，在该情况下，l是1～4的任何一个，而且i是0～5的任何一个，因此6个k_i(1)，6个k_i(2)，6个k_i(3)和6个k_i(4)总共24个k_i(l)被计算。

更具体地说，首先，积分分量计算单元3123使用从数据连续性检测单元101提供的角度θ从上面表达式(112)和表达式(113)中计算移位量C_x(-0.25)和C_x(0.25)的每个。

接下来，积分分量计算单元3123使用计算的移位量C_x(-0.25)和C_x(0.25)关于i＝0～5计算表达式(115)中四个表达式的每个右侧的积分分量k_i(x_s，x_e)。注意对于积分分量k_i(x_s，x_e)的该计算，使用上面表达式(111)。

随后，积分分量计算单元3123根据表达式(115)将计算的24个积分分量k_i(x_s，x_e)的每个转换成相应的积分分量k_i(l)，并且产生包括转换后的24个积分分量k_i(l)(也就是，6个k_i(1)，6个k_i(2)，6个k_i(3)，以及6个k_i(4))的积分分量表。

注意，步骤S3102中的处理和步骤S3103中的处理的顺序并不局限于图93中的实例，步骤S3103中的处理可以首先执行，或者步骤S3102中的处理和步骤S3103中的处理可以同时执行。

接下来，在步骤S3104中，输出像素值计算单元3124基于在步骤S3102的处理中由特征存储单元3122产生的特征表，以及在步骤S3103的处理中由积分分量计算单元3123产生的积分分量表，分别计算输出像素值M(1)～M(4)。

特别地，在该情况下，输出像素值计算单元3124通过计算与上面表达式(110)相对应的下面表达式(116)至表达式(119)的右侧来计算像素3111(模数1的像素)的像素值M(1)，像素3112(模数2的像素)的像素值M(2)，像素3113(模数3的像素)的像素值M(3)，以及像素3114(模数4的像素)的像素值M(4)的每个。

$M\left(1\right)=\underset{i=0}{\overset{5}{\mathrm{\Σ}}}{w}_i{k}_i\left(1\right)---\left(116\right)$

$M\left(2\right)=\underset{i=0}{\overset{5}{\mathrm{\Σ}}}{w}_i{k}_i\left(2\right)---\left(117\right)$

$M\left(3\right)=\underset{i=0}{\overset{5}{\mathrm{\Σ}}}{w}_i{k}_i\left(3\right)---\left(118\right)$

$M\left(4\right)=\underset{i=0}{\overset{5}{\mathrm{\Σ}}}{w}_i{k}_i\left(4\right)---\left(119\right)$

在步骤S3105中，输出像素值计算单元3124确定是否所有像素的处理都已完成。

在步骤S3105中，如果确定所有像素的处理还没有完成，处理返回到步骤S3102，其中随后的处理重复地执行。也就是说，没有变成关注像素的像素顺序地取作关注像素，并且步骤S3102～S3104中的处理重复地执行。

如果所有像素的处理都已完成(在步骤S3105中，如果确定所有像素的处理都已完成)，输出像素值计算单元3124在步骤S3106中输出图像。然后，图像生成处理结束。

接下来，将参考图94至图101描述关于预先确定的输入图像，通过使用一维再积分方法而获得的输出图像与使用另一种方法(常规分类适应处理)而获得的输出图像之间的差异。

图94是说明输入图像的原始图像的图，并且图95说明与图94中原始图像相对应的图像数据。在图95中，附图中垂直方向上的轴表示像素值，并且附图中右下方向上的轴表示用作图像空间方向的一个方向的X方向，以及附图中右上方向上的轴表示用作图像空间方向的另一个方向的Y方向。注意，随后描述的图97，图99和图101中的各个轴对应于图95中的轴。

图96是说明输入图像实例的图。图96中说明的输入图像是通过取属于图94中所示2×2像素构成的块的像素的像素值的平均作为一个像素的像素值而产生的图像。也就是说，输入图像是通过在空间方向上积分图94中所示图像而获得的图像，其模仿传感器的积分性质。而且，图97说明与图96中输入图像相对应的图像数据。

图94中说明的原始图像包括从垂直方向顺时针倾斜大约5°的细线图像。类似地，图96中说明的输入图像包括从垂直方向顺时针倾斜大约5°的细线图像。

图98是说明通过使图96中说明的输入图像经历常规类型分类适应处理而获得的图像(以下，图98中说明的图像称作常规图像)的图。而且，图99说明与常规图像相对应的图像数据。

注意，类型分类适应处理由分类处理和适应处理构成，数据由类型分类处理基于其性质分类，并且对每一类经历适应处理，如上所述。对于适应处理，例如，低质量或标准质量图像经历使用预先确定分接系数的映射以便转换成高质量图像。

图100是说明通过对图96中说明的输入图像应用一维再积分方法而获得的再积分图像(以下，图100中说明的图像称作图像)。而且，图101说明与再积分图像相对应的图像数据。

可以理解，当图98中的常规图像与图100中的再积分图像相比较时，常规图像中的细线图像不同于图94中原始图像中，但是另一方面，再积分图像中的细线图像几乎与图94中原始图像中相同。

该差异由如下差异引起，即常规类型分类适应处理是在图96中输入图像的基础(始点)上执行处理的方法，而另一方面，一维再积分方法是考虑到细线的连续性估计图94中的原始图像(产生与原始图像相对应的近似函数f(x))，并且在估计的原始图像的基础(始点)上执行处理(执行再积分以便计算像素值)的方法。

因此，使用一维再积分方法，输出图像(像素值)通过在用作用一维近似方法产生的一维多项式的近似函数f(x)(现实世界中X横截面波形F(x)的近似函数f(x))的基础(始点)上在任意范围中积分近似函数f(x)而产生。

因此，使用一维再积分方法，输出与常规其他方法相比较更近似于原始图像(将投射到传感器2中的现实世界1中的光信号)的图像成为可能。

而且，对于一维再积分方法，如上所述，积分范围是任意的，因此，通过改变积分范围而创建不同于输入图像分辨率的分辨率(时间分辨率或空间分辨率)成为可能。也就是说，产生具有相对于输入图像分辨率的任意增强分辨率以及整数值的图像成为可能。

此外，一维再积分方法能够使用比其他再积分方法更少的积分处理量来计算输出图像(像素值)。

接下来，将参考图102至图108描述二维再积分方法。

二维再积分方法基于近似函数f(x，y)已经使用二维多项式近似方法产生的条件。

也就是说，例如，假设表示具有用梯度G_F表示的空间方向上连续性的现实世界1(图89)中光信号的图像函数F(x，y，t)已经用投影在空间方向(X方向和Y方向)上的波形近似，也就是X-Y平面上的波形F(x，y)已经使用用作n维(n是任意整数)多项式的近似函数f(x，y)近似，例如图102中所示。

在图102中，在附图中分别地，水平方向表示用作空间方向中一个方向的X方向，右上方向表示用作空间方向中另一个方向的Y方向，以及垂直方向表示光度。G_F表示作为空间方向上连续性的梯度。

注意对于图102中的实例，连续性方向取作空间方向(X方向和Y方向)，所以待近似的光信号的投影函数取作函数F(x，y)，但是如随后描述的，函数F(x，t)或函数F(y，t)可以根据连续性方向而作为近似目标。

在图102中的实例的情况下，对于二维再积分方法，输出像素值M如下面的表达式(120)计算。

$M=G_e\×{\∫}_{y_s}^{y_e}{\∫}_{x_s}^{x_e}f(x,y)\mathrm{dxdy}---\left(120\right)$

注意在表达式(120)中，y_s表示Y方向上的积分开始位置，且y_e表示Y方向上的积分结束位置。类似地，x_s表示X方向上的积分开始位置，且x_e表示X方向上的积分结束位置。而且，G_e表示预先确定的增益。

在表达式(120)中，积分范围可以任意地设置，因此，使用二维再积分方法，通过适当地改变该积分范围来创建具有关于原始像素(来自传感器(图89)的输入图像的像素)的任意增强空间分辨率的像素而不退化成为可能。

图103表示使用二维再积分方法的图像生成单元103的构造实例。

如图103中所示，该实例中的图像生成单元103包括条件设置单元3201，特征存储单元3202，积分分量计算单元3203，以及输出像素值计算单元3204。

条件设置单元3201基于从现实世界估计单元102提供的现实世界估计信息(对于图103中的实例，近似函数f(x，y)的特征)来设置近似函数f(x，y)的维度数目n。

条件设置单元3201也设置再积分近似函数f(x，y)的情况下(计算输出像素值的情况下)的积分范围。注意，由条件设置单元3201设置的积分范围不需要是像素的垂直宽度或水平宽度。例如，近似函数f(x，y)在空间方向(X方向和Y方向)上积分，因此，具体积分范围可以确定，只要输出像素(从现在起由图像生成单元103产生的像素)相对于来自传感器2的输入图像的每个像素空间大小的相对大小(空间分辨能力)已知。因此，条件设置单元3201可以设置例如空间分辨能力为积分范围。

特征存储单元3202临时存储从现实世界估计单元102顺序提供的近似函数f(x，y)的特征。随后，当特征存储单元3202存储近似函数f(x，y)的全部特征时，特征存储单元3202产生包括近似函数f(x，y)的全部特征的特征表，并且将其提供给输出像素值计算单元3204。

现在，将描述近似函数f(x，y)的细节。

例如，现在让我们假定具有用上述图102中所示梯度G_F表示的空间方向上连续性的现实世界1(图89)中光信号(用波F(x，y)表示的光信号)已经由传感器2(图89)检测，并且已经作为输入图像(像素值)而输出。

此外，例如让我们假定数据连续性检测单元101(图3)已经使得由该输入图像的X方向上4个像素以及Y方向上5个像素总共20个像素(附图中用虚线表示的20个正方形)构成的输入图像的区域3221经历其处理，并且已经输出角度θ(用与梯度G_F相对应的梯度G_f表示的数据连续性方向与X方向之间产生的角度θ)作为数据连续性信息之一，如图104中所示。

注意，如从现实世界估计单元102看出，数据连续性检测单元101应当仅输出关注像素处的角度θ，因此，数据连续性检测单元101的处理区域并不局限于输入图像中上面的区域3221。

而且，对于输入图像中的区域3221，附图中水平方向表示用作空间方向的一个方向的X方向，而附图中垂直方向表示用作空间方向的另一个方向的Y方向。

而且，在图104中，作为从左起第二像素以及从底部起第三像素的像素取作关注像素，并且(x，y)坐标系被设置以便取关注像素的中心作为原点(0，0)。X方向上关于经过原点(0，0)具有角度θ的直线(表示数据连续性方向的梯度G_f的直线)的相对距离(以下，称作横截面方向距离)取作x′。

此外，在图104中，右侧的曲线图表示用作n维(n是任意整数)多项式的近似函数f(x′)，其是近似其变量为三维空间上的位置x，y和z，以及时间点t的图像函数F(x，y，t)在Y方向上任意位置y处投影在X方向上的一维波形(以下，称作X横截面波形F(x′))的函数。右侧上曲线图的轴中，附图中水平方向上的轴表示横截面方向距离，而附图中垂直方向上的轴表示像素值。

在该情况下，图104中所示近似函数f(x′)是n维多项式，所以表示为下面的表达式(121)。

$f\left(x^{\′}\right)=w_0+w_1{x}^{\′}+w_2{x}^{\′2}+\·\·\·+w_n{x}^{\′n}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_t{x}^{\′i}---\left(121\right)$

而且，因为角度θ确定，经过原点(0，0)具有角度θ的直线唯一确定，并且在Y方向上任意位置y处直线的X方向上的位置x₁表示为下面的表达式(122)。但是，在表达式(122)中，s代表cotθ。

x₁＝s×y    ...(122)

也就是说，如图104中所示，与用梯度G_f表示的数据连续性相对应的直线上的点用坐标值(x₁，y)表示。

横截面方向距离x′使用表达式(122)表示为下面的表达式(123)。

x′＝x-x₁＝x-s×y    ...(123)

因此，输入图像区域3221中任意位置(x，y)处的近似函数f(x，y)使用表达式(121)和表达式(123)表示为下面的表达式(124)。

$f(x,y)=\underset{l=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{(x-s\×y)}^i---\left(124\right)$

注意在表达式(124)中，w_i表示近似函数f(x，y)的系数。

现在，描述将返回到图103，其中包括在表达式(124)中的特征w_i从现实世界估计单元102提供，并且存储在特征存储单元3202中。当特征存储单元3202存储用表达式(124)表示的所有特征w_i时，特征存储单元3202产生包括所有特征w_i的特征表，并且将其提供给输出像素值计算单元3204。

而且，当上面表达式(120)的右侧通过将表达式(124)的近似函数f(x，y)代入表达式(120)右侧中的近似函数f(x，y)而展开(计算)时，输出像素值M表示为下面的表达式(125)。

$M=G_e\×\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×\frac{\{{(x_e-s\×y_e)}^{i+2}-{(x_e-s\×y_s)}^{i+2}-{(x_s-s\×y_e)}^{i+2}+{(x_s-s\×y_s)}^{i+2}\}}{s(i+1)(i+2)}$

$=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×k_i(x_s,x_e,y_s,y_e)---\left(125\right)$

在表达式(125)中，k_i(x_s，x_e，y_s，y_e)表示i维项的积分分量。也就是说，积分分量k_i(x_s，x_e，y_s，y_e)例如下面表达式(126)中所示。

$k_i(x_s,x_e,y_s,y_e)$

$=G_e\×\frac{\{{(x_e-s\×y_e)}^{i+2}-{(x_e-s\×y_s)}^{i+2}-{(x_s-s\×y_e)}^{i+2}+{(x_s-s\×y_s)}^{i+2}\}}{s(i+1)(i+2)}---\left(126\right)$

积分分量计算单元3203计算积分分量k_i(x_s，x_e，y_s，y_e)。

特别地，如表达式(125)和表达式(126)中所示，积分分量k_i(x_s，x_e，y_s，y_e)可以计算，只要积分范围的X方向上开始位置x_s和X方向上结束位置x_e，积分范围的Y方向上开始位置y_s和Y方向上结束位置y_e，增益G_e，以及i维项的i已知。

这些中，增益G_e用由条件设置单元3201设置的空间分辨能力(积分范围)确定。

i的范围用由条件设置单元3201设置的维度数目n确定。

变量s如上所述是cotθ，所以用从数据连续性检测单元101输出的角度θ确定。

而且，积分范围的X方向上开始位置x_s和X方向上结束位置x_e，以及积分范围的Y方向上开始位置y_s和Y方向上结束位置y_e的每个用从现在起产生的输出像素的中心像素位置(x，y)和像素宽度确定。注意(x，y)表示当现实世界估计单元102产生近似函数f(x)时距离关注像素中心位置的相对位置。

此外，从现在起产生的输出像素的中心像素位置(x，y)和像素宽度的每个用由条件设置单元3201设置的空间分辨能力(积分范围)确定。

因此，积分分量计算单元3203基于由条件设置单元3201设置的维度数目和空间分辨能力(积分范围)，以及从数据连续性检测单元101输出的数据连续性信息的角度θ计算积分分量k_i(x_s，x_e，y_s，y_e)，并将计算结果作为积分分量表提供给输出像素值计算单元3204。

输出像素值计算单元3204使用从特征存储单元3202提供的特征表以及从积分分量计算单元3203提供的积分分量表来计算上面表达式(125)的右侧，并且将计算结果作为输出像素值M输出到外部。

接下来，将参考图105中的流程图描述使用二维再积分方法的图像生成单元103(图104)的图像生成处理(图29的步骤S103中的处理)。

例如，让我们假定用图102中所示函数F(x，y)表示的光信号已经投射到传感器2中以变成输入图像，并且现实世界估计单元102已经在上述图29中步骤S102的处理中以例如图106中所示一个像素3231作为关注像素产生用于近似函数F(x，y)的近似函数f(x，y)。

注意在图106中，像素3231的像素值(输入像素值)取作P，并且像素3231的形状取作一边长度为1的正方形。而且，在空间方向中，与像素3231的一边平行的方向取作X方向，而与X方向正交的方向取作Y方向。而且，其原点为像素3231中心的空间方向(X方向和Y方向)上坐标系(以下，称作关注像素坐标系)被设置。

而且，让我们假定在图106中，取像素3231作为关注像素的数据连续性检测单元101已经在上述图29中步骤S101的处理中输出角度θ作为与用梯度G_f表示的数据连续性相对应的数据连续性信息。

描述将返回到图105，在该情况下，条件设置单元3201在步骤S3201处设置条件(维度数目和积分范围)。

例如，现在让我们假定5已经设置为维度数目，而且空间四倍密度(空间分辨能力以使得像素的像素宽度在上/下/左/右侧变成一半能力)已经设置为积分范围。

也就是说，在该情况下已经设置四个像素3241至像素3244在X方向上-0.5～0.5的范围内，以及Y方向上-0.5～0.5的范围内(图106中像素3231的范围内)重新创建，例如图107中所示。注意同样在图107中，与图106中相同的关注像素坐标系被显示。

而且，在图107中，M(1)表示从现在起产生的像素3241的像素值，M(2)表示从现在起产生的像素3242的像素值，M(3)表示从现在起产生的像素3243的像素值，以及M(4)表示从现在起产生的像素3244的像素值。

描述将返回到图105，在步骤S3202中，特征存储单元3202获取从现实世界估计单元102提供的近似函数f(x，y)的特征，并且产生特征表。在该情况下，用作5维多项式的近似函数f(x)的系数w₀～w₅从现实世界估计单元102提供，因此，(w₀，w₁，w₂，w₃，w₄，w₅)作为特征表产生。

在步骤S3203中，积分分量计算单元3203基于由条件设置单元3201设置的条件(维度数目和积分范围)，以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并产生积分分量表。

特别地，例如，让我们假定编号(以下，这种编号称作模数)1～4分别附加到从现在起产生的像素3241至像素3244，积分分量计算单元3203将上面表达式(125)的积分分量k_i(x_s，x_e，y_s，y_e)计算为l的函数(但是，l表示模数)，例如下面表达式(127)的左侧中所示的积分分量k_i(l)。

k_i(l)＝k_i(x_s，x_e，y_s，y_e)    ...(127)

特别地，在该情况下，下面表达式(128)中所示的积分分量k_i(l)被计算。

k_i(1)＝k_i(-0.5，0，0，0.5)

k_i(2)＝k_i(0，0.5，0，0.5)

k_i(3)＝k_i(-0.5，0，-0.5，0)

k_i(4)＝k_i(0，0.5，-0.5，0)    ...(128)

注意在表达式(128)中，左侧表示积分分量k_i(l)，而右侧表示积分分量k_i(x_s，x_e，y_s，y_e)。也就是说，在该情况下，l是1～4的任何一个，而且i是0～5的任何一个，因此6个k_i(1)，6个k_i(2)，6个k_i(3)和6个k_i(4)总共24个k_i(l)被计算。

更具体地说，首先，积分分量计算单元3203使用从数据连续性检测单元101提供的角度θ计算上面表达式(122)的变量s(s＝cotθ)。

接下来，积分分量计算单元3203使用计算的变量s关于i＝0～5计算表达式(128)中四个表达式的每个右侧的积分分量k_i(x_s，x_e，y_s，y_e)。注意对于积分分量k_i(x_s，x_e，y_s，y_e)的该计算，使用上面表达式(125)。

随后，积分分量计算单元3203根据表达式(128)将计算的24个积分分量k_i(x_s，x_e，y_s，y_e)的每个转换成相应的积分分量k_i(l)，并且产生包括转换后的24个积分分量k_i(l)(也就是，6个k_i(1)，6个k_i(2)，6个k_i(3)，以及6个k_i(4))的积分分量表。

注意，步骤S3202中的处理和步骤S3203中的处理的顺序并不局限于图105中的实例，步骤S3203中的处理可以首先执行，或者步骤S3202中的处理和步骤S3203中的处理可以同时执行。

接下来，在步骤S3204中，输出像素值计算单元3204基于在步骤S3202的处理中由特征存储单元3202产生的特征表，以及在步骤S3203的处理中由积分分量计算单元3203产生的积分分量表，分别计算输出像素值M(1)～M(4)。

特别地，在该情况下，输出像素值计算单元3204通过计算与上面表达式(125)相对应的下面表达式(129)至表达式(132)的右侧来计算像素3241(模数1的像素)的像素值M(1)，像素3242(模数2的像素)的像素值M(2)，像素3243(模数3的像素)的像素值M(3)，以及像素3244(模数4的像素)的像素值M(4)的每个。

$M\left(1\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{k}_i\left(1\right)---\left(129\right)$

$M\left(2\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{k}_i\left(2\right)---\left(130\right)$

$M\left(3\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{k}_i\left(3\right)---\left(131\right)$

$M\left(4\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{k}_i\left(4\right)---\left(132\right)$

但是，在该情况下，表达式(129)至表达式(132)的每个n变成5。

在步骤S3205中，输出像素值计算单元3204确定是否所有像素的处理都已完成。

在步骤S3205中，如果确定所有像素的处理还没有完成，处理返回到步骤S3202，其中随后的处理重复地执行。也就是说，没有变成关注像素的像素顺序地取作关注像素，并且步骤S3202～S3204中的处理重复地执行。

如果所有像素的处理都已完成(在步骤S3205中，如果确定所有像素的处理都已完成)，输出像素值计算单元3204在步骤S3206中输出图像。然后，图像生成处理结束。

因此，比输入像素3231具有更高空间分辨率的四个像素，也就是像素3241至像素3244(图107)可以通过使用二维再积分方法创建，作为来自传感器2(图89)的输入图像(图106)的像素3231处的像素。此外，虽然附图中没有显示，如上所述，除像素3241至像素3244之外，图像生成单元103可以通过适当地改变积分范围而创建具有关于输入像素3231的任意增强空间分辨率的像素而不退化。

如上所述，作为二维再积分方法的描述，使得关于空间方向(X方向和Y方向)的近似函数f(x，y)经历二维积分的方法已经使用，但是二维再积分方法可以应用于时间-空间方向(X方向和t方向，或者Y方向和t方向)。

也就是说，上面的实例是现实世界1(图89)中的光信号具有用例如图102中所示梯度G_F表示的空间方向上连续性的情况下的实例，因此，包括例如上面表达式(120)中所示空间方向(X方向和Y方向)上二维积分的表达式已经使用。但是，关于二维积分的概念不仅可以应用于空间方向而且可以应用于时间-空间方向(X方向和t方向，或者Y方向和t方向)。

换句话说，对于用作二维再积分方法的假设的二维多项式近似方法，使用二维近似函数f执行近似是可能的，即使在表示光信号的图像函数F(x，y，t)具有时间-空间方向(但是，X方向和t方向，或者Y方向和t方向)上连续性以及空间方向上连续性的情况下。

特别地，例如，如果存在以均匀速度在X方向上水平运动的对象，对象运动的方向用例如图108中所示X-t平面中的梯度V_F表示。换句话说，可以说梯度V_F表示X-t平面中时间-空间方向上连续性的方向。因此，数据连续性检测单元101(图89)可以输出例如图108中所示的运动θ(严格地说，虽然附图中没有显示，运动θ是由用与梯度V_F相对应的梯度V_f表示的数据连续性的方向与空间方向中X方向产生的角度)作为与表示X-t平面中时间-空间方向上连续性的梯度V_F相对应的数据连续性信息，以及上面的角度θ(与表示X-Y平面中空间方向上连续性的梯度G_F相对应的数据连续性信息)。

而且，使用二维多项式近似方法的现实世界估计单元102(图89)可以通过使用运动θ代替上述角度θ，以与上面方法相同的方法计算近似函数f(x，t)的系数(特征)w_i。但是，在该情况下，待使用的公式不是上面的表达式(124)而是下面的表达式(133)。

$f(x,t)=\underset{i-0}{\overset{n}{\mathrm{\Σ}}}{w}_i{(x-s\×t)}^i---\left(133\right)$

注意在表达式(133)中，s是cotθ(但是，θ是运动)。

而且，使用二维再积分方法的图像生成单元103(图89)可以通过将上面表达式(133)的f(x，t)代入下面表达式(134)的右侧并且计算它来计算像素值M。

$M=G_e\×{\∫}_{t_s}^{t_e}{\∫}_{x_s}^{x_e}f(x,t)\mathrm{dxdt}---\left(134\right)$

注意在表达式(134)中，t_s表示t方向上的积分开始位置，且t_e表示t方向上的积分结束位置。类似地，x_s表示X方向上的积分开始位置，且x_e表示X方向上的积分结束位置。G_e表示预先确定的增益。

作为选择，注意力集中在空间方向Y而不是空间方向X上的近似函数f(y，t)可以与上面近似函数f(x，t)相同的方法处理。

顺便提及，在表达式(133)中，通过将t方向看作恒定，也就是通过执行积分而忽略t方向上的积分，来获得在时间方向上不积分的数据，也就是不具有运动模糊的数据成为可能。换句话说，该方法可以看作二维再积分方法的一种，因为再积分在二维近似函数f的某一维度恒定的条件下执行，或者实际上，可以看作一维再积分方法的一种，因为X方向上的一维再积分执行。

而且，在表达式(134)中，积分范围可以任意地设置，因此，使用二维再积分方法，通过适当地改变该积分范围来创建具有关于原始像素(来自传感器2(图89)的输入图像的像素)的任意增强分辨率的像素而不退化成为可能。

也就是说，对于二维再积分方法，通过任意地改变时间方向t上的积分范围来创建时间分辨率成为可能。而且，通过任意地改变空间方向X(或空间方向Y)上的积分范围来创建空间分辨率成为可能。此外，通过适当地改变时间方向t上和空间方向X上的每个积分范围来创建时间分辨率和空间分辨率成为可能。

注意，如上所述，时间分辨率和空间分辨率中任何一个的创建可以甚至使用一维再积分方法执行，但是时间分辨率和空间分辨率二者同时的创建理论上不能使用一维再积分方法执行，其仅通过执行二维或更多再积分而变得可能。也就是说，时间分辨率和空间分辨率同时的创建仅通过使用二维再积分方法和随后描述的三维再积分方法而变得可能。

而且，二维再积分方法不是考虑一维而是考虑二维积分效应，因此，更近似于现实世界1(图89)中光信号的图像可以产生。

接下来，将参考图109和图110描述三维再积分方法。

对于三维再积分方法，近似函数f(x，y，t)已经使用三维近似方法产生，这是假设。

在该情况下，对于三维再积分方法，输出像素值M计算为下面的表达式(135)。

$M=G_e\×{\∫}_{t_s}^{t_e}{\∫}_{y_s}^{y_e}{\∫}_{x_s}^{x_e}f(x,y,t)\mathrm{dxdydt}---\left(135\right)$

注意在表达式(135)中，t_s表示t方向上的积分开始位置，且t_e表示t方向上的积分结束位置。类似地，y_s表示Y方向上的积分开始位置，且y_e表示Y方向上的积分结束位置。而且，x_s表示X方向上的积分开始位置，且x_e表示x方向上的积分结束位置。G_e表示预先确定的增益。

而且，在表达式(135)中，积分范围可以任意地设置，因此，对于三维再积分方法，通过适当地改变该积分范围来创建具有关于原始像素(来自传感器2(图89)的输入图像的像素)的任意增强时间-空间分辨率的像素而不退化成为可能。也就是说，当空间方向上的积分范围减小时，像素间距可以没有限制地减小。另一方面，当空间方向上的积分范围放大时，像素间距可以没有限制地放大。而且，当时间方向上的积分范围减小时，时间分辨率可以基于实际波形来创建。

图109表示使用三维再积分方法的图像生成单元103的构造实例。

如图109中所示，图像生成单元103的该实例包括条件设置单元3301，特征存储单元3302，积分分量计算单元3303，和输出像素值计算单元3304。

条件设置单元3301基于从现实世界估计单元102提供的现实世界估计信息(对于图109中的实例，近似函数f(x，y，t)的特征)来设置近似函数f(x，y，t)的维度数目n。

条件设置单元3301也设置再积分近似函数f(x，y，t)的情况下(计算输出像素值的情况下)的积分范围。注意，由条件设置单元3301设置的积分范围不需要是像素的宽度(垂直宽度和水平宽度)或者快门时间自身。例如，确定空间方向上的具体积分范围成为可能，只要输出像素(从现在起由图像生成单元103产生的像素)相对于来自传感器2(图89)的输入图像的每个像素空间大小的相对大小(空间分辨能力)已知。类似地，确定时间方向上的具体积分范围成为可能，只要输出像素值关于传感器2(图89)的快门时间的相对时间(时间分辨能力)已知。因此，条件设置单元3301可以设置例如空间分辨能力和时间分辨能力为积分范围。

特征存储单元3302临时存储从现实世界估计单元102顺序提供的近似函数f(x，y，t)的特征。随后，当特征存储单元3302存储近似函数f(x，y，t)的全部特征时，特征存储单元3302产生包括近似函数f(x，y，t)的全部特征的特征表，并且将其提供给输出像素值计算单元3304。

顺便提及，当上面表达式(135)右侧的近似函数f(x，y，t)的右侧被展开(计算)时，输出像素值M表示为下面的表达式(136)。

$M=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×k_i(x_s,x_e,y_s,y_e,t_s,t_e)---\left(136\right)$

在表达式(136)中，k_i(x_s，x_e，y_s，y_e，t_s，t_e)表示i维项的积分分量。但是，分别地，x_s表示X方向上的积分范围开始位置，x_e表示X方向上的积分范围结束位置，y_s表示Y方向上的积分范围开始位置，y_e表示Y方向上的积分范围结束位置，t_s表示t方向上的积分范围开始位置，以及t_e表示t方向上的积分范围结束位置。

积分分量计算单元3303计算积分分量k_i(x_s，x_e，y_s，y_e，t_s，t_e)。

特别地，积分分量计算单元3303基于由条件设置单元3301设置的维度数目和积分范围(空间分辨能力或时间分辨能力)，以及从数据连续性检测单元101输出的数据连续性信息的角度θ或运动θ计算积分分量k_i(x_s，x_e，y_s，y_e，t_s，t_e)，并将计算结果作为积分分量表提供给输出像素值计算单元3304。

输出像素值计算单元3304使用从特征存储单元3302提供的特征表以及从积分分量计算单元3303提供的积分分量表来计算上面表达式(136)的右侧，并且将计算结果作为输出像素值M输出到外部。

接下来，将参考图110中的流程图描述使用三维再积分方法的图像生成单元103(图109)的图像生成处理(图29的步骤S103中的处理)。

例如，让我们假定现实世界估计单元102(图89)已经在上述图29中步骤S102的处理中以输入图像的预先确定像素作为关注像素，产生用于近似现实世界1(图89)中光信号的近似函数f(x，y，t)。

而且，让我们假定数据连续性检测单元101(图89)已经在图29中步骤S101的处理中以与现实世界估计单元102使用相同的像素作为关注像素，输出角度θ或运动θ作为数据连续性信息。

在该情况下，条件设置单元3301在图110的步骤S3301中设置条件(维度数目和积分范围)。

在步骤S3302中，特征存储单元3302获取从现实世界估计单元102提供的近似函数f(x，y，t)的特征w_i，并产生特征表。

在步骤S3303中，积分分量计算单元3303基于由条件设置单元3301设置的条件(维度数目和积分范围)，以及从数据连续性检测单元101提供的数据连续性信息(角度θ或运动θ)计算积分分量，并产生积分分量表。

注意，步骤S3302中的处理和步骤S3303中的处理的顺序并不局限于图110中的实例，步骤S3303中的处理可以首先执行，或者步骤S3302中的处理和步骤S3303中的处理可以同时执行。

接下来，在步骤S3304中，输出像素值计算单元3304基于在步骤S3302的处理中由特征存储单元3302产生的特征表，以及在步骤S3303的处理中由积分分量计算单元3303产生的积分分量表，计算每个输出像素值。

在步骤S3305中，输出像素值计算单元3304确定是否所有像素的处理都已完成。

在步骤S3305中，如果确定所有像素的处理还没有完成，处理返回到步骤S3302，其中随后的处理重复地执行。也就是说，没有变成关注像素的像素顺序地取作关注像素，并且步骤S3302～S3304中的处理重复地执行。

如果所有像素的处理都已完成(在步骤S3305中，如果确定所有像素的处理都已完成)，输出像素值计算单元3304在步骤S3306中输出图像。然后，图像生成处理结束。

因此，在上面表达式(135)中，积分范围可以任意地设置，因此对于三维再积分方法，通过适当地改变该积分范围而创建具有关于原始像素(来自传感器2(图89)的输入图像的像素)的任意增强分辨率的像素而不退化成为可能。

也就是说，对于三维再积分方法，适当地改变时间方向上的积分范围使得时间分辨率能够创建。而且，适当地改变空间方向上的积分范围使得空间分辨率能够创建。此外，适当地改变时间方向上和空间方向上的每个积分范围使得时间分辨率和空间分辨率能够创建。

特别地，对于三维再积分方法，当将三维退化成二维或一维时，近似不是必要的，从而能够高精度处理。而且，倾斜方向上的运动可以处理而不退化到二维。此外，不退化到二维能够在每个维度处理。例如，对于二维再积分方法，在空间方向(X方向和Y方向)上退化的情况下，用作时间方向的t方向上的处理不能执行。另一方面，对于三维再积分方法，时间-空间方向上的任何处理可以执行。

注意，如上所述，时间分辨率和空间分辨率中任何一个的创建可以甚至使用一维再积分方法执行，但是时间分辨率和空间分辨率二者同时的创建理论上不能使用一维再积分方法执行，其仅通过执行二维或更多再积分而变得可能。也就是说，时间分辨率和空间分辨率同时的创建仅通过使用上面二维再积分方法和三维再积分方法而成为可能。

而且，三维再积分方法不是考虑一维和二维而是考虑三维积分效应，因此，更近似于现实世界1(图89)中光信号的图像可以产生。

接下来，使用图3中所示的信号处理设备4，数据连续性在数据连续性检测单元101处检测，并且现实世界1信号波形的估计，也就是例如，近似X横截面波形F(x)的近似函数基于连续性在现实世界估计单元102处获得。

因此，现实世界1信号的波形估计基于连续性在信号处理设备4处执行，所以如果由数据连续性检测单元101检测的连续性不正确或者其检测精度差，现实世界1信号的波形的估计精度也差。

而且，信号处理设备4基于例如在该情况下作为图像的现实世界1信号具有的连续性而执行信号处理，比使用其他信号处理设备的信号处理具有更好精度的信号处理可以对于连续性存在的现实世界1信号的部分而执行，因此，更接近与现实世界1信号相对应的图像的图像可以输出。

但是，信号处理设备4不能以与连续性确实存在的四个部分相同水平的精度，对于没有清晰连续性存在的现实世界1信号的部分执行信号处理，因为信号处理基于连续性而执行，因此，包括关于与现实世界1信号相对应的图像的误差的图像被输出。

因此，为了使用信号处理设备4获得更接近与现实世界1信号相对应的图像的图像，使用信号处理设备4的信号处理将被执行的处理区域，与信号处理设备4一起使用的连续性的精度等是问题。

这里，图111说明信号处理设备4的另一种实施方案的构造实例。

在图111中，信号处理设备4包括处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F(接口)10006。

对于其构造如图111中所示的信号处理设备4，作为数据3的实例的图像数据(输入图像)从传感器2(图1)输入，并且输入图像提供给处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，以及图像显示单元10005。

处理区域设置单元10001设置输入图像的处理区域，并且将标识处理区域的处理区域信息提供给连续性设置单元10002，现实世界估计单元10003，以及图像生成单元10004。

连续性设置单元10002从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域，设置从该处理区域处的图像数据中丢失的现实世界1信号的连续性，并且将表示该连续性的连续性信息提供给现实世界估计单元10003和图像生成单元10004。

现实世界估计单元10003由模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013构成，并且根据相应现实世界1信号的连续性从处理区域内的图像数据中估计现实世界1信号。

也就是说，模型生成单元10011从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域，根据构成处理区域的像素以及与处理区域中的图像数据相对应的现实世界1信号的连续性，产生用作模拟处理区域中像素的像素值与现实世界1信号之间关系的模型的函数，并且将其提供给公式生成单元10012。

公式生成单元10012从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域。此外，公式生成单元10012将构成处理区域的每个像素的像素值代入用作已经从模型生成单元10011提供的模型的函数中，从而产生公式，其提供给现实世界波形估计单元10013。

现实世界波形估计单元10013通过计算从公式生成单元10012提供的公式来估计现实世界1信号的波形。也就是说，现实世界波形估计单元10013通过求解从公式生成单元10012提供的公式来获得近似现实世界1信号的近似函数，并将近似函数作为现实世界1信号的波形的估计结果提供给图像生成单元10004。注意，近似现实世界1信号的近似函数包括具有恒定函数值的函数，而不管自变量值。

图像生成单元10004基于在现实世界估计单元10003处估计的、表示现实世界1信号的波形的近似函数，以及从连续性设置单元10002提供的连续性信息，来产生更接近现实世界1信号的信号。也就是说，图像生成单元10004从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域，并且基于从现实世界估计单元10003(的现实世界波形估计单元10013)提供的近似函数，以及从连续性设置单元10002提供的连续性信息产生关于处理区域更接近与现实世界1信号相对应的图像的图像数据。

此外，图像生成单元10004合成输入图像和基于近似函数而产生的图像数据(以下称作近似图像，如果适当的话)，产生输入图像的处理区域的部分已经用近似图像取代的图像，并且将图像作为输出图像提供给图像显示单元10005。

图像显示单元10005由CRT(阴极射线管)或LCD(液晶显示器)构成，并且显示输入图像或者从图像生成单元10004提供的输出图像。

注意，图像显示单元10005可以由单个或多个CRT或LCD构成。如果用单个CRT或LCD构成图像显示单元10005，配置可以这样进行，其中单个CRT或LCD的屏幕划分成多个屏幕，输入图像显示在一个屏幕上而输出图像显示在另一个屏幕上。此外，如果用多个CRT或LCD构成图像显示单元10005，配置可以这样进行，其中输入图像显示在一个CRT或LCD上，而输出图像显示在另一个CRT或LCD上。

而且，图像显示单元10005根据用户I/F 10006的输出执行各种类型的显示。也就是说，图像显示单元10005显示光标，例如，并且如果用户操作用户I/F 10006以便移动光标，光标根据其操作运动。而且，如果用户操作用户I/F 10006以便选择预先确定的范围，图像显示单元10005根据其操作显示围绕在屏幕上选择的范围的帧。

用户I/F 10006由用户操作，并且根据用户操作，将与例如处理范围、连续性和真实世界信号中至少一个相关的信息提供给处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003。

也就是说，用户观看显示在图像显示单元10005上的输入图像或输出图像，并且操作用户I/F 10006以提供关于输入图像或输出图像的输入。用户I/F 10006由用户操作，并且根据用户操作，将与处理范围、连续性或真实世界信号相关的信息，作为帮助处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003的处理的帮助信息，提供给处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003。

当帮助信息从用户I/F 10006提供时，处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003每个基于帮助信息执行处理区域的设置，连续性的设置，或现实世界1信号的估计。

但是注意，处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003每个可以执行处理区域的设置，连续性的设置，或现实世界1信号的估计，即使不使用帮助信息，也就是，即使没有用户操作用户I/F 10006。

特别地，对于处理区域设置单元10001，处理可以与图3中所示数据连续性检测单元101相同的方法执行，如参考图30至图48描述的，其中连续性区域从输入图像中检测，并且围绕连续性区域的矩形(长方形)区域设置为处理区域。

而且，对于连续性设置单元10002，处理可以与图3中所示数据连续性检测单元101相同的方法执行，如参考图49至图57描述的，其中数据连续性从输入图像中检测，并且相应现实世界1信号的连续性基于该数据的连续性而设置，也就是，例如，数据连续性设置为现实世界1信号的连续性而不改变。

而且，对于现实世界估计单元10003，处理可以与图3中所示现实世界估计单元102相同的方法执行，如参考图58至图88描述的，其中现实世界1信号从由处理区域设置单元10001设置的处理区域的图像数据中，与由连续性设置单元10002设置的连续性相对应地估计。注意，虽然数据连续性已经用于估计现实世界1信号，图3中的现实世界估计单元102，配置可以这样进行，其中使用相应现实世界1信号的连续性，代替估计现实世界1信号的数据连续性。

接下来，将参考图112中的流程图描述图111中所示的信号处理设备4的处理。

首先，在步骤S10001中，信号处理设备4执行预处理，并且流程前进到步骤S10002。也就是说，信号处理设备4将从传感器2(图1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，以及图像显示单元10005。此外，信号处理设备4使得图像显示单元10005显示输入图像。

在步骤S10002中，用户I/F 10006确定是否存在由用户操作用户I/F 10006的某种用户输入。在步骤S10002中，如果确定不存在用户输入，也就是如果用户没有执行操作，步骤S10003至步骤S10005跳过，并且流程前进到步骤S10006。

而且，如果在步骤S10002中确定已经存在用户输入，也就是如果用户已经观看显示在图像显示单元10005上的输入图像并且操作用户I/F 10006，从而做出指示某种指令或信息的用户输入，流程前进到步骤S10003，在那里用户I/F 10006确定用户输入是否是指示信号处理设备4处理结束的结束指令。

如果在步骤S10003中确定用户输入是结束指令，信号处理设备结束处理。

而且，如果在步骤S10003中确定用户输入不是结束指令，流程前进到步骤S10004，在那里用户I/F 10006确定用户输入是否是帮助信息。如果在步骤S10004中确定用户输入不是帮助信息，流程跳过步骤S10005，而前进到步骤S10006。

而且，如果在步骤S10004中确定用户输入是帮助信息，流程前进到步骤S10005，在那里用户I/F 10006将帮助信息提供给处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003，并且流程前进到步骤S10006。

在步骤S10006中，处理区域设置单元10001基于输入图像设置处理区域，并且将标识处理区域的处理区域信息提供给连续性设置单元10002，现实世界估计单元10003，以及图像生成单元10004，并且流程前进到步骤S10007。现在，如果帮助信息已经在前一个步骤S10005中从用户I/F 10006提供，处理区域设置单元10001使用该帮助信息执行处理区域的设置。

在步骤S10007中，连续性设置单元10002从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域。此外，连续性设置单元10002设置在处理区域的图像数据中丢失的现实世界1信号的连续性，并且将指示其连续性的连续性信息提供给现实世界估计单元10003，并且流程前进到步骤S10008。现在，如果帮助信息已经在前一个步骤S10005中从用户I/F 10006提供，连续性设置单元10002使用该帮助信息执行连续性的设置。

在步骤S10008中，现实世界估计单元10003根据相应现实世界1信号的连续性，相对于输入图像处理区域中的图像数据估计现实世界1信号。

也就是说，在现实世界估计单元10003处，模型生成单元10011从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域，并且从连续性设置单元10002提供的连续性信息中识别与处理区域中图像数据相对应的现实世界1信号的连续性。此外，模型生成单元10011根据构成输入图像中处理区域的像素，以及与处理区域的图像数据相对应的现实世界1信号的连续性，产生用作模拟处理区域中每个像素的像素值与现实世界1信号之间关系的模型的函数，并且将其提供给公式生成单元10012。

公式生成单元10012从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域，并且将构成处理区域的输入图像的每个像素的像素值代入用作从模型生成单元10011提供的模型的函数中，从而产生获得近似现实世界1信号的近似函数的公式，其提供给现实世界波形估计单元10013。

现实世界波形估计单元10013通过计算从公式生成单元10012提供的公式来估计现实世界1信号的波形。也就是，现实世界波形估计单元10013通过求解从公式生成单元10012提供的公式来获得用作模拟现实世界1信号的模型的近似函数，并且将近似函数作为现实世界1信号的波形的估计结果提供给图像生成单元10004。

注意，对于现实世界估计单元10003，如果帮助信息已经在前一个步骤S10005中从用户I/F 10006提供，在模型生成单元10011和公式生成单元10012处，处理使用该帮助信息执行。

在步骤S10008的处理之后，流程前进到步骤S10009，在那里图像生成单元10004基于从现实世界估计单元10003(的现实世界波形估计单元10013)提供的近似现实世界1信号的波形的近似函数来产生更接近现实世界1信号的信号。也就是说，图像生成单元10004从处理区域设置单元10001提供的处理区域信息中识别输入图像中的处理区域，并且关于该处理区域，基于从现实世界估计单元10003提供的近似函数，产生作为更接近与现实世界1信号相对应的图像的图像数据的近似图像。此外，图像生成单元10004产生输入图像的处理区域的部分已经用近似图像取代的图像作为输出图像，并且将其提供给图像显示单元10005，并且流程从步骤S10009前进到步骤S10010。

在步骤S10010中，图像显示单元10005显示从图像生成单元10004提供的输出图像，代替在步骤S10001中显示的输入图像，或者与输入图像一起，并且流程前进到步骤S10011。

在步骤S10011中，用户I/F 10006以与步骤S10002相同的方法确定是否存在由用户操作用户I/F 10006的某种用户输入，并且如果确定不存在用户输入，也就是如果用户没有执行操作，流程返回到步骤S10011，并等待用户输入。

而且，如果在步骤S10011中确定存在用户输入，也就是如果用户已经观看显示在图像显示单元10005上的输入图像或输出图像并且操作用户I/F 10006，从而做出指示指令或信息的某种用户输入，流程前进到步骤S10012，在那里用户I/F 10006确定用户输入是否是指示信号处理设备4处理结束的结束指令。

如果在步骤S10012中确定用户输入是结束指令，信号处理设备4结束处理。

而且，如果在步骤S10012中确定用户输入不是结束指令，流程前进到步骤S10013，在那里用户I/F 10006确定用户输入是否是帮助信息。如果在步骤S10013中确定用户输入不是帮助信息，流程返回到步骤S10011，此后重复相同的处理。

而且，在步骤S10013中，如果确定用户输入是帮助信息，流程返回到步骤S10005，并且如上所述，用户I/F 10006将帮助信息提供给处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003。然后流程从步骤S10005前进到步骤S10006，此后重复相同的处理。

如上所述，对于图111中所示的信号处理设备4，帮助处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003的帮助信息从用户I/F 10006提供给处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003，并且处理区域设置，连续性设置，或现实世界1信号估计基于来自用户I/F 10006的帮助信息在处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003处执行，从而提高处理区域设置单元10001，连续性设置单元10002，或现实世界估计单元10003的处理精度，并且能够产生例如满足用户喜好的高质量输出图像。

接下来，将描述图111中所示信号处理设备4的各种类型的应用实例。

图113说明图111中所示信号处理设备4的应用实例的一种实施方案的构造实例。

在图113中，处理区域设置单元11001，连续性设置单元11002，现实世界估计单元11003，图像生成单元11004，图像显示单元11005，以及用户I/F 11006，每个对应于图111中所示的处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F10006相同的处理。此外，在图113中，现实世界估计单元11003包括模型生成单元11011，公式生成单元11012，以及现实世界波形估计单元11013。模型生成单元11011，公式生成单元11012，以及现实世界波形估计单元11013对应于图111中的模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个，并且基本上执行与模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个相同的功能。

但是注意，在图113中，用户I/F 11006通过用户操作用户I/F11006输出的帮助信息仅提供给处理区域设置单元11001。

也就是说，在图113中，用户可以通过操作用户I/F 11006关于显示在图像显示单元11005上的图像指示取作处理区域的区域，并且当用户执行操作以指示处理区域时，用户I/F 11006将表示取作由操作指定的区域的处理区域的处理区域指示信息作为帮助信息提供给处理区域设置单元11001。此外，在图113中，多个输出图像显示在图像显示单元11005上，如随后描述的，显示在图像显示单元11005上的输出图像可以由用户操作用户I/F 11006选择，并且当用户执行操作以选择输出图像时，用户I/F 11006将表示由操作选择的输出图像的选择信息作为帮助信息提供给处理区域设置单元11001。

现在，通过操作用户I/F 11006指示处理区域的方法的实例包括，例如通过用围绕处理区域的矩形指示的方法，通过剪裁(剪裁)处理区域指示的方法，通过指向处理区域内的一个或多个任意点来指示的方法等等；这里，用户通过例如通过操作用户I/F 11006指向处理区域中的一个任意点来指示处理区域。在该情况下，用户I/F 11006将例如该点的图像上的坐标，作为表示用户指向的点的信息，提供给处理区域设置单元11001，作为处理区域指示信息。

接下来，将参考图114中所示的流程图描述图113中所示的信号处理设备4。

首先，在步骤S11001中，信号处理设备4执行预处理，并且流程前进到步骤S11002。也就是说，信号处理设备4将从传感器2(图1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设置单元11001，连续性设置单元11002，现实世界估计单元11003，图像生成单元11004，以及图像显示单元11005。此外，信号处理设备4使得图像显示单元11005显示输入图像。

在步骤S11002中，用户I/F 11006确定是否存在由用户操作用户I/F 11006的处理区域指示信息的某种用户输入。在步骤S11002中，如果确定不存在处理区域指示信息的用户输入，流程前进到步骤S11003，在那里用户I/F 11006确定是否存在由用户操作用户I/F 11006的指示信号处理设备4处理结束的结束指令的输入。

如果在步骤S11003中确定存在结束指令的输入，也就是说，例如，如果已经观看显示在图像显示单元11005上的输入图像的用户操作用户I/F 11006以便结束信号处理设备4的处理而不需要执行关于输入图像的信号处理，因为用户没有发现不满意的输入图像的图像质量，处理结束。

而且，如果在步骤S11003中确定不存在结束指令的输入，流程返回到步骤S11002，此后重复相同的处理。

另一方面，如果在步骤S11002中确定存在处理区域指示信息的输入，也就是说，如果已经观看显示在图像显示单元11005上的输入图像并且发现不满意的输入图像的图像质量的用户，因此操作用户I/F 11006以便指向不满意部分，流程前进到步骤S11004，在那里用户I/F 11006将表示用户通过操作用户I/F 11006指向的点的区域指示信息作为帮助信息提供给处理区域设置单元11001，并且流程前进到步骤S11005。

在步骤S11005中，处理区域设置单元11001设置M个即多个版本的处理区域，并且将表示M个版本处理区域的M个版本的处理区域信息提供给连续性设置单元11002，现实世界估计单元11003，以及图像生成单元11004，并且流程基于作为从用户I/F 11006提供的帮助信息的区域指示信息前进到步骤S11006。现在，如果处理区域设置单元1101已经在前一个步骤S11004中提供有来自用户I/F 11006的帮助信息，处理区域的设置使用该帮助信息执行。

在步骤S11006中，连续性设置单元11002从处理区域设置单元11001提供的M个版本的处理区域信息中识别输入图像中的M个版本的处理区域。此外，连续性设置单元11002设置在M个版本的处理区域图像数据的每个中丢失的现实世界1信号的连续性，并且将表示M个版本处理区域的连续性的连续性信息提供给现实世界估计单元11003，并且流程前进到步骤S11007。

在步骤S11007中，现实世界估计单元11003根据相应现实世界1信号的连续性，相对于输入图像处理区域中的图像数据估计现实世界1信号。

也就是说，在现实世界估计单元11003处，模型生成单元11011从处理区域设置单元11001提供的M个版本的处理区域信息中识别输入图像中的M个版本的处理区域，并且基于从连续性设置单元11002提供的M个版本处理区域的每个的连续性信息，识别与M个版本处理区域图像数据的每个相对应的现实世界1信号的连续性。此外，模型生成单元11011对于输入图像中M个版本处理区域的每个，根据构成每个处理区域的像素以及与处理区域的图像数据相对应的现实世界1信号的连续性，来产生用作模拟处理区域中每个像素的像素值与现实世界1信号之间关系的模型的函数，从而将关于M个版本处理区域的每个而获得的M个版本的函数提供给公式生成单元11012。

公式生成单元11012从处理区域设置单元11001提供的M个版本的处理区域信息中识别输入图像中的M个版本的处理区域，并且对于M个版本处理区域的每个，将构成输入图像所必需的像素的像素值代入用作已经从模型生成单元11011提供的模型的函数中，从而产生获得近似现实世界1信号的近似函数的公式，其然后提供给现实世界波形估计单元11013。

现实世界波形估计单元11013求解从公式生成单元11012提供的M个版本处理区域的公式，从而对于M个版本处理区域的每个估计现实世界1信号的波形，也就是，获得用作模拟现实世界1信号的模型的近似函数，并且将M个版本处理区域的每个的近似函数提供给图像生成单元11004。

在步骤S11007的处理之后，流程前进到步骤S11008，在那里图像生成单元11004基于从现实世界估计单元11003(的现实世界波形估计单元11013)提供的、关于M个版本处理区域的每个的近似函数产生更接近现实世界1信号的信号。也就是说，对于M个版本处理区域的每个，图像生成单元11004从处理区域设置单元11001提供的M个版本的处理区域信息中识别输入图像中的M个版本的处理区域，并且基于关于从现实世界估计单元11003提供的相应处理区域的近似函数，产生作为更接近现实世界1信号的图像数据的近似图像。此外，图像生成单元11004产生输入图像中M个版本的处理区域部分已经用关于相应处理区域而获得的近似图像取代的M个版本的图像作为输出图像，其然后提供给图像显示单元11005，并且流程从步骤S11008前进到步骤S11009。

在步骤S11009中，图像显示单元11005显示从图像生成单元11004提供的M个版本的输出图像，代替步骤S11001中显示的输入图像，或者与输入图像一起，并且流程前进到步骤S11010。

在步骤S11010中，用户I/F 11006确定是否存在由用户操作用户I/F 11006的选择信息的输入。也就是说，M个版本的输出图像在步骤S11009中显示在图像显示单元11005上，并且在步骤S11010中确定已经观看M个版本输出图像的用户是否已经通过操作用户I/F 11006输入从M个版本的输出图像中选择具有期望质量的图像或者具有更接近期望图像的质量的图像的选择信息。

如果在步骤S11010中确定不存在选择信息的输入，流程前进到步骤S11013，并且与步骤S11003中的情况一样，由用户I/F 11006确定是否存在结束指令的输入。

如果在步骤S11013中确定已经存在结束指令的输入，信号处理设备4结束处理。

而且，如果在步骤S11013中确定不存在结束指令的输入，流程返回到步骤S11010，此后重复相同的处理。

另一方面，如果在步骤S11010中确定已经存在选择信息的输入，也就是，如果已经观看显示在图像显示单元11005上的M个版本的输出图像的用户已经从M个版本的输出图像中选择期望图像或者更接近期望图像的图像，流程前进到步骤S11011，在那里用户I/F 11006确定是否存在由用户操作用户I/F 11006的最终确定指令的输入，该指令用于最终确定用户已经选作最终输出图像的输出图像。

如果在步骤S11011中确定存在最终确定指令的输入，流程前进到步骤S11012，在那里图像显示单元11005例如在其整个屏幕上显示用户已经选择的输出图像，并且处理结束。

而且，如果在步骤S11011中确定不存在最终确定指令的输入，也就是，如果用户已经发现所选输出图像的图像质量不令人满意，并且还没有执行最终确定指令的输入以便再次执行处理，流程返回到步骤S11004，在那里用户I/F 11006将表示用户已经选择的输出图像的选择信息，作为帮助信息提供给处理区域设置单元11001，并且流程前进到步骤S11005。

在步骤S11005中，处理区域设置单元11001基于用作从用户I/F11006提供的帮助信息的选择信息重新设置M个即多个处理区域。也就是说，在该情况下，在步骤S11005中，处理区域设置单元11001基于用于获得由选择信息表示的输出图像的输入图像处理区域，重新设置M个版本的处理区域，其中选择信息用作已经从用户I/F 11006提供的帮助信息。此外，在步骤S11005中，处理区域设置单元11001将表示新的M个版本处理区域的M个版本的处理区域信息提供给连续性设置单元11002，现实世界估计单元11003，以及图像生成单元11004。然后流程从步骤S11005前进到步骤S11006，在那里相同的处理在此后重复。

也就是说，因此，步骤S11004～S11013的该处理重复，最终处理区域被设置，借此具有用户期望图像质量的输出图像被获得，因此用户获得具有期望图像质量的输出图像。

如上所述，对于图113中所示的信号处理设备4，作为输入图像处理结果的M个版本的输出图像展示给用户，供用户从M个版本的输出图像中选择期望的一个，并且处理基于选择结果而再次执行，所以满足用户喜好的高质量输出图像可以容易地获得。也就是说，信号处理设备4向用户展示作为输入图像处理结果的M个版本的输出图像。另一方面，用户识别并判断M个版本输出图像的每个的图像质量，并且提供反馈给信号处理设备4。信号处理设备4基于来自用户的反馈再次处理输入图像，此后重复相同的处理。因此，满足用户喜好的高质量输出图像可以容易地获得。

现在，可以说接收来自用户的反馈并且在输入图像上执行处理的信号处理设备4意味着信号处理设备4与用户合作执行处理。

接下来，图115说明图113中所示处理区域设置单元11001的详细构造实例。

输入图像提供给图像存储器11021，并且图像存储器11021存储提供到那里的输入图像。特征提取单元11022提取构成存储在图像存储器11021中的输入图像的每个像素的特征，并且将其提供给特征存储器11023。

注意，特征提取单元11022能够提取例如颜色分量，表示边缘存在或不存在或者像素值之间变化的陡度(或平滑度)的空间活动性，水平方向和垂直方向之间空间和活动性差异的绝对值，多种类型特征的组合等作为像素特征。

现在，如果某个对象(对象)例如在输入图像中水平方向上运动，在显示对象的部分处存在水平方向上的运动模糊。在这种水平方向上的运动模糊出现的像素处，与垂直方向上的空间活动性相比较水平方向上的空间活动性较大。因此，在该情况下，如果水平方向和垂直方向之间空间活动性的差的绝对值用作像素特征，特征值大。

特征存储器11023存储从特征提取单元11022提供的构成输入图像的每个像素的特征。

指定像素特征检测单元11024在控制单元11027的控制下，从存储在特征存储器11023中的特征中检测由从用户I/F 11006(图113)提供的处理区域指定信息表示的点处像素(以下称作指定像素，如果适当的话)的特征，并且将其作为指定像素特征提供给近似特征区域检测单元11025。

近似特征区域检测单元11025检测由具有近似从指定像素特征检测单元11024提供的指定像素特征的特征的像素构成的M个版本的输入图像区域，并且将这些作为处理区域提供给区域信息生成单元11026。

也就是说，近似特征区域检测单元11025获得存储在特征存储器11023中构成输入图像的每个像素的特征，以及使用预先确定的识别函数获得到从指定像素特征检测单元11024提供的指定像素特征的距离。此外，近似特征区域检测单元11025从构成输入图像的像素中检测具有如下特征的像素，即到从指定像素特征检测单元11024提供的指定像素特征的距离等于阈值或在阈值内(以下称作近似特征像素，如果适当的话)，并且检测例如围绕近似特征像素的最小矩形区域作为近似特征区域。

近似特征区域检测单元11025对于从随后描述的阈值设置单元11028提供的M个阈值的每个检测近似特征区域，并且将作为其结果而获得的M个版本的近似特征区域作为处理区域提供给区域信息生成单元11026。

区域信息生成单元11026产生表示从近似特征区域检测单元11025提供的M个版本处理区域的M个版本的处理区域信息，并且输出。

控制单元11027接收用作从用户I/F 11006(图113)提供的帮助信息的处理区域指示信息或选择信息，并且根据该处理区域指示信息或选择信息控制指定像素特征检测单元11024或阈值设置单元11028。

阈值设置单元11028在控制单元11027的控制下设置由近似特征区域检测单元11025使用的M个阈值，并且将这些提供给近似特征区域检测单元11025。

接下来，将参考图116中所示的流程图描述图115中所示处理区域设置单元11001执行的处理(处理区域设置处理)。

处理区域设置处理在输入图像例如提供给处理区域设置单元11001时开始。

也就是说，在处理区域设置处理中，首先，在步骤S11031中，图像存储器11021存储提供给处理区域设置单元11001的输入图像，并且流程前进到步骤S11032。在步骤S11032中，特征提取单元11022提取构成存储在图像存储器11021中的输入图像的每个像素的特征，并将其提供给特征存储器11023，并且流程前进到步骤S11033。在步骤S11033中，特征存储器11023存储从特征提取单元11022提供的、构成输入图像的每个像素的特征，并且流程前进到步骤S11034。

在步骤S11034中，控制单元11027确定是否存在来自用户I/F11006的处理区域指示信息的输入。如果在步骤S11034中确定不存在处理区域指示信息的输入，流程前进到步骤S11035，在那里控制单元11027确定是否存在由用户操作用户I/F 11006的指示信号处理设备4处理结束的结束指令的输入。

如果在步骤S11035中确定存在结束指令的输入，处理区域设置单元11001结束处理区域设置处理。

而且，如果在步骤S11035中确定不存在结束指令的输入，流程返回到步骤S11034，此后重复相同的处理。

如果在步骤S11034中确定存在处理区域指示信息的输入，控制单元将处理区域指示信息提供给指定像素特征检测单元11024，并且流程前进到步骤S11036。

在步骤S11036中，指定像素特征检测单元11024从存储在特征存储器11023中的特征中，检测由从控制单元11027提供的处理区域指示信息表示的点处像素(指定像素)的特征，并且将其作为指定像素特征提供给近似特征区域检测单元11025，并且流程前进到步骤S11037。

在步骤S11037中，阈值设置单元11028设置提供给近似特征区域检测单元11025的M个阈值，并且流程前进到步骤S11038。现在，M个不同的默认值例如存储在阈值设置单元11028中，并且M个不同的默认值在步骤S11037中设置为M个阈值。另一种配置可以这样进行，其中阈值设置单元11028在步骤S11037中基于指定像素特征设置M个可变阈值，也就是例如通过将存储在特征存储器11023中具有关于指定像素特征的最大差(量值)的特征与指定像素特征之间的差平均除以M+1或更大而获得的升序排列的M个值，作为M个阈值。

在步骤S11038中，近似特征区域检测单元11025对于从阈值设置单元11028提供的M个阈值的每个检测近似特征区域，该近似特征区域是围绕具有近似从指定像素特征检测单元11024提供的指定像素特征的特征的像素的最小矩形区域。

也就是说，近似特征区域检测单元11025使用预先确定的识别函数，获得存储在特征存储器11023中构成输入图像的每个像素的特征，与从指定像素特征检测单元11024提供的指定像素特征之间的距离。此外，近似特征区域检测单元11025从阈值设置单元11028提供的M个阈值中取任意阈值作为关注阈值，从构成输入图像的像素中检测近似特征像素，其是具有到指定像素特征的距离在关注阈值内的特征的像素，并且检测围绕近似特征像素的最小矩形区域作为与关注阈值相对应的近似特征区域。近似特征区域检测单元11025将从阈值设置单元11028提供的M个阈值的全部作为关注阈值，并且检测与M个阈值的每个相对应的近似特征区域。注意，方案可以这样进行，其中检测为近似特征像素的像素仅局限于距离指定像素的位置在预先确定范围内的那些。

近似特征区域检测单元11025然后从步骤S11038前进到S11039，并且将关于M个阈值的每个而检测的近似特征区域设置为处理区域，其提供给区域信息生成单元11026。此外，在步骤S11039中，区域信息生成单元11026产生并输出表示从近似特征区域检测单元11025提供的M个版本处理区域的M个版本的处理区域信息，并且流程前进到步骤S11040。

在步骤S11040中，控制单元11027确定选择信息是否已经从用户I/F 11006提供，并且如果确定选择信息没有提供，流程前进到步骤S11042。在步骤S11042中，控制单元11027确定是否存在由用户操作用户I/F 11006的最终确定指令或结束指令的输入。

在步骤S11042中，如果确定存在最终确定指令或结束指令的输入，处理区域设置单元结束处理。

而且，在步骤S11042中，如果确定不存在最终确定指令或结束指令的输入，流程返回到步骤S11040，此后重复相同的处理。

如果在步骤S11040中确定选择信息已经从用户I/F 11006提供给控制单元11027，控制单元11027控制阈值设置单元11028以便设置M个新的阈值，并且流程前进到步骤S11041。

在步骤S11041中，阈值设置单元11028根据控制单元11027的控制设置M个新的阈值。也就是说，在该情况下，阈值设置单元11028基于前一次设置的M个阈值中用于设置关于由从用户I/F 11006提供的选择信息选择的输出图像的处理区域的阈值，设置M个新的阈值。

特别地，阈值设置单元11028将用于设置由从用户I/F 11006提供的选择信息选择的输出图像的处理区域的阈值取作中心，并且以比先前设置的M个阈值中相邻阈值之间的间隔更近的间隔设置M个值，作为M个新的阈值。

阈值设置单元11028然后将M个新的阈值提供给近似特征区域检测单元11025，并且流程从步骤S11041返回到S11038。

在步骤S11038中，近似特征区域检测单元11025关于从阈值设置单元11028提供的新的M个阈值的每个，检测近似特征区域，其是围绕具有近似从指定像素特征检测单元11024提供的指定像素特征的特征的像素的最小矩形区域，此后重复相同的处理。

根据上述处理区域设置处理，M个处理区域即多个处理区域基于来自用户的处理区域指示信息设置，并且随后的处理基于M个处理区域的每个而执行。此外，作为处理结果的M个版本的输出图像被显示，并且当用户从其中选择输出图像时，M个版本的新的处理区域基于选择结果而设置，此后，重复相同的处理。因此，适当的处理区域通过用户从M个版本的输出图像中选择例如最接近期望图像质量的输出图像来由用户设置，因此，用户可以获得具有期望图像质量的输出图像。

注意虽然在上述配置中，首先，用户输入以指定像素表示的处理区域指示信息，并且指定像素基于处理区域指示信息在处理区域设置单元11001处设置；配置可以这样进行，其中指定像素被设置而没有来自用户的处理区域指示信息。也就是说，对于处理区域设置单元11001，连续性区域例如以与图3中所示数据连续性检测单元101相同的方法检测，并且连续性区域中的预先确定像素可以设置为指定像素。在该情况下，不需要用户输入处理区域指示信息，并且仅需要从M个版本的输出图像中选择最接近期望图像质量的输出图像。

而且，虽然在上述配置中，M个版本的处理区域被设置，输出图像对于这些M个处理区域的每个而显示，并且用户从这些中选择期望的输出图像；配置可以这样进行，其中例如表示M个版本处理区域的每个的一帧等显示在输入图像中，并且用户直接选择处理区域。

在该情况下，如果图像通过使用作为图像传感器的传感器2(图1)获取对象例如汽车等以恒定速度在水平方向上运动的场景而获得，并且(作为输入图像)显示在图像显示单元11005上，M个版本的处理区域由处理区域设置单元11001设置，当通过操作用户I/F 11006执行因对象运动而具有运动模糊的部分的指示时。此外，对于图像显示单元11005，如图118中所示，表示M个版本处理区域的每个的帧显示在输入图像上。现在，在图118中，表示三个处理区域的每个的帧被显示。当用户操作用户I/F 11006以便选择M个版本处理区域的一个时，现实世界估计单元11003和图像生成单元11004执行关于由用户选择的处理区域的处理，并且作为其处理结果的输出图像显示在图像显示单元11005上。

因此，在该情况下，将由现实世界估计单元11003和图像生成单元11004处理的处理区域可以容易地由用户选择。

接下来，图119说明图111中所示信号处理设备4的应用的另一种构造实例。

在图119中，处理区域设置单元11041，连续性设置单元11042，现实世界估计单元11043，图像生成单元11044，图像显示单元11045，以及用户I/F 11046，每个对应于图111中所示的处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F10006相同的处理。此外，在图119中，现实世界估计单元11043包括模型生成单元11051，公式生成单元11052，以及现实世界波形估计单元11053。模型生成单元11051，公式生成单元11052，以及现实世界波形估计单元11053对应于图111中的模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个，并且基本上执行与模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个相同的功能。

但是注意，在图119中，用户I/F 11046通过用户操作用户I/F11046输出的帮助信息仅提供给连续性设置单元11042。

也就是说，在图119中，用户可以通过操作用户I/F 11046指示与关于显示在图像显示单元11045上的图像的现实世界1连续性相关的信息，并且当用户执行操作以指示关于现实世界1连续性的信息时，表示

关于由该操作指示的连续性的信息的连续性指示信息作为帮助信息由用户I/F 11046提供给连续性设置单元11042。此外，在图119中，多个输出图像显示在图像显示单元11045上，如随后所述的，显示在图像显示单元11045上的输出图像可以由用户操作用户I/F 11046选择，并且当用户执行操作以选择输出图像时，用户I/F 11046将表示由操作选择的输出图像的选择信息作为帮助信息提供给连续性设置单元11042。

注意例如作为连续性指示信息的运动量将由用户操作用户I/F 11046输入。

也就是说，例如，让我们假定通过使用作为图像传感器的传感器2(图1)获取现实世界1中对象例如汽车以恒定速度在水平方向上运动的场景而获得的图像，作为输入图像输入到图119中所示的信号处理设备4。

在该情况下，与输入图像相对应的现实世界1的图像具有连续性，因为具有某种形状的对象(该情况下汽车)以恒定速度在水平方向上运动，并且用户观看输入图像并通过操作用户I/F 11046输入指示与输入图像相对应的现实世界1连续性的连续性指示信息。特别地，这里，用户I/F 11046配置有例如旋转或滑动音量(可变电阻器)等，并且当用户操作用户I/F 11046时，用户I/F 11046将表示与其操作相对应的运动量的连续值提供给连续性设置单元11042，作为连续性指示信息。

这里关于运动量，运动矢量可以使用例如所谓块匹配，以及使用的运动矢量的量值来检测。但是，在前景和背景的差运动分量交叉，例如图120A中所示，例如，一个汽车从左向右方向运动跨越的景物是背景，而从右向左方向运动的另一个汽车是前景的图像(输入图像)的情况下，精确地获得由图120B中矩形所指示的前景和背景的运动分量交叉的部分处的运动矢量非常困难。

也就是说，图120C说明关于由图120B中矩形所指示的部分通过块匹配而获得的每个块的运动矢量(图120C中所示，由图120B中矩形所指示的获得的运动矢量的部分处的运动矢量(放大的))。对于块匹配，匹配对于每个块执行而不区分前景和背景，所以可能难以精确地获得对象之间分界部分处块的运动矢量(在该情况下，前景汽车和背景汽车)。在如图120D中所示将块中心(重心位置)处的运动矢量取作该块的运动矢量的情况下，例如，在由图120C中阴影指示的块中，块匹配将获得与图120中所示真实的运动矢量相比较，不同于块中心点处运动矢量的不准确的运动矢量。

因此，对于图119中所示的信号处理设备4，用户输入输入图像中对象的运动量作为连续性指示信息，并且连续性基于连续性指示信息在连续性设置单元11042处设置。

接下来，将参考图121中的流程图描述图119中所示信号处理设备4的处理。

对于图119中的信号处理设备4，现实世界基于连续性而估计，因此，去除因传感器2的时间积分效应，因对象信号的时间方向混合(时间混合)而产生的运动模糊的处理被执行。

也就是说，在通过使用作为图像传感器的传感器2，获取对象例如汽车等正在运动的现实世界1中的图像而获得的输入图像中，对象随着时间而运动，所以该对象的光信号以及除该对象之外部分的光信号因传感器2的时间积分效应而混合(时间混合)，从而引起例如对象的边界部分等处的所谓运动模糊。图119中所示信号处理设备4产生因这种时间混合而出现的运动模糊已经从输入图像中去除的高质量输出图像。

对于图119中所示的信号处理设备4，首先，在步骤S11061中，执行预处理，并且流程前进到步骤S11062。也就是说，信号处理设备4将从传感器2(图1)作为数据3提供的例如输入图像的一帧或一场提供给处理区域设置单元11041，连续性设置单元11042，现实世界估计单元11043，图像生成单元11044，以及图像显示单元11045。此外，信号处理设备4将输入图像显示在图像显示单元11045上。

这里注意，通过使用传感器2获取对象例如汽车以恒定速度在水平方向上运动的场景而获得的、因时间混合而具有运动模糊的图像，作为输入图像输入到信号处理设备4。

在步骤S11062中，用户I/F 11046确定是否存在由用户操作用户I/F 11046的连续性指示信息的输入。如果在步骤S11062中确定不存在连续性指示信息的输入，流程前进到步骤S11063，在那里用户I/F11046确定是否存在由用户操作用户I/F 11046的指示信号处理设备4处理结束的结束指令的输入。

如果在步骤S11063中确定存在结束指令的输入，例如，如果已经观看显示在图像显示单元11045上的输入图像的用户没有感觉到输入图像的图像质量不令人满意，并且操作用户I/F 11046以便结束信号处理设备4的处理，因为不需要使输入图像经历信号处理，处理结束。

而且，如果在步骤S11063中确定不存在结束指令的输入，流程返回到步骤S11062，此后重复相同的处理。

另一方面，如果在步骤S11062中确定存在连续性指示信息的输入，也就是说，如果已经观看显示在图像显示单元11045上的输入图像的用户感觉到输入图像(在该情况下，存在运动模糊)的图像质量不令人满意，并且操作用户I/F 11046以便指示输入图像中对象的运动量，流程前进到步骤S11064，在那里用户I/F 11046将用户已经通过操作用户I/F 11046指示的表示运动量的连续性指示信息作为帮助信息提供给连续性设置单元11042，并且流程前进到步骤S11065。

在步骤S11065中，处理区域设置单元11041设置处理区域并将表示处理区域的处理区域信息提供给连续性设置单元11042，现实世界估计单元11043，以及图像生成单元11044，并且流程前进到步骤S11066。

现在调整配置可以这样进行，其中步骤S11065中处理区域的设置可以基于由用户输入的处理区域指示信息来执行，或者配置可以这样进行，其中这被执行而没有来自用户的处理区域指示信息。没有来自用户的处理区域指示信息的处理区域的实例设置是使用输入图像以及前一帧或后一帧的图像执行块匹配以从输入图像中检测运动矢量，并且基于运动矢量执行设置。也就是说，例如，围绕具有预先确定量值或更大的运动矢量的块的最小矩形区域可以设置为处理区域。

在步骤S11066中，连续性设置单元11042从处理区域设置单元11041提供的处理区域信息中识别输入图像中的处理区域。此外，连续性设置单元11042设置在处理区域处的图像数据中丢失的M个版本的现实世界1信号，并且将表示M个版本连续性的连续性信息提供给现实世界估计单元11043，并且流程前进到步骤S11067。

现在，如果连续性指示信息已经在前一个步骤S11064中作为帮助信息从用户I/F 11046提供，连续性设置单元11042基于连续性指示信息设置M个版本的连续性。也就是说，连续性设置单元11042设置以作为前一个步骤S11064中从用户I/F 11076提供的连续性指示信息的运动量为中心的M个版本的运动量，作为M个版本的连续性信息。

在步骤S11067中，现实世界估计单元11043根据相应现实世界1信号的连续性，对于输入图像中处理区域内的图像数据估计现实世界1信号。

也就是说，在现实世界估计单元11043处，模型生成单元11051从处理区域设置单元11041提供的处理区域信息中识别输入图像中的处理区域，并且从连续性设置单元11042提供的M个版本的连续性信息中，识别与处理区域中图像数据相对应的现实世界1信号的M个版本的连续性。此外，模型生成单元11051对于M个版本连续性的每个，根据构成输入图像中处理区域的像素以及与处理区域中图像数据相对应的现实世界1信号的连续性，来产生M个版本的函数作为模拟处理区域中每个像素的像素值与现实世界1信号之间关系的模型，从而将关于M个版本的连续性而获得的M个版本的函数提供给公式生成单元11052。

公式生成单元11052从处理区域设置单元11041提供的处理区域信息中识别输入图像中的处理区域，并且关于构成处理区域的像素，将输入图像中必需的像素的像素值代入用作从模型生成单元11051提供的模型的M个版本函数的每个中，从而产生获得近似现实世界1信号的近似函数的M个版本的公式，其然后提供给现实世界波形估计单元11053。

现实世界波形估计单元11053求解从公式生成单元11052提供的M个版本的公式，从而估计M个版本的现实世界1信号波形，也就是，获得用作模拟现实世界1信号的模型的近似函数，并且将M个版本的近似函数提供给图像生成单元11044。

在步骤S11067的处理之后，流程前进到步骤S11068，在那里图像生成单元11044基于从现实世界估计单元11043(的现实世界波形估计单元11053)提供的M个版本的近似函数产生更接近现实世界1信号的恰好M个版本的信号。也就是说，图像生成单元11044从处理区域设置单元11041提供的处理区域信息中识别输入图像中的处理区域，并且基于关于处理区域从现实世界估计单元11043提供的M个版本的近似函数，产生作为更接近与现实世界1信号相对应的图像的图像数据的恰好M个版本的近似图像。此外，图像生成单元11044产生输入图像的处理区域部分已经用M个版本的近似图像取代的M个版本的图像作为输出图像，其然后提供给图像显示单元11045，并且流程从步骤S11068前进到步骤S11069。

在步骤S11069中，图像显示单元11045显示从图像生成单元11044提供的M个版本的输出图像，代替步骤S11061中显示的输入图像，或者与输入图像一起，并且流程前进到步骤S11070。

在步骤S11070中，用户I/F 11046确定是否存在由用户操作用户I/F 11046的选择信息的输入。也就是说，在步骤S11069中，M个版本的输出图像显示在图像显示单元11045上，并且在步骤S11070中确定已经观看M个版本输出图像的用户是否已经通过操作用户I/F 11046输入从M个版本的输出图像中选择具有期望图像质量或接近期望图像质量的图像(在该情况下，运动模糊已经从其中去除的图像)的选择信息。

在步骤S11070中，如果确定不存在选择信息的输入，流程前进到步骤S11073，在那里由用户I/F 11046确定是否存在结束指令的输入，以与步骤S11063中相同的方法。

如果在步骤S11073中确定已经存在结束指令的输入，信号处理设备4结束处理。

而且，如果在步骤S11073中确定不存在结束指令的输入，流程返回到步骤S11070，此后重复相同的处理。

另一方面，如果在步骤S11070中确定已经存在选择信息的输入，也就是说，已经观看显示在图像显示单元11045上的M个版本的输出图像的用户已经从M个版本的输出图像中选择具有期望图像质量或接近期望图像质量的图像，流程前进到步骤S11071，在那里用户I/F11046确定是否存在由用户操作用户I/F 11046的最终确定信息的输入，该信息用于最终确定用户已经选作最终输出图像的输出图像。

在步骤S11071中，如果确定存在最终确定指令的输入，流程前进到步骤S11072，在那里图像显示单元11045例如在其整个屏幕上显示用户已经选择的输出图像，并且处理结束。

而且，在步骤S11071中，如果确定不存在最终确定指令的输入，也就是说，如果用户感觉到所选输出图像的图像质量不令人满意，因此没有输入最终确定指令以便再次执行处理，流程返回到步骤S11064，在那里用户I/F 11046将表示用户已经选择的输出图像的选择信息作为帮助信息提供给连续性设置单元11042，并且流程前进到步骤S11065。

在步骤S11065中，处理区域设置单元11041以与上述相同的方法设置处理区域，将表示处理区域的处理区域信息提供给连续性设置单元11042，现实世界估计单元11043，以及图像生成单元11044，并且流程前进到步骤S11066。现在，如果在这里设置的处理区域与先前步骤S11065的处理中设置的相同，例如，因此将执行步骤S11064～S11076的循环处理，从第二次起步骤S11065的全部处理可以跳过。

在步骤S11066中，连续性设置单元11042基于用作从用户I/F11046提供的帮助信息的选择信息，重新设置M个即多个版本的连续性。也就是说，在该情况下，在步骤S11066中，连续性设置单元11042基于关于用于获得选择信息表示的输出图像的输入图像而设置的连续性，设置新的M个版本的连续性，其中选择信息用作从用户I/F 11046提供的帮助信息。此外，在步骤S11066中，连续性设置单元11042将表示新的M个版本连续性的M个版本的连续性信息提供给现实世界估计单元11043和图像生成单元11044。然后流程从步骤S11066前进到S11067，此后重复相同的处理。

也就是说，步骤S11064～S11073的处理这样重复，直到最终，连续性被设置，借此用户期望的图像质量，特别地，在该情况下，其运动模糊已经(充分)去除的输出图像被获得，因此用户获得具有期望图像质量的输出图像。

如上所述，对于图119中所示的信号处理设备4，用户被展示有作为输入图像上处理结果的M个版本的输出图像，用户从M个版本的输出图像中选择期望的一个，并且再处理基于选择结果而执行，所以满足用户喜好的高质量输出图像可以容易地获得。也就是说，信号处理设备4向用户展示M个版本的输出图像作为关于输入图像的处理结果。另一方面，用户识别M个版本输出图像的每个的图像质量，经过判断，并且给予信号处理设备4关于具有良好图像质量的输出图像的反馈。信号处理设备4基于来自用户的反馈再次处理输入图像，此后重复相同的处理。因此，满足用户喜好的高质量输出图像可以容易地获得。

注意，与对于图113中所示信号处理设备4的情况一样，配置可以对于图119中所示信号处理设备4这样进行，其中M₁个即多个处理区域被设置，用户从M₁个版本的处理区域中选择期望的一个，之后M₂个即多个版本的连续性关于仅用户已经选择的处理区域而设置，以便获得M₂个版本的输出图像。

此外，注意，与图113中所示信号处理设备4的情况一样，对于图119中所示信号处理设备4，配置可以这样进行，其中处理区域设置单元11041设置M₁个即多个版本的处理区域，并且连续性设置单元11042关于M₁个版本处理区域的每个设置M₂个即多个版本的连续性，从而产生M₁×M₂个版本的输出图像，使得用户可以从其中选择期望的一个。

接下来，图122说明图119中所示连续性设置单元11042的详细构造实例。

图像存储器11061提供有输入图像，以及如果必要的话，输入图像之前或之后的帧的图像，并且图像存储器11061存储提供到那里的图像。

运动检测单元11062提供有来自处理区域设置单元11041的处理区域信息，运动检测单元11062从该图像存储器11061中读出由处理区域信息识别的输入图像中处理区域的图像数据等，检测表示处理区域中数据连续性的运动，并且将其提供给运动候选设置单元11063。

注意运动检测单元11062能够通过块匹配例如检测运动，或者可以通过其他技术检测运动。其他技术将随后描述。

现在，虽然图122说明连续性设置单元11042的构造包括图像存储器11061和运动检测单元11062，配置可以这样进行，其中连续性设置单元11042仅由随后描述的运动候选设置单元11063，连续性信息生成单元11064，以及控制单元11065构成，而没有图像存储器11061和运动检测单元11062，如果仅与输入图像相对应的现实世界1的连续性被设置而不从输入图像(处理区域)中检测运动，也就是例如，如果仅现实世界1的连续性基于从用户输入的连续性指示信息而设置。

运动候选设置单元11063基于从运动检测单元11062提供的表示处理区域中数据连续性的运动，来设置表示相应现实世界1的连续性的运动的M个版本的候选，并且将这些提供给连续性信息生成单元11064。或者，运动候选设置单元11063遵循控制单元11065的控制来设置表示输入图像处理区域中的现实世界1连续性的运动的M个版本的候选，其提供给连续性信息生成单元11064。

连续性信息生成单元11064产生表示从运动候选设置单元11063提供的M个版本运动候选的每个的连续性信息，并且将M个版本的连续性信息输出到现实世界估计单元11046(图119)。

控制单元11065接收用作从用户I/F 11046(图119)提供的帮助信息的连续性指示信息或选择信息，并且根据连续性指示信息或选择信息控制运动候选设置单元11063。

现在，将参考图123中所示的流程图描述图122中所示连续性设置单元11042执行的处理(连续性设置处理)。

连续性设置处理在输入图像提供给图119中所示的信号处理设备4时开始，例如。

也就是说，对于连续性设置处理，首先，在步骤S11081中，控制单元11065确定是否存在从用户I/F 11046(图119)的连续性指示信息的输入。如果在步骤S11081中确定不存在连续性指示信息的输入，流程前进到步骤S11082，在那里控制单元11065确定是否存在由用户操作用户I/F 11046的指示信号处理设备4处理结束的结束指令的输入。

在步骤S11082中，如果确定存在结束指令的输入，连续性设置单元11042结束连续性设置处理。

而且，如果在步骤S11082中确定不存在结束指令的输入，流程返回到步骤S11081，此后重复相同的处理。

如果在步骤S11082中确定存在连续性指示信息的输入，控制单元11065将连续性指示信息提供给运动候选设置单元11063，并且流程前进到步骤S11083。

在步骤S11083中，运动候选设置单元11063基于从控制单元11065提供的连续性指示信息表示的运动量，设置输入图像处理区域中对象运动量的M个版本的候选(运动候选)，将M个版本的运动候选提供给连续性信息生成单元11064，并且流程前进到步骤S11084。现在，配置可以这样进行，其中在步骤S11083中，例如以连续性指示信息表示的运动量为中心的、以预先确定间隔的M个值设置为M个版本的运动量候选。注意，该情况下预先确定的间隔可能是恒定值，或者可能随着远离连续性指示信息表示的运动量而增大或减小。

在步骤S11084中，连续性信息生成单元11064产生并输出表示从运动候选设置单元11063提供的M个版本运动量候选的M个版本的连续性信息，并且流程前进到步骤S11085。

在步骤S11085中，控制单元11065确定选择信息是否已经从用户I/F 11046提供，并且如果确定选择信息没有提供，流程前进到步骤S11086。在步骤S11086中，控制单元11065确定是否存在由用户操作用户I/F 11046的最终确定指令或结束指令的输入。

如果在步骤S11086中确定存在最终确定指令或结束指令的输入，连续性设置单元11042结束连续性设置处理。

而且，如果在步骤S11086中确定不存在最终确定指令或结束指令的输入，流程返回到步骤S11085，此后重复相同的处理。

如果在步骤S11085中确定选择信息已经从用户I/F 11046输入到控制单元11065，控制单元11065控制运动候选设置单元11063以便设置M个新的运动量候选，并且流程前进到步骤S11087。

在步骤S11041中，运动候选设置单元11063在控制单元11065的控制下设置M个新的运动量候选。也就是说，在该情况下，运动候选设置单元11063基于用作用来获得由从用户I/F 11046提供的选择信息从先前设置的M个运动量候选中选择的输出图像的连续性信息的运动量候选，设置M个新的运动量候选。

特别地，运动候选设置单元11063以用来获得由从用户I/F 11046提供的选择信息选择的输出图像的运动量候选为中心，以比先前设置的M个运动量候选中相邻运动量候选之间的间隔短的间隔设置值，作为M个新的运动量候选。

运动候选设置单元11063将M个新的运动候选提供给连续性信息生成单元11064，并且流程从步骤S11087返回到S11084。

在步骤S11084中，连续性信息生成单元11064产生并输出表示从运动候选设置单元11063提供的M个新的运动量候选的M个版本的连续性信息，流程前进到步骤S11085，此后重复相同的处理。

根据上面的连续性设置处理，M个即多个版本的连续性基于来自用户的连续性指示信息而设置，并且随后的处理对于M个版本连续性的每个而执行。此外，M个版本的输出图像作为其处理结果而显示，并且当用户从其中选择输出图像时，M个新版本的连续性基于选择结果而设置，此后重复相同的处理。因此，适当的连续性设置例如由用户从M个版本的输出图像中选择最接近期望图像质量的输出图像而执行，从而使得用户能够获得图像质量接近期望的输出图像。

现在，虽然上述情况是如下配置，其中首先，用户输入表示输入图像中对象的运动量的连续性指示信息，并且连续性设置单元11042基于连续性指示信息设置第一M个版本的运动量候选，但是配置可以这样进行，其中第一M个版本的运动候选被设置而没有来自用户的连续性指示信息。也就是说，配置可以这样进行，其中在连续性设置单元11042处，输入图像存储在图像存储器11061中，存储在图像存储器11061中的输入图像处理区域中的运动量由运动检测单元11062检测，并且第一M个版本的运动量候选例如基于检测的运动量来设置。

而且，配置可以这样进行，其中在连续性设置单元11042处，第一M个版本的运动量候选基于以由连续性指示信息表示的运动量或由运动检测单元11062检测的运动量为中心的某个运动量范围，或者与连续性指示信息表示的或由运动检测单元11062检测的运动量无关的某个运动量范围而设置。

现在，在基于某个运动量范围设置第一M个版本的运动量候选，随后根据用户对输出图像的选择设置M个新版本的运动量的情况下连续性设置单元11042的处理，将参考图124中的流程图描述。注意，用于设置M个版本运动量候选的运动量范围的最小值和最大值将分别称作最小运动量V_min和最大运动量V_max，如果适当的话。

在该情况下，首先，在步骤S11091中，控制单元11065通过将从最小运动量V_min到最大运动量V_max的范围平均划分成M+1份来获得M个点，将这些提供给运动候选设置单元11063，并且流程前进到步骤S11092。在步骤S11092中，控制单元11065获得将从最小运动量V_min到最大运动量V_max的范围平均划分成M+1份的M个点中相邻点之间的距离L，并且流程前进到步骤S11093。

在步骤S11093中，运动候选设置单元11063将从控制单元11065提供的M个点的值设置为M个运动量候选，并将M个运动量候选提供给连续性信息生成单元11064，并且流程前进到步骤S11094。

在步骤S11094中，连续性信息生成单元11064产生并输出表示从运动候选设置单元11063提供的M个运动量候选的M个版本的连续性信息，并且流程前进到步骤S11095。

在步骤S11095中，控制单元11065确定选择信息是否已经从用户I/F 11046提供，并且如果确定选择信息没有提供，流程前进到步骤S11096。在步骤S11096中，控制单元11065确定是否存在由用户操作用户I/F 11046的最终确定指令或结束指令的输入。

如果在步骤S11096中确定存在最终确定指令或结束指令的输入，连续性设置单元11042结束连续性设置处理。

而且，如果在步骤S11096中确定不存在最终确定指令或结束指令的输入，流程返回到步骤S11095，此后重复相同的处理。

如果在步骤S11095中确定选择信息已经从用户I/F 11046提供给控制单元11065，流程前进到步骤S11097，在那里控制单元11065将先前设置的M个版本的运动量候选中、用作获得以产生由从用户I/F 11046提供的选择信息选择的输出图像的连续性信息的运动量候选V_a，增加或减去前一个步骤S11092中获得的距离L，并且分别将其加法值或减法值重新设置为最大运动量V_max或最小运动量V_min。

随后，流程从步骤S11097返回到S11091，此后重复相同的处理。

因此，对于M为3，例如，连续性设置单元11042首先获得将从最小运动量V_min到最大运动量V_max的范围平均划分成4份的3个点v₁，v₂和v₃，如图125中所示，使得3个点的值设置为3个运动量候选v₁，v₂和v₃，并且相邻的3个运动量候选v₁，v₂和v₃(v₁和v₂，以及v₂和v₃)之间的距离L获得。

此外，如果我们假定用户已经从关于三个版本的运动量候选v₁，v₂和v₃而获得的输出图像中，选择关于运动量候选v₂例如而获得的输出图像，连续性设置单元11042将通过将用于获得所选输出图像的运动量候选v_a(在该情况下是v₂)增加或减去距离L而获得的值分别设置为新的最大运动量V_max′或最小运动量V_min′，如图125中所示，获得将从最小运动量V_min′到最大运动量V_max′的范围平均划分成4份的3个点v₁′，v₂′和v₃′，使得3个点的值设置为3个运动量候选v₁′，v₂′和v₃′，而且相邻3个运动量候选v₁′，v₂′和v₃′(v₁′和v₂′，以及v₂′和v₃′)之间的距离L′也获得。

然后，如果我们假定用户已经从关于三个运动量候选v₁′，v₂′和v₃′而获得的输出图像中，选择关于运动量候选v₁′例如而获得的输出图像，连续性设置单元11042将通过将用于获得所选输出图像的运动量候选v_a′(在该情况下是v₁′)增加或减去距离L′而获得的值分别设置为新的最大运动量V_max″或最小运动量V_min″，如图125中所示，获得将从最小运动量V_min″到最大运动量V_max″的范围平均划分成4份的3个点v₁″，v₂″和v₃″，使得3个点的值设置为3个运动量候选v₁″，v₂″和v₃″，而且相邻3个运动量候选v₁″，v₂″和v₃″(v₁″和v₂″，以及v₂″和v₃″)之间的距离L″也获得。

此后，运动量候选的范围以相同的方法变窄，直到最后，具有真实值(工作非常接近真实值)作为连续性信息的输出图像获得。

也就是说，例如，让我们假定M为3，并且最小运动量V_min和最大运动量V_max分别为0和50。此外，让我们假定用作输入图像的图像具有例如通过拍摄以恒定速度在水平方向上运动的对象例如汽车等而获得的运动模糊，如图126A中所示，例如，并且物体运动的速度，即运动量的真实值是20。

在该情况下，连续性设置单元获得将从最小运动量0到最大运动量50的范围平均划分成4份的3个点，并且3个点的值设置为3个运动量候选。因此，13(＝1×50/4)，25(＝2×50/4)，37(＝3×50/4)设置为3个运动量候选。注意，您的值中通过舍入小于小数点的值而用于运动量候选的值，如果适当的话。

随后，输入图像在现实世界估计单元11043和图像生成单元11044处关于3个运动量候选13，25和37而处理，所以作为关于3个运动量候选13，25和37处理输入图像的结果的三个版本的输出图像显示在图像显示单元11045上，如图126B中所示。

用户选择这三个输出图像中对象轮廓最清晰的一个，也就是输入图像中的运动模糊减小最多的输出图像。在该情况下，真实运动值是20，所以关于三个运动量候选13，25，和37而获得的输出图像中，关于最接近真实运动量20的例如运动量候选25而获得的输出图像具有运动模糊的最大减小。因此，用户选择关于运动量候选25而获得的输出图像。

另一方面，将从最小运动量零到最大运动量50的范围平均划分成四份的三个点之间的距离L是50/4，所以当用户选择输出图像时，连续性设置单元11042设置将用于获得所选输出图像的运动量候选25增加或减去距离50/4的值，将这些每个取作新的最大运动量或最小运动量，并且设置将最小运动量到最大运动量的范围平均划分成四份的三个点作为三个新的运动量候选。

因此，在该情况下，19((＝1×50/4+25)/2)，25(＝2×50/4)，31((＝3×50/4-25)/2)设置为3个运动量候选。

随后，输入图像在现实世界估计单元11043和图像生成单元11044处关于3个运动量候选19，25，和31而处理，所以三个版本的输出图像，其是关于3个运动量候选19，25，和31处理输入图像的结果，显示在图像显示单元11045上，如图126C中所示。

此后重复相同的处理，借此运动量的真实值设置为运动量候选，并且输出图像关于真实运动量而获得。

也就是说，在作为关于三个运动量候选19，25和31的输入图像处理结果的三个输出图像中，关于最接近真实运动量20的运动量候选19而获得的输出图像，例如具有运动模糊的最大减小(最清晰)。因此，用户选择关于运动量候选19而获得的输出图像。

在该情况下，连续性设置单元11042以与上述相同的方法设置三个新的运动量候选16，19，22，从而作为关于三个运动量候选16，19和22的输入图像处理结果的3个输出图像显示在图像显示单元11045上，如图126D中所示。

在作为关于三个运动量候选16，19和22的输入图像处理结果的三个输出图像中，关于最接近真实运动量20的运动量候选19而获得的输出图像例如具有运动模糊的最大减小(最清晰)。因此，用户选择关于运动量候选19而获得的输出图像。

在该情况下，连续性设置单元11042以与上述相同的方法设置三个新的运动量候选18，19，20，从而作为关于三个运动量候选18，19和20的输入图像处理结果的3个输出图像显示在图像显示单元11045上，如图126E中所示。

运动量候选20是真实运动量，因此关于运动量候选20而获得的输出图像具有运动模糊从输入图像中的最大减小(最清晰)。

将真实值设置为表示现实世界1连续性的运动量使得输出图像能够由现实世界估计单元11043和图像生成单元11044获得，其中因时间混合而发生的运动模糊被去除(减小)。但是，可能存在这种情况，其中仅使用信号处理设备4从输入图像中获得现实世界1连续性的真实值是困难的。因此，存在一种方法，其中用户输入现实世界1连续性的真实值，但是用户输入用数值表示的现实世界1连续性的真实值例如运动量等是困难的。

另一方面，用户可以简单地通过观看作为处理结果的输出图像，容易地确定或识别图像质量是否已经在输出图像中提高，例如运动模糊是否减小。

因此，运动模糊可以通过信号处理设备4关于M个运动量候选处理输入图像以便获得M个版本的输出图像，使得用户从M个输出图像中选择具有运动模糊最大改善的输出图像，根据其选择结果设置M个新的运动量候选，关于M个运动量候选获得M个输出图像，并且重复该处理而以非常有效地方式去除，如上所述。

也就是说，信号处理设备4向用户展示处理结果，并且让用户执行人类擅长的图像质量识别和判断。信号处理设备4根据识别和判断来接收反馈并且执行再处理。这样，具有更接近与现实世界1信号相对应的图像的图像质量的图像可以容易地通过用户与信号处理设备4之间的合作而获得，其中用户执行人类擅长的识别和判断，而信号处理设备4接收识别和判断反馈并且执行它擅长的处理(信号处理)。

现在，作为在输入图像上关于M个运动量候选的处理结果的M个输出图像中，基本上，关于最接近真实运动量的运动量候选而获得的输出图像将具有运动模糊的最大减小，但是可能存在这种情况，其中用户做错输出图像的图像质量识别和判断，并且选择不是关于最接近真实运动量的运动量候选而获得的输出图像的输出图像。在这种情况下，基本上，关于随后设置的新的M个运动量候选的每个而获得的输出图像的图像质量将在先前输出图像的图像质量上退化，所以用户可以认识到输出图像的前一次选择是错误的。为了处理这种情况，图像显示单元11045优选地显示“返回”按钮，例如，借此信号处理设备4的状态可以返回到前一次输出图像选择之前即刻的状态，所以在用户操作“返回”按钮的情况下，信号处理设备4的状态返回到前一次输出图像选择之前即刻的状态。

而且，虽然这里进行的描述已经使用通过拍摄运动对象而获得的图像作为输入图像，其他实例包括使用运动模糊因具有用于拍摄物体的传感器2的照相机运动而发生的图像，例如图像用运动的手拍摄，作为输入图像。如果输入图像具有照相机抖动模糊，照相机抖动模糊已经校正的图像可以作为输出图像而获得。因此，图119中的信号处理设备4可以用作运动模糊去除设备或照相机抖动模糊校正设备。

图127说明图111中所示信号处理设备4的应用实例的一种实施方案的构造实例。

在图127中，处理区域设置单元11071，连续性设置单元11072，现实世界估计单元11073，图像生成单元11074，图像显示单元11075，以及用户I/F 11076，每个对应于图111中所示的处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F10006相同的处理。此外，在图127中，现实世界估计单元11073包括模型生成单元11081，公式生成单元11082，以及现实世界波形估计单元11083。模型生成单元11081，公式生成单元11082，以及现实世界波形估计单元11083对应于图111中的模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个，并且基本上执行与模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个相同的处理。

但是注意，在图127中，用户I/F 11076通过用户操作用户I/F11076输出的帮助信息仅提供给现实世界估计单元11073。

也就是说，在图127中，用户可以通过操作用户I/F 11076指示关于用于估计现实世界1信号的模型的模型信息，并且当用户执行操作以指示模型信息时，用户I/F 11076将表示由操作指示的模型信息的模型信息指示作为帮助信息提供给现实世界估计单元11073。此外，在图127中，多个输出图像显示在图像显示单元11075上，如随后描述的，并且显示在图像显示单元11075上的输出图像可以由用户操作用户I/F11076选择，并且当用户执行操作以选择输出图像时，用户I/F 11076将表示由操作选择的输出图像的选择信息作为帮助信息提供给现实世界估计单元11073。

现在，用于估计现实世界1信号的模型包括用作模拟现实世界1光信号波形(例如，表达式(46)中所示多项式f₃(x)＝(w₀+w₁x+w₂x²+...w_nxⁿ等)的模型的近似函数，以及用作使用近似函数(例如表达式(103)或表达式(104)等)模拟由传感器2获得的图像数据中每个像素的像素值与现实世界1光信号之间关系的模型的函数(表达式)。以下，模拟现实世界1光信号波形的模型将称作近似模型，并且模拟由传感器2获得的图像数据中每个像素的像素值与现实世界1光信号之间关系的模型将称作关系模型，如果适当的话。

指示作为例如表达式(46)中所示多项式的近似函数f₃(x)的阶数n的信息可以用作模型指示信息。而且，虽然各种函数例如样条函数，三角函数，S形函数，高斯函数，线性函数(线性表达式)，具有恒定函数值的函数等可以用于近似函数，指示将用于估计现实世界1信号的近似函数类型的信息也可以用于模型指示信息。

在该情况下，但是，例如表达式(46)中所示多项式的近似函数f₃(x)用作近似模型，并且指示作为例如表达式(46)中所示多项式的近似函数f₃(x)的阶数n的信息作为模型指示信息从用户I/F 11076提供给现实世界估计单元11073，当用户操作用户I/F 11076时。

接下来，将参考图128中所示的流程图描述图127中所示的信号处理设备4。

首先，在步骤S11101中，图127中的信号处理设备4执行预处理，并且流程前进到步骤S11072。也就是说，信号处理设备4将从传感器2(图1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设置单元11071，连续性设置单元11072，现实世界估计单元11073，图像生成单元11074，以及图像显示单元11075。此外，信号处理设备4使得图像显示单元11075显示输入图像。

在步骤S11102中，用户I/F 11076确定是否存在由用户操作用户I/F 11076的模型指示信息的输入。在步骤S11102中，如果确定不存在模型指示信息的输入，流程前进到步骤S11103，在那里用户I/F 11076确定是否存在由用户操作用户I/F 11076的指示信号处理设备4处理结束的结束指令的输入。

如果在步骤S11103中确定存在结束指令的输入，也就是说，例如，如果已经观看显示在图像显示单元11075上的输入图像的用户操作用户I/F 11076以便结束信号处理设备4的处理而不需要执行关于输入图像的信号处理，因为用户没有发现不满意的输入图像的图像质量，处理结束。

而且，如果在步骤S11103中确定不存在结束指令的输入，流程返回到步骤S11102，此后重复相同的处理。

另一方面，如果在步骤S11102中确定存在模型指示信息的输入，也就是说，如果已经观看显示在图像显示单元11075上的输入图像并且发现令人不满意的输入图像的图像质量的用户，因此操作用户I/F 11076以便指示用作近似模型的近似函数的阶数，流程前进到步骤S11104，在那里用户I/F 11076将表示由用户操作用户I/F 11076指示的阶数的模型指示信息作为帮助信息提供给现实世界估计单元11073，并且流程前进到步骤S11105。

在步骤S11105，处理区域设置单元11071设置处理区域，并将表示处理区域的处理区域信息提供给连续性设置单元11072，现实世界估计单元11073，以及图像生成单元11074，并且流程前进到步骤S11106。现在，配置可以这样执行，其中步骤S11105中处理区域的设置通过用户输入处理区域指示信息而执行，以便基于处理区域指示信息而执行，或者这可以执行而没有来自用户的处理区域指示信息。

在步骤S11106中，连续性设置单元11072从处理区域设置单元11071提供的处理区域信息中识别输入图像中的处理区域。此外，连续性设置单元11072设置在处理区域图像数据中丢失的现实世界1信号的连续性，并且将表示处理区域连续性的连续性信息提供给现实世界估计单元11073，并且流程前进到步骤S11107。现在，配置可以这样进行，其中步骤S11106中连续性的设置通过用户输入连续性指示信息而执行，以便基于连续性指示信息而执行，或者这可以执行而没有来自用户的连续性指示信息。

在步骤S11107中，现实世界估计单元11073根据相应现实世界1信号的连续性，对于输入图像的处理区域内的图像数据估计现实世界1信号。

也就是说，在现实世界估计单元11073处，模型生成单元11081从处理区域设置单元11071提供的处理区域信息中识别输入图像中的处理区域，并且基于从连续性设置单元11072提供的连续性信息，识别与处理区域图像数据相对应的现实世界1信号的连续性。此外，模型生成单元11081根据构成输入图像中处理区域的像素以及与其处理区域的图像数据相对应的现实世界1信号的连续性，来产生用作模拟处理区域中每个像素的像素值与现实世界1信号之间关系的关系模型的M个函数，并且将M个版本的函数提供给公式生成单元11082。

现在，如果模型指示信息已经在前一个步骤S11104中作为帮助信息从用户I/F提供，模型生成单元11081产生函数作为M个版本的关系模型。也就是说，模型生成单元11081取M个版本的阶数的多项式，M个版本的阶数包括由前一个步骤S11104中从用户I/F 11076提供的模型指示信息表示的阶数，作为近似函数，并且产生作为使用M个版本近似函数的关系模型的M个版本的函数。

公式生成单元11082从处理区域设置单元11071提供的处理区域信息中识别输入图像中的处理区域，并且将构成输入图像所必需的像素的像素值代入用作从模型生成单元11081提供的关系模型的M个函数的每个中，对于处理区域中的每个像素，从而产生获得近似现实世界1信号的近似函数的M个公式，其然后提供给现实世界波形估计单元11083。

现实世界波形估计单元11083对于从公式生成单元11082提供的M个公式而求解公式，从而估计现实世界1信号的波形，也就是，获得用作模拟现实世界1信号的模型的近似函数，并且将M个版本的近似函数提供给图像生成单元11074。

在步骤S11107中的处理之后，流程前进到步骤S11108，在那里图像生成单元11074基于从现实世界估计单元11073(的现实世界波形估计单元11083)提供的M个近似函数，产生更接近现实世界1信号的M个信号。也就是说，图像生成单元11074从处理区域设置单元11071提供的处理区域信息中识别输入图像中的处理区域，并且基于从现实世界估计单元11073对处理区域而提供的M个版本的近似函数，产生作为更接近现实世界1信号的图像数据的M个近似图像。此外，图像生成单元11074产生输入图像中的处理区域部分已经用M个近似图像取代的M个版本的图像作为输出图像，其然后提供给图像显示单元11075，并且流程从步骤S11108前进到步骤S11109。

在步骤S11109中，图像显示单元11075显示从图像生成单元11074提供的M个版本的输出图像，代替步骤S11101中显示的输入图像，或者与输入图像一起，并且流程前进到步骤S11110。

在步骤S11110中，用户I/F 11076确定是否存在由用户操作用户I/F 11076的选择信息的输入。也就是说，M个版本的输出图像在步骤S11109中显示在图像显示单元11075上，并且在步骤S11110中确定已经观看M个版本输出图像的用户是否已经通过操作用户I/F 11076输入从M个版本的输出图像中选择具有期望图像质量的图像或具有更接近期望图像质量的图像质量的图像的选择信息。

如果在步骤S11110中确定不存在选择信息的输入，流程前进到步骤S11113，并且关于步骤S11113中的情况，由用户I/F 11076确定是否存在结束指令的输入。

如果在步骤S11113中确定已经存在结束指令的输入，信号处理设备4结束处理。

而且，如果在步骤S11113中确定不存在结束指令的输入，流程返回到步骤S11110，此后重复相同的处理。

另一方面，如果在步骤S11110中确定已经存在选择信息的输入，也就是如果已经观看显示在图像显示单元11075上的M个版本的输出图像的用户已经从M个版本的输出图像中选择期望图像或具有更接近期望图像质量的图像质量的图像，流程前进到步骤S11111，在那里用户I/F 11076确定是否存在由用户操作用户I/F 11076的最终确定指令的输入，该指令用于最终确定用户已经选作最终输出图像的输出图像。

如果在步骤S11111中确定存在最终确定指令的输入，流程前进到步骤S11112，在那里图像显示单元11075例如在其整个屏幕上显示用户已经选择的输出图像，并且处理结束。

而且，如果在步骤S11111中确定不存在最终确定指令的输入，也就是，如果用户已经发现所选输出图像的图像质量不令人满意，并且还没有执行最终确定指令的输入以便再次执行处理，流程返回到步骤S11104，在那里用户I/F 11076将表示用户已经选择的输出图像的选择信息作为帮助信息提供给现实世界估计单元11073，并且流程前进到步骤S11105。

在步骤S11105中，处理区域设置单元11071以与上面相同的方法设置处理区域，将表示处理区域的该处理区域信息提供给连续性设置单元11072，现实世界估计单元11073，以及图像生成单元11074，并且流程前进到步骤S11106。在步骤S11106中，连续性设置单元11072以与上述相同的方法从处理区域设置单元11071提供的处理区域信息中识别输入图像中的处理区域，设置在处理区域处的图像数据中丢失的现实世界1信号的连续性，并且将表示该连续性的连续性信息提供给现实世界估计单元11073，并且流程前进到步骤S11107。

注意，如果执行步骤S11104～S11113的循环处理，从第二次起例如在步骤S11105中设置的处理区域与前一次在步骤S11105的处理中的相同，而且，从第二次起在步骤S11106中所述的连续性与先前步骤S11106中设置的相同。因此，如果执行步骤S11104～S11113的循环处理，从第二次起步骤S11105和S11106的处理可以跳过。

在步骤S11107中，现实世界估计单元11073根据相应现实世界1信号的连续性估计输入图像处理区域内的图像数据的现实世界1信号。

也就是说，在现实世界估计单元11073处，模型生成单元11081从处理区域设置单元11071提供的处理区域信息中识别输入图像中的处理区域，并且从连续性设置单元11072提供的连续性信息中识别与处理区域图像数据相对应的现实世界1信号的连续性。此外，模型生成单元11081基于用作在前一个步骤S11104中已经从用户I/F 11076提供的帮助信息的选择信息，产生用作关系模型的M个版本的函数，并且将M个函数提供给公式生成单元11082。

特别地，模型生成单元11081使用M个版本的近似函数重新产生作为关系模型的M个函数，其中近似函数是具有M个版本阶数的多项式，包括用来获得由用作在前一个步骤S11104中从用户I/F 11076提供的帮助信息的选择信息所指示的输出图像的近似函数的阶数。

公式生成单元11082从处理区域设置单元11071提供的处理区域信息中识别输入图像中的处理区域，并且将对于输入图像必需的像素的像素值代入用作从模型生成单元11081提供的M个版本关系模型的函数每个中，对于处理区域中的每个像素，从而重新产生获得近似现实世界1信号的近似函数的M个公式，其提供给现实世界波形估计单元11083。

现实世界波形估计单元11083求解从公式生成单元11082提供的M个公式，从而估计M个版本的现实世界1信号波形，也就是重新获得用作模拟现实世界1信号的模型的近似函数，并且将M个版本的近似函数提供给图像生成单元11074。

在步骤S11107的处理之后，流程前进到步骤S11108，此后重复相同的处理。

也就是说，因此，重复步骤S11104～S11113的处理，最终借此获得高质量输出图像的近似函数的阶数，也就是以真实方式近似现实世界1光信号的近似函数的阶数被设置，因此，获得高质量输出图像。

如上所述，同样对于图127中所示的信号处理设备4，作为输入图像处理结果的M个版本的输出图像展示给用户，供用户从M个版本的输出图像中选择期望的一个，并且处理基于选择结果再次执行，所以满足用户喜好的高质量输出图像可以容易地获得。也就是说，信号处理设备4向用户展示作为输入图像处理结果的M个版本的输出图像。另一方面，用户识别并判断M个版本输出图像的每个的图像质量，并且用具有出色图像质量的输出图像提供反馈给信号处理设备4。信号处理设备4基于来自用户的反馈再次处理输入图像，此后重复相同的处理。因此，满足用户喜好的高质量输出图像可以容易地获得。

现在，对于图127中的信号处理设备4，M个现实世界估计单元11073可以为M个版本的现实世界1信号的估计而提供(计算M个近似函数)。此外，对于图127中的信号处理设备4，M个图像生成单元11074可以提供用于从M个近似函数中产生M个输出图像。

图129说明图111中所示信号处理设备4的应用实例的一种实施方案的构造实例。

在图129中，处理区域设置单元11091，连续性设置单元11092，现实世界估计单元11093，图像生成单元11094，图像显示单元11095，以及用户I/F 11096，每个对应于图111中所示的处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F10006相同的处理。此外，在图129中，现实世界估计单元11093包括模型生成单元11101，公式生成单元11102，以及现实世界波形估计单元11103。模型生成单元11101，公式生成单元11102，以及现实世界波形估计单元11103对应于模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个，并且基本上执行与模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个相同的功能。

在图129中，用户操作用户I/F 11096，并且用作从用户I/F 11096输出的帮助信息的处理区域指示信息，连续性指示信息，或模型指示信息提供给处理区域设置单元11091，连续性设置单元11092，或现实世界估计单元11093。

接下来，将参考图130和图131中所示的流程图描述图129中所示的信号处理设备4。

首先，在步骤S11121中，信号处理设备4执行预处理，并且流程前进到步骤S11122。也就是说，信号处理设备4将从传感器2(图1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设置单元11091，连续性设置单元11092，现实世界估计单元11093，图像生成单元11094，以及图像显示单元11095。此外，信号处理设备4使得图像显示单元11095显示输入图像。

在步骤S11122中，用户I/F 11096确定是否存在由用户操作用户I/F 11096的处理区域指示信息的输入。在步骤S11122中，如果确定存在处理区域指示信息的用户输入，流程前进到步骤S11123，在那里用户I/F 11096将处理区域指示信息作为帮助信息提供给处理区域设置单元11091，并且流程前进到步骤S11124。

而且，在步骤S11122中，如果确定不存在处理区域指示信息的输入，步骤S11123跳过并且流程前进到步骤S11124，在那里用户I/F11096确定是否存在由用户操作用户I/F 11096的连续性指示信息的输入。在步骤S11124，如果确定存在连续性指示信息的用户输入，流程前进到步骤S11125，在那里用户I/F 11096将连续性指示信息作为帮助信息提供给连续性设置单元11092，并且流程前进到步骤S11126。

而且，在步骤S11124中，如果确定不存在连续性指示信息的输入，步骤S11125跳过并且流程前进到步骤S11126，在那里用户I/F11096确定是否存在由用户操作用户I/F 11096的模型指示信息的输入。在步骤S11126中，如果确定存在模型指示信息的用户输入，流程前进到步骤S11127，在那里用户I/F 11096将模型指示信息作为帮助信息提供给现实世界估计单元11093，并且流程前进到步骤S11128。

在步骤S11126中，如果确定不存在模型指示信息的输入，步骤S11127跳过并且流程前进到步骤S11128，在那里用户I/F 11096确定是否存在由用户操作用户I/F 11096的指示信号处理设备4处理结束的结束指令的输入。

如果在步骤S11128中确定存在结束指令的输入，也就是说，例如，如果已经观看显示在图像显示单元11095上的输入图像的用户操作用户I/F 11096以便结束信号处理设备4的处理而不需要执行关于输入图像的信号处理，因为用户没有发现不满意的输入图像的图像质量，处理结束。

而且，在步骤S11128中，如果确定不存在结束指令的输入，流程前进到步骤S11129，在那里用户I/F 11096确定是否提供处理区域指示信息给处理区域设置单元11091，提供连续性指示信息给连续性设置单元11092，以及提供模型指示信息给现实世界估计单元11093全部已经执行。如果在步骤S11129中确定提供处理区域指示信息给处理区域设置单元11091，提供连续性指示信息给连续性设置单元11092，或提供模型指示信息给现实世界估计单元11093，并不是全部都已执行，也就是说，如果用户没有输入处理区域指示信息，连续性指示信息或模型指示信息中任何一个作为帮助信息，提示用户输入没有输入的信息的消息显示在图像显示单元11095上例如，并且流程返回到步骤S11122，此后重复相同的处理。

另一方面，如果在步骤S11129中确定提供处理区域指示信息给处理区域设置单元11091，提供连续性指示信息给连续性设置单元11092，或提供模型指示信息给现实世界估计单元11093全部都已执行，流程前进到步骤S11130，处理区域设置单元11091基于即刻之前从用户I/F提供的处理区域指示信息设置处理区域，并且将处理区域指示信息提供给连续性设置单元11092，现实世界估计单元11093，以及图像生成单元11094，并且流程前进到步骤S11131。

在步骤S11131中，连续性设置单元11092从处理区域设置单元11091提供的处理区域信息中识别输入图像中的处理区域。此外，连续性设置单元11092基于即刻之前从用户I/F 11096提供的连续性指示信息，设置在处理区域处的图像数据中丢失的现实世界1信号的连续性，并且将表示该连续性的连续性信息提供给现实世界估计单元11093，并且流程前进到步骤S11132。

在步骤S11132中，现实世界估计单元11093根据现实世界1信号的连续性，相对于输入图像中处理区域内的图像数据估计现实世界1信号。

也就是说，在现实世界估计单元11093处，模型生成单元11101从处理区域设置单元11091提供的处理区域信息中识别输入图像中的处理区域，并且也从连续性设置单元11092提供的连续性信息中识别与处理区域图像数据相对应的现实世界1信号的连续性。此外，模型生成单元11101基于即刻之前从用户I/F 11096提供的模型指示信息，根据构成输入图像中的处理区域的像素以及与处理区域的图像数据相对应的现实世界1信号的连续性，来产生用作模拟处理区域中每个像素的像素值与现实世界1信号之间关系的模型的函数，并将其提供给公式生成单元11102。

公式生成单元11102从处理区域设置单元11091提供的处理区域信息中识别输入图像中的处理区域，并且将对于输入图像所必需的像素的像素值代入用作从模型生成单元11101提供的关系模型的函数中，对于处理区域的像素，从而产生获得近似现实世界1信号的近似函数的公式，其提供给现实世界波形估计单元11103。

现实世界波形估计单元11103求解从公式生成单元11102提供的公式，以便估计现实世界1信号，也就是，获得用作模拟现实世界1信号的模型的近似函数，其提供给图像生成单元11094。

在步骤S11132的处理之后，流程前进到步骤S11133，在那里图像生成单元11094基于从现实世界估计单元11093(的现实世界波形估计单元11103)提供的、关于处理区域的近似函数产生更接近现实世界1信号的信号。也就是说，图像生成单元11094从处理区域设置单元11091提供的处理区域信息中识别输入图像中的处理区域，并且基于对于处理区域从现实世界估计单元11093提供的近似函数，产生更接近现实世界1信号的近似图像。此外，图像生成单元11094产生输入图像中的处理区域部分已经用获得的近似图像取代的图像作为输出图像，其然后提供给图像显示单元11095，并且流程从步骤S11133前进到步骤S11134。

在步骤S11134中，图像显示单元11095显示从图像生成单元11094提供的输出图像，代替步骤S11121中显示的输入图像，或者与输入图像一起，并且流程前进到步骤S11141。

在步骤S11141中，用户I/F 11096以与步骤S11122相同的方法确定是否存在来自用户的处理区域指示信息的输入。如果在步骤S11141中确定，也就是，如果已经观看在前一个步骤S11134中显示的输出图像的用户感觉到其图像质量不令人满意并且通过操作用户I/F 11096重新输入处理区域指示信息以便提高图像质量，例如，流程前进到步骤S11142，用户I/F 11096将处理区域指示信息作为帮助信息提供给处理区域设置单元11091，并且流程返回到图130中的步骤S11130。

在该情况下，在步骤S11130中，处理区域设置单元11091基于即刻之前从用户I/F 11096提供的处理区域指示信息设置新的处理区域，并且将表示处理区域的处理区域信息提供给连续性设置单元11092，现实世界估计单元11093，以及图像生成单元11094，并且流程随后前进通过步骤S11131～S11133。在步骤S11131～S11133中，与上述相同的处理关于新的处理区域而执行，从而产生新的输出图像，并且流程前进到步骤S11134。在步骤S11134中，图像显示单元11095显示关于新的处理区域而产生的输出图像，并且流程前进到图131中的步骤S11141，此后重复相同的处理。

而且，如果在步骤S11141中确定不存在处理区域指示信息的输入，流程跳过步骤S11142，前进到步骤是11143，并且用户I/F 11096以与步骤S11124中相同的方法确定是否存在来自用户的连续性指示信息的新的输入。在步骤S11143中，如果确定存在连续性指示信息的输入，也就是，例如，如果已经观看在前一个步骤S11134中显示的输出图像的用户感觉到其图像质量不令人满意并且通过操作用户I/F 11096输入新的连续性指示信息以便提高图像质量，流程前进到步骤S11144，在那里用户I/F 11092将连续性指示信息作为帮助信息提供给连续性设置单元11096，并且流程返回到图130中的步骤S11131。

在该情况下，在步骤S11131中，连续性设置单元11092基于即刻之前从用户I/F 11096提供的连续性指示信息，重新设置由前一次从处理区域设置单元11091提供的处理区域信息识别的处理区域的图像数据中丢失的现实世界1信号的连续性，并且将表示重新设置到那里的连续性的连续性信息提供给现实世界估计单元11093，并且顺序地前进到步骤S11132和S11133。在步骤S11132和S11133中，与上述相同的处理关于重新设置的连续性而执行，从而产生新的输出图像，并且流程前进到步骤S11134。在步骤S11134中，图像显示单元11095显示关于重新设置的连续性而产生的输出图像，流程前进到图131中的步骤S11141，此后重复相同的处理。

而且，在步骤S11143中，如果确定不存在连续性指示信息的输入，步骤S11144被跳过并且流程前进到步骤是11145，在那里用户I/F11096以与步骤S11126中相同的方法确定是否存在来自用户的模型指示信息的新的输入。如果在步骤S11145中确定存在模型指示信息的输入，也就是，如果已经观看在前一个步骤S11134中显示的输出图像的用户感觉到其图像质量不令人满意并且通过操作用户I/F 11096输入新的模型指示信息以便提高图像质量，流程前进到步骤S11146，在那里用户I/F 11096将该模型指示信息作为帮助信息提供给现实世界估计单元11093，并且流程返回到图130中的步骤S11132。

在该情况下，在步骤S11132中，现实世界估计单元11093根据即刻之前从用户I/F输入的模型指示信息，关于输入图像中处理区域内的图像数据重新估计现实世界1信号。

也就是说，在现实世界估计单元11093处，模型生成单元11101基于即刻之前从用户I/F 11096提供的模型指示信息，根据构成由前一次从处理区域设置单元11091提供的处理区域信息所识别的处理区域的像素，以及由前一次从连续性设置单元11092提供的连续性信息识别的、与处理区域处的图像数据相对应的现实世界1信号的连续性，重新产生用作模拟处理区域中每个像素的像素值与现实世界1信号之间关系的关系模型的函数，并且将其提供给公式生成单元11102。

公式生成单元11102将对于输入图像必需的像素的像素值代入用作从模型生成单元11101提供的关系模型的函数中，对于前一次从处理区域设置单元11091提供的处理区域信息中由输入图像中处理区域识别的处理区域的像素，从而重新产生用于获得近似现实世界1信号的近似函数的公式，其提供给现实世界波形估计单元11103。

在步骤S11132的处理之后，流程前进到步骤S11133，在那里图像生成单元11094基于重新从现实世界估计单元11093(的现实世界波形估计单元11103)提供的近似函数，重新产生更接近现实世界1信号的信号。也就是说，图像生成单元11094基于重新从现实世界估计单元11093提供的近似函数，关于从前一次从处理区域设置单元11091提供的处理区域信息中识别的处理区域，产生更接近现实世界1信号的近似图像。此外，图像生成单元11094重新产生输入图像中的处理区域部分已经用近似图像取代的图像作为输出图像，其然后提供给图像显示单元11095，并且流程从步骤S11133前进到步骤S11134。

在步骤S11134中，图像显示单元11095显示关于用作新的关系模型的函数而产生的输出图像，流程前进到图131中的步骤S11141，此后重复相同的处理。

另一方面，如果在步骤S11145中确定不存在模型指示信息的输入，流程前进到步骤S11147，在那里用户I/F 11096确定是否存在通过操作用户I/F 11096的用于结束信号处理设备的处理的结束指令的输入。

如果在步骤S11147中确定不存在结束指令的输入，也就是，如果已经观看显示在图像显示单元11095上的输出图像的用户例如感觉到其图像质量不令人满意并且试图通过输入处理区域指示信息，连续性指示信息，或模型指示信息而获得具有更好图像质量的输出图像，流程返回到步骤S11141，此后重复相同的处理。

而且，如果在步骤S11147中确定存在结束指令的输入，也就是，如果已经观看显示在图像显示单元11095上的输出图像的用户例如感觉到其图像质量是令人满意的并且已经操作用户I/F 11096以结束信号处理设备4的处理，处理结束。

如上所述，对于信号处理设备4，在图129中，处理区域和连续性基于来自用户的输入而设置，并且用于估计现实世界1信号的关系模型被产生。此外，现实世界1信号使用处理区域、连续性和关系模型来估计，并且输出图像使用现实世界1信号来产生。随后，输出图像展示给用户，如果用户对其图像质量不满意，当用户执行改变处理区域、连续性或关系模型的输入时，新的处理区域、连续性或关系模型基于输入而设置(产生)，并且重复新的输出图像的产生。

也就是说，例如，如图132中所示，在输入图像显示在图像显示单元11095上的状态中，用户通过操作由按钮、旋钮和鼠标构成的用户接口11096指示具有不满意图像质量的区域作为处理区域。

注意，关于用户指示处理区域的方法，例如，通过操作用作用户接口11096的鼠标在输入图像上点击两点的方法被提供。在该情况下，处理区域设置单元11091将其对角线由两个点击点构成的矩形区域设置为处理区域。

而且，图像质量不令用户满意的区域的实例包括如上所述运动模糊因时间混合而发生的区域，以及因为传感器2的空间积分效应，分辨率因关于两个对象的信号在空间方向上的混合(空间混合)而退化的区域。

现在在该情况下，让我们假定对于输入图像，例如，细微线形对象例如远处的绳子被显示，并且空间混合在绳子边界部分处在绳子与背景信号之间发生，因此，用户指示其分辨率因空间混合而退化的区域作为处理区域。如果用户通过在输入图像上点击两点来指示处理区域，图像显示单元11095可以显示(展示)围绕以点击的两点作为其对角线的矩形处理区域的框，并且用户可以参考该框来确认是否适当的处理区域被设置。注意处理区域可以通过在输入图像上再次点击两点而再次不同地指示。

此外，如图132中所示，用户通过操作构成用户接口11096的例如按钮、旋钮或鼠标，来指示与显示在处理区域上的图像相对应的现实世界1连续性。在该情况下，连续性设置单元11092设置指示的连续性而没有改变。

关于由用户指示连续性的方法，指示与显示在处理区域上的图像相对应的现实世界连续性的方向的方法通过操作用作用户接口11096的旋钮例如来提供。也就是说，在该情况下，如上所述，细微线形对象例如绳子显示在输入图像上，但是用户指示线形对象延伸的方向(表示线形对象的直线的梯度)作为连续性方向。在该情况下，图像显示单元11095可以显示根据用作用户接口11096的旋钮的操作而旋转的(图像的)箭头，并且用户可以通过该箭头确认是否适当的连续性被设置。

而且，用户通过操作用户接口11096来指示用于现实世界1信号的估计的模型。也就是说，现在，如果我们假定对于现实世界估计单元11093，例如，表达式(46)中所示的多项式f₃(x)(＝w₀+w₁x+w₂x²+...+w_nxⁿ)用作近似函数，用户通过操作用户接口11096指示近似函数的维度数目n。在该情况下，现实世界估计单元11093产生使用具有维度数目n的指示的多项式的关系模型作为近似函数。

如上所述，图129中的信号处理设备4使用基于来自用户的输入而获得的处理区域、连续性和关系模型来估计现实世界1信号，并且使用现实世界1信号产生输出图像。随后，输出图像展示给用户，并且如果用户对其图像质量不满意，当用户执行改变处理区域、连续性或关系模型的输入时，输入反馈给信号处理设备4，并且信号处理设备4使用基于输入而获得的新的处理区域、连续性或关系模型产生新的输出图像。

因此，当观看输出图像时，用户可以通过操作用户接口11096来获得具有高图像质量的输出图像。

接下来，将参考图133中的流程图来描述现实世界估计单元11093的现实世界估计处理(图130中步骤S11132的处理)以及图像生成单元11094的输出图像的产生处理(图130中步骤S11133的处理)的细节，例如在细微线形对象例如远处的绳子如上所述显示，并且绳子与背景信号之间的空间混合在绳子的边界部分处发生的输入图像输入到图129中的信号处理设备4的情况下。

现在，让我们假定，对于处理区域设置单元11091，如图134中所示，具有因输入图像中空间混合而退化的分辨率的区域设置为处理区域，并且表示处理区域的处理区域信息被输出。此外，让我们假定，对于连续性设置单元11092，如图134中所示，输入图像中线形对象的连续性被设置，并且其连续性方向，也就是表示线形对象延伸的方向的连续性信息被输出。而且，让我们假定，对于现实世界估计单元11093，与表达式(46)完全相同的表达式(137)中所示多项式f(x)用作近似函数。也就是说，这里，让我们假定当估计现实世界1信号时，第一函数近似方法(一维近似方法)被使用。

$f\left(x\right)=w_0+w_{1}x+w_2{x}^2+\·\·\·+w_N{x}^N=\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}^n---\left(137\right)$

这里，在表达式(137)中，x表示构成处理区域的像素在x方向上的位置(坐标)，并且w_n表示表征近似函数f(x)的系数。

而且，让我们假定表示近似函数f(x)的维度数目N的模型指示信息从用户接口11096提供给现实世界估计单元11093。

返回到图133，在步骤S11161中，现实世界估计单元11096的模型生成单元11101基于从用户接口11093提供的模型指示信息，以及从连续性设置单元11092提供的连续性信息产生用作函数模型的函数(表达式)。

也就是说，在该情况下，模型生成单元11101使用表达式(137)中的近似函数f(x)产生用作与上面表达式(46)完全相同的表达式(138)中所示函数模型的函数。

$P={\∫}_{x_s}^{x_e}f\left(x\right)\mathrm{dx}$

$={\∫}_{x_s}^{x_e}(w_0+w_1{x}^1+w_2{x}^2+\·\·\·w_n{x}^N)\mathrm{dx}$

$=w_0(x_e-x_s)+\·\·\·+w_{n-1}\frac{x_e^N-x_s^N}{N}+w_n\frac{x_e^{N+1}-x_s^{N+1}}{N+1}---\left(138\right)$

这里，在表达式(138)中，左侧的变量P表示构成输入图像的像素的像素值。

表达式(138)的关系模型用于近似传感器2输出的输入图像中像素的像素值与现实世界1光信号之间的关系，假设在传感器2的某个像素处获得的像素值P是通过在像素P上左端位置x_s与右端位置x_e之间的范围中积分表示现实世界信号的近似函数f(x)(近似现实世界信号的模型)而获得的值。

也就是说，一维近似函数用于模拟构成处理区域的像素的像素值与现实世界1光信号之间的关系，假设与近似模型的时间-空间方向x，y和t中一维方向上的某个位置相对应的每个像素的像素值通过在一维方向上积分近似模型而获得。对于表达式(138)的关系模型，构成处理区域的像素的像素值与现实世界1光信号相关，假设与近似模型的时间-空间方向x，y和t中x方向上的某个位置相对应的每个像素的像素值通过在x方向上积分近似模型而获得。

注意，表达式(138)中近似函数f(x)的维度数目N基于从用户接口11096提供的模型指示信息而确定。

而且，在表达式(138)中，积分范围中的开始点x_s和结束点x_e基于从连续性设置单元11092提供的连续性信息而确定。也就是说，这里，积分范围中的开始点x_s和结束点x_e用下面的表达式表示。

x_s＝x-C_x(y)-0.5

x_e＝x-C_x(y)+0.5    ...(139)

在表达式(139)中，让我们假定如图82中所示，像素的x方向上和y方向上的宽度都是1，并且原点(0，0)取作在随后描述的步骤S11162中设置的关注像素的中心(重心)。而且，在表达式(139)中，如果我们假定对于表达式(42)和表达式(43)描述的情况，C_x(y)表示积分范围的移位量，并且由从线形对象延伸的方向与x轴构成的角度在输入图像中用θ表示，C_x(y)用下面的表达式表示。

$C_x\left(y\right)=\frac{y}{\tan \mathrm{\θ}}---\left(140\right)$

对于模型生成单元11101，表达式(140)中的角度θ基于连续性信息而识别。

在步骤S11161中，模型生成单元11101关于构成将由从处理区域设置单元11091提供的处理区域信息识别的处理区域的每个像素产生用表达式(138)表示的关系模型，并且将其提供给公式生成单元11102，并且流程前进到步骤S11162。

在步骤S11162中，公式生成单元11102选择构成将从处理区域设置单元11091提供的处理区域信息中识别的处理区域的像素中还没有取作关注像素的像素，作为关注像素，并且流程前进到步骤S11163。在步骤S11163中，公式生成单元11102关于关注像素设置用于列出公式的输入图像的区域，用于获得表示用关注像素积分的现实世界光信号的近似模型(以下，称作“公式区域”如果适当的话)。也就是说，公式生成单元11102将输入图像中包括关注像素的例如x_a×y_a个像素，也就是水平(x)方向×垂直(y)方向设置为公式区域。这里，构成公式区域的水平和垂直方向上的像素数目x_a和y_a可以预置，或者可以由用户操作用户接口11096输入。而且，在上面的情况下，其处理区域、连续性或近似模型不同的M个版本的输出图像已经产生，但是配置可以这样进行，其中构成公式区域的水平和垂直方向上像素数目x_a和y_a的组合不同的M个版本的输出图像产生。在该情况下，配置可以这样进行，其中M个版本输出图像中由用户选择的一个反馈给公式生成单元11102，M个版本的新公式区域被设置，并且输出图像关于M个版本的公式区域的每个再次产生。

在步骤S11163的处理之后，流程前进到步骤S11164，在那里公式生成单元11102通过获取关于关注像素的公式区域的每个像素的像素值，并且将其代入关于关注像素而产生的表达式(138)的关系模型，来产生获得用关注像素积分、表示现实世界1光信号的近似模型。

也就是说，现在让我们假定以关注像素作为中心的3×3像素的区域用作公式区域。此外，让我们假定图82中所示坐标系被建立，其中像素的水平和垂直宽度都是1，并且关注像素的中心位置取作原点，并且公式区域中3×3像素的每个像素值使用像素中心的坐标(x，y)表示为P(x，y)。在该情况下，关注像素的像素值表示为P(0，0)。而且，关注像素左下方的像素的像素值表示为P(-1，-1)，而关注像素下方的像素的像素值表示为P(0，-1)。以下，类似地，关注像素右下方、左侧、右侧、左上方、上方、和右上方像素的像素值分别是P(1，-1)，P(-1，0)，P(1，0)，P(-1，1)，P(0，1)以及P(1，1)。

在该情况下，公式生成单元11102通过将公式区域中九个像素的像素值代入表达式(138)的关系模型，关于关注像素产生由表达式(141)中所示九个表达式构成的公式。

$P(-1,-1)={\∫}_{-1-C_x(-1)-0.5}^{-1-C_x(-1)+0.5}f\left(x\right)\mathrm{dx}$

$P(0,-1)={\∫}_{0-C_x(-1)-0.5}^{0-C_x(-1)+0.5}f\left(x\right)\mathrm{dx}$

$P(1,-1)={\∫}_{1-C_x(-1)-0.5}^{1-C_x(-1)+0.5}f\left(x\right)\mathrm{dx}$

$P(-\mathrm{1,0})={\∫}_{-1-0.5}^{-1+0.5}f\left(x\right)\mathrm{dx}$

$P\left(\mathrm{0,0}\right)={\∫}_{0-0.5}^{0+0.5}f\left(x\right)\mathrm{dx}$

$P\left(\mathrm{1,0}\right)={\∫}_{1-0.5}^{1+0.5}f\left(x\right)\mathrm{dx}$

$P(-\mathrm{1,1})={\∫}_{-1-C_x\left(1\right)-0.5}^{-1-C_x\left(1\right)+0.5}f\left(x\right)\mathrm{dx}$

$P\left(\mathrm{0,1}\right)={\∫}_{0-C_x\left(1\right)-0.5}^{0-C_x\left(1\right)+0.5}f\left(x\right)\mathrm{dx}$

$P\left(\mathrm{1,1}\right)={\∫}_{1-C_x\left(1\right)-0.5}^{1-C_x\left(1\right)+0.5}f\left(x\right)\mathrm{dx}---\left(141\right)$

这里，对于公式生成单元11102，关于关注像素而列出的公式数目等于构成公式区域的像素数目。因此，通过求解关于关注像素而列出的公式而获得的表达式(137)中近似函数f(x)的维度数目N(未知量的数目w_n)局限于构成公式区域的像素数目。相反地，构成公式区域的像素数目需要根据表达式(137)的近似函数f(x)的维度数目N来确定。

当公式生成单元11102产生关于关注像素的公式时，公式生成单元11102将公式提供给现实世界波形估计单元11103，并且流程从步骤S11164前进到步骤S11165。

在步骤S11165中，现实世界波形估计单元11103通过例如使用最小二乘法等求解从公式生成单元11102提供的关于关注像素的公式，估计使用关注像素积分的现实世界1光信号的波形。也就是说，在步骤S11165中，现实世界波形估计单元11103通过求解从公式生成单元11102提供的关于关注像素的公式来获得用作规定表达式(137)的近似函数f(x)的参数的变量w_n，因此获得(标识)用变量w_n规定的近似函数f(x)。

现实世界波形估计单元11103将关于关注像素而获得的近似函数f(x)提供给图像生成单元11094，并且流程从步骤S11165前进到步骤S11166。

在步骤S11166中，公式生成单元11102确定构成从处理区域设置单元11091提供的处理区域信息中识别的处理区域的所有像素是否都已取作关注像素。在步骤S11166中，如果确定构成处理区域的所有像素还没有都取作关注像素，流程返回到步骤S11162，在那里公式生成单元11102从构成处理区域的像素中选择还没有取作关注像素的像素之一作为新的关注像素，此后重复相同的处理。

这里，步骤S11161～S11166中的上面处理在图130的步骤S11132中执行(现实世界的估计)。

另一方面，如果在步骤S11166中确定构成处理区域的所有像素都已取作关注像素，流程前进到步骤S11167，在那里图像生成单元11094选择构成从处理区域设置单元11091提供的处理区域信息中识别的处理区域的、还没有取作关注像素的像素之一作为关注像素，流程前进到步骤S11168。

在步骤S11168中，图像生成单元11094通过根据与表达式(138)的关系模型完全相同的表达式(142)在x方向上积分(再积分)从现实世界波形估计单元11103提供的近似函数中关于关注像素的近似函数(以下，称作“关注近似函数”如果适当的话)f(x)，获得关于关注像素具有高图像质量的像素值Q。

$Q=G{\∫}_{x_s}^{x_e}f\left(x\right)\mathrm{dx}---\left(142\right)$

但是，在表达式(142)中，G表示预先确定的增益。而且，在表达式(142)中，积分范围的开始点x_s和结束点x_e基于从连续性设置单元11092提供的连续性信息而确定。也就是说，这里，积分范围的开始点x_s和结束点x_e例如用与表达式(139)完全相同的下面表达式表示。

x_s＝x-C_x(y)-0.5

x_e＝x-C_x(y)+0.5    ...(143)

随后，流程从步骤S11168前进到步骤S11169，在那里图像生成单元11094确定构成处理区域的所有像素是否都已取作关注像素。如果在步骤S11169中确定构成处理区域的所有像素没有都已取作关注像素，流程返回到步骤S11167，在那里图像生成单元11094选择构成处理区域、还没有取作关注像素的像素的一个作为关注像素，此后重复相同的处理。

而且，如果在步骤S11169中确定构成处理区域的所有像素都已取作关注像素，也就是，如果由具有高图像质量的像素值构成的图像(近似图像)关于处理区域而产生，流程前进到步骤S11170，在那里图像生成单元11094合成输入图像和基于近似函数产生的近似图像，因此产生输入图像的处理区域部分用近似图像取代的图像，将该图像作为输出图像提供给图像显示单元11095，并且处理结束。

这里，步骤S11167～S11170中的上述处理在图130的步骤S11133中执行(输出图像的产生)。

根据表达式(143)中所示积分范围的开始点x_s和结束点x_e，处理区域的一个像素取作近似图像的一个像素，并且一个像素的像素值Q通过执行表达式(142)的再积分而获得。因此，在该情况下，与处理区域的像素数目完全相同的近似图像产生，但是比处理区域具有更多像素数目的图像可以获得作为近似图像。

也就是说，图像生成单元11094可以通过使用表达式(144)和表达式(145)作为积分范围的开始点x_s和结束点x_e计算表达式(142)的再积分，获得在处理区域的x方向上具有两倍像素数目的近似图像。

x_s＝x-C_x(y)-0.5

x_e＝x-C_x(y)       ...(144)

x_s＝x-C_x(y)

x_e＝x-C_x(y)+0.5   ...(145)

这里，用表达式(144)和表达式(145)表示的积分范围是通过将用表达式(143)表示的积分范围平均划分成两个部分而获得的范围。因此，如果使用表达式(144)和表达式(145)表示的积分范围，处理区域的一个像素看作两个像素的近似图像，并且两个像素的像素值Q通过关于分别用表达式(144)和表达式(145)表示的积分范围执行表达式(142)的再积分而获得。

也就是说，表达式(144)的积分范围表示从处理区域中关注像素的左端位置x_s到其中心的范围，而表达式(145)的积分范围表示从关注像素的中心到其右端位置x_e的范围。

因此，例如，现在，如果我们假定关注像素从其中心划分成左侧和右侧，并且左侧的像素和右侧的像素分别称作第一关注像素和第二关注像素，第一关注像素的像素值通过关于用表达式(144)表示的积分范围执行表达式(142)的再积分而获得，而第二关注像素的像素值通过关于用表达式(145)表示的积分范围执行表达式(142)的再积分而获得。在该情况下，具有其x方向上空间分辨率提高的高质量图像的近似图像可以获得。

注意表达式(142)的再积分的积分范围并不局限于表达式(143)、表达式(144)和表达式(145)中所示的那些。

而且，表达式(144)和表达式(145)中所示积分范围用于将关注像素划分成两个像素，但是具有其空间分辨率进一步提高的高质量图像的近似图像可以通过使用将关注像素划分得更细的积分范围而获得。注意如果将关注像素划分得更细，构成近似图像的像素数目增加，但是这能够提高空间分辨率，以及以高放大倍数实现缩放。

这里，例如图133中流程图中所示的现实世界的估计处理，以及输出图像的产生处理共同地称作展示处理，如果适当的话，以下。

根据展示处理，因时间混合或空间混合而退化的输入图像图像质量提高的输出图像可以获得。

也就是说，例如，现在，如果我们解释空间混合，现实世界1光信号清晰地分类成对应于前景的光信号(例如细线等)(附图中用白色显示的部分)，以及对应于背景的光信号(附图中用黑色显示的部分)，如图135A中所示。

如果现实世界1光信号的相同光度部分不是均匀地分布，并且具有不同光度的光信号例如前景和背景分别分布在用作传感器2的图像传感器的一个像素上，不同光度构成一个像素值，好像它们因传感器2的积分效应在该像素处空间混合一样(在空间方向上积分)。因此，空间混合是不同光度部分通过对于传感器2的像素空间积分而混合的现象，例如现实世界1光信号的前景部分和背景部分。

从传感器2输出的输入图像包括通过现实世界1光信号关于构成传感器2、具有一定有限大小的像素积分，并且进一步用具有一定有限大小的像素量化而获得的像素值，因此例如，变成因空间混合和量化的畸变图像，如图135B中所示。

因此，使用展示处理，近似图像通过基于与输入图像中的处理区域相对应的现实世界1信号的连续性估计现实世界1信号，并且使用估计的现实世界1信号去除(减小)输入图像中的畸变而产生。

也就是说，例如，对于使用一维近似方法的展示处理，关系模型基于连续性信息而产生，并且由处理区域中关注像素附近的x_a×y_a像素构成的区域取作公式区域。此外，获得关注像素中现实世界1光信号的近似模型f(x)的公式通过将公式区域的像素的像素值代入关系模型而产生。随后，表示关注像素中现实世界1信号的近似模型f(x)通过求解公式而获得，并且具有高图像质量的近似图像通过再积分近似模型f(x)而获得。

特别地，例如，如图136A中所示，由输入图像中关注像素附近的x_a×y_a像素构成的区域(图136A中具有3×3像素的区域)取作公式区域。在图136A中，分别地，x轴取作水平方向，y轴取作深度方向，并且像素值(的光度)取作垂直方向，从而表示传感器2的每个位置(x，y)处像素的像素值。在图136A中，像素值用矩形平行六面体表示，并且该矩形平行六面体的底面相当于传感器2的像素。

对于展示处理，公式区域的每个像素的像素值进一步获得，如图136B中所示。在图136B中，x轴取作水平方向，并且像素值取作垂直方向，从而表示公式区域中每个像素的像素值。这可以同样适用于随后描述的图136C和图136D。

对于展示处理，公式通过将公式区域中每个像素的像素值代入关系模型而产生，此外，表示关注像素处现实世界1光信号的近似模型f(x)通过求解公式而获得，但是这相当于执行下面。

也就是说，图136B中所示公式区域中每个位置(x，y)处像素的像素值根据连续性信息在x轴方向上移位，如图136C中所示。这里，如果我们假定连续性信息表示用作前景的细线延伸的方向，如使用图135A和135B描述的，现实世界1光信号的波形表示为上面X横截面波形在用连续性信息表示的方向上连续的波形。因此，为了准确地估计表示现实世界1光信号的近似模型f(x)，如使用图91和图92描述的，通过根据用连续性信息表示的方向在x轴方向上移位公式区域中每个位置(x，y)处像素的像素值，现实世界1光信号波形的相位需要与通过积分现实世界1光信号而获得的公式区域中每个像素的像素值的相位一致。图136C说明其相位与现实世界1光信号波形中一致的公式区域中每个像素的像素值。

将公式区域中每个像素的像素值的相位与现实世界1光信号波形的相位一致相当于根据以使用用作连续性信息表示的方向的角度θ的表达式(140)表示的移位量C_x(y)移位用表达式(139)表示的表达式(138)积分范围中的开始点x_s和结束点x_e。

现实世界1光信号在公式区域中的每个像素处积分，从而获得其像素值。因此，如上所述，其相位与现实世界1光信号波形的相位一致的公式区域中每个像素的像素值近似现实世界1光信号波形，如图136D中所示。

因此，例如，表达式(137)的多项式，其近似相位与现实世界1光信号波形的相位一致的公式区域中每个像素的像素值，获得作为表示现实世界1光信号的近似模型f(x)。

当产生近似图像时，如图136E中所示，如果我们假定近似模型f(x)是横截面波形，并且X横截面波形在用连续性信息表示的方向上连续的波形是现实世界1光信号的估计波形，近似图像的像素的像素值通过再积分估计波形而获得。这里，在图136E中，x轴取作水平方向，y轴取作深度方向，并且现实世界1光信号的光度取作垂直方向，从而表示传感器2的每个位置(x，y)处现实世界1光信号的光度。在图136E中，不像图136A中，光度(像素值)表示为恒定量，这是因为现实世界1光信号是恒定量。

注意对于上面的情况，关系模型已经使用，其中处理区域中每个像素的像素值与现实世界1光信号之间的关系经历模拟，并且现实世界1光信号已经使用一维近似方法来估计，假设与近似模型的时间-空间方向中x方向上的位置相对应的每个像素的像素值通过在x方向上积分近似模型而获得，但是除了一维近似方法之外，现实世界1光信号可以使用上面二维近似方法、或上面三维近似方法来估计。

也就是说，如果估计现实世界1光信号，关系模型可以使用，其中处理区域中每个像素的像素值与现实世界1光信号之间的关系经历模拟，假设与近似模型的时间-空间方向中x和y方向上的位置相对应的每个像素的像素值通过在x和y方向上积分近似模型而获得，或者关系模型可以使用，其中处理区域中每个像素的像素值与现实世界1光信号之间的关系经历模拟，假设与近似模型的时间-空间方向中x(或y)和t方向上的位置相对应的每个像素的像素值通过在x和t方向上积分近似模型而获得。

此外，如果估计现实世界1光信号，关系模型可以使用，其中处理区域中每个像素的像素值与现实世界1光信号之间的关系经历模拟，假设与近似模型的时间-空间方向中x，y和t方向上的位置相对应的每个像素的像素值通过在x，y和t方向上积分近似模型而获得。

如果将空间方向(x和y方向)考虑为近似模型的积分方向，因空间混合而退化的图像质量可以提高，并且如果考虑时间方向(t方向)，因时间混合而退化的图像质量可以提高。此外，如果将时间-空间方向(空间方向和时间方向)考虑为近似模型的积分方向，因空间混合和时间混合而退化的图像质量可以提高。

接下来，将描述图122中运动检测单元11062中检测运动的方法。

如果某一对象在输入图像中运动，关于检测用作对象运动的运动矢量的方法例如，所谓块匹配方法已知。

但是，对于块匹配方法，匹配在关注帧与关注帧之前和之后的帧之间执行，所以运动不能仅使用关注帧容易地检测。

为此目的，运动检测单元11062被配置以便从仅具有一帧的输入图像中检测运动。

图137说明图122中运动检测单元11062的构造实例。

使用其构造如图137中所示的运动检测单元11062，输入图像的处理区域中对象的运动方向被检测，并且输入图像被校正使得运动方向变成水平方向。随后，在输入图像中对象的运动方向上经历一维微分的特征，其是运动方向上相邻的像素的像素值的差值被检测。

此外，关注像素的特征与在运动方向上具有预先确定距离的相应像素的特征之间的相关性被检测，并且对象的运动量根据相应像素与关注像素之间的距离来检测，其表现出最大检测相关性。

其构造如图137中所示的运动检测单元11062包括运动方向检测单元11201，运动方向校正单元11202，特征检测单元11203，以及运动量检测单元11204。

此外，运动方向检测单元11201包括活动性计算单元11211，以及活动性评估单元11212。运动方向校正单元11202包括仿射变换单元11213。

特征检测单元11203包括差值计算单元11214，差值评估单元11215，中间图像创建单元11216，中间图像创建单元11217，帧存储器11218，符号反转单元11219，以及帧存储器11220。

此外，运动量检测单元11204包括相关性检测单元11221，以及相关性评估单元11222。

对于其构造如图137中所示的运动检测单元11062，存储在图122中图像存储器11061中的输入图像提供给运动方向检测单元11201和运动检测校正单元11202。此外，从图119中处理区域设置单元11041输出的处理区域信息也提供给运动方向检测单元11201和运动方向校正单元11202。

运动方向检测单元11201获取输入图像和处理区域信息，并且从获取的输入图像中检测处理区域中的运动方向。

当捕捉运动对象时，运动模糊在对象的图像上发生。这是由用作捕捉对象图像的传感器2的照相机或摄影机的图像传感器的动作所引起。

也就是说，图像传感器例如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)传感器在曝光时间(快门时间)期间对于每个像素将入射光连续地转换成电荷，进一步将电荷转换成一个像素值。当捕捉的对象处于静止状态时，对象的同一部分的图像(光)在曝光时间期间转换成一个像素值。如此捕捉的图像不包括运动模糊。

另一方面，当对象运动时，投射到一个像素中的对象部分的图像在曝光时间期间改变，并且对象的不同部分的图像偶然地转换成一个像素值。反过来说，对象的一个部分的图像投射到多个像素值中，这就是运动模糊。

运动模糊在对象的运动方向上发生。

当集中在运动模糊发生的部分(包括运动模糊的区域)的运动方向上排列的像素的像素值时，对象的通常相同范围部分的图像投影到在运动方向上排列的像素的像素值。因此，我们可以说在运动模糊发生的部分处运动方向上排列的像素的像素值的变化进一步减小。

运动方向检测单元11201基于这种变化，也就是输入图像的处理区域中像素的像素值中的活动性检测运动方向。

更具体地说，运动方向检测单元11201的活动性计算单元11211对于每个预先确定的方向计算在各个方向上排列的像素的像素值的变化(活动性)。例如，活动性计算单元11211对于每个预先确定的方向计算与每个方向对应放置的像素的像素值之间的差值作为活动性。活动性计算单元11211将指示计算的像素值变化的信息提供给活动性评估单元11212。

活动性评估单元11212从活动性计算单元11211提供的对于每个预先确定方向的像素的像素值变化中选择最小的像素值变化，并且将与所选像素值变化相对应的方向取作运动方向。

运动方向检测单元11201将如此检测的指示运动方向的运动方向信息提供给运动方向校正单元11202。

运动方向校正单元11202同样提供有处理区域信息。运动方向校正单元11202基于从运动方向检测单元11201提供的运动方向信息转换输入图像中处理区域内的图像数据，使得运动方向变成图像的水平方向。

例如，运动方向校正单元11202的仿射变换单元11213使得输入图像中处理区域内的图像数据经历基于从运动方向检测单元11201提供的运动方向信息的仿射变换，使得运动方向信息中所示的运动方向变成图像的水平方向。

运动方向校正单元11202将转换使得运动方向变成图像水平方向的输入图像中处理区域内的图像数据提供给特征检测单元11203。

特征检测单元11203检测从运动方向校正单元11202提供的图像的特征。

也就是说，特征检测单元11203的差值计算单元11214将通过从输入图像处理区域中的像素中选择一个像素而选择的像素设置为关注像素。随后，特征检测单元11203的差值计算单元11214通过从关注像素的像素值中减去在右侧与关注像素相邻的像素的像素值来获得差值。

差值计算单元11214通过将输入图像处理区域中的像素顺序地取作关注像素而获得差值。也就是说，差值计算单元11214关于输入图像处理区域中的所有像素获得差值。差值计算单元11214将如此计算的差值，与指示对应于每个获得差值的关注像素位置的信息(指示每个差值的屏幕上位置的位置信息)一起提供给差值评估单元11215。

差值评估单元11215确定差值是否为0或更多，将等于或大于0的差值与指示每个差值的屏幕上位置的位置信息一起提供给中间图像创建单元11216，并且将小于0的差值与指示每个差值的屏幕上位置的位置信息一起提供给中间图像创建单元11217。

中间图像创建单元11216基于从差值评估单元11215提供的等于或大于0的差值，连同指示差值的屏幕上位置的位置信息一起，创建由每个差值构成的中间图像。也就是说，中间图像创建单元11216通过将从差值评估单元11215提供的等于或大于0的差值设置到由位置信息指示的屏幕上位置处的像素，并且将0设置到没有差值从差值评估单元11215提供的位置处的像素来创建中间图像。中间图像创建单元11216将这样创建的中间图像(以下，称作未反转中间图像)提供给帧存储器11218。

中间图像创建单元11217基于从差值评估单元11215提供的小于0的差值(负值)，与指示差值的屏幕上位置的位置信息一起，创建由差值构成的中间图像。也就是说，中间图像创建单元11217通过将从差值评估单元11215提供的小于0的差值设置到由位置信息指示的屏幕上位置处的像素，并且将0设置到没有差值从差值评估单元11215提供的位置处的像素来创建中间图像。中间图像创建单元11217将这样创建的中间图像提供给符号反转单元11219。

符号反转单元11219反转设置到从中间图像创建单元11217提供的中间图像的像素的小于0的差值的符号。设置到中间图像的像素的值0的符号不反转。也就是说，符号反转单元11219选择设置到从中间图像创建单元11217提供的中间图像的像素的小于0的差值，并且将小于0的所选差值转换成与差值具有相同绝对值的大于0的值。例如，差值-15通过反转其符号而转换成15。符号反转单元11219将这样符号反转的中间图像(以下称作反转的中间图像)提供给帧存储器11220。

帧存储器11218将由等于或大于0的差值以及0构成的未反转中间图像作为特征提供给运动量检测单元11204。帧存储器11220将由其符号反转的大于0的差值以及0构成的反转中间图像作为特征提供给运动量检测单元11204。

运动量检测单元11204基于从特征检测单元11203提供的特征检测运动。也就是说，运动量检测单元11204检测输入图像处理区域中对象图像的像素中至少关注像素的特征，与关于关注像素在运动方向上定位的相应像素的特征之间的相关性，并且根据检测的相关性检测输入图像处理区域中对象图像的运动量。

运动量检测单元11204的相关性检测单元11221检测用作从特征检测单元11203的帧存储器11218提供的特征的未反转中间图像，与用作从特征检测单元11203的帧存储器11220提供的特征的反转中间图像之间的相关性。相关性检测单元11221将检测的相关性提供给相关性评估单元11222。

更具体地描述，例如运动量检测单元11204的相关性检测单元11221在屏幕水平方向上关于从特征检测单元11203的帧存储器11218提供的、由等于或大于0的差值以及0构成的未反转中间图像以像素为单位，运动(移位)从特征检测单元11203的帧存储器11220提供的、由其符号反转以便大于0的差值以及0构成的反转中间图像。也就是说，相关性检测单元11221在水平方向上运动构成反转中间图像的像素的屏幕上位置。

未反转中间图像的像素与反转中间图像的像素之间屏幕上的位置关系通过在屏幕水平方向上运动反转中间图像(的像素)而改变。例如，运动之前屏幕上位置与未反转中间图像的关注像素相对应的反转中间图像的相应像素导致在运动之后以运动距离与对应于未反转中间图像关注像素的位置相离。更具体地说，当未反转中间图像向右运动20个像素时，反转中间图像的相应像素向右距离与未反转中间图像的关注像素相对应的位置20个像素。反过来说，运动之后屏幕上位置与未反转中间图像的关注像素相对应的反转中间图像的相应像素在运动之前以运动距离与对应于关注像素的位置相离。

相关性检测单元11221计算与未反转中间图像以及运动的反转中间图像相对应的像素的像素值之间的差，并且取差的绝对值的和作为相关性值。

例如，相关性检测单元11221在关于未反转中间图像的屏幕左向上70个像素至屏幕右向上70像素的范围内以一个像素的增量，在屏幕的水平方向上运动(移位)反转中间图像，关于未反转中间图像以及对于每个运动位置(每个运动距离)而运动的反转中间图像计算位于屏幕上相同位置的像素的像素值之间的差，并且取差的绝对值的和作为相关性值。

例如，当反转中间图像关于未反转中间图像运动到屏幕左向时，运动距离用负数(-)表示。当反转中间图像关于未反转中间图像运动到屏幕右向时，运动量用正数(+)表示。相关性检测单元11221关于未反转中间图像以及对于-70像素至+70像素的每个运动距离而运动的反转中间图像计算位于屏幕上相同位置的像素的像素值之间的差，并且取差的绝对值的和作为相关性值。

相关性检测单元11221将与运动距离相对应的相关性值提供给相关性评估单元11222。也就是说，相关性检测单元11221将一对运动距离和相关性值提供给相关性评估单元11222。

相关性评估单元11222根据相关性检测输入图像处理区域中对象图像的运动量。更具体地说，相关性评估单元11222将从相关性检测单元11221提供的相关性中，与最大(最强)相关性相对应的运动距离取作运动量。

例如，相关性评估单元11222选择用作从相关性检测单元11221提供的相关性值的差的绝对值的和中的最小值，并且设置与所选最小值相对应的运动距离为运动量。

相关性评估单元11222输出检测的运动量。

图138至图140是描述由图137中的运动检测单元11062检测运动的原理的图。

现在，让我们假定用作待捕捉对象的白色前景对象位于用作另一个待捕捉对象的黑色背景对象的前面，且从左侧向右侧运动，并且具有图像传感器例如CCD或CMOS传感器的照相机使用预先确定的曝光时间(快门时间)捕捉前景对象和背景对象。

在该情况下，当集中在从照相机输出的图像的一帧上时，背景对象是黑色的，使得照相机关于背景对象图像输出例如像素值0。前景对象是白色的，所以照相机关于前景对象图像输出例如像素值255。注意这里让我们假定照相机输出0至2⁸-1范围内的像素值。

图138上侧的图是说明当前景对象在照相机快门打开的时刻(开始曝光的时刻)位置处于静止状态时由照相机输出的图像的像素值的图。

图138下侧的图是说明当前景对象在照相机快门关闭的时刻(结束曝光的时刻)位置处于静止状态时由照相机输出的图像的像素值的图。

如图138中所示，前景对象的图像的运动量是从照相机快门打开的时候直到照相机快门关闭的时刻前景对象的图像运动的距离。

图139是说明当在背景对象前面运动的前景对象由照相机捕捉时从照相机输出的图像的像素值的图。照相机的图像传感器在曝光时间(快门时间)期间对于每个像素将对象的图像(光)连续地转换成电荷，并且进一步将电荷转换成一个像素值，因此，前景对象11251的图像投影到多个像素的像素值中。图139中所示图像的最大像素值与图138中所示图像的最大像素值相比较小。

图139中所示像素值的斜坡宽度对应于背景对象的图像的宽度。

当关于图139中所示图像的每个像素相对于右侧相邻像素的差值被计算，并设置到像素时，图140中所示由差值构成的图像被获得。

也就是说，一个像素从图139中所示图像的像素中选择，并且设置为注意的关注像素。随后，差值通过从关注像素的像素值中减去在右侧与关注像素相邻的像素的像素值来获得。差值设置到与关注像素相对应的位置处的像素。图139中所示图像的像素顺序地取作关注像素，并且图140中所示由差值构成的图像被获得。

具有负(-)符号的差值在关于图138上侧的图中所示照相机快门打开的时刻前景对象位置的左侧一个像素上出现，并且具有正(+)符号的差值在关于图138下侧的图中所示照相机快门关闭的时刻前景对象位置的左侧一个像素上出现。

因此，当匹配在通过反转具有负(-)符号的差值的符号而获得的值与图140中所示具有正(+)符号的差值之间执行时，通过反转具有负(-)符号的差值的符号而获得的值的运动距离与当执行匹配时基于具有正(+)符号的差值的运动量相同，例如。

例如，基于具有正(+)符号的差值，通过反转具有负(-)符号的差值的符号而获得的值在水平方向上运动，通过反转负差值而获得的值与正差值之间的相关性对于其每个运动距离而检测，从而检测最大(最强)相关性。当最大相关性被检测时的运动距离与运动量相同。

更具体地说，例如，基于具有正(+)符号的差值，通过反转具有负(-)符号的差值的符号而获得的值在水平方向上运动，作为对于其每个运动距离通过反转负差值而获得的值与正差值之间的相关性，正差值从每个像素的反转值中减去。随后，减法结果中的最小值，也就是最大相关性被检测。与检测的最大相关性相对应的运动距离与运动量相同。

如上所述，作为对象图像运动的量的运动量可以从曝光时间(快门时间)期间一帧图像中检测。

也就是说，特征检测单元11203的差值计算单元11214从输入图像处理区域中的像素中选择一个像素，将其设置为关注像素，并且从关注像素的像素值中减去在右侧与关注像素相邻的像素的像素值，从而计算图140中所示的差值，例如。差值评估单元11215基于差值的符号将差值分类成正差值和负差值。

中间图像创建单元11216从分类的正差值中，创建由其正差值构成的未反转中间图像。中间图像创建单元11217从分类的负差值中，创建由其负差值构成的中间图像。符号反转单元11219通过反转由负差值构成的中间图像的负像素值的符号来创建反转中间图像。

运动量检测单元11204获得具有最强相关性的未反转中间图像和反转中间图像的运动距离，并且取获得的运动距离作为运动量。

当特征检测单元11203检测运动对象的图像，并且检测运动对象的图像的特征时，运动量检测单元11204基于特征检测相关性，并且根据检测的相关性来检测输入图像中对象的图像的运动量。

而且，当特征检测单元11203从属于运动对象的图像的像素中选择注意的关注像素，并且检测关注像素的特征时，运动量检测单元11204检测关注像素的特征与在运动方向上关于关注像素定位的相应像素的特征之间的相关性，并且根据检测的相关性来检测输入图像处理区域中对象的图像的运动量。

图141是描述由图137中的运动检测单元11062检测运动量的处理的流程图。

在步骤S11201中，运动方向检测单元11201和运动方向校正单元11202获取输入图像和处理区域信息，并且流程前进到步骤S11202。

在步骤S11202中，运动方向检测单元11201的活动性计算单元11211关于在步骤S11201的处理中获取的输入图像中处理区域的像素计算活动性，并且流程前进到步骤S11203。

例如，活动性计算单元11211选择输入图像处理区域的像素中注意的关注像素。活动性计算单元11211在关注像素附近提取预先确定数目的周围像素。例如，活动性计算单元11211提取由以关注像素为中心的5×5像素(5像素乘5像素)构成的周围像素。

随后，活动性计算单元11211从提取的周围像素中检测与图像上预先确定方向相对应的活动性。

对于下面的描述，水平方向上的像素阵列称作行，垂直方向上的像素阵列称作列。

关于例如5×5周围像素，活动性计算单元11211通过计算在屏幕上和下(垂直)方向上相邻像素的像素值之间的差，将计算的差的绝对值的和除以差的数目，并且取结果作为活动性，来检测关于基于屏幕水平方向的90度的角度(屏幕垂直方向)的活动性。

例如，像素值的差关于20对的屏幕上和下方向上相邻的两个像素而计算，计算的差的绝对值的和除以20，并且结果(商)设置为关于90度角度的活动性。

关于例如5×5周围像素，活动性计算单元11211通过计算最低行中最左侧像素至从左侧起第四像素的各个像素值，与关于各个像素上方四个像素以及右侧一个像素的像素的各个像素值之间的差，将计算的差的绝对值的和除以差的数目，并且取结果为活动性，检测关于基于屏幕水平方向的76度角度(tan^-1(4/1))的活动性。

例如，像素值的差关于四对具有垂直方向上四个像素以及水平方向上一个像素的距离的右上方的两个像素而计算，计算的差的绝对值的和除以四，并且结果(商)设置为关于76度角度的活动性。

活动性计算单元11211使用相同的处理检测关于基于屏幕水平方向的90度至180度范围内角度的活动性。如果检测关于90度至180度范围内角度的活动性，活动性基于位于左上方的像素的像素值的差来计算。

这样检测的活动性取作关于关注像素的活动性。

注意，检测的活动性可能是关于周围像素的活动性。

而且，已经描述周围像素由5×5像素(5像素乘5像素)构成，但是具有期望范围的像素可以使用而不是5×5像素。如果使用大量周围像素，角度分辨率提高。

活动性计算单元11211将指示与多个方向相对应的活动性的信息提供给活动性评估单元11212。

返回到图141，在步骤S11203中，活动性评估单元11212通过基于在步骤S11202的处理中计算的与预先确定方向相对应的活动性来选择最小活动性，并且将所选方向取作运动方向来获得运动方向，并且流程前进到步骤S11204。

在步骤S11204中，运动方向校正单元11202基于在步骤S11203的处理中获得的运动方向转换输入图像处理区域中的图像数据，使得运动方向变成图像的水平方向，并且流程前进到步骤S11205。例如，在步骤S11204中，运动方向校正单元11202的仿射变换单元11213使得输入图像处理区域中的图像数据经历基于步骤S11203的处理中获得的运动方向的仿射变换，使得运动方向变成图像的水平方向。更具体地说，例如，当运动方向是18度的角度时，仿射变换单元11213使得输入图像处理区域中的图像数据经历仿射变换以便基于屏幕水平方向以顺时针方向旋转18度。

在步骤S11205中，特征检测单元11203的差值计算单元11214关于被转换使得运动方向在步骤S11204的处理中变成屏幕水平方向的输入图像处理区域中的每个像素计算相对于水平方向上相邻的像素的像素值的差值，并且流程前进到步骤S11206。

例如，在步骤S11205中，差值计算单元11214通过从输入图像处理区域中的像素中选择一个像素来设置注意的关注像素。随后，差值计算单元11214通过从关注像素的像素值中减去右侧与关注像素相邻的像素的像素值来获得差值。

在步骤S11206中，特征检测单元11203的差值评估单元11215基于差值的符号分配差值，并且流程前进到步骤S11207。也就是说，差值评估单元11215将等于或大于0的差值提供给中间图像创建单元11216，而将小于0的差值提供给中间图像创建单元11217。在该情况下，差值评估单元11215将差值与指示屏幕上每个差值位置的位置信息一起提供给中间图像创建单元11216或中间图像创建单元11217。

在步骤S11207中，特征检测单元11203的中间图像创建单元11216基于在步骤S11206的处理中分配的等于或大于0的差值(正差值)来创建由正差值构成的中间图像，并且流程前进到步骤S11208。也就是说，在步骤S11207中，中间图像创建单元11216通过将正差值设置到用位置信息指示的屏幕上位置处的像素，并且将0设置到没有差值提供的位置处的像素来创建中间图像。

因此，未反转中间图像在步骤S11207的处理中创建。在步骤S11208中，特征检测单元11203的中间图像创建单元11217基于在步骤S11206的处理中分配的小于0的差值(负差值)来创建由负差值构成的中间图像，并且流程前进到步骤S11209。也就是说，在步骤S11208中，中间图像创建单元11217通过将负差值设置到用位置信息指示的屏幕上位置处的像素，并且将0设置到没有差值提供的位置处的像素来创建中间图像。

在步骤S11209中，特征检测单元11203的符号反转单元11219反转在步骤S11208的处理中创建的、由负差值构成的中间图像的负差值的符号。也就是说，在步骤S11209中，设置到负中间图像的像素的负差值转换成具有相同绝对值的正值。

因此，在步骤S11209中，未反转中间图像创建，然后流程前进到步骤S11210。

在步骤S11210中，运动量检测单元11204执行相关性检测处理。步骤S11210中处理的细节将参考图142中的流程图随后描述。

在步骤S11211中，相关性评估单元11222选择在步骤S11210的处理中检测的相关性中的最强相关性，并且流程前进到步骤S11212。

例如，在步骤S11211中，用作像素值的差的绝对值的和的相关性值中，最小相关性值被选择。

在步骤S11212中，相关性评估单元11222将与步骤S11211的处理中选择的最强相关性相对应的运动距离设置为运动量，并且流程前进到步骤S11213。例如，在步骤S11212中，用作像素值的差的绝对值的和的相关性值中，与所选最小相关性值相对应的、在随后描述的步骤S11223的处理中存储的反转中间图像的运动距离设置为运动量。

在步骤S11213中，运动量检测单元11204输出在步骤S11210的处理中检测的运动量，并且处理结束。

图142是描述与步骤S11210中的处理相对应的相关性检测处理的流程图。

在步骤S11221中，运动量检测单元11204的相关性检测单元11221在水平方向上以像素为增量运动在步骤S11209的处理中创建的反转中间图像的像素的位置，并且流程前进到步骤S11222。

在步骤S11222中，相关性检测单元11221检测未反转中间图像与其像素位置在步骤S11221的处理中运动的反转中间图像之间的相关性，并且流程前进到步骤S11223。例如，在步骤S11222中，差值在未反转中间图像的像素的像素值与在屏幕上相应位置处的反转中间图像的像素的像素值之间计算，并且计算的差的绝对值的和检测为相关性值。相关性检测单元11221将指示检测的相关性的相关性信息与步骤S11221的处理中反转中间图像的像素的运动距离一起，提供给相关性评估单元11222。

在步骤S11223中，相关性评估单元11222存储在步骤S11222的处理中检测的相关性，以及步骤S11221的处理中反转中间图像的像素的运动距离，并且流程前进到步骤S11224。例如，相关性评估单元11222存储用作像素值的差的绝对值的和的相关性值，以及步骤S11221的处理中反转中间图像的像素的运动距离。

在步骤S11224中，相关性检测单元11221确定是否关于所有运动距离的相关性都已检测，并且如果确定相关性还没有对一些运动距离而检测，流程返回到步骤S11221，在那里检测关于下一个运动距离的相关性的处理被重复。

例如，在步骤S11224中，相关性检测单元11221确定是否所有相关性都已检测，在图像中左向上70个像素至图像中右向上70个像素的范围内运动反转中间图像的像素的情况下。

如果在步骤S11224中确定所有运动量的相关性都已检测，处理结束(返回)。

因此，相关性检测单元11221可以检测相关性。

如上所述，其构造如图137中所示的运动检测单元11062可以从图像的一帧中检测运动量。

现在，虽然运动已经在这里关于处理区域而检测，配置可以这样进行，其中例如因手摇动而导致的整个屏幕上的运动，可以通过处理整个屏幕而检测。

而且，即使在输入图像中存在大量具有相同设计的各个图案的情况下，这些可以准确地检测，只要待处理的输入图像中处理区域的运动距离和运动方向是恒定的。

虽然从图像的一帧中的运动距离检测已经在上面描述，无需说，配置可以这样进行，其中运动距离从一个场检测。

而且，配置可以这样进行，其中运动量关于仅所选关注像素的周围而检测。

图143说明图111中所示信号处理设备4的应用实例的另一种实施方案的构造实例。

注意，图143说明从运动模糊发生的图像数据(以下称作运动模糊图像数据，如果适当的话)中估计现实世界1光信号的信号处理设备4的一种实施方案的构造实例，其中图像数据是具有例如以预先确定的速度在预先确定的方向上运动的连续性的数据3的实例。也就是说，该信号处理设备4从主体因例如主体(对象)在摄影时运动而以模糊方式拍摄的图像(以下称作运动模糊图像，如果适当的话)中估计不模糊的图像(以下称作不具有运动模糊的图像，如果适当的话)。因此，对于图143中的实施方案，运动模糊因拍摄运动对象而发生的运动模糊图像作为输入图像输入到信号处理设备4。注意这里，通过成像以恒定速度(运动量)在水平方向(从左到右的方向)上运动的对象而获得的图像用作输入图像。

在图143中，处理区域设置单元12001，连续性设置单元12002，现实世界估计单元12003，图像生成单元12004，图像显示单元12005，以及用户I/F 12006，每个对应于图111中所示的处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F10006相同的处理。此外，在图143中，现实世界估计单元12003包括模型生成单元12011，公式生成单元12012，以及现实世界波形估计单元12013。模型生成单元12011，公式生成单元12012，以及现实世界波形估计单元12013对应于图111中的模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个，并且基本上执行与模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个相同的功能。

但是注意，在图143中，用户I/F 12006通过用户操作用户I/F12006输出的帮助信息仅提供给处理区域设置单元12001。

也就是说，在图143中，用户可以通过操作用户I/F 12006关于显示在图像显示单元12005上的图像指示取作处理区域的区域，并且当用户执行操作以指示处理区域时，用户I/F 12006将表示取作指定区域的处理区域的处理区域指示信息提供给处理区域设置单元12001。

现在，通过操作用户I/F 12006指示处理区域的方法的实例包括，例如，使用围绕处理区域的矩形指示的方法，通过剪裁(剪裁)处理区域指示的方法，通过指向处理区域内的一个或多个任意点来指示的方法等等；这里，让我们假定用户通过例如通过操作用户I/F 12006指向处理区域中的一个任意点来指示处理区域。在该情况下，用户I/F 12006将例如该点的图像上的坐标，作为表示用户指向的点的信息，提供给处理区域设置单元12001，作为处理区域指示信息。

接下来，将参考图144中所示的流程图描述图143中所示的信号处理设备4的处理。

首先，在步骤S12001中，信号处理设备4执行预处理，并且流程前进到步骤S12002。也就是说，信号处理设备4将从传感器2(图1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设置单元12001，连续性设置单元12002，现实世界估计单元12003，图像生成单元12004，以及图像显示单元12005。此外，信号处理设备4使得图像显示单元12005显示输入图像。

在步骤S12002中，用户I/F 12006确定是否存在由用户操作用户I/F 12006的某种用户输入。在步骤S12002中，如果确定不存在用户输入，也就是如果用户没有执行操作，流程跳过步骤S12003～S12005，并且前进到步骤S12006。

而且，在步骤S12002中，如果确定存在用户输入，也就是如果用户已经观看显示在图像显示单元12005上的输入图像并且操作用户I/F12006，从而执行指示某种指令或信息的用户输入，流程前进到步骤S12003，在那里用户I/F 12006确定用户输入是否是指示信号处理设备4处理结束的用户指令。

如果在步骤S12003中确定用户输入是结束指令，也就是说，例如，如果已经观看显示在图像显示单元12005上的输入图像的用户操作用户I/F 12006以便结束信号处理设备4的处理而不需要执行关于输入图像的信号处理，因为用户没有发现不满意的输入图像的图像质量，信号处理设备4结束处理。

而且，如果在步骤S12003中确定用户输入不是结束指令，流程前进到步骤S12004，在那里用户I/F 12006确定用户输入是否是处理区域指示信息。如果在步骤S12004中确定用户输入不是处理区域指示信息，步骤S12005跳过，并且流程前进到步骤S12006。

另一方面，如果在步骤S12004中确定存在处理区域指示信息的输入，也就是说，如果已经观看显示在图像显示单元12005上的输入图像并且发现不满意的输入图像的图像质量的用户，因此操作用户I/F 12006以便指向不满意部分，流程前进到步骤S12005，在那里用户I/F 12006将表示用户通过操作用户I/F 12006指向的点的处理区域指示信息提供给处理区域设置单元12001，并且流程前进到步骤S12006。

在步骤S12006中，处理区域设置单元12001基于从用户I/F 12006提供的处理区域指示信息设置处理区域，并且将其处理区域信息提供给连续性设置单元12002，现实世界估计单元12003，以及图像生成单元12004，并且流程前进到步骤S12007。但是，如果处理区域指示信息没有从用户I/F 12006提供给处理区域设置单元12001(如果步骤S12006的处理在步骤S12002或步骤S12004之后立即执行)，处理区域设置单元12001通过执行预先确定的处理(例如，检测运动模糊发生的输入图像中的区域的处理)自动地设置处理区域。

在步骤S12007中，连续性设置单元12002从处理区域设置单元12001提供的处理区域信息中识别输入图像中的处理区域。此外，连续性设置单元12002将在处理区域中显示的对象的运动量设置为表示处理区域图像数据的每个中丢失的现实世界1信号的连续性的信息，并且将表示连续性的连续性信息提供给现实世界估计单元12003，并且流程前进到步骤S12008。注意该运动量可以由用户操作用户I/F 12006输入。而且，这里，连续性设置单元12002将表示输入图像中对象运动量值的运动量设置为连续性信息，因为假设对象在水平方向上运动，但是配置可以这样进行，其中表示对象运动的量值和方向的运动矢量设置为连续性信息。

在步骤S12008中，现实世界估计单元12003根据从处理区域设置单元12001提供的处理区域信息，基于相应现实世界1信号的运动量，从输入图像处理区域中的图像数据(运动模糊图像的数据)中估计现实世界1信号(不具有运动模糊的图像)。

也就是说，对于现实世界估计单元12003，模型生成单元12011从处理区域设置单元12001提供的处理区域信息中识别输入图像中的处理区域，并且基于从连续性设置单元12002提供的连续性信息，识别与处理区域图像数据相对应的现实世界1信号的运动量，也就是，在该情况下，识别显示在处理区域中的对象的运动量。此外，模型生成单元12011对于处理区域中水平线的每个，根据构成输入图像处理区域中每个水平线的像素以及与处理区域的图像数据相对应的现实世界1信号的运动量，来产生模拟处理区域内每个水平线中像素的像素值与现实世界1光信号之间关系的模型(以下称作关系模型，如果适当的话)，其提供给公式生成单元12012。

公式生成单元12012从处理区域设置单元12001提供的处理区域信息中识别输入图像中的处理区域，并且将输入图像的每个像素的像素值代入根据处理区域的关系模型，其已经对于处理区域的每个水平线从模型生成单元12011提供，从而产生用于获得近似现实世界1信号的近似函数的公式，其然后提供给现实世界波形估计单元12013。此外，公式生成单元12012基于处理区域信息产生约束近似函数的约束条件表达式，并且将其提供给现实世界波形估计单元12013。

现实世界波形估计单元12013求解从公式生成单元12012提供的公式，从而估计现实世界1光信号的波形。也就是说，现实世界波形估计单元12013通过求解从公式生成单元提供的公式来获得用作模拟现实世界1光信号的模型的近似函数，并且将近似函数作为现实世界1光信号的估计结果提供给图像生成单元12004。

现在，这种现实世界估计单元12003执行的步骤S12008的处理将称作“现实世界估计处理”。“现实世界估计处理”的细节将参考图149中的流程图随后描述。

在步骤S12008的处理之后，流程前进到步骤S12009，在那里图像生成单元12004基于从现实世界估计单元12003(的现实世界波形估计单元12013)提供的、更接近现实世界1光信号的波形的近似函数产生由现实世界1光信号近似的信号。也就是说，图像生成单元12004从处理区域设置单元12001提供的处理区域信息中识别输入图像中的处理区域，并且基于从现实世界估计单元12003提供的关于相应处理区域的近似函数，产生更接近现实世界1光信号的近似图像(在该情况下，不具有运动模糊的图像，例如)。

此外，图像生成单元12004产生输入图像中的处理区域部分已经用近似图像(不具有运动模糊的图像)取代的图像作为输出图像，其然后提供给图像显示单元12005，并且流程从步骤S12009前进到步骤S12010。

在步骤S12010中，图像显示单元12005显示从图像生成单元12004提供的输出图像，代替步骤S12001中显示的输入图像，或者与输入图像一起，并且流程前进到步骤S12011。

在步骤S12011中，与步骤S12002的情况一样，用户I/F 12006确定是否存在由用户操作用户I/F 12006的某种用户输入，并且如果确定不存在用户输入，也就是如果用户没有执行操作，流程返回到步骤S12011，并且等待某种用户输入。

而且，如果在步骤S12011中确定存在用户输入，也就是如果用户已经观看显示在图像显示单元12005上的输入图像或输出图像并且操作用户I/F 12006，从而执行表示某种指令或信息的用户输入，流程前进到步骤S12012，在那里用户I/F 12006确定用户输入是否是指示信号处理设备4处理结束的结束指令。

如果在步骤S12012中确定用户输入是结束指令，也就是说，例如，如果已经观看显示在图像显示单元12005上的输出图像的用户操作用户I/F 12006以便结束信号处理设备4的处理而不需要执行关于输入图像的信号处理，因为用户没有发现不满意的输入图像的图像质量，信号处理设备4结束处理。

而且，如果在步骤S12012中确定用户输入不是结束指令，流程前进到步骤S12013，在那里用户I/F 12006确定用户输入是否是处理区域指示信息。如果在步骤S12013中确定用户输入不是处理区域指示信息，流程返回到步骤S12011，此后重复相同的处理。

而且，如果在步骤S12013中确定用户输入是处理区域指示信息，也就是说，如果已经观看显示在图像显示单元12005上的输出图像并且发现不满意的输出图像的图像质量的用户，因此操作用户I//F 12006以便关于输出图像指向不满意部分，流程返回到步骤S12005，在那里用户I/F 12006将表示用户通过操作用户I/F 12006指向的点的区域指示信息提供给处理区域设置单元12001，如上所述，并且流程从步骤S12005前进到步骤S12006，此后重复相同的处理。

也就是说，因此，步骤S12005～S12013的该处理重复，用户对输出图像的不满意被解决，因此，用户获得具有期望图像质量的输出图像。

如上所述，对于信号处理设备4，作为输入图像处理结果的输出图像展示给用户，供用户从输出图像中选择新的处理区域，并且处理基于该处理区域再次执行，所以满足用户喜好的高质量输出图像可以容易地获得。也就是说，信号处理设备4向用户展示作为输入图像处理结果的输出图像。另一方面，用户识别输出图像的图像质量，并且将关于输出图像是否是具有期望图像质量或接近期望图像质量的图像的反馈提供给信号处理设备4。信号处理设备4考虑来自用户的反馈再次处理输入图像。因此，满足用户喜好的高质量输出图像可以容易地获得。

现在，可以说接收来自用户的反馈并且在输入图像上执行处理的信号处理设备4意味着信号处理设备4与用户合作执行处理。

现在，在开始现实世界估计单元12003的具体描述之前，将描述模拟处理区域中每个像素的像素值与现实世界1光信号之间关系的关系模型。

图145是描述在传感器2是CCD的情况下积分效应的图。

如图145中所示，多个检测元件2-1(像素)排列在传感器2的平面上。

在图145中所示实例中，平行于检测元件2-1的1个预先确定边的方向是作为空间方向中的一个方向的X方向，并且与X方向垂直的方向是作为空间方向中的另一个方向的Y方向。垂直于X-Y平面的方向是作为时间方向的t方向。

而且，在图145中所示实例中，传感器2的每个检测元件2-1的空间形状是正方形，其中每边的长度是1。而且，传感器2的快门时间(曝光时间)是1。

此外，在图145的实例中，传感器2的1个预先确定检测元件2-1的中心为空间方向(X方向Y方向)的原点(X方向上位置x＝0，并且Y方向上位置y＝0)，而且曝光时间的中间时间点为其在时间方向(t方向)上的原点(t方向上位置t＝0)。

在该情况下，其中心存在于空间方向上原点(x＝0，y＝0)的检测元件2-1在X方向上-0.5～0.5的范围，Y方向上-0.5～0.5的范围，以及t方向上-0.5～0.5的范围上积分表示现实世界1光信号的光信号函数F(x，y，t)，并且输出其积分值作为像素值P。

也就是说，从其中心存在于空间方向上原点处的检测元件2-1输出的像素值P用下面的表达式(146)表示。

$P={\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}F(x,y,t)\mathrm{dxdydt}---\left(146\right)$

其他检测元件2-1也相同，对象检测元件2-1的中心是空间方向上的原点，从而输出由表达式(146)表示的像素值P。

接下来，将参考图146，图147A至图147C，以及图148A至图148C来描述因传感器2的积分效应而发生的运动模糊。在该实例中，我们将假定在从传感器2输出的图像数据中不存在空间混合。也就是说，我们将假定相同光度的光信号在与现实世界1光信号的一个像素(传感器2的检测元件)相对应的部分处空间上均匀分布。

图146是描述存在这种连续性的情况下运动的运动量的图，即由传感器2获取的用作现实世界1光信号的主体(对象)以恒定速度在水平方向(X方向)上运动。

在图146中，X方向和t方向代表传感器2的X方向和t方向(图145)。而且，曝光开始的时间点都是t方向上的原点(t方向上位置t＝0)，并且开始曝光时X方向上主体的某个位置是X方向上的原点(X方向上位置X＝0)。

如果主体以恒定速度在水平方向(X方向)上运动，时间t与X方向上主体的位置之间的关系由图146中虚线指示的直线表示。注意，该虚直线的梯度表示主体运动的速度。

现在在该情况下，让我们假定主体在某个时间点Δt停止，随后在无穷小的时间上重复运动一个像素，从而相当于以1/Δt的恒定速度运动，如图146中实线指示的。

如上所述，假设与一个像素相对应的现实世界1光信号的部分是恒定光度，并且其运动以一个像素的增量执行，不存在因传感器2的积分效应而发生的空间混合和时间混合中的空间混合发生，因此我们仅需要考虑时间混合。这里，将描述仅因传感器2的积分效应而发生的时间混合的运动模糊，以便简化描述。

现在，运动量将由例如主体在曝光时间期间穿过的传感器2的像素数目来表示。如果图146中的曝光时间是5Δt，例如，这意味着主体在曝光时间期间运动经过的像素数目是5，因此运动量也是5。

图147A至图147C是描述在主体(对象)在曝光时间期间在X方向上以运动量5的相等速度运动的情况下X横截面波形F(x)的图，其中y和t在光信号函数F(x，y，t)中固定，也就是，近似投影在处理区域中某一水平线中的光信号函数F(x，y，t)的X横截面波形F(x)的近似函数f(x)。

在图147A至图147C的实例中，处理区域的X方向上的像素数目(水平线中的像素数目)是八。

在图147A至图147C中，X方向表示传感器2的X方向(图145)。而且，让我们假定处理区域左边缘处像素的中心为X方向上的原点(X方向上位置x＝0)。

图147A表示开始曝光时的近似函数f(x)与传感器2的X方向上的位置之间的关系。图147A中的近似函数f(x)用下面的表达式(147)表示。

$f\left(x\right)=\left\{\begin{array}{cc}{Q}_0& (-0.5\&le;x<0.5)\\ Q_1& (0.5\&le;x<1.5)\\ Q_2& (1.5\&le;x<2.5)\\ Q_3& (2.5\&le;x<3.5)\\ Q_4& (3.5\&le;x<4.5)\\ Q_5& (4.5\&le;x<5.5)\\ Q_6& (5.5\&le;x<6.5)\\ Q_7& (6.5\&le;x<7.5)\end{array}\right.---\left(147\right)$

现在，如上所述，相同光度的光信号在与由近似函数f(x)近似的现实世界1光信号的一个像素相对应的部分处空间上均匀分布，所以在表达式(147)中，Q₀～Q₇每个是常数值。

现在，主体以运动量5的相等速度在运动。因此，例如，以曝光时间为1，主体在前一次运动一个像素之后再次运动一个像素的时间，是曝光时间/运动量，也就是1/5。

因此，以开始曝光的时间点为0，在时间点1/5处近似函数f(x)与传感器2的X方向上的位置之间的关系如图147B中所示。因此，近似函数f(x)是从图147A中所示的状态在X方向上移位一个像素的函数。因此，此时的近似函数f(x)用下面的表达式(148)表示。

$f\left(x\right)=\left\{\begin{array}{cc}{Q}_0& (0.5\&le;x<1.5)\\ Q_1& (1.5\&le;x<2.5)\\ Q_2& (2.5\&le;x<3.5)\\ Q_3& (3.5\&le;x<4.5)\\ Q_4& (4.5\&le;x<5.5)\\ Q_5& (5.5\&le;x<6.5)\\ Q_6& (6.5\&le;x<7.5)\\ Q_7& (7.5\&le;x<8.5)\end{array}\right.---\left(148\right)$

主体以相同的方法保持在X方向上以一个像素的增量运动，并且在时间点4/5处，例如，近似函数f(x)与传感器2的X方向上的位置之间的关系如图147C中所示。也就是说，在时间点4/5处主体已经在X方向上运动四个像素，所以近似函数f(x)是从图147A中的状态在X方向上移位四个像素的函数。因此，此时的近似函数f(x)用下面的表达式(149)表示。

$f\left(x\right)=\left\{\begin{array}{cc}{Q}_0& (3.5\&le;x<4.5)\\ Q_1& (4.5\&le;x<5.5)\\ Q_2& (5.5\&le;x<6.5)\\ Q_3& (6.5\&le;x<7.5)\\ Q_4& (7.5\&le;x<8.5)\\ Q_5& (8.5\&le;x<9.5)\\ Q_6& (9.5\&le;x<10.5)\\ Q_7& (10.5\&le;x<11.5)\end{array}\right.---\left(149\right)$

现在，如图145中上面描述的，从传感器2获得的像素值是开始曝光时的现实世界1光信号至结束曝光时的现实世界1光信号已经积分的值。换句话说，像素值是与由开始曝光时的光度至结束曝光时的光度的时间混合而获得的光度相对应的值。

因此，如果与现实世界1光信号的一个像素(传感器2的检测元件)相对应的部分不是相同光度的光信号随着时间均匀分布的部分，而是随着时间光度不同的光信号分布的情况，例如主体运动的情况，该部分由传感器2的检测导致不同光度因传感器2的积分效应而时间混合(在时间方向上积分(累加))，并且变成一个像素值。包括对于与一个像素相对应的主体图像(现实世界1光信号)光度随着时间而不同的像素的区域，例如在主体运动或照相机因在主体摄影时手摇动而摇动的情况下，将称作时间混合区域。因主体运动而发生的时间混合区域将称作运动模糊区域。因此，运动模糊区域的像素值将具有开始曝光时的主体图像(现实世界1光信号)至结束曝光时的主体图像(现实世界1光信号)时间积分(累加)的值。图143中所示现实世界估计单元12003从运动模糊区域中的像素值中估计现实世界1光信号。也就是说，现实世界估计单元12003产生模拟运动模糊区域的像素值与近似函数f(x)之间关系的关系模型，理解运动模糊区域中的像素值是由近似现实世界1光信号的近似函数f(x)当从开始曝光时刻至结束曝光时刻与运动量相对应地运动时积分而获得的值，并且基于关系模型获得近似函数f(x)。

这里，假定运动量如上所述是5，主体在结束曝光的时间点1处在X方向上运动一个像素，并且到达从曝光开始时的位置在X方向上运动5个像素的位置。但是，在该时刻，传感器2的曝光结束。因此，以开始曝光的时间点为0，在作为曝光时间的1期间传感器2的曝光主体，是时间点0，1/5，2/5，3/5和4/5处的近似函数f(x)。

图148A至图148C是描述运动模糊区域中从传感器2输出的图像数据，与近似表示现实世界1光信号的光信号函数F(x，y，t)已经投影在X方向上的X横截面波形F(x)的近似函数f(x)之间的关系(关系模型)的图。

在图148A至图148C中，X方向和t方向代表传感器2的X方向和t方向(图145)。区域12031表示与在传感器2的X方向上排列的多个像素相对应的区域。这里，区域12031分成八个小区域(垂直方向上长的矩形区域)，每个小区域对应于一个像素。注意这里，区域12031的小区域的数目，也就是像素数目，与处理区域的每个水平线中X方向上的像素数目相匹配。小区域的X方向上一边的长度表示X方向上传感器2的像素的长度，并且t方向上一边的长度表示传感器2的曝光时间。因此，区域12031可以理解为构成处理区域中某个水平线的像素区域。

图148A表示当用近似函数f(x)表示的静止的现实世界1光信号输入到传感器2的区域12031时，从传感器2输出的图像数据(像素值)Q₀～Q₇的实例。

现在，让我们假定x₀～x₇每个是区域12031中八个像素的X方向上的中心坐标值。而且，x₀＜x₁＜...＜x₇的关系成立，并且在该情况下，像素的X方向上的宽度是1，所以表达式x₁＝x₀+1，x₂＝x₁+1，...，x₇＝x₆+1的关系成立。在该情况下，近似函数f(x)可以由表达式(150)表示。

$f\left(x\right)=\left\{\begin{array}{cc}{Q}_0& (x_0-0.5\&le;x{\&le;x}_0+0.5)\\ Q_1& (x_1-0.5\&le;x{\&le;x}_1+0.5)\\ Q_2& (x_2-0.5\&le;x{\&le;x}_2+0.5)\\ Q_3& (x_3-0.5\&le;x\&le;x_3+0.5)\\ Q_4& (x_4-0.5\&le;x\&le;x_4+0.5)\\ Q_5& (x_5-0.5\&le;x{\&le;x}_5+0.5)\\ Q_6& (x_6-0.5\&le;x\&le;x_6+0.5)\\ Q_7& (x_7-0.5\&le;x{\&le;x}_7+0.5)\end{array}\right.---\left(150\right)$

如果现实世界1光信号是静止的，在区域12031中八个像素处获得的像素值是在曝光时间上从表达式(146)中积分表达式(150)中的近似函数f(x)的值。在该情况下，曝光时间是1，所以在区域12031中八个像素处获得的像素值与表达式(150)中作为近似函数f(x)值的Q₀～Q₇是相同的值，如图148A中所示。因此Q₀～Q₇是在现实世界1光信号是静止的，并且没有运动模糊在获得像素值Q₀～Q₇的像素中发生的情况下区域12031中八个像素的像素值，因此以下将称作不具有运动模糊的像素值。

图148B表示如果由近似函数f(x)表示的现实世界1光信号具有以某一运动量v在水平方向上运动的连续性，当由近似函数f(x)表示的信号输入时，关于传感器2的区域12031从传感器2输出的图像数据(像素值)P₀～P₇的实例。现在，像素值P₀～P₇是区域12031中X方向上的坐标分别为x₀，x₁，...，x₇的八个像素的像素值。

如果曝光时间中运动量v是5，例如，像素值P₀～P₇可以使用运动量v以及不具有运动模糊的像素值Q₀～Q₇如图148C中所示表示。

也就是说，如参考图146和图147A至图147C描述的，如果现实世界1光信号以恒定速度在水平方向上运动，与由近似函数f(x)表示的光信号相对应的电荷存储在其X方向上的中心坐标为x₀～x₇的八个像素处对于每个时间1/v(在图148C的情况下，1/5)的像素的位置处。

现在，将其X方向上中心坐标值是x₁的像素表示为像素#1，并且与在从作为曝光开始时间的0至时间点1/v的时间1/v上、像素#4的位置处由近似函数f(x)表示的光信号相对应的电荷存储在其X方向上中心坐标值为x₄的像素#4处。也就是说，在像素#4处，根据此时存储的电荷的像素值是Q₄/v，其是关于曝光时间1存储的电荷的像素值Q₄的1/v。也就是说，来自此时在像素#4处存储的电荷的像素值是Q₄/v，其是表达式(150)的近似函数f(x)中像素#4的位置处的值Q₄经历时间1/v的时间积分而获得的值。

接下来，在从时间点1/v至时间点2/v的1/v期间，与由像素#4的位置处的近似函数f(x)表示的光信号相对应的电荷存储在像素#4处。此时，近似函数f(x)处于从开始曝光时的状态在X方向上移位一个像素的状态中，因现实世界1光信号以运动量v在水平方向上运动的连续性，所以存储在像素#4处的电荷的像素值是Q₃/v，其是在X方向上移位一个像素的近似函数f(x)中像素#4的位置处的值Q₃经历时间1/v的时间积分而获得的值。

在曝光时间期间，近似函数f(x)以相等速度在X方向上运动，所以随后，以与上述相同的方法，与像素值Q₂/v相对应的电荷在从时间点2/v至时间点3/v的时间1/v上存储在像素#4处，并且与像素值Q₁/v相对应的电荷在从时间点3/v至时间点4/v的时间1/v上存储在像素#4处。此外，与像素值Q₀/v相对应的电荷在从时间点4/v至时间点5/v(在图148C的情况下，时间点1，也就是曝光结束时间)的时间1/v上存储在像素#4处。因此最终，像素#4的像素值P₄是这些像素值的和，也就是Q₄/v+Q₃/v+Q₂/v+Q₁/v+Q₀/v。

除像素#4之外的像素也可以相同的方法考虑，所以区域12031中的像素的像素值P₄～P₇使用运动量v以及不具有运动模糊的像素值Q₀～Q₇由下面的表达式(151)表示。

P₄＝(Q₀+Q₁+Q₂+Q₃+Q₄)/v

P₅＝(Q₁+Q₂+Q₃+Q₄+Q₅)/v

P₆＝(Q₂+Q₃+Q₄+Q₅+Q₆)/v

P₇＝(Q₃+Q₄+Q₅+Q₆+Q₇)/v    ...(151)

因此，从传感器2输出的像素值P_i(i＝0，1，...，7)是不具有运动模糊的多个像素值Q_i的和(积分)，因此具有运动模糊。

现在，在开始曝光的时间点，近似函数f(x)近似投影到处理区域中像素#0至像素#7上的现实世界光信号。而且，在该情况下，处理区域中的主体在X方向(从左到右)运动。因此，到处理区域左侧的像素，也就是像素#0，#1，#2和#3，在图148C中，不能使用近似函数f(x)表示。因此，在表达式(151)中，不具有运动模糊的像素值，也就是待获得的变量Q₀～Q₇的数目大于公式数目。

也就是说，在表达式(151)中，待获得的变量数目是Q₀～Q₇八个变量，但是这里公式数目是4，小于8。因此，为了获得不具有运动模糊的像素值Q₀～Q₇，还需要使用不具有运动模糊的像素值Q₀～Q₇的独立公式。因此这里，约束不具有运动模糊的像素值Q₀～Q₇的公式被代入例如。这些公式将随后描述。

图143中所示现实世界估计单元12003根据处理区域的X方向上的像素数目以及运动量v，产生与表达式(151)相同的表达式作为关系模型，并且基于关系模型，获得不具有运动模糊的像素值，也就是用作近似现实世界1光信号的近似模型的近似函数f(x)。

接下来，将参考图149中的流程图详细描述现实世界估计单元12003(图143)的现实世界估计处理(图144的步骤S11208中的处理)。

在步骤S12031中，模型生成单元12011产生关系模型。也就是说，模型生成单元12011从处理区域设置单元12001提供的处理区域信息中识别输入图像中的处理区域，并且也从连续性设置单元12002提供的连续性信息中识别与处理区域图像数据相对应的运动量。此外，模型生成单元12011，对于输入图像中的处理区域，根据构成处理区域的水平线的像素，以及与处理区域中图像数据相对应的运动量，产生对于处理区域中的每个水平线，模拟处理区域内由传感器2检测的像素的像素值P_i与由近似现实世界1光信号的近似模型表示的、不具有运动模糊的像素的像素值Q_i之间关系的关系模型，并且将其提供给公式生成单元12012。模型生成单元12011然后从步骤S12031前进到步骤S12032。

特别地，模型生成单元12011根据处理区域水平线中的像素数目以及运动量，产生参考图148A至图148C描述的、表示处理区域的每个水平线中像素的像素值P_i与不具有运动模糊的像素值Q_i之间关系的表达式，作为关系模型。例如，如果处理区域的水平线中的像素数目是8，且运动量v是5，上述表达式(151)中的公式产生作为关系模型。

在步骤S12032中，公式生成单元12012执行公式生成处理。也就是说，公式生成单元12012从处理区域设置单元12001提供的处理区域信息中识别输入图像中的处理区域，并且关于该处理区域，将输入图像的每个像素的像素值P_i代入从模型生成单元12011提供的关于处理区域的水平线的每个而获得的关系模型中，从而产生用于获得由近似现实世界1光信号的近似函数表示的、不具有运动模糊的像素值Q_i的表达式(151)的公式(模型公式)。

此外，公式生成单元12012产生约束条件表达式，其是用于约束近似从处理区域设置单元12001提供的处理区域信息中识别的处理区域的水平线中现实世界1光信号的近似模型的表达式。也就是说，对于模型表达式，作为待获得变量的不具有运动模糊的像素值Q_i的数目大于公式数目，如表达式(151)中指示的，所以需要引入对于公式总数数目等于或大于不具有运动模糊的像素值Q_i的数目的公式，以便获得不具有运动模糊的像素值Q_i。这里，公式生成单元12012产生约束条件表达式以假定相邻像素之间，由近似函数表示的不具有运动模糊的像素值Q_i之间的差小(存在空间相关性)。公式生成单元12012将产生的模型公式与约束条件表达式组合在一起，产生正则方程，其提供给现实世界波形估计单元12013，并且流程从步骤S12032前进到步骤S12033。

注意以下，如上所述公式生成单元12012执行的步骤S12032中的处理将称作“公式生成处理”。“公式生成处理”的细节将参考图151中的流程图随后描述。

在步骤S12033中，现实世界波形估计单元12013求解从公式生成单元12012提供的、关于处理区域的每个水平线的正则方程，从而估计现实世界1光信号的波形，也就是获得由近似函数表示的不具有运动模糊的像素值Q_i，并且将其像素值提供给图像生成单元12004。

接下来，图150说明图143中所示公式生成单元12012的详细构造实例。

在图150中，公式生成单元12012包括模型公式生成单元12051，和约束条件表达式生成单元12052，以及正则方程生成单元12053。

模拟处理区域中每个水平线的像素的像素值(运动模糊图像的像素值)与不具有运动模糊的像素值之间关系的关系模型从模型生成单元12011输入到其构造如图150中所示的公式生成单元12012，并且提供给模型公式生成单元12051。而且，输入图像从传感器2(图1)输入到公式生成单元12012，并且输入图像提供给模型公式生成单元12051。此外，处理区域信息从处理区域设置单元12001输入到公式生成单元12012，并且处理区域信息提供给模型公式生成单元12051和约束条件表达式生成单元12052。

模型公式生成单元12051从处理区域信息中识别输入图像的处理区域，并且代入输入图像中处理区域的像素值作为从模型生成单元12011提供的关系模型的运动模糊图像中每个像素的像素值P_i，从而产生表达式(151)中的模型公式。模型公式生成单元12051将模型公式提供给正则方程生成单元12053。注意，从模型生成单元12011获得的关系模型具有代入表达式(151)的运动量v中的特定值，例如，并且从模型公式生成单元12051获得的模型公式具有代入表达式(151)的像素值P₄～P₇中的特定值。

约束条件表达式生成单元12052基于处理区域信息对于处理区域中每个水平线的像素产生预先确定的约束条件，并且将约束条件表达式提供给正则方程生成单元12053。

正则方程生成单元12053将从模型公式生成单元12051提供的模型公式与从约束条件表达式生成单元12052提供的约束条件表达式组合在一起以产生正则方程，其提供给现实世界波形估计单元12013。

接下来，将参考图151中的流程图详细描述公式生成单元12012(图150)的公式生成处理(图149的步骤S12032中的处理)。

在步骤S12051中，模型公式生成单元12051从模型生成单元12011获得处理区域中每个水平线的关系模型，并且流程前进到步骤S12052。在步骤S12052中，模型公式生成单元12051从传感器2获取输入图像，并且也从处理区域设置单元12001获得处理区域信息。模型公式生成单元12051然后从输入图像的处理区域信息中识别处理区域内每个像素的像素值P_i，并且将像素值P_i代入从模型生成单元12011获得的表达式(151)的关系模型中，从而产生处理区域的每个水平线的模型公式。此外，模型公式生成单元12051将模型公式提供给正则方程生成单元12053。如果模型公式生成单元12051已经从模型生成单元12011获得由上面表达式(151)表示的关系模型，例如，模型公式通过将输入图像的像素值代入表达式(151)的像素值P₄～P₇中而产生。

在步骤S12052的处理之后，流程前进到步骤S12053，在那里约束条件表达式生成单元12052基于处理区域信息产生约束条件表达式，并且将约束条件表达式提供给正则方程生成单元12053，并且流程前进到步骤S12054，也就是说，约束条件表达式生成单元12052根据处理区域水平线中的像素数目，产生表示由近似函数表示的不具有运动模糊的相邻像素之间像素值Q_i和Q_i+1之间的差小的约束条件的约束条件表达式。例如，如果处理区域的水平线中的像素数目是8，并且这八个像素的不具有运动模糊的像素值用Q₀～Q₇表示，约束表达式如下面的表达式(152)来表示，例如。

Q₀＝Q₁

Q₁＝Q₂

Q₂＝Q₃

Q₃＝Q₄

Q₄＝Q₅

Q₅＝Q₆

Q₆＝Q₇    ...(152)

也就是说，表达式(152)表示处理区域的水平线中相邻像素的像素值Q_i和Q_i+1相等。

在步骤S12054中，正则方程生成单元12053将从模型公式生成单元12051提供的表达式(151)的模型公式与从约束条件表达式生成单元12052提供的表达式(152)的约束条件表达式组合在一起，从而产生提供给现实世界波形估计单元12013的正则方程。

此后，现实世界波形估计单元12013使用例如最小二乘方误差的最小范数求解从正则方程生成单元12053提供的正则方程，从而对于处理区域中每个水平线的像素，获得不具有运动模糊的像素值Q_i。

注意，上述现实世界波形估计处理对于处理区域内水平方向上排列的像素的每个(水平线)而执行。也就是说，现实世界波形估计单元12013对于每个水平线，对于处理区域中的每个像素获得不具有运动模糊的像素值Q_i。现实世界波形估计单元12013然后，已经对于处理区域的所有水平线中的每个像素获得不具有运动模糊的像素值Q_i，将处理区域的每个像素的不具有运动模糊的像素值Q_i提供给图像生成单元12004。图像生成单元12004产生输入图像处理区域中每个像素的像素值P_i已经用不具有运动模糊的像素值Q_i取代的图像作为输出图像，并且将其提供给图像显示单元12005以显示。

现在，图152A至图152C说明从传感器2输出的处理区域的某个水平线中像素的像素值P_i与实际水平线中不具有运动模糊的像素值Q_i之间的关系。注意在附图中，与图148A至图148C中那些相对应的部分用相同的参考数字表示，以下其描述将省略，如果适当的话。

图152A至图152C基本上与上述图148A至148C是相同的图，因此，表示不具有运动模糊的像素值Q_i与存在运动模糊的像素值P_i之间的关系。

此外，在图152A中，附加在不具有运动模糊的像素上的箭头12061-1～12061-7表示约束条件，即由箭头两端指示的不具有运动模糊的像素之间像素值Q_i和Q_i+1之间的差小。图152A中所示约束条件表示作为处理区域的区域12031的水平线中不具有运动模糊的所有相邻像素之间像素值Q_i和Q_i+1之间的差小。图150中所示约束条件表达式生成单元12052使用图152A中所示的约束条件，并且产生表示约束条件的表达式(152)的约束条件表达式。

图153说明图111中所示信号处理设备4的应用实例的另一种实施方案的另一种构造实例。

注意，图153说明从运动模糊图像数据中估计现实世界1光信号的信号处理设备4的一种实施方案的构造实例，该运动模糊图像数据是具有例如以预先确定的速度在预先确定的方向上运动的连续性的数据3的实例。也就是说，该信号处理设备4从主体因例如主体(对象)在成像时运动而以模糊方式获取的图像(运动模糊图像)中估计不模糊的图像(不具有运动模糊的图像)。因此，对于图153中所示的实施方案，运动模糊因拍摄运动对象而发生的运动模糊图像作为输入图像输入到信号处理设备4。注意这里，通过成像以恒定速度(运动量)在水平方向(从左到右的方向)上运动的对象而获得的图像用作输入图像。

在图153中，处理区域设置单元12071，连续性设置单元12072，现实世界估计单元12073，图像生成单元12074，图像显示单元12075，以及用户I/F 12076，每个对应于图111中所示的处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F10006相同的处理。此外，在图153中，现实世界估计单元12073包括模型生成单元12081，公式生成单元12082，以及现实世界波形估计单元12083。模型生成单元12081，公式生成单元12082，以及现实世界波形估计单元12083对应于图111中的模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个，并且基本上执行与模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个相同的功能。

但是注意，在图153中，用户I/F 12076通过用户操作用户I/F12076输出的帮助信息提供给处理区域设置单元12071和现实世界估计单元12073。

也就是说，在图153中，用户可以通过操作用户I/F 12076相对于显示在图像显示单元12075上的图像指示不具有运动模糊的图像被估计为平坦的区域作为平坦区域，并且当用户执行操作以指示平坦区域时，用户I/F 12076将表示由该操作指定的平坦区域的平坦区域指示信息提供给处理区域设置单元12071和现实世界估计单元12073。

现在，通过操作用户I/F 12076指示平坦区域的方法的实例包括，例如，使用围绕平坦区域的矩形指示的方法，通过剪裁(剪裁)平坦区域指示的方法，通过指向平坦区域内的一个或多个任意点来指示的方法等等；这里，用户通过例如通过操作用户I/F 12076指向平坦处理区域中的一个任意点来指示平坦区域。在该情况下，用户I/F 12076将例如该点的图像上的坐标，作为表示用户指向的点的信息，提供给处理区域设置单元12071和现实世界估计单元12073，作为处理区域指示信息。

接下来，将参考图154中所示的流程图描述图153中所示的信号处理设备4的处理。

首先，在步骤S12071中，信号处理设备4执行预处理，并且流程前进到步骤S12072。也就是说，信号处理设备4将从传感器2(图1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设置单元12071，连续性设置单元12072，现实世界估计单元12073，图像生成单元12074，以及图像显示单元12075。此外，信号处理设备4使得图像显示单元12075显示输入图像。

在步骤S12072中，用户I/F 12076确定是否存在由用户操作用户I/F 12076的某种用户输入。在步骤S12072中，如果确定不存在用户输入，也就是如果用户没有执行操作，流程跳过步骤S12073～S12075，并且前进到步骤S12076。

而且，在步骤S12072中，如果确定存在用户输入，也就是如果用户已经观看显示在图像显示单元12075上的输入图像并且操作用户I/F12076，从而执行指示某种指令或信息的用户输入，流程前进到步骤S12073，在那里用户I/F确定用户输入是否是指示信号处理设备4处理结束的用户指令。

如果在步骤S12073中确定用户输入是结束指令，也就是说，例如，如果已经观看显示在图像显示单元12075上的输入图像的用户操作用户I/F 12076以便结束信号处理设备4的处理而不需要执行关于输入图像的信号处理，因为用户没有发现不满意的输入图像的图像质量，信号处理设备4结束处理。

而且，如果在步骤S12073中确定用户输入不是结束指令，流程前进到步骤S12074，在那里用户I/F 12076确定用户输入是否是平坦区域指示信息。如果在步骤S12074中确定用户输入不是平坦区域指示信息，步骤S12075跳过，并且流程前进到步骤S12076。

另一方面，如果在步骤S12074中确定存在平坦区域指示信息的输入，也就是说，如果已经观看显示在图像显示单元12075上的输入图像并且发现不满意的输入图像的图像质量的用户，因此操作用户I/F 12076以便指向不具有运动模糊的图像被估计为平坦图像的部分，流程前进到步骤S12075，在那里用户I/F 12076将表示用户通过操作用户I/F 12076指向的点的平坦区域指示信息提供给处理区域设置单元12071和现实世界估计单元12073，并且流程前进到步骤S12076。

在步骤S12076中，处理区域设置单元12071基于从用户I/F 12076提供的平坦区域指示信息，设置包括平坦区域的预先确定矩形区域作为处理区域例如，并且将处理区域信息提供给连续性设置单元12072，现实世界估计单元12073，以及图像生成单元12074，并且流程前进到步骤S12077。注意该处理区域可能由用户操作用户I/F 12076输入。

但是，如果平坦区域指示信息没有从用户I/F 12076提供给处理区域设置单元12071(如果步骤S12076的处理在步骤S12072或步骤S12074之后立即执行)，处理区域设置单元12071通过执行预先确定的处理(例如，检测运动模糊出现的输入图像中的区域的处理)自动地设置处理区域。

在步骤S12077中，连续性设置单元12072从处理区域设置单元12071提供的处理区域信息中识别输入图像中的处理区域。此外，连续性设置单元12072将在处理区域中显示的对象的运动量设置为表示处理区域图像数据的每个中丢失的现实世界1信号的连续性的信息，并且将表示连续性的连续性信息提供给现实世界估计单元12073，并且流程前进到步骤S12078。注意该运动量可以由用户操作用户I/F 12076输入。而且，这里，连续性设置单元12072将表示对象运动量值的运动量设置为输入图像中的连续性信息，因为假设对象在水平方向上运动，但是配置可以这样进行，其中表示对象运动的量值和方向的运动矢量设置为连续性信息。

在步骤S12078中，现实世界估计单元12073根据从处理区域设置单元12071提供的处理区域信息，以及从用户I/F 12076提供的平坦区域指示信息，基于相应现实世界1信号的运动量，关于输入图像的处理区域中的图像数据(运动模糊图像的数据)估计现实世界1光信号(不具有运动模糊的图像)。

也就是说，在现实世界估计单元12073处，模型生成单元12081从处理区域设置单元12071提供的处理区域信息中识别输入图像中的处理区域，并且基于从连续性设置单元12072提供的连续性信息，识别与处理区域图像数据相对应的现实世界1信号的运动量，也就是，在该情况下，识别显示在处理区域中的对象的运动量。此外，模型生成单元12081对于处理区域中水平线的每个，根据构成输入图像处理区域中每个水平线的像素以及与处理区域的图像数据相对应的现实世界1光信号的运动量，来产生模拟处理区域内每个水平线中像素的像素值与现实世界1光信号之间关系的关系模型，其提供给公式生成单元12082。

公式生成单元12082从处理区域设置单元12071提供的处理区域信息中识别输入图像中的处理区域，并且将输入图像的每个像素的像素值代入根据从模型生成单元12081提供的处理区域的处理区域每个水平线的关系模型中，从而产生用于获得用作近似现实世界1信号的近似模型的近似函数的公式，其然后提供给现实世界波形估计单元12083。此外，公式生成单元12082基于处理区域信息或平坦区域指示信息产生约束近似函数的约束条件表达式，并且将其提供给现实世界波形估计单元12083。

现实世界波形估计单元12083求解从公式生成单元12082提供的公式，从而估计现实世界1光信号的波形。也就是说，现实世界波形估计单元12083通过求解从公式生成单元12082提供的公式来获得用作模拟现实世界1光信号的近似模型的近似函数，并且将近似函数作为现实世界1光信号的估计结果提供给图像生成单元12074。

现在，这种现实世界估计单元12073执行的步骤S12078的处理将称作“现实世界估计处理”。“现实世界估计处理”的细节将参考图155中的流程图随后描述。

在步骤S12078的处理之后，流程前进到步骤S12079，在那里图像生成单元12074基于从现实世界估计单元12073(的现实世界波形估计单元12083)提供的、更接近现实世界1光信号的波形的近似函数产生更接近现实世界1光信号的信号。也就是说，图像生成单元12074从处理区域设置单元12071提供的处理区域信息中识别输入图像中的处理区域，并且基于从现实世界估计单元12073提供的关于相应处理区域的近似函数，产生更接近现实世界1光信号的近似图像(在该情况下，不具有运动模糊的图像，例如)。

此外，图像生成单元12074产生输入图像中的处理区域部分已经用近似图像(不具有运动模糊的图像)取代的图像作为输出图像，其然后提供给图像显示单元12075，并且流程从步骤S12079前进到步骤S12080。

在步骤S12080中，图像显示单元12075显示从图像生成单元12074提供的输出图像，代替步骤S12071中显示的输入图像，或者与输入图像一起，并且流程前进到步骤S12081。

在步骤S12081中，与步骤S12072的情况一样，用户I/F 12076确定是否存在由用户操作用户I/F 12076的某种用户输入，并且如果确定不存在用户输入，也就是如果用户没有执行操作，流程返回到步骤S12081，并且等待某种用户输入。

而且，如果在步骤S12081中确定存在用户输入，也就是如果用户已经观看显示在图像显示单元12075上的输入图像或输出图像并且操作用户I/F 12076，从而执行表示某种指令或信息的用户输入并且如果存在某种用户输入，流程前进到步骤S12082，在那里用户I/F 12076确定用户输入是否是指示信号处理设备4处理结束的结束指令。

如果在步骤S12082中确定用户输入是结束指令，也就是说，例如，如果已经观看显示在图像显示单元12075上的输出图像的用户操作用户I/F 12076以便结束信号处理设备4的处理而不需要执行关于输出图像的信号处理，因为用户没有发现不满意的输入图像的图像质量，信号处理设备4结束处理。

而且，如果在步骤S12082中确定用户输入不是结束指令，流程前进到步骤S12083，在那里用户I/F 12076确定用户输入是否是平坦区域指示信息。如果在步骤S12083中确定用户输入不是平坦区域指示信息，流程返回到步骤S12081，此后重复相同的处理。

而且，如果在步骤S12083中确定用户输入是平坦区域指示信息，也就是说，如果已经观看显示在图像显示单元12075上的输出图像并且发现不满意的输入图像的图像质量的用户，因此操作用户I/F 12076以便关于输出图像指向不具有运动模糊的图像被估计为平坦图像的部分，流程返回到步骤S12075，在那里用户I/F 12076将表示用户通过操作用户I/F 12076指向的点的平坦区域指示信息提供给处理区域设置单元12071和现实世界估计单元12073，如上所述，并且流程从步骤S12075前进到步骤S12076，此后重复相同的处理。

也就是说，因此，步骤S12075～S12083的该处理重复，用户对输出图像的不满意被解决，因此，用户获得具有期望图像质量的输出图像。

如上所述，对于信号处理设备4，作为输入图像处理结果的输出图像展示给用户，供用户从输出图像中指示新的平坦区域，其中不具有运动模糊的图像被估计为平坦图像，并且处理基于该平坦区域再次执行，所以满足用户喜好的高质量输出图像可以容易地获得。

也就是说，信号处理设备4向用户展示作为输入图像处理结果的输出图像。另一方面，用户识别输出图像，并且以不具有运动模糊的图像被估计为平坦图像的区域作为平坦区域提供反馈给信号处理设备4。考虑来自用户的反馈的信号处理设备4例如对于仅从输入图像中由用户指示的平坦区域，产生相邻像素的像素值之间的差小的约束条件表达式，作为用来约束用作近似现实世界1光信号的近似模型的近似函数的约束条件表达式。信号处理设备4使用约束条件表达式再次处理输入图像，此后重复相同的处理。因此，信号处理设备4对于输入图像的仅平坦区域产生相邻像素的像素值之间的差小的约束条件表达式，所以输入图像对具有边缘的区域处理而不产生相邻像素的像素值之间差小的约束条件表达式，所以输入图像中平坦区域中的噪声被抑制，具有边缘的区域中的边缘被保持，并且满足用户喜好的高质量输出图像可以容易地获得。

现在，可以说接收来自用户的反馈并且在输入图像上执行处理的信号处理设备4意味着信号处理设备4与用户合作执行处理。

接下来，将参考图155中的流程图详细描述现实世界估计单元12073(图153)的现实世界估计处理(图154的步骤S12078中的处理)。

在步骤S12101中，模型生成单元12081产生关系模型。也就是说，模型生成单元12081从处理区域设置单元12071提供的处理区域信息中识别输入图像中的处理区域，并且也从连续性设置单元12072提供的连续性信息中识别与处理区域图像数据相对应的运动量。此外，模型生成单元12081，对于输入图像中的处理区域，根据构成处理区域的水平线的像素，以及与处理区域中图像数据相对应的运动量，产生对于处理区域中的每个水平线，模拟处理区域内由传感器2检测的像素的像素值P_i与由近似现实世界1光信号的近似模型表示的、不具有运动模糊的像素的像素值Q_i之间关系的关系模型，并且将其提供给公式生成单元12082。模型生成单元12081然后从步骤S12101前进到步骤S12102。

特别地，模型生成单元12011根据处理区域水平线中的像素数目以及运动量，产生参考图148A至图148C描述的、表示处理区域的每个水平线中像素的像素值P_i与不具有运动模糊的像素值Q_i之间关系的表达式，作为关系模型。例如，如果处理区域的水平线中的像素数目是8，且运动量v是5，上述表达式(151)中的公式产生作为关系模型。

在步骤S12102中，公式生成单元12082执行公式生成处理。也就是说，公式生成单元12082从处理区域设置单元12071提供的处理区域信息中识别输入图像中的处理区域，并且关于该处理区域，将构成处理区域的输入图像的每个像素的像素值P_i代入从模型生成单元12081提供的关于处理区域的每个水平线而获得的关系模型中，从而产生用于获得由近似现实世界1光信号的近似函数表示的、不具有运动模糊的像素值Q_i的表达式(151)的公式(模型公式)。

此外，公式生成单元12082产生约束条件表达式，其是用于约束近似从处理区域设置单元12071提供的处理区域信息中识别的处理区域的水平线中现实世界1光信号的近似模型的表达式。也就是说，对于模型表达式，作为待获得变量的不具有运动模糊的像素值Q_i的数目大于公式数目，如表达式(151)中指示的，所以需要引入对于公式总数数目等于或大于不具有运动模糊的像素值Q_i的数目的公式，以便获得不具有运动模糊的像素值Q_i。这里，公式生成单元12082产生约束条件表达式以假定相邻像素之间，由近似函数表示的不具有运动模糊的像素值Q_i之间的差小(存在空间相关性)。如果平坦区域已经由用户指示，公式生成单元12082产生关于仅平坦区域的约束条件表达式。

因此，即使在不具有运动模糊的图像不是平坦的并且具有某种图案，例如使得图像具有高级别活动性的情况下，具有用户期望图像质量的不具有运动模糊的图像可以获得。也就是说，公式生成单元12082不将相邻像素的像素值之间的差小的约束条件应用于光强与在不具有运动模糊的图像中没有由用户指示为平坦区域的部分显著不同的边缘部分，并且将相邻像素的像素值之间的差小的约束条件应用于由用户指示为平坦区域的平坦部分，从而产生约束条件表达式。因此，边缘维持在边缘部分图像中，并且不具有运动模糊且噪声被抑制的高图像质量的图像在平坦部分图像处获得。

而且，如果用户指示平坦区域，用户不需要关于处理区域中所有像素确定每个像素的约束条件表达式，或者公式生成单元12082不需要通过从输入图像的特征等估计平坦区域来确定约束条件表达式，并且约束条件表达式可以容易地应用于不具有运动模糊的图像中仅平坦图像部分。因此，信号处理设备4可以容易地获得具有用户期望图像质量的输出图像。

公式生成单元12082将生成的模型公式与约束条件表达式组合在一起以产生正则方程，并且将其提供给现实世界波形估计单元12083，并且流程从步骤S12102前进到步骤S12103。

注意以下，如上所述公式生成单元12082执行的步骤S12102中的处理将称作“公式生成处理”。“公式生成处理”的细节将参考图157中的流程图随后描述。

在步骤S12103中，现实世界波形估计单元12083求解从公式生成单元12082提供的、关于处理区域每个水平线的正则方程，从而估计现实世界1光信号的波形，也就是获得由近似函数表示的不具有运动模糊的像素值Q_i，并且将其像素值提供给图像生成单元12074。

接下来，图156说明图153中所示公式生成单元12082的详细构造实例。

在图156中，公式生成单元12082包括模型公式生成单元12101，和约束条件表达式生成单元12102，以及正则方程生成单元12103。

模拟处理区域中每个水平线的像素的像素值(运动模糊图像的像素值)与不具有运动模糊的像素值之间关系的关系模型从模型生成单元12081输入到其构造如图156中所示的公式生成单元12082，并且提供给模型公式生成单元12101。而且，输入图像从传感器2(图1)输入到公式生成单元12082，并且输入图像提供给模型公式生成单元12101。

此外，处理区域信息从处理区域设置单元12071输入到公式生成单元12082，并且处理区域信息提供给模型公式生成单元12101和约束条件表达式生成单元12102。而且，平坦区域指示信息从用户I/F 12076输入到公式生成单元12082，其提供给约束条件表达式生成单元12102。

模型公式生成单元12101从处理区域信息中识别输入图像的处理区域，并且代入输入图像中处理区域的像素值作为从模型生成单元12081提供的关系模型的运动模糊图像中每个像素的像素值P_i，从而产生表达式(151)中的模型公式。模型公式生成单元12101将模型公式提供给正则方程生成单元12103。注意，从模型生成单元12081获得的关系模型具有代入表达式(151)的运动量v中的特定值，例如，并且从模型公式生成单元12101获得的模型公式具有代入表达式(151)的像素值P₄～P₇中的特定值。

约束条件表达式生成单元12102基于处理区域信息或平坦区域指示信息对于处理区域中每个水平线的像素产生预先确定的约束条件，并且将约束条件表达式提供给正则方程生成单元12103。

正则方程生成单元12103将从模型公式生成单元12101提供的模型公式与从约束条件表达式生成单元12102提供的约束条件表达式组合在一起以产生正则方程，其提供给现实世界波形估计单元12083。

接下来，将参考图157中的流程图详细描述公式生成单元12082(图156)的公式生成处理(图155的步骤S12102中的处理)。

在步骤S12121中，模型公式生成单元12101从模型生成单元12081获得处理区域中每个水平线的关系模型，并且流程前进到步骤S12122。在步骤S12122中，模型公式生成单元12101从传感器2获取输入图像，并且也从处理区域设置单元12071获得处理区域信息。模型公式生成单元12101然后从输入图像的处理区域信息中识别处理区域内每个像素的像素值P_i，并且将像素值P_i代入从模型生成单元12081获得的表达式(151)的关系模型中，从而产生处理区域的每个水平线的模型公式。此外，模型公式生成单元12101将模型公式提供给正则方程生成单元12103。如果模型公式生成单元12101已经从模型生成单元12081获得由上面表达式(151)表示的关系模型，例如，模型公式通过将输入图像的像素值代入表达式(151)的像素值P₄～P₇中而产生。

在步骤S12122的处理之后，流程前进到步骤S12123，在那里约束条件表达式生成单元12102确定平坦区域指示信息是否已经从用户I/F12076输入，并且如果确定平坦区域指示信息没有输入，步骤S12124跳过，并且流程前进到步骤S12125。在该情况下，在步骤S12125中，约束条件表达式生成单元12102基于由例如执行预先确定处理的处理区域设置单元12071自动设置的处理区域信息产生约束条件表达式，将约束条件表达式提供给正则方程生成单元12103，并且流程从步骤S12125前进到步骤S12126。也就是说，约束条件表达式生成单元12102对于处理区域的每个水平线中的所有像素，产生表示由近似函数表示的不具有运动模糊的相邻像素之间像素值Q_i和Q_i+1之间的差小的约束条件的约束条件表达式。例如，如果处理区域的水平线中的像素数目是8，并且这八个像素的不具有运动模糊的像素值用Q₀～Q₇表示，约束表达式如上述表达式(152)中表示，例如。

另一方面，如果在步骤S12123中确定平坦区域指示信息已经从用户I/F 12076输入，约束条件表达式生成单元12102前进到步骤S12124，从用户I/F 12076获得平坦区域指示信息，并且流程前进到步骤S12125。

在该情况下，在步骤S12125中，约束条件表达式生成单元12102基于平坦区域指示信息产生约束条件表达式。也就是说，约束条件表达式生成单元12102仅产生关于平坦区域的约束条件表达式(将关于与平坦区域中的像素相对应的约束条件表达式的权重以及与除平坦区域之外的像素相对应的约束条件表达式的权重从1比1变成1比0。也就是说，约束条件表达式的部分的权重改变)。约束条件表达式生成单元12102将生成的约束条件表达式提供给正则方程生成单元12103，并且流程从步骤S12125前进到步骤S12126。

例如，如图148A至图148C或图152A至图152C中所示，如果处理区域中的水平线由八个像素#0～#7构成，并且八个像素#0～#7中像素#0～#5指定为平坦区域，约束条件表达式使用像素#0～#5的不具有运动模糊的像素值Q₀～Q₅如下面表达式(153)中，例如。

Q₀＝Q₁

Q₁＝Q₂

Q₂＝Q₃

Q₃＝Q₄

Q₄＝Q₅    ...(153)

也就是说，表达式(153)表示处理区域的水平线中相邻像素的像素值Q_i和Q_i+1相等。

因此，不具有运动模糊的图像中相邻像素的像素值之间的差小的约束条件仅应用于现实图像平坦的区域，所以信号处理设备4可以产生更接近现实世界1信号的不具有运动模糊的图像。

在步骤S12126中，正则方程生成单元12103将从模型公式生成单元12101提供的表达式(151)的模型公式与从约束条件表达式生成单元12102提供的表达式(152)的约束条件表达式或表达式(153)的约束条件表达式(其权重改变的约束条件表达式)组合在一起，从而产生提供给现实世界波形估计单元12083的正则方程。

此后，现实世界波形估计单元12083使用例如最小二乘方误差的最小范数求解从正则方程生成单元12103提供的正则方程，从而对于处理区域中每个水平线的像素，获得不具有运动模糊的像素值Q_i。

注意，上述现实世界估计处理对于处理区域内水平方向上排列的像素的每个(水平线)而执行。也就是说，现实世界波形估计单元12083对于每个水平线，对于处理区域中的每个像素获得不具有运动模糊的像素值Q_i。现实世界波形估计单元12083然后，已经对于处理区域的所有水平线中的每个像素获得不具有运动模糊的像素值Q_i，将处理区域的每个像素的不具有运动模糊的像素值Q_i提供给图像生成单元12074。图像生成单元12074产生输入图像处理区域中每个像素的像素值P_i已经用不具有运动模糊的像素值Q_i取代的图像作为输出图像，并且将其提供给图像显示单元12075以显示。

而且，在上面描述中，用户操作用户I/F 12076以从输出图像中指示平坦区域，但是具有边缘的区域的指示可以进行。在该情况下，以与上述处理相同的方法，指示的具有边缘的区域作为边缘区域指示信息提供给处理区域设置单元12071和现实世界估计单元12073。在处理区域中，约束条件表达式生成单元12102产生关于除指示为边缘区域的区域之外的区域的约束条件表达式(将关于与边缘区域中的像素相对应的约束条件表达式的权重以及与处理区域内除边缘区域之外的像素相对应的约束条件表达式的权重从1比1变成1比0。)也就是说，约束条件表达式生成单元12102不产生关于边缘区域的约束条件表达式。

此外，虽然上述处理不产生关于除平坦区域之外的约束条件表达式，关于除平坦区域之外的约束条件表达式也可以使用较小的权重来产生，与关于平坦区域的约束条件表达式的权重相比较。在该情况下，例如约束条件表达式被产生，其中关于平坦区域的约束条件表达式以1加权，而关于除平坦区域之外的约束条件表达式用小于1，例如0.5加权。

图158和图159是描述图153中所示信号处理设备4的处理概述的图。

如图158中所示，用户观看输入图像12121并且想象不具有运动模糊的图像12123，并且对输入图像12121指示估计为平坦的区域作为平坦区域。而且，用户观看作为已经在信号处理设备4处理的输入图像12121处理结果的输出图像12122，想象不具有运动模糊的图像12123，并且对输出图像12122指示估计为平坦的区域作为平坦区域。信号处理设备4产生仅关于用户已经指示为平坦区域的区域的约束条件表达式，并且使用约束条件表达式产生更接近现实世界1光信号的不具有运动模糊的图像。

因此，对于信号处理设备4，用户被展示有输入图像和输出图像，并且用户关于输入图像或输出图像指示平坦区域。信号处理设备4将不具有运动模糊的图像中相邻像素的像素值之间的差小的约束条件应用到平坦区域，所以最佳约束条件可以容易地设置，并且更接近现实世界1光信号的图像可以获得。而且，用户可以直接向信号处理设备4指示对图像质量的不满意，并且可以容易地获得具有期望图像质量的图像或者接近期望图像质量的图像。

图159是描述在用户观看输入图像并指示平坦区域的情况，以及不指示平坦区域的情况下信号处理设备4的处理的图。

如图159中所示，如果用户不对输入图像12142指示平坦区域，处理区域由信号处理设备4确定，并且约束条件表达式对于处理区域的每个水平线中的所有像素以均等(相等)的方式产生，好像它们本是这样(均等处理)。

另一方面，如果用户观看输入图像12142，想象不具有运动模糊的图像12123，并且作出关于输入图像12142的不具有运动模糊的图像12123中平坦区域的指示，非均等的处理执行。也就是说，在图159的实例中，用户已经指示输入图像中像素值为P₃和P₄的像素作为平坦区域。

信号处理设备4基于由用户指示的平坦区域产生与输入图像中像素值为P₃和P₄的像素相对应的不具有运动模糊的像素值Q₃和Q₄之间的差小的约束条件表达式。而且，与平坦区域中的约束条件表达式相比较，信号处理设备4以较小的权重产生关于除处理区域中平坦区域之外的像素的约束条件表达式。也就是说，约束条件表达式以非均等方式关于处理区域而产生，好像它们本是这样(非均等处理)。

因此，信号处理设备4可以将约束条件以比处理区域中其他区域更大的权重应用于现实图像平坦的区域，而无需复杂的处理。因此，信号处理设备4可以使得不具有运动模糊的图像更接近现实图像。

图160A至图160C表示从传感器2输出的处理区域的某个水平线中像素的像素值P_i与水平线中不具有运动模糊的像素值Q_i之间的关系。注意在附图中，与图152A至图152C中那些相对应的部分用相同的符号表示，并且其描述将在下面省略，如果适当的话。

图160A至图160C基本上分别与上述图152A至图152C相同，因此表示不具有运动模糊的像素值Q_i与具有运动模糊的像素值P_i之间的关系。

在图160A至图160C中所示的实例中，用户操作用户I/F 12076以指示不具有运动模糊的像素的像素值为Q₀和Q₁的区域，不具有运动模糊的像素的像素值为Q₂～Q₅的区域，以及不具有运动模糊的像素的像素值为Q₆和Q₇的区域，作为平坦区域。

因此，如图160A中所示，不具有运动模糊的像素的相邻像素的像素值Q_i和Q_i+1之间的差小的约束条件仅应用于不具有运动模糊的像素的像素值为Q₀和Q₁的区域，不具有运动模糊的像素的像素值为Q₂～Q₅的区域，以及不具有运动模糊的像素的像素值为Q₆和Q₇的区域(指示为平坦区域的区域)。

图161说明图111中所示信号处理设备4的应用实例的另一种实施方案的另一种构造实例。

注意，图161说明从运动模糊图像数据中估计现实世界1光信号的信号处理设备4的一种实施方案的构造实例，该运动模糊图像数据是具有例如以预先确定的速度在预先确定的方向上运动的连续性的数据3的实例。也就是说，该信号处理设备4从主体因例如主体(对象)在摄影时运动而以模糊方式获取的图像(运动模糊图像)中估计不模糊的图像(不具有运动模糊的图像)。因此，对于图161中所示的实施方案，运动模糊因拍摄运动对象而发生的运动模糊图像作为输入图像输入到信号处理设备4。注意这里，通过成像以恒定速度(运动量)在水平方向(从左到右的方向)上运动的对象而获得的图像用作输入图像。

在图161中，处理区域设置单元12161，连续性设置单元12162，现实世界估计单元12163，图像生成单元12164，图像显示单元12165，以及用户I/F 12166，每个对应于图111中所示的处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F10006相同的处理。此外，在图161中，现实世界估计单元12163包括模型生成单元12171，公式生成单元12172，以及现实世界波形估计单元12173。模型生成单元12171，公式生成单元12172，以及现实世界波形估计单元12173对应于图111中的模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个，并且基本上执行与模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个相同的功能。

但是注意，在图161中，用户I/F 12166通过用户操作用户I/F12166输出的帮助信息提供给处理区域设置单元12161和现实世界估计单元12163。

也就是说，在图161中，用户可以通过操作用户I/F 12166相对于显示在图像显示单元12165上的图像指示不满意的区域以取作不满意区域，并且当用户执行操作以指示不满意区域时，用户I/F 12166将表示作为由该操作指定的区域的不满意区域的不满意区域指示信息提供给处理区域设置单元12161和现实世界估计单元12163。此外，在图161中，如随后描述的，多个输出图像显示在图像显示单元12165上，并且用户可以通过操作用户I/F 12166选择显示在图像显示单元12165上的输出图像，并且当用户执行选择输出图像的操作时，用户I/F 12166将表示由该操作选择的输出图像的选择信息作为帮助信息提供给处理区域选择单元12161和现实世界估计单元12163。

现在，通过操作用户I/F 12166指示不满意区域的方法的实例包括，例如，使用围绕不满意区域的矩形指示的方法，通过剪裁(剪裁)不满意区域指示的方法，通过指向不满意区域内的一个或多个任意点来指示的方法等等；这里，让我们假定用户通过例如通过操作用户I/F12166指向不满意区域中的一个任意点来指示不满意区域。在该情况下，用户I/F 12166将例如该点的图像上的坐标，作为表示用户指向的点的信息，提供给处理区域设置单元12161和现实世界估计单元12163，作为不满意区域指示信息。

接下来，将参考图162中所示的流程图描述图161中所示的信号处理设备4的处理。

首先，在步骤S12141中，信号处理设备4执行预处理，并且流程前进到步骤S12142。也就是说，信号处理设备4将从传感器2(图1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设置单元12161，连续性设置单元12162，现实世界估计单元12163，图像生成单元12164，以及图像显示单元12165。此外，信号处理设备4使得图像显示单元12165显示输入图像。

在步骤S12142中，用户I/F 12166确定是否存在由用户操作用户I/F 12166的某种用户输入。在步骤S12142中，如果确定不存在用户输入，也就是如果用户没有执行操作，流程跳过步骤S12143～S12145，并且前进到步骤S12146。

而且，在步骤S12142中，如果确定存在用户输入，也就是如果用户已经观看显示在图像显示单元12165上的输入图像并且操作用户I/F12166，从而执行指示某种指令或信息的用户输入，并且如果已经存在某种用户输入，流程前进到步骤S12143，在那里用户I/F 12166确定用户输入是否是指示信号处理设备4处理结束的用户指令。

如果在步骤S12143中确定用户输入是结束指令，也就是说，例如，如果已经观看显示在图像显示单元12165上的输入图像的用户操作用户I/F 12166以便结束信号处理设备4的处理而不需要执行关于输入图像的信号处理，因为用户没有发现不满意的输入图像的图像质量，信号处理设备4结束处理。

而且，如果在步骤S12143中确定用户输入不是结束指令，流程前进到步骤S12144，在那里用户I/F 12166确定用户输入是否是不满意区域指示信息。如果在步骤S12144中确定用户输入不是不满意区域指示信息，步骤S12145跳过，并且流程前进到步骤S12146。

另一方面，如果在步骤S12144中确定存在不满意区域指示信息的输入，也就是说，如果已经观看显示在图像显示单元12165上的输入图像并且发现不满意的输入图像的图像质量的用户，因此操作用户I/F12166以便指向不满意部分，流程前进到步骤S12145，在那里用户I/F12166将表示用户通过操作用户I/F 12166指向的点的不满意区域指示信息作为帮助信息提供给处理区域设置单元12161和现实世界估计单元12163，并且流程前进到步骤S12146。

在步骤S12146中，处理区域设置单元12161基于用作从用户I/F12166提供的帮助信息的不满意区域指示信息，设置例如包括不满意区域的预先确定矩形区域作为处理区域，并且将其处理区域信息提供给连续性设置单元12162，现实世界估计单元12163，以及图像生成单元12164，并且流程前进到步骤S12147。注意该处理区域可能由用户操作用户I/F 12166输入。

但是，如果不满意区域指示信息没有从用户I/F 12166提供给处理区域设置单元12161(如果步骤S12146的处理在步骤S12142或步骤S12144之后立即执行)，处理区域设置单元12161通过执行预先确定的处理(例如，检测运动模糊出现的输入图像中的区域的处理)自动地设置处理区域。

在步骤S12147中，连续性设置单元12162从处理区域设置单元12161提供的处理区域信息中识别输入图像中的处理区域。此外，连续性设置单元12162将在处理区域中显示的对象的运动量设置为表示处理区域图像数据的每个中丢失的现实世界1信号的连续性的信息，并且将表示连续性的连续性信息提供给现实世界估计单元12163，并且流程前进到步骤S12148。注意该运动量可以通过操作用户I/F 12166输入。而且，这里，连续性设置单元12162被配置以便将表示输入图像中对象运动量值的运动量设置为连续性信息，因为假设对象在水平方向上运动，但是配置可以这样进行，其中表示对象运动的量值和方向的运动矢量设置为连续性信息。

在步骤S12148中，现实世界估计单元12163根据从处理区域设置单元12161提供的处理区域信息以及从用户I/F 12166提供的不满意区域指示信息，基于相应现实世界1信号的运动量，关于输入图像的处理区域中的图像数据(运动模糊图像的数据)，估计N个即多个版本的现实世界1光信号(不具有运动模糊的图像)。

也就是说，在现实世界估计单元12163处，模型生成单元12171从处理区域设置单元12161提供的处理区域信息中识别输入图像中的处理区域，并且基于从连续性设置单元12162提供的连续性信息，识别与处理区域图像数据相对应的现实世界1信号的运动量，也就是，在该情况下，识别显示在处理区域中的对象的运动量。此外，模型生成单元12171对于处理区域中水平线的每个，根据构成输入图像处理区域中每个水平线的像素以及与处理区域的图像数据相对应的现实世界1信号的运动量，来产生模拟处理区域内每个水平线中像素的像素值与现实世界1光信号之间关系的关系模型，其提供给公式生成单元12172。

公式生成单元12172从处理区域设置单元12161提供的处理区域信息中识别输入图像中的处理区域，并且将输入图像的每个像素的像素值代入根据处理区域从模型生成单元12171提供的处理区域的每个水平线的关系模型中，从而产生用于获得近似现实世界1信号的近似函数的公式。此外，公式生成单元12172基于处理区域信息或不满意区域指示信息产生N个版本的约束条件表达式，其中约束近似函数的约束条件表达式以N种方法加权。公式生成单元12172将获得用作近似现实世界1光信号的近似模型的近似函数的公式与N个版本约束条件的每个组合在一起，产生N个版本的正则方程，其提供给现实世界波形估计单元12173。

现实世界波形估计单元12173计算从公式生成单元12172提供的N个版本正则方程的每个，从而估计N个版本的现实世界1信号的波形。也就是说，现实世界波形估计单元12173求解从公式生成单元12172提供的N个版本正则方程的每个，从而获得用作模拟现实世界1信号的近似模型的N个版本的近似函数，并且将近似函数作为N个版本现实世界1信号的估计结果提供给图像生成单元12164。

现在，这种现实世界估计单元12163执行的步骤S12148的处理将称作“现实世界估计处理”。“现实世界估计处理”的细节将参考图163中的流程图随后描述。

在步骤S12148的处理之后，流程前进到步骤S12149，在那里图像生成单元12164基于从现实世界估计单元12163(的现实世界波形估计单元12173)提供的、更接近现实世界1信号的波形的N个版本的近似函数，产生更接近现实世界1信号的N个版本的信号。也就是说，图像生成单元12164从处理区域设置单元12161提供的处理区域信息中识别输入图像中的处理区域，并且基于从现实世界估计单元12163提供的关于相应处理区域的N个版本的近似函数，产生更接近现实世界1信号的N个版本的近似图像(不具有运动模糊的图像)。

此外，图像生成单元12164产生输入图像中的处理区域部分已经用N个版本的近似图像(不具有运动模糊的图像)取代的图像作为N个版本的输出图像，其然后提供给图像显示单元12165，并且流程从步骤S12149前进到步骤S12150。

在步骤S12150中，图像显示单元12165显示从图像生成单元12164提供的N个版本的输出图像，代替步骤S12141中显示的输入图像，或者与输入图像一起，并且流程前进到步骤S12151。

在步骤S12151中，用户I/F 12166确定是否存在由用户操作用户I/F 12166的选择信息的输入。也就是说，在步骤S12150中，N个版本的输出图像显示在图像显示单元12165上，并且在步骤S12151中确定已经观看N个版本输出图像的用户是否已经通过操作用户I/F 12166输入用于从N个版本的输出图像中，选择作为具有期望图像质量的图像或者接近期望图像质量的图像的图像的选择信息。

如果在步骤S12151中确定不存在选择信息的输入，流程前进到步骤S12154，并且用户I/F 12166确定是否存在结束指令的输入，与步骤S12143的情况一样。

如果在步骤S12154中确定存在结束指令的输入，信号处理设备4结束处理。

而且，如果在步骤S12154中确定不存在结束指令的输入，流程返回到步骤S12151，此后重复相同的处理。

另一方面，如果在步骤S12151中确定存在选择信息的输入，也就是，如果已经观看显示在图像显示单元12165上的N个版本输出图像的用户已经从N个版本的输出图像中选择作为具有期望图像质量的图像或者接近期望图像质量的图像的图像，流程前进到步骤S12152，在那里用户I/F 12166确定用户是否已经通过操作用户I/F 12166输入最终确定指令，该指令用于最终确定用户已经选作最终输出图像的输出图像。

如果在步骤S12152中确定存在最终确定指令的输入，流程前进到步骤S12153，在那里图像显示单元12165在其整个屏幕上显示用户已经选择的输出图像，并且处理结束。另一方面，如果在步骤S12152中确定不存在最终确定指令的输入，也就是说，如果用户对所选输出图像的图像质量不满意，并且没有执行最终确定指令的输入以便再次执行处理，流程返回到步骤S12145，在那里用户I/F 12166将表示用户已经选择的输出图像的选择信息作为帮助信息提供给处理区域设置单元12161和现实世界估计单元12163，并且流程顺序前进到步骤S12146，S12147，和S12148。在步骤S12146的处理区域设置处理和步骤S12147的连续性设置处理中，前一次设置的处理区域和连续性被设置。处理区域信息然后提供给连续性设置单元12162，现实世界估计单元12163，以及图像生成单元12164，并且连续性信息提供给现实世界估计单元12163。注意从第二次起执行的步骤S12146和S12147的处理可以跳过。

在步骤S12148中，现实世界估计单元12163可以基于用作从用户I/F 12166提供的帮助信息的选择信息，使用N种新方法估计现实世界1光信号(不具有运动模糊的图像)。

也就是说，在该情况下，在步骤S12148中，现实世界估计单元12163的公式生成单元12172基于用于获得由用作从用户I/F 12166提供的帮助信息的选择信息表示的输出图像的约束条件公式，设置N个新版本的约束条件公式。公式生成单元12172将用于获得用作近似现实世界1光信号的近似模型的近似函数的公式与N个新的约束条件公式的每个组合在一起，从而产生N个新版本的正则方程，并且将N个新的正则方程提供给现实世界波形估计单元12173。此外，现实世界波形估计单元12173计算从公式生成单元12172提供的N个新的正则方程的每个，从而估计N个新版本的现实世界1光信号波形。然后流程从步骤S12148前进到步骤S12149，此后重复相同的处理。

也就是说，因此，步骤S12145～S12154的该处理重复，最终用户获得具有期望图像质量的输出图像，其中用户对输出图像的不满意已经解决。

如上所述，对于信号处理设备4，作为输入图像处理结果的N个版本的输出图像展示给用户，供用户从N个版本的输出图像中选择期望的一个，并且基于选择结果，处理再次执行，所以满足用户喜好的高质量输出图像可以容易地获得。也就是说，信号处理设备4向用户展示作为输入图像处理结果的N个版本的输出图像。另一方面，用户识别N个版本输出图像的图像质量，并且将关于哪个输出图像是具有良好图像质量的图像的判断的反馈提供给信号处理设备4。信号处理设备4考虑来自用户的反馈再次处理输入图像，此后重复相同的处理。因此，满足用户喜好的高质量输出图像可以容易地获得。

现在，可以说接收来自用户的反馈并且在输入图像上执行处理的信号处理设备4意味着信号处理设备4与用户合作执行处理。

接下来，将参考图163中的流程图详细描述现实世界估计单元12163(图161)的现实世界估计处理(图162的步骤S12148中的处理)。

在步骤S12171中，模型生成单元12171产生关系模型。也就是说，模型生成单元12171从处理区域设置单元12161提供的处理区域信息中识别输入图像中的处理区域，并且也从连续性设置单元12162提供的连续性信息中识别与处理区域图像数据相对应的运动量。此外，模型生成单元12171，对于输入图像中的处理区域，根据构成处理区域的水平线的像素，以及与处理区域中图像数据相对应的运动量，产生对于处理区域中的每个水平线，模拟处理区域内由传感器2检测的像素的像素值P_i与由近似现实世界1光信号的近似模型表示的、不具有运动模糊的像素的像素值Q_i之间关系的关系模型，并且将其提供给公式生成单元12172。模型生成单元12171然后从步骤S12171前进到步骤S12172。

特别地，模型生成单元12171根据处理区域水平线中的像素数目以及运动量，产生参考图148A至图148C描述的、表示处理区域的每个水平线中像素的像素值P_i与不具有运动模糊的像素值Q_i之间关系的表达式，作为关系模型。例如，如果处理区域的水平线中的像素数目是8，且运动量v是5，上述表达式(151)中的公式产生作为关系模型。

在步骤S12172中，公式生成单元12172执行公式生成处理。也就是说，公式生成单元12172从处理区域设置单元12161提供的处理区域信息中识别输入图像中的处理区域，并且关于该处理区域，将构成处理区域的输入图像的每个像素的像素值P_i代入从模型生成单元12171提供的关于处理区域的每个水平线而获得的关系模型中，从而产生用于获得由近似现实世界1光信号的近似函数表示的、不具有运动模糊的像素值Q_i的表达式(151)的公式(模型公式)。

此外，公式生成单元12172产生约束条件表达式，其是用于约束近似从处理区域设置单元12161提供的处理区域信息中识别的处理区域的水平线中现实世界1光信号的近似模型的表达式。也就是说，对于模型表达式，作为待获得变量的不具有运动模糊的像素值Q_i的数目大于公式数目，如表达式(151)中指示的，所以需要引入对于公式总数数目等于或大于不具有运动模糊的像素值Q_i的数目的公式，以便获得不具有运动模糊的像素值Q_i。这里，公式生成单元12172产生约束条件表达式以假定相邻像素之间，由近似函数表示的不具有运动模糊的像素值Q_i之间的差小(存在空间相关性)。如果不满意区域已经由用户指示，公式生成单元12172产生关于不满意区域加权的约束条件表达式。

但是，具有不同图像质量的输出图像依赖于不满意区域如何加权而获得，所以公式生成单元12172产生N个版本的加权约束条件表达式。因此，N个版本的输出图像产生并显示在信号处理设备4处。用户观看N个版本的输出图像，并且从这些中选择具有期望图像质量的图像或者接近期望图像质量的图像。

因此，即使在不具有运动模糊的图像不是平坦的并且具有某种图案，例如使得图像具有高级别活动性的情况下，具有用户期望图像质量的不具有运动模糊的图像可以获得。也就是说，公式生成单元12172对于用户已经指示为不满意的区域，产生以N种方法加权的、相邻像素中不具有运动模糊的像素值之间的差小的约束条件表达式。用户可以从作为其结果而获得的N个版本的输出图像中选择具有期望图像质量的图像，所以最佳约束条件关于不满意区域而设置的具有期望图像质量的图像可以获得。

公式生成单元12172产生模型公式，也产生基于不满意区域指示信息以N种方法加权的约束条件表达式，并且将产生的模型公式和N个版本的约束条件表达式组合在一起以产生正则方程。公式生成单元12172将N个版本的正则方程提供给现实世界波形估计单元12173，并且流程从步骤S12172前进到步骤S12173。

注意以下，如上所述公式生成单元12172执行的步骤S12172中的处理将称作“公式生成处理”。“公式生成处理”的细节将参考图165中的流程图随后描述。

在步骤S12173中，现实世界波形估计单元12173求解从公式生成单元12172提供的N个版本的正则方程，从而估计N个版本的现实世界1光信号的波形，也就是获得由N个版本近似函数表示的不具有运动模糊的像素值，并且将N个版本的像素值提供给图像生成单元12164。

接下来，图164说明图161中所示公式生成单元12172的详细构造实例。

在图164中，公式生成单元12172包括模型公式生成单元12191，权重设置单元12192，约束条件表达式生成单元12193，以及正则方程生成单元12194。

模拟处理区域中每个水平线的像素的像素值(运动模糊图像的像素值)与不具有运动模糊的像素值之间关系的关系模型从模型生成单元12171输入到其构造如图164中所示的公式生成单元12172，并且提供给模型公式生成单元12191。而且，输入图像从传感器2(图1)输入到公式生成单元12172，其提供给模型公式生成单元12191。

此外，处理区域信息从处理区域设置单元12161输入到公式生成单元12172，并且处理区域信息提供给模型公式生成单元12191和约束条件表达式生成单元12192。而且，不满意区域指示信息和选择信息从用户I/F 12166输入到公式生成单元12172，并且分别地，不满意区域指示信息提供给约束条件表达式生成单元12193，而选择信息提供给权重设置单元12192。

模型公式生成单元12191从处理区域信息中识别输入图像的处理区域，并且代入输入图像中处理区域的像素值作为从模型生成单元12171提供的关系模型的运动模糊图像中每个像素的像素值P_i，从而对于处理区域中的每个水平线产生表达式(151)中的模型公式。模型公式生成单元12191将模型公式提供给正则方程生成单元12194。注意，从模型生成单元12171获得的关系模型具有代入表达式(151)的运动量v中的特定值，例如，并且从模型公式生成单元12191获得的模型公式具有代入表达式(151)的像素值P₄～P₇中的特定值。

权重设置单元12192基于从用户I/F 12166输入的选择信息设置应用于约束条件表达式的N个权重，并且将N个权重提供给约束条件表达式生成单元12193。约束条件表达式生成单元12193基于处理区域信息，从用户I/F 12166输入的不满意区域指示信息，以及在权重设置单元12192处设置的N个权重，对于不满意区域中每个水平线的像素产生以N种方法加权的N个版本的预先确定约束条件，并且将N个版本的约束条件表达式提供给正则方程生成单元12194。

正则方程生成单元12194将从模型公式生成单元12191提供的模型公式与从约束条件表达式生成单元12193提供的N个版本的约束条件表达式组合在一起以产生N个版本的正则方程，其提供给现实世界波形估计单元12173。

接下来，将参考图165中的流程图详细描述公式生成单元12172(图164)的公式生成处理(图163的步骤S12172中的处理)。

在步骤S12191中，模型公式生成单元12191从模型生成单元12171获得处理区域中每个水平线的关系模型，并且流程前进到步骤S12192。在步骤S12192中，模型公式生成单元12191从传感器2获取输入图像，并且也从处理区域设置单元12161获得处理区域信息。模型公式生成单元12191然后从输入图像的处理区域信息中识别处理区域内每个像素的像素值P_i，并且将像素值P_i代入从模型生成单元12171获得的表达式(151)的关系模型中，从而产生处理区域的每个水平线的模型公式。此外，模型公式生成单元12191将模型公式提供给正则方程生成单元12194。如果模型公式生成单元12191已经从模型生成单元12171获得由上面表达式(151)表示的关系模型，例如，模型公式通过将输入图像的像素值代入表达式(151)的像素值P₄～P₇中而产生。

在步骤S12192的处理之后，流程前进到步骤S12193，在那里权重设置单元12192设置N个权重并且将每个权重提供给约束条件表达式生成单元12193，并且流程前进到步骤S12194。这里，如果选择信息从用户I/F 12166输入，权重设置单元12192基于用于获得选择信息表示的输出图像的权重来设置N个新的权重。也就是说，当设置第一权重时，权重设置单元12192设置例如以0.5为中心的0～1范围内相等间隔的N个权重。然后，如果选择信息从用户I/F 12166输入，权重设置单元12192以用于获得选择信息表示的输出图像的权重为中心，以比前一次设置更细的间隔设置N个新的权重(但是在0～1的范围内)。

当用户从前一次处理输出的N个版本的输出图像中选择期望的一个时，N个新的权重基于选择结果而设置，所以通过用户重复地从N个输出图像中选择期望的一个，借此获得具有用户期望图像质量的输出图像的权重最终被设置，因此，具有用户期望图像质量的输出图像被获得。

在步骤S12194中，约束条件表达式生成单元12193确定不满意区域指示信息是否已经从用户I/F 12166输入，并且如果确定不满意区域指示信息没有输入，步骤S12195跳过，并且流程前进到步骤S12196。在该情况下，在步骤S12196中，约束条件表达式生成单元12193基于由例如执行预先确定处理的处理区域设置单元12161自动设置的处理区域信息，产生从权重设置单元12192提供的N个权重应用于其上的约束条件表达式，并且将N个约束条件表达式提供给正则方程生成单元12194。也就是说，如果没有不满意区域指示信息被输入，约束条件表达式生成单元12193对于处理区域水平线中的所有像素产生N个版本的约束条件表达式。

例如，如果处理区域的水平线中的像素数目是八，例如图152A至图152C中所示，并且这些像素的不具有运动模糊的像素值用Q₀～Q₇表示，约束表达式如下面的表达式(154)中表示，例如。

W(Q₁-Q₀)＝0

W(Q₂-Q₁)＝0

W(Q₃-Q₂)＝0

W(Q₄-Q₃)＝0

W(Q₅-Q₄)＝0

W(Q₆-Q₅)＝0

W(Q₇-Q₆)＝0        ...(154)

注意在表达式(154)中，W表示权重，并且约束条件表达式生成单元12193产生表达式(154)中所示具有不同权重W的N个版本的约束条件表达式。W的值越大，相邻像素的像素值之间的差小的约束条件表达式的权重越大。也就是说，表达式(154)中约束条件表达式(Q_i+1-Q_i)＝0的权重W越大，像素值Q_i和Q_i+1强烈地约束，好像它们本是这样，以便是相同的值。如果权重W小，这种约束弱，好像它们本是这样，所以像素值Q_i和Q_i+1更容易取不同的值。

另一方面，如果在步骤S12194中确定不满意区域指示信息已经从用户I/F 12166输入，约束条件表达式生成单元12193从步骤S12194前进到步骤S12195，从用户I/F 12166获得平坦区域指示信息，并且流程前进到步骤S12196。

在该情况下，在步骤S12196中，约束条件表达式生成单元12193基于处理区域信息和不满意区域指示信息产生从权重设置单元12193提供的N个权重应用于其上的约束条件表达式，并且将N个版本的约束条件表达式提供给正则方程生成单元12194。也就是说，如果不满意区域指示信息被输入，约束条件表达式生成单元12193产生N个版本的约束条件表达式，其中N个权重应用于其上的约束条件表达式对应于处理区域中由不满意区域指示信息表示的不满意区域中每个水平线的像素。

例如，如图152A至152C中所示，如果处理区域中的水平线由八个像素#0～#7构成，并且各个像素#0～#7的不具有运动模糊的像素值用Q₀～Q₇表示，具有像素值Q₀～Q₄的五个像素#0～#4由用户指定为不满意区域，约束条件表达式如下面表达式(155)中。

W(Q₁-Q₀)＝0

W(Q₂-Q₁)＝0

W(Q₃-Q₂)＝0

W(Q₄-Q₃)＝0

W(Q₅-Q₄)＝0    ...(155)

注意在表达式(155)中，W表示权重，并且约束条件表达式生成单元12193产生表达式(155)中所示具有不同权重W的N个版本的约束条件表达式。W的值越大，相邻像素的像素值之间的差小的约束条件的权重越大，与表达式(154)中的情况一样。

在步骤S12196的处理之后，流程前进到步骤S12197，在那里正则方程生成单元12194将从模型公式生成单元12191提供的表达式(151)的模型公式与从约束条件表达式生成单元12193提供的表达式(154)或表达式(155)中所示的N个约束条件表达式组合在一起，从而产生N个正则方程，并且N个正则方程提供给现实世界波形估计单元12173。

随后，现实世界波形估计单元12173使用例如最小二乘方误差的最小范数求解从正则方程生成单元12194提供的正则方程，从而获得处理区域中每个水平线的像素的不具有运动模糊的N个像素值Q_i。

注意，上述现实世界估计处理对于处理区域内水平方向上排列的像素的每个(水平线)而执行。也就是说，现实世界波形估计单元12173对于每个水平线，对于处理区域中的每个像素获得不具有运动模糊的N个版本的像素值Q_i。现实世界波形估计单元12173然后，已经对于处理区域的所有水平线中的每个像素获得不具有运动模糊的N个版本的像素值Q_i，将处理区域的每个像素的不具有运动模糊的N个版本的像素值Q_i提供给图像生成单元12164。图像生成单元12164产生输入图像处理区域中每个像素的像素值P_i已经用不具有运动模糊的N个版本的像素值Q_i取代的图像作为N个输出图像，并且将这些提供给图像显示单元12165以显示。

而且，对于上述处理，当不满意区域由用户指示时，约束条件表达式生成单元12193不产生关于除不满意区域之外的约束条件表达式，但是关于除不满意区域之外的约束条件表达式也可以使用预先确定的权重产生。在该情况下，例如，如图152A至图152C中所示，如果处理区域中的水平线由八个像素#0～#7构成，不具有运动模糊的像素#0～#7的像素值由Q₀～Q₇表示，在由用户指示的不满意区域由具有像素值Q₀～Q₄的五个像素#0～#4构成的情况下，约束条件表达式生成单元12193以预先确定的权重(例如，不同于不满意区域的像素的权重的权重)W对于具有像素值Q₅～Q₇的三个像素#5～#7产生约束条件表达式。

图166是描述图161中所示信号处理设备4的处理概述的图。

如图166中所示，用户观看输入图像12211，并且指示不满意的区域作为不满意区域。信号处理设备4然后改变(设置)由用户指示的不满意区域中约束条件表达式的权重，并且使用以N种方法加权的约束条件表达式产生并显示N个输出图像12222-1～12222-N。用户观看N个输出图像12222-1～12222-N，并且从N个输出图像中选择具有期望图像质量的图像或者接近期望图像质量的图像。在图166中的实例中，用户已经从N个输出图像12222-1～12222-N中选择12222-N。

信号处理设备4基于用来获得由用户选择的输出图像12222-N的约束条件表达式的权重，将N个新的权重应用于不满意区域中的约束条件表达式(改变权重)，并且基于N个新的权重的N个新的输出图像的显示被重复。

因此，用户可以简单地通过选择输出图像并指示不满意区域来容易地设置最佳约束条件，从而获得更接近现实世界1光信号的图像。也就是说，用户可以容易地获得具有期望图像质量的图像或者更接近期望图像质量的图像。

图167说明图111中所示信号处理设备4的应用实例的另一种实施方案的另一种构造实例。

注意，图167说明从运动模糊图像数据中估计现实世界1光信号的信号处理设备4的一种实施方案的构造实例，该运动模糊图像数据是具有例如以预先确定的速度在预先确定的方向上运动的连续性的数据3的实例。也就是说，该信号处理设备4从主体因例如主体(对象)在摄影时运动而以模糊方式获取的图像(运动模糊图像)中估计不模糊的图像(不具有运动模糊的图像)。因此，对于图167中所示的实施方案，运动模糊因拍摄运动对象而发生的运动模糊图像作为输入图像输入到信号处理设备4。注意这里，通过成像以恒定速度(运动量)在水平方向(从左到右的方向)上运动的对象而获得的图像用作输入图像。

在图167中，处理区域设置单元12241，连续性设置单元12242，现实世界估计单元12243，图像生成单元12244，图像显示单元12245，以及用户I/F 12246，每个对应于图111中所示的处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F10006相同的处理。此外，在图167中，现实世界估计单元12243包括模型生成单元12251，公式生成单元12252，以及现实世界波形估计单元12253。模型生成单元12251，公式生成单元12252，以及现实世界波形估计单元12253对应于图111中的模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个，并且基本上执行与模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个相同的功能。

但是注意，在图167中，用户I/F 12246通过用户操作用户I/F12246输出的帮助信息提供给处理区域设置单元12241和现实世界估计单元12243。

也就是说，在图167中，用户可以通过操作用户I/F 12246相对于显示在图像显示单元12245上的图像指示不满意的区域以取作不满意区域，并且当用户执行操作以指示不满意区域时，用户I/F 12246将表示作为由该操作指定的区域的不满意区域的不满意区域指示信息提供给处理区域设置单元12241和现实世界估计单元12243。此外，在图167中，如随后描述的，多个输出图像显示在图像显示单元12245上，并且用户可以通过操作用户I/F 12246选择显示在图像显示单元12245上的输出图像，并且当用户执行选择输出图像的操作时，用户I/F 12246将表示由该操作选择的输出图像的选择信息作为帮助信息提供给处理区域选择单元12241和现实世界估计单元12243。

现在，通过操作用户I/F 12246指示不满意区域的方法的实例包括，例如，使用围绕不满意区域的矩形指示的方法，通过剪裁(剪裁)不满意区域指示的方法，通过指向不满意区域内的一个或多个任意点来指示的方法等等；这里，让我们假定用户通过例如通过操作用户I/F12246指向不满意区域中的一个任意点来指示不满意区域。在该情况下，用户I/F 12246将例如该点的图像上的坐标，作为表示用户指向的点的信息，提供给处理区域设置单元12241和现实世界估计单元12243，作为不满意区域指示信息。

接下来，将参考图168中所示的流程图描述图167中所示的信号处理设备4的处理。

首先，在步骤S12211中，信号处理设备4执行预处理，并且流程前进到步骤S12212。也就是说，信号处理设备4将从传感器2(图1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设置单元12241，连续性设置单元12242，现实世界估计单元12243，图像生成单元12244，以及图像显示单元12245。此外，信号处理设备4使得图像显示单元12245显示输入图像。

在步骤S12212中，用户I/F 12246确定是否存在由用户操作用户I/F 12246的某种用户输入。在步骤S12212中，如果确定不存在用户输入，也就是如果用户没有执行操作，流程跳过步骤S12213～S12215，并且前进到步骤S12216。

而且，在步骤S12212中，如果确定存在用户输入，也就是如果用户已经观看显示在图像显示单元12245上的输入图像并且操作用户I/F12246，从而执行指示某种指令或信息的用户输入，并且如果已经存在某种用户输入，流程前进到步骤S12213，在那里用户I/F 12246确定用户输入是否是指示信号处理设备4处理结束的用户指令。

如果在步骤S12213中确定用户输入是结束指令，也就是说，例如，如果已经观看显示在图像显示单元12245上的输入图像的用户操作用户I/F 12246以便结束信号处理设备4的处理而不需要执行关于输入图像的信号处理，因为用户没有发现不满意的输入图像的图像质量，信号处理设备4结束处理。

而且，如果在步骤S12213中确定用户输入不是结束指令，流程前进到步骤S12214，在那里用户I/F 12246确定用户输入是否是不满意区域指示信息。如果在步骤S12214中确定用户输入不是不满意区域指示信息，步骤S12215跳过，并且流程前进到步骤S12216。

另一方面，如果在步骤S12214中确定存在不满意区域指示信息的输入，也就是说，如果已经观看显示在图像显示单元12245上的输入图像并且发现不满意的输入图像的图像质量的用户，因此操作用户I/F12246以便指向不满意部分，流程前进到步骤S12215，在那里用户I/F12246将表示用户通过操作用户I/F 12246指向的点的不满意区域指示信息作为帮助信息提供给处理区域设置单元12241和现实世界估计单元12243，并且流程前进到步骤S12216。

在步骤S12216中，处理区域设置单元12241基于用作从用户I/F12246提供的帮助信息的不满意区域指示信息，设置例如包括不满意区域的预先确定矩形区域作为处理区域，并且将其处理区域信息提供给连续性设置单元12242，现实世界估计单元12243，以及图像生成单元12244，并且流程前进到步骤S12217。注意该处理区域可能由用户操作用户I/F 12246输入。

但是，如果不满意区域指示信息没有从用户I/F 12246提供给处理区域设置单元12241(如果步骤S12216的处理在步骤S12212或步骤S12214之后立即执行)，处理区域设置单元12241通过执行预先确定的处理(例如，检测运动模糊出现的输入图像中的区域的处理)自动地设置处理区域。

在步骤S12217中，连续性设置单元12242从处理区域设置单元12241提供的处理区域信息中识别输入图像中的处理区域。此外，连续性设置单元12242将在处理区域中显示的对象的运动量设置为表示处理区域图像数据的每个中丢失的现实世界1光信号的连续性的信息，并且将表示连续性的连续性信息提供给现实世界估计单元12243，并且流程前进到步骤S12218。注意该运动量可以由用户操作用户I/F 12246输入。而且，这里，连续性设置单元12242将表示对象运动量值的运动量设置为输入图像中的连续性信息，因为假设对象在水平方向上运动，但是配置可以这样进行，其中表示对象运动的量值和方向的运动矢量设置为连续性信息。

在步骤S12218中，现实世界估计单元12243根据从处理区域设置单元12241提供的处理区域信息以及从用户I/F 12246提供的不满意区域指示信息，基于相应现实世界1光信号的运动量，关于输入图像的处理区域中的图像数据(运动模糊图像的数据)，估计N个即多个版本的现实世界1光信号(不具有运动模糊的图像)。

也就是说，在现实世界估计单元12243处，模型生成单元12251从处理区域设置单元12241提供的处理区域信息中识别输入图像中的处理区域，并且基于从连续性设置单元12242提供的连续性信息，识别与处理区域图像数据相对应的现实世界1光信号的运动量，也就是，在该情况下，识别显示在处理区域中的对象的运动量。此外，模型生成单元12251对于处理区域中水平线的每个，根据构成输入图像处理区域中每个水平线的像素以及与处理区域的图像数据相对应的现实世界1光信号的运动量，来产生模拟处理区域内每个水平线中像素的像素值与现实世界1光信号之间关系的关系模型，其提供给公式生成单元12252。

公式生成单元12252从处理区域设置单元12241提供的处理区域信息中识别输入图像中的处理区域，并且将输入图像的每个像素的像素值代入根据处理区域从模型生成单元12251提供的处理区域的每个水平线的关系模型中，从而产生用于获得近似现实世界1光信号的近似函数的公式，其然后提供给现实世界波形估计单元12253。此外，公式生成单元12252基于处理区域信息或输入图像的特征产生N个版本的约束条件表达式，其中约束近似函数的约束条件表达式以N种方法加权。公式生成单元12252将获得用作近似现实世界1光信号的近似模型的近似函数的公式与N个版本约束条件表达式的每个组合在一起，产生N个版本的正则方程，其提供给现实世界波形估计单元12253。

现实世界波形估计单元12253计算从公式生成单元12252提供的N个版本正则方程的每个，从而估计N个版本的现实世界1光信号的波形。也就是说，现实世界波形估计单元12253求解从公式生成单元12252提供的N个版本正则方程的每个，从而获得用作模拟现实世界1光信号的近似模型的N个版本的近似函数，并且将近似函数作为N个版本现实世界1光信号的估计结果提供给图像生成单元12244。

现在，这种现实世界估计单元12243执行的步骤S12218的处理将称作“现实世界估计处理”。“现实世界估计处理”的细节将参考图169中的流程图随后描述。

在步骤S12218的处理之后，流程前进到步骤S12219，在那里图像生成单元12244基于从现实世界估计单元12243(的现实世界波形估计单元12253)提供的、更接近现实世界1光信号的波形的N个版本的近似函数，产生更接近现实世界1光信号的N个版本的信号。也就是说，图像生成单元12244从处理区域设置单元12241提供的处理区域信息中识别输入图像中的处理区域，并且基于从现实世界估计单元12243提供的关于相应处理区域的N个版本的近似函数，产生更接近现实世界1光信号的N个版本的近似图像(不具有运动模糊的图像)。

此外，图像生成单元12244产生输入图像中的处理区域部分已经用N个版本的近似图像(不具有运动模糊的图像)取代的图像作为N个版本的输出图像，其然后提供给图像显示单元12245，并且流程从步骤S12219前进到步骤S12220。

在步骤S12220中，图像显示单元12245显示从图像生成单元12244提供的N个版本的输出图像，代替步骤S12211中显示的输入图像，或者与输入图像一起，并且流程前进到步骤S12221。

在步骤S12221中，用户I/F 12246确定是否存在由用户操作用户I/F 12246的选择信息的输入。也就是说，在步骤S12220中，N个版本的输出图像显示在图像显示单元12245上，并且在步骤S12221中确定已经观看N个版本输出图像的用户是否已经通过操作用户I/F 12246输入用于从N个版本的输出图像中，选择作为具有期望图像质量的图像或者接近期望图像质量的图像的图像的选择信息。

如果在步骤S12221中确定不存在选择信息的输入，流程前进到步骤S12224，并且用户I/F 12246确定是否存在结束指令的输入，与步骤S12213的情况一样。

如果在步骤S12224中确定存在结束指令的输入，信号处理设备4结束处理。

而且，如果在步骤S12224中确定不存在结束指令的输入，流程返回到步骤S12221，此后重复相同的处理。

另一方面，如果在步骤S12221中确定存在选择信息的输入，也就是，如果已经观看显示在图像显示单元12245上的N个版本输出图像的用户已经从N个版本的输出图像中选择作为具有期望图像质量的图像或者接近期望图像质量的图像的图像，流程前进到步骤S12222，在那里用户I/F 12246确定用户是否已经通过操作用户I/F 12246输入最终确定指令，该指令用于最终确定用户已经选作最终输出图像的输出图像。

如果在步骤S12222中确定存在最终确定指令的输入，流程前进到步骤S12223，在那里图像显示单元12245在其整个屏幕上显示用户已经选择的输出图像，并且处理结束。

而且，如果在步骤S12222中确定不存在最终确定指令的输入，也就是说，如果用户对所选输出图像的图像质量不满意，并且没有执行最终确定指令的输入以便再次执行处理，流程返回到步骤S12215，在那里用户I/F 12246将表示用户已经选择的输出图像的选择信息作为帮助信息提供给处理区域设置单元12241和现实世界估计单元12243，并且流程顺序前进到步骤S12216，S12217，和S12218。在步骤S12216的处理区域设置处理和步骤S12217的连续性设置处理中，前一次设置的处理区域和连续性被设置。处理区域信息然后提供给连续性设置单元12242，现实世界估计单元12243，以及图像生成单元12244，并且连续性信息提供给现实世界估计单元12243。注意从第二次起执行的步骤S12216和S12217的处理可以跳过。

在步骤S12218中，现实世界估计单元12243可以基于用作从用户I/F 12246提供的帮助信息的选择信息，使用N种新方法估计现实世界1光信号(不具有运动模糊的图像)。

也就是说，在该情况下，在步骤S12218中，现实世界估计单元12243的公式生成单元12252基于用于获得由用作从用户I/F 12246提供的帮助信息的选择信息表示的输出图像的约束条件公式，设置N个新版本的约束条件公式。公式生成单元12252将用于获得用作近似现实世界1光信号的近似模型的近似函数的公式与N个新的约束条件公式的每个组合在一起，从而产生N个新版本的正则方程，并且将N个新的正则方程提供给现实世界波形估计单元12253。此外，现实世界波形估计单元12253计算从公式生成单元12252提供的N个新的正则方程的每个，从而估计N个新版本的现实世界1光信号波形。然后流程从步骤S12218前进到步骤S12219，此后重复相同的处理。

也就是说，因此，步骤S12215～S12214的该处理重复，最终用户获得具有期望图像质量的输出图像，其中用户对输出图像的不满意已经解决。

如上所述，对于信号处理设备4，作为输入图像处理结果的N个版本的输出图像展示给用户，供用户从N个版本的输出图像中选择期望的一个，并且基于选择结果，处理再次执行，所以满足用户喜好的高质量输出图像可以容易地获得。也就是说，信号处理设备4向用户展示作为输入图像处理结果的N个版本的输出图像。另一方面，用户识别N个版本输出图像的图像质量，并且将关于哪个输出图像是具有良好图像质量的图像的判断的反馈提供给信号处理设备4。信号处理设备4基于来自用户的反馈再次处理输入图像，此后重复相同的处理。因此，满足用户喜好的高质量输出图像可以容易地获得。

现在，可以说接收来自用户的反馈并且在输入图像上执行处理的信号处理设备4意味着信号处理设备4与用户合作执行处理。

接下来，将参考图169中的流程图详细描述现实世界估计单元12243(图167)的现实世界估计处理(图168的步骤S12218的处理)。

在步骤S12231中，模型生成单元12251产生关系模型。也就是说，模型生成单元12251从处理区域设置单元12241提供的处理区域信息中识别输入图像中的处理区域，并且也从连续性设置单元12242提供的连续性信息中识别与处理区域图像数据相对应的运动量。此外，模型生成单元12251，对于输入图像中的处理区域，根据构成处理区域的水平线的像素，以及与处理区域中图像数据相对应的运动量，产生对于处理区域中的每个水平线，模拟处理区域内由传感器2检测的像素的像素值与由近似现实世界1光信号的近似模型表示的、不具有运动模糊的图像之间关系的关系模型，并且将其提供给公式生成单元12252。模型生成单元12251然后从步骤S12231前进到步骤S12232。

特别地，模型生成单元12251根据处理区域水平线中的像素数目以及运动量，产生参考图148A至图148C描述的、表示处理区域的每个水平线中像素的像素值P_i与不具有运动模糊的像素值Q_i之间关系的表达式，作为关系模型。例如，如果处理区域的水平线中的像素数目是8，且运动量v是5，上述表达式(151)产生作为关系模型。

在步骤S12232中，公式生成单元12252执行公式生成处理。也就是说，公式生成单元12252从处理区域设置单元12241提供的处理区域信息中识别输入图像中的处理区域，并且关于该处理区域，将构成处理区域的输入图像的每个像素的像素值代入从模型生成单元12251提供的关于处理区域的每个水平线而获得的关系模型中，从而产生用于获得由近似现实世界1光信号的近似函数表示的、不具有运动模糊的像素值Q_i的表达式(151)的公式(模型公式)。

此外，公式生成单元12252产生约束条件表达式，其是用于约束近似从处理区域设置单元12241提供的处理区域信息中识别的处理区域的水平线中现实世界1光信号的近似模型的表达式。也就是说，对于表达式(151)中的模型表达式，作为待获得变量的不具有运动模糊的像素值Q_i的数目大于公式数目，所以需要引入对于公式总数数目等于或大于不具有运动模糊的像素值Q_i的数目的公式，以便获得不具有运动模糊的像素值Q_i。这里，公式生成单元12252产生约束条件表达式以假定相邻像素之间，由近似函数表示的不具有运动模糊的像素值Q_i之间的差小(存在空间相关性)。这里，公式生成单元12252产生关于由用户指示的不满意区域的像素，以及与处理区域内不满意区域的那些具有类似特征(包括完全相同)的处理区域中的像素的加权约束条件表达式。

但是，具有不同图像质量的输出图像依赖于不满意区域如何加权而获得，所以公式生成单元12252产生N个版本的加权约束条件表达式。因此，N个版本的输出图像产生并显示在信号处理设备4处。用户观看N个版本的输出图像，并且从这些中选择具有期望图像质量的图像获得接近期望图像质量的图像。

因此，即使在不具有运动模糊的图像不是平坦的并且具有某种图案，例如使得图像具有高级别活动性的情况下，具有用户期望图像质量的不具有运动模糊的图像可以获得。也就是说，公式生成单元12252对于用户已经指示为不满意的区域，产生以N种方法加权的、相邻像素中不具有运动模糊的像素值之间的差小的约束条件表达式。用户可以从作为其结果而获得的N个版本的输出图像中选择具有期望图像质量的图像，所以最佳约束条件关于不满意区域而设置的具有期望图像质量的图像可以获得。

而且，公式生成单元12252不仅产生关于不满意区域的像素的以N种方法加权的约束条件表达式，而且产生关于处理区域中与不满意区域的像素具有类似特征的像素的以N种方法加权的约束条件表达式，与对于不满意区域的像素一样，所以如果对于与不满意区域中的像素具有类似特征的所有像素提供相同的约束条件表达式，用户不需要指示所有像素以取作不满意区域，并且可以简单地通过指示某个像素以取作不满意区域，容易地设置关于与所指示像素具有类似特征的像素的最佳约束条件，从而减小用户的负担。

公式生成单元12252产生模型公式，也产生基于不满意区域指示信息关于不满意区域的像素以及处理区域中与不满意区域的像素具有类似特征的像素、以N种方法加权的约束条件表达式，并且将产生的模型公式与N个版本的约束条件表达式组合在一起以产生正则方程。公式生成单元12252将N个版本的正则方程提供给现实世界波形估计单元12253，并且流程从步骤S12232前进到步骤S12233。

注意以下，如上所述公式生成单元12252执行的步骤S12232中的处理将称作“公式生成处理”。“公式生成处理”的细节将参考图171中的流程图随后描述。

在步骤S12233中，现实世界波形估计单元12253求解从公式生成单元12252提供的关于处理区域中每个水平线的N个版本的正则方程，从而估计N个版本的现实世界1光信号的波形，也就是获得由N个版本近似函数表示的不具有运动模糊的像素值Q_i，并且将N个版本的像素值提供给图像生成单元12244。

接下来，图170说明图167中所示公式生成单元12252的详细构造实例。

在图170中，公式生成单元12252包括模型公式生成单元12271，特征提取单元12272，特征空间LUT(查找表)生成单元12273，权重设置单元12274，约束条件表达式生成单元12275，以及正则方程生成单元12276。

模拟处理区域内由传感器2检测的处理区域中每个水平线的像素的像素值(运动模糊图像的像素值)与不具有运动模糊的像素值之间关系的关系模型从模型生成单元12251输入到其构造如图170中所示的公式生成单元12252，并且提供给模型公式生成单元12271。而且，输入图像从传感器2(图1)输入到公式生成单元12252，并且输入图像提供给模型公式生成单元12271和特征提取单元12272。

此外，处理区域信息从处理区域设置单元12241输入到公式生成单元12252，并且处理区域信息提供给模型公式生成单元12271和特征提取单元12272。而且，不满意区域指示信息或选择信息作为帮助信息从用户I/F 12246输入到公式生成单元12252，并且分别地，不满意区域指示信息提供给特征空间LUT生成单元12273，而选择信息提供给特征空间LUT生成单元12273和权重设置单元12274。

模型公式生成单元12271从处理区域信息中识别输入图像的处理区域，并且代入输入图像中处理区域的像素值作为从模型生成单元12251提供的处理区域中每个水平线的关系模型的运动模糊图像中每个像素的像素值P_i，从而对于处理区域中的每个水平线产生模型公式。模型公式生成单元12271然后将模型公式提供给正则方程生成单元12276。

特征提取单元12272从处理区域设置单元12241输入的处理区域信息中和从输入图像中识别构成处理区域的像素(的像素值)，并且关于构成处理区域的每个像素提取(检测)多个类型的特征。特征提取单元12272将处理区域中每个像素的多个类型的特征提供给特征空间LUT生成单元12273。

可以使用的像素的多个类型特征的实例包括关于与该像素相邻的像素的像素值的差(一阶微分)，该差值的差(二阶微分)，作为像素值的亮度和色差的比值，运动矢量，关于相邻帧中同一位置的像素的像素值的差，表示其他活动性的任意值等。

特征空间LUT生成单元12273产生对于从特征提取单元12272提供的处理区域中每个像素的多个类型特征的每个，将处理区域中每个像素分类(类型分类)的特征空间LUT。

而且，特征空间LUT生成单元12273基于从用户I/F 12246输入的不满意区域指示信息，选择(提取)不满意区域中的像素以及处理区域的像素中与那些像素具有同一类特征的像素，将这些像素取作将由约束条件表达式约束的约束像素，并且将关于约束像素的信息提供给约束条件生成单元12275。

此外，如果选择信息已经从用户I/F 12246输入，也就是，如果用户已经观看N个版本的输出图像并且通过操作I/F 12246选择期望图像或者接近该期望的图像，特征空间LUT生成单元12273将关于不满意区域的像素所属的类，关于用于获得选择信息表示的输出图像的约束条件表达式的权重存储在产生的特征空间LUT中。当选择信息从用户I/F12246的输入重复时，特征空间LUT生成单元12273将关于不满意区域的像素所属的类，关于用于获得这次选择的输出图像的约束条件表达式的权重存储在产生的特征空间LUT中，代替前一次存储的权重，并且最终存储对不满意区域的像素所属的类最佳的权重。

因此，对具有由不满意区域的像素所属的类表示的特征的像素最佳的权重存储在特征空间LUT中，所以在最佳权重存储在特征空间LUT中之后，用于约束与具有每个特征的像素相对应的条件表达式的权重根据特征空间LUT存储到像素所属的类，从而即使用户不指定不满意区域，具有用户期望图像质量的输出图像可以关于任意输入图像而获得。

权重设置单元12274基于从用户I/F 12246输入的选择信息设置应用于约束条件表达式的N个权重，并且将N个权重提供给约束条件表达式生成单元12275。约束条件表达式生成单元12275基于在权重设置单元12274处设置的N个权重，对于从特征空间LUT生成单元12273提供的约束像素，产生N个版本的预先确定约束条件，并且将N个版本的约束条件表达式提供给正则方程生成单元12276。

正则方程生成单元12276将从模型公式生成单元12271提供的模型公式与从约束条件表达式生成单元12275提供的N个版本的约束条件表达式组合在一起以产生N个版本的正则方程，其提供给现实世界波形估计单元12253。

接下来，将参考图171中的流程图详细描述公式生成单元12252(图170)的公式生成处理(图169的步骤S12232中的处理)。

在步骤S12251中，模型公式生成单元12271从模型生成单元12251获得处理区域中每个水平线的关系模型，并且流程前进到步骤S12252。在步骤S12252中，模型公式生成单元12271从传感器2获取输入图像，并且也从处理区域设置单元12241获得处理区域信息。模型公式生成单元12271然后从输入图像的处理区域信息中识别处理区域内每个像素的像素值P_i，并且将像素值P_i代入从模型生成单元12251获得的表达式(151)的关系模型中，从而产生处理区域的每个水平线的模型公式。此外，模型公式生成单元12271将模型公式提供给正则方程生成单元12276。如果模型公式生成单元12271已经从模型生成单元12251获得由上面表达式(151)表示的关系模型，例如，模型公式通过将输入图像的像素值代入表达式(151)的像素值P₄～P₇中而产生。

在步骤S12252的处理之后，流程前进到步骤S12253，在那里特征提取单元12272提取输入图像的特征并且将其提供给特征空间LUT生成单元12273。也就是说，特征提取单元12272从处理区域设置单元12241获得处理区域信息，并且获取输入图像。特征提取单元12272基于处理区域信息识别输入图像处理区域中的图像数据，对于处理区域中每个像素提取多个类型的特征，并且将多个类型的特征提供给特征空间LUT生成单元12273。

在步骤S12253的处理之后，流程前进到步骤S12254，在那里特征空间LUT生成单元12273基于从特征提取单元12272提供的多个类型的特征来执行处理区域中每个像素的类型分类，并且产生特征空间LUT。

注意如果特征空间LUT已经关于某个处理区域而产生，并且选择信息已经从用户I/F 12246输入，也就是，用户已经观看N个版本的输出图像并且选择期望图像或接近该期望的图像，代替执行步骤S12253和S12254的处理，特征空间LUT生成单元12273关于由用户指示的不满意区域的像素(如果不满意区域没有由用户指示，处理区域中的像素)所属的类，存储用来获得选择信息表示的输出图像的权重作为特征空间LUT中的LUT值。

当选择信息从用户I/F 12246的输入重复时，特征空间LUT生成单元12273关于不满意区域中像素的特征类，存储关于用于获得这次选择的输出图像的约束条件表达式的权重，代替前一次存储的权重，并且最终存储对不满意区域的像素所属的类最佳的权重。

在该情况下，公式生成单元12252可以将特征空间LUT中存储的约束条件表达式的权重同样应用于其他输入图像。也就是说，如果另一个输入图像重新输入，公式生成单元12252从输入图像的处理区域中提取每个像素的多个类型的特征，并且基于多个类型的特征执行处理区域中每个像素的类型分类。公式生成单元12252将已经作为特征空间LUT中的类的LUT值而存储的权重，其中该类与由类型分类获得的处理区域的每个像素的类相同，设置为与该像素相对应的约束条件表达式的权重。在该情况下，用户不需要对每个输入图像设置最佳权重，从而减小用户的负担。而且，配置可以这样进行，其中每当新的输入图像输入时，特征空间LUT重新产生或更新。

在步骤S12254的处理之后，流程前进到步骤S12255，在那里特征空间LUT生成单元12273确定将由约束条件约束的约束像素，将这些提供给约束条件表达式生成单元12275，并且流程前进到步骤S12256。也就是说，特征空间LUT生成单元12273从用户I/F 12246获得不满意区域指示信息，确定不满意区域的像素以及基于步骤S12254中产生的特征空间LUT与那些像素属于相同特征类(分类类型)的像素作为约束像素，并且将这些提供给约束条件表达式生成单元12275。

现在，如果用户没有指示不满意区域并且不存在不满意区域指示信息从用户I/F 12246的输入，特征空间LUT生成单元12273确定例如处理区域中所有像素作为将由约束条件约束的约束像素。

在步骤S12256中，权重设置单元12274设置N个权重并且将每个权重提供给约束条件表达式生成单元12275，并且流程前进到步骤S12257。这里，如果选择信息从用户I/F 12246输入，权重设置单元12274基于用于获得选择信息表示的输出图像的权重来设置N个新的权重。也就是说，当设置第一权重时，权重设置单元12274设置例如以0.5为中心的0～1范围内相等间隔的N个权重。然后，如果选择信息从用户I/F 12246输入，权重设置单元12274以用于获得选择信息表示的输出图像的权重为中心，以比前一次设置更细的间隔设置N个新的权重(但是在0～1的范围内)。

因此，当用户从前一次处理输出的N个版本的输出图像中选择期望的一个时，N个新的权重基于选择结果而设置，所以通过用户重复地从N个输出图像中选择期望的一个，借此获得具有用户期望图像质量的输出图像的权重最终被设置，因此，具有用户期望图像质量的输出图像被获得。

在步骤S12257中，约束条件表达式生成单元12275对于在步骤S12255中确定的约束像素，基于在步骤S12256中设置的N个权重产生约束条件表达式。也就是说，约束条件表达式生成单元12275对于约束像素产生以N种方法加权的约束条件表达式。约束条件表达式生成单元12275然后将产生的N个约束条件表达式提供给正则方程生成单元12276。

例如，如果处理区域的水平线中约束像素的数目是八，例如图152A至图152C中所示，并且这些约束像素的不具有运动模糊的像素值用Q₀～Q₇表示，约束表达式如上述表达式(154)中表示。约束条件表达式生成单元12275产生如表达式(154)中所示具有不同权重W的N个版本的约束条件表达式。

在步骤S12257的处理之后，流程前进到步骤S12258，在那里正则方程生成单元12276将从模型公式生成单元12271提供的模型公式与从约束条件表达式生成单元12275提供的N个约束条件表达式组合在一起，从而产生N个正则方程，并且N个正则方程提供给现实世界波形估计单元12253。

随后，现实世界波形估计单元12253使用例如最小二乘方误差的最小范数求解从正则方程生成单元12276提供的N个正则方程，从而获得处理区域的每个水平线中的像素的不具有运动模糊的N个像素值Q_i。

注意，上述现实世界估计处理对于处理区域内水平方向上排列的像素的每个(水平线)而执行。也就是说，现实世界波形估计单元12253对于每个水平线，对于处理区域中的每个像素获得不具有运动模糊的N个像素值。在获得处理区域的所有水平线中不具有运动模糊的N个像素值之后，现实世界波形估计单元12253将处理区域中各个像素的不具有运动模糊的N个像素值提供给图像生成单元12244。图像生成单元12244产生输入图像处理区域中每个像素的像素值已经用不具有运动模糊的N个版本的像素值取代的N个版本的输出图像，其提供给图像显示单元12245并显示。

而且，对于上述处理，约束条件表达式生成单元12275不产生关于除约束像素之外的约束条件表达式，但是关于除约束像素之外的约束条件表达式也可以使用预先确定的权重产生。例如，如图152A至152C中所示，如果处理区域中的水平线由八个像素#0～#7构成，不具有运动模糊的像素#0～#7的像素值由Q₀～Q₇表示，在约束像素由具有像素值Q₀～Q₄的五个像素#0～#4构成的情况下，约束条件表达式可以预先确定的权重(例如，不同于约束像素的像素的权重的权重)W对于具有像素值Q₅～Q₇的三个像素#5～#7而产生。

图172A和图172B是描述图167中所示信号处理设备4的处理概述的图。注意这里，三个特征A，B和C被提取，例如，作为处理区域中像素的特征，并且特征空间LUT已经被编辑。

图172A和图172B中所示的实例取三个特征A～C中仅两个特征A和C，例如，并且特征空间LUT 12281取特征A作为水平轴而特征C作为垂直轴。

如图172A和图172B中所示，用户观看输入图像12280并且指示(指向)不满意的区域作为不满意区域。信号处理设备4基于由用户指示的不满意区域设置处理区域，并且从处理区域内的输入图像数据中提取每个像素的特征A～C。信号处理设备4基于特征A～C产生特征空间LUT 12281，其中处理区域中每个像素已经经历类型分类。也就是说，信号处理设备4根据以像素的特征A～C作为分量的矢量所属的部分空间，执行由像素的特征A～C规定的特征空间中像素的类型分类，并且产生将部分空间的类(特征类)与像素相关联的特征空间LUT 12281。注意在图172A和图172B中，特征空间LUT 12281如上所述仅注意特征A和C。而且，特征空间LUT 12281中的格子表示作为特征空间中部分空间的特征类。

信号处理设备4从特征空间LUT 12281中识别由用户指示的不满意区域像素的特征类12282，并且将分类到该特征类12282的所有像素设置为约束像素。此外，信号处理设备4设置N个版本的权重，产生关于约束像素以N种方法加权的约束条件表达式，并且显示使用N个版本约束条件表达式获得的N个输出图像。

注意图172A和图172B说明输出图像12283和输出图像12284已经显示的实例，其每个从约束像素已经应用有不同权重的约束条件表达式而获得。输出图像12283上的圆形和输出图像12284上的三角形表示约束像素。

信号处理设备4显示参考图172A和图172B描述的N个版本的输出图像。用户然后从N个输出图像中选择期望图像或接近期望图像的图像，并且信号处理设备4基于用于获得所选图像的权重重复N个新权重的设置。

因此，用户可以容易地设置最佳权重和约束像素，以便获得更接近现实世界1光信号的图像。也就是说，用户能够容易地获得具有期望图像质量的图像或者接近期望图像质量的图像。而且，约束条件表达式对于与不满意区域具有相同特征类的像素而产生，所以用户不需要指示所有像素以取作不满意区域，从而能够减小用户的负担。

在图172A和图172B中，从像素中提取的三个特征A～C的仅两个特征A和C被观察，并且与不满意区域中的像素具有特征A和C的相同类的像素取作约束像素，但是另一个配置可以进行，其中例如与不满意区域中的像素具有特征A～C的全部或任何一个的相同类的像素取作约束像素。此外，约束像素可以通过观察仅特征A和B，或特征B和C来确定。观察哪个特征可以例如基于用户操作来确定。而且，配置可以这样进行，其中对于信号处理设备4，仅关注特征被提取。

图173说明图111中所示信号处理设备4的应用实例的实施方案的另一种构造实例。

注意，图173说明从运动模糊发生的图像数据(运动模糊图像数据)中估计现实世界1光信号的信号处理设备4的一种实施方案的构造实例，该运动模糊图像数据是具有例如以预先确定的速度在预先确定的方向上运动的连续性的数据3的实例。也就是说，该信号处理设备4从主体因例如主体(对象)在摄影时运动而以模糊方式获取的图像(以下称作运动模糊图像，如果适当的话)中估计不模糊的图像(不具有运动模糊的图像)。因此，对于图173中所示的实施方案，运动模糊因拍摄运动对象而发生的运动模糊图像作为输入图像输入到信号处理设备4。注意这里，通过成像以恒定速度(运动量)在水平方向(从左到右的方向)上运动的对象而获得的图像用作输入图像。

在图173中，处理区域设置单元12291，连续性设置单元12292，现实世界估计单元12293，图像生成单元12294，图像显示单元12295，以及用户I/F 12296，每个对应于图111中所示的处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F 10006，并且基本上执行与处理区域设置单元10001，连续性设置单元10002，现实世界估计单元10003，图像生成单元10004，图像显示单元10005，以及用户I/F10006相同的处理。此外，在图173中，现实世界估计单元12293包括模型生成单元12301，公式生成单元12302，以及现实世界波形估计单元12303。模型生成单元12301，公式生成单元12302，以及现实世界波形估计单元12303对应于图111中的模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个，并且基本上执行与模型生成单元10011，公式生成单元10012，以及现实世界波形估计单元10013的每个相同的功能。

但是注意，在图173中，用户I/F 12296通过用户操作用户I/F12296输出的帮助信息提供给处理区域设置单元12291和现实世界估计单元12293。

也就是说，在图173中，用户可以通过操作用户I/F 12296相对于显示在图像显示单元12295上的图像指示不满意的区域以取作不满意区域，并且当用户执行操作以指示不满意区域时，用户I/F 12296将表示作为由该操作指定的区域的不满意区域的不满意区域指示信息提供给处理区域设置单元12291和现实世界估计单元12293。此外，在图173中，如随后描述的，多个输出图像显示在图像显示单元12295上，并且用户可以通过操作用户I/F 12296选择显示在图像显示单元12295上的输出图像，并且当用户执行选择输出图像的操作时，用户I/F 12296将表示由该操作选择的输出图像的选择信息作为帮助信息提供给处理区域选择单元12291和现实世界估计单元12293。

现在，通过操作用户I/F 12296指示不满意区域的方法的实例包括，例如，使用围绕不满意区域的矩形指示的方法，通过剪裁(剪裁)不满意区域指示的方法，通过指向不满意区域内的一个或多个任意点来指示的方法等等；这里，用户通过例如通过操作用户I/F 12296指向不满意区域中的一个任意点来指示不满意区域。在该情况下，用户I/F12296将例如该点的图像上的坐标，作为表示用户指向的点的信息，提供给处理区域设置单元12291和现实世界估计单元12293，作为不满意区域指示信息。

接下来，将参考图174中所示的流程图描述图173中所示的信号处理设备4。

首先，在步骤S12271中，信号处理设备4执行预处理，并且流程前进到步骤S12272。也就是说，信号处理设备4将从传感器2(图1)作为数据3提供的输入图像的例如一帧或一场提供给处理区域设置单元12291，连续性设置单元12292，现实世界估计单元12293，图像生成单元12294，以及图像显示单元12295。此外，信号处理设备4使得图像显示单元12295显示输入图像。

在步骤S12272中，用户I/F 12296确定是否存在由用户操作用户I/F 12296的某种用户输入。在步骤S12272中，如果确定不存在用户输入，也就是如果用户没有执行操作，流程跳过步骤S12273～S12275，并且前进到步骤S12276。

而且，在步骤S12272中，如果确定存在用户输入，也就是如果用户已经观看显示在图像显示单元12295上的输入图像并且操作用户I/F12296，从而执行指示某种指令或信息的用户输入，流程前进到步骤S12273，在那里用户I/F 12296确定用户输入是否是指示信号处理设备4处理结束的结束指令。

如果在步骤S12273中确定用户输入是结束指令，也就是说，例如，如果已经观看显示在图像显示单元12295上的输入图像的用户操作用户I/F 12296以便结束信号处理设备4的处理而不需要执行关于输入图像的信号处理，因为用户没有发现不满意的输入图像的图像质量，信号处理设备4的处理结束。

而且，如果在步骤S12273中确定用户输入不是结束指令，流程前进到步骤S12274，在那里用户I/F 12296确定用户输入是否是不满意区域指示信息。如果在步骤S12274中确定用户输入不是不满意区域指示信息，步骤S12275跳过，并且流程前进到步骤S12276。

另一方面，如果在步骤S12274中确定存在不满意区域指示信息的输入，也就是说，如果已经观看显示在图像显示单元12295上的输入图像并且发现不满意的输入图像的图像质量的用户，因此操作用户I/F12296以便指向不满意部分，流程前进到步骤S12275，在那里用户I/F12296将表示用户通过操作用户I/F 12296指向的点的不满意区域指示信息作为帮助信息提供给处理区域设置单元12291和现实世界估计单元12293，并且流程前进到步骤S12276。

在步骤S12276中，处理区域设置单元12291基于作为帮助信息从用户I/F 12296提供的不满意区域指示信息，设置例如包括不满意区域的预先确定矩形区域作为处理区域，并且将其处理区域信息提供给连续性设置单元12292，现实世界估计单元12293，以及图像生成单元12294，并且流程前进到步骤S12277。注意该处理区域可能由用户操作用户I/F 12296输入。

但是，如果不满意区域指示信息没有从用户I/F 12296提供给处理区域设置单元12291(如果步骤S12276的处理在步骤S12272或步骤S12274之后立即执行)，处理区域设置单元12291通过执行预先确定的处理(例如，检测运动模糊出现的输入图像中的区域的处理)自动地设置处理区域。

在步骤S12277中，连续性设置单元12292从处理区域设置单元12291提供的处理区域信息中识别输入图像中的处理区域。此外，连续性设置单元12292将在处理区域中显示的对象的运动量设置为表示处理区域图像数据的每个中丢失的现实世界1光信号的连续性的信息，并且将表示连续性的连续性信息提供给现实世界估计单元12293，并且流程前进到步骤S12278。注意该运动量可以由用户操作用户I/F 12296输入。而且，这里，表示对象运动量值的运动量由连续性设置单元12292设置为连续性信息，因为假设对象在输入图像中水平方向上运动，但是配置可以这样进行，其中表示对象运动的量值和方向的运动矢量可以设置为连续性信息。

在步骤S12278中，现实世界估计单元12293根据从处理区域设置单元12291提供的处理区域信息以及从用户I/F 12296提供的不满意区域指示信息，基于相应现实世界1光信号的运动量，关于输入图像的处理区域中的图像数据(运动模糊图像的数据)，以M种即多种方法估计现实世界1光信号(不具有运动模糊的图像)。

也就是说，在现实世界估计单元12293处，模型生成单元12301从处理区域设置单元12291提供的处理区域信息中识别输入图像中的处理区域，并且基于从连续性设置单元12292提供的连续性信息，识别与处理区域图像数据相对应的现实世界1光信号的运动量，也就是，在该情况下，识别显示在处理区域中的对象的运动量。此外，模型生成单元12301对于处理区域中水平线的每个，根据构成输入图像处理区域中每个水平线的像素以及与处理区域的图像数据相对应的现实世界1光信号的运动量，来产生用作模拟处理区域内每个水平线中像素的像素值与现实世界1光信号之间关系的关系模型的函数，其提供给公式生成单元12302。

公式生成单元12302从处理区域设置单元12291提供的处理区域信息中识别输入图像中的处理区域，并且将输入图像的每个像素的像素值代入根据处理区域从模型生成单元12301提供的处理区域的每个水平线的关系模型中，从而产生用于获得作为近似现实世界1光信号的近似模型的近似函数的公式。此外，公式生成单元12302基于处理区域信息以及输入图像中M个版本的特征，产生约束近似函数的M个版本的约束条件表达式。公式生成单元12302将获得用作近似现实世界1光信号的近似模型的近似函数的公式与M个版本约束条件的每个组合在一起，产生M个版本的正则方程，其提供给现实世界波形估计单元12303。

现实世界波形估计单元12303计算从公式生成单元12302提供的M个版本正则方程的每个，从而估计M个版本的现实世界1光信号的波形。也就是说，现实世界波形估计单元12303求解从公式生成单元12302提供的M个版本正则方程的每个，从而获得用作模拟现实世界1光信号的近似模型的M个版本的近似函数，并且将近似函数作为M个版本现实世界1光信号波形的估计结果提供给图像生成单元12294。

现在，这种现实世界估计单元12293执行的步骤S12278的处理以下将称作“现实世界估计处理”。“现实世界估计处理”的细节将参考图175中的流程图随后描述。

在步骤S12278的处理之后，流程前进到步骤S12279，在那里图像生成单元12294基于从现实世界估计单元12293(的现实世界波形估计单元12303)提供的、更接近现实世界1光信号的波形的M个版本的近似函数，产生更接近现实世界1光信号的M个版本的信号。也就是说，图像生成单元12294从处理区域设置单元12291提供的处理区域信息中识别输入图像中的处理区域，并且基于从现实世界估计单元12293提供的关于相应处理区域的M个版本的近似函数，产生更接近现实世界1光信号的M个版本的近似图像(不具有运动模糊的图像)。

此外，图像生成单元12294产生输入图像中的处理区域部分已经用M个版本的近似图像(不具有运动模糊的图像)取代的图像作为M个版本的输出图像，其然后提供给图像显示单元12295，并且流程从步骤S12279前进到步骤S12280。

在步骤S12280中，图像显示单元12295显示从图像生成单元12294提供的M个版本的输出图像，代替步骤S12271中显示的输入图像，或者与输入图像一起，并且流程前进到步骤S12281。

在步骤S12281中，用户I/F 12296确定是否存在由用户操作用户I/F 12296的选择信息的输入。也就是说，在步骤S12280中，M个版本的输出图像显示在图像显示单元12295上，并且在步骤S12281中确定已经观看M个版本输出图像的用户是否已经通过操作用户I/F 12296输入用于从M个版本的输出图像中，选择作为具有期望图像质量的图像或者接近期望图像质量的图像的图像的选择信息。

如果在步骤S12281中确定不存在选择信息的输入，流程前进到步骤S12284，并且用户I/F 12296确定是否存在结束指令的输入，与步骤S12273的情况一样。

如果在步骤S12284中确定存在结束指令的输入，信号处理设备4结束处理。

而且，如果在步骤S12284中确定不存在结束指令的输入，流程返回到步骤S12281，此后重复相同的处理。

另一方面，如果在步骤S12281中确定存在选择信息的输入，也就是，如果已经观看显示在图像显示单元12295上的M个版本输出图像的用户已经从M个版本的输出图像中选择作为具有期望图像质量的图像或者接近期望图像质量的图像的图像，流程前进到步骤S12282，在那里用户I/F 12296确定用户是否已经通过操作用户I/F 12296输入最终确定指令，该指令用于最终确定用户已经选作最终输出图像的输出图像。

如果在步骤S12282中确定存在最终确定指令的输入，流程前进到步骤S12283，在那里图像显示单元12295例如在其整个屏幕上显示用户已经选择的输出图像，并且处理结束。

而且，如果在步骤S12282中确定不存在最终确定指令的输入，也就是说，如果用户对所选输出图像的图像质量不满意，并且没有执行最终确定指令的输入以便再次执行处理，流程返回到步骤S12275，在那里用户I/F 12296将表示用户已经选择的输出图像的选择信息作为帮助信息提供给处理区域设置单元12291和现实世界估计单元12293，并且流程顺序前进到步骤S12276，S12277，和S12278。在步骤S12276的处理区域设置处理和步骤S12277的连续性设置处理中，前一次设置的处理区域和连续性被设置。处理区域信息然后提供给连续性设置单元12292，现实世界估计单元12293，以及图像生成单元12294，并且连续性信息提供给现实世界估计单元12293。注意从第二次起执行的步骤S12276和S12277的处理可以跳过。

在步骤S12278中，现实世界估计单元12293可以基于用作从用户I/F 12296提供的帮助信息的选择信息，使用M种新方法估计现实世界1光信号(不具有运动模糊的图像)。

也就是说，在该情况下，在步骤S12278中，现实世界估计单元12293的公式生成单元12302基于用于获得由用作从用户I/F 12296提供的帮助信息的选择信息表示的输出图像的约束条件表达式，设置M个新版本的约束条件表达式。公式生成单元12302将用于获得用作近似现实世界1光信号的近似模型的近似函数的公式与M个新的约束条件表达式的每个组合在一起，从而产生M个新版本的正则方程，并且将M个新的正则方程提供给现实世界波形估计单元12303。此外，现实世界波形估计单元12303计算从公式生成单元12302提供的M个新的正则方程的每个，从而估计M个新版本的现实世界1光信号波形。然后流程从步骤S12278前进到步骤S12279，此后重复相同的处理。

也就是说，因此，步骤S12275～S12284的该处理重复，最终用户获得具有期望图像质量的输出图像，其中用户对输出图像的不满意已经解决。

如上所述，对于信号处理设备4，作为输入图像处理结果的M个版本的输出图像展示给用户，供用户从M个版本的输出图像中选择期望的一个，并且基于选择结果，处理再次执行，所以满足用户喜好的高质量输出图像可以容易地获得。也就是说，信号处理设备4向用户展示作为输入图像处理结果的M个版本的输出图像。另一方面，用户识别M个版本输出图像的图像质量，并且将关于哪个输出图像是具有良好图像质量的图像的判断的反馈提供给信号处理设备4。信号处理设备4基于来自用户的反馈再次处理输入图像，此后重复相同的处理。因此，满足用户喜好的高质量输出图像可以容易地获得。

现在，可以说接收来自用户的反馈并且在输入图像上执行处理的信号处理设备4意味着信号处理设备4与用户合作执行处理。

接下来，将参考图175中的流程图详细描述现实世界估计单元12293(图173)的现实世界估计处理(图174的步骤S12278的处理)。

在步骤S12291中，模型生成单元12301产生关系模型。也就是说，模型生成单元12301从处理区域设置单元12291提供的处理区域信息中识别输入图像中的处理区域，并且也从连续性设置单元12292提供的连续性信息中识别与处理区域图像数据相对应的运动量。此外，模型生成单元12301，对于输入图像中的处理区域，根据构成处理区域的水平线的像素，以及与处理区域中图像数据相对应的运动量，产生对于处理区域中的每个水平线，模拟处理区域内由传感器2检测的像素的像素值与由近似现实世界1光信号的近似模型表示的、不具有运动模糊的图像之间关系的关系模型，并且将其提供给公式生成单元12302。模型生成单元12301然后从步骤S12291前进到步骤S12292。

特别地，模型生成单元12301根据处理区域水平线中的像素数目以及运动量，产生参考图148A至图148C描述的、表示处理区域的每个水平线中像素的像素值P_i与不具有运动模糊的像素值Q_i之间关系的表达式，作为关系模型。例如，如果处理区域的水平线中的像素数目是8，且运动量v是5，上述表达式(151)中的公式产生作为关系模型。

在步骤S12292中，公式生成单元12302执行公式生成处理。也就是说，公式生成单元12302从处理区域设置单元12291提供的处理区域信息中识别输入图像中的处理区域，并且关于该处理区域，将构成处理区域的输入图像的每个像素的像素值代入从模型生成单元12301提供的关于处理区域的每个水平线而获得的关系模型中，从而对于处理区域的每个水平线产生用于获得由近似现实世界1光信号的近似函数表示的、不具有运动模糊的像素值Q_i的表达式(151)的公式(模型公式)。

此外，公式生成单元12302产生约束条件表达式，其是用于约束近似从处理区域设置单元12291提供的处理区域信息中识别的处理区域的水平线中现实世界1光信号的近似模型的表达式。也就是说，对于模型公式，作为待获得变量的不具有运动模糊的像素值的数目大于公式数目，如表达式(151)中所指示的，所以需要引入对于公式总数数目等于或大于不具有运动模糊的像素值Q_i的数目的公式，以便获得不具有运动模糊的像素值Q_i。这里，公式生成单元12302产生约束条件表达式以假定相邻像素之间，由近似函数表示的不具有运动模糊的像素值之间的差小(存在空间相关性)。这里，公式生成单元12302将由用户指示的不满意区域的像素，以及处理区域中与不满意区域的那些具有类似特征的像素取作约束像素，并产生关于约束像素的加权约束条件表达式。

也就是说，公式生成单元12302对于处理区域中的每个像素提取多个类型的特征，并且选择处理区域中与不满意区域的那些具有类似特征的像素作为约束像素，其将经历约束条件表达式。特别地，公式生成单元12302设置多个类型特征的一个或多个组合的M个版本，并且关于M个版本特征(的一个或多个组合)的每个选择约束像素。公式生成单元12302然后对于约束像素以预先确定的权重产生约束条件表达式。因此，M个输出图像产生并显示。用户观看M个版本的输出图像，并且从这些中选择具有期望图像质量的图像或者接近期望图像质量的图像。

如上所述，公式生成单元12302不仅产生关于不满意区域的像素的约束条件表达式，而且基于M个特征的一个或多个组合，对于处理区域中与不满意区域的像素具有类似特征的像素产生约束条件表达式，与不满意区域的像素相同，所以用户可以通过从作为其结果而获得的M个输出图像中选择期望的图像，容易地应用相同的约束条件于期望应用相同约束条件的部分。因此，即使在存在用户期望应用相同约束条件表达式的多个部分的情况下，不需要指示多个部分的每个作为不满意区域，从而减小用户的负担。

公式生成单元12302产生模型公式，并且也基于不满意区域指示信息，关于不满意区域的像素以及关于M个类型的特征(特征的一个或多个组合的M个版本)处理区域中与不满意区域的像素具有类似特征的像素，产生以预先确定权重加权的M个版本的约束条件表达式，并且将产生的模型公式与M个版本的约束条件表达式组合在一起以产生M个版本的正则方程。公式生成单元12302将M个版本的正则方程提供给现实世界波形估计单元12303，并且流程从步骤S12292前进到步骤S12293。

注意以下，如上所述公式生成单元12302执行的步骤S12292中的处理将称作“公式生成处理”。“公式生成处理”的细节将参考图177中的流程图随后描述。

在步骤S12293中，现实世界波形估计单元12303求解从公式生成单元12302提供的关于处理区域中每个水平线的M个版本的正则方程，从而获得由M个版本近似函数表示的不具有运动模糊的像素值Q_i，并且将M个版本的像素值提供给图像生成单元12294。

接下来，图176说明图173中所示公式生成单元12302的详细构造实例。

在图176中，公式生成单元12302包括模型公式生成单元12321，特征提取单元12322，特征轴设置单元12323，特征空间LUT生成单元12324，约束条件表达式生成单元12325，以及正则方程生成单元12326。

模拟处理区域中每个水平线的像素的像素值(运动模糊图像的像素值)与对于处理区域中每个水平线而获得的不具有运动模糊的像素值之间关系的关系模型从模型生成单元12301输入到其构造如图176中所示的公式生成单元12302，并且提供给模型公式生成单元12321。而且，输入图像从传感器2(图1)输入到公式生成单元12302，并且输入图像提供给模型公式生成单元12321和特征提取单元12322。

此外，处理区域信息从处理区域设置单元12291输入到公式生成单元12302，并且处理区域信息提供给模型公式生成单元12321和特征提取单元12322。而且，不满意区域指示信息和选择信息作为帮助信息从用户I/F 12296输入到公式生成单元12302，其中分别地，不满意区域指示信息提供给特征空间LUT生成单元12324，而选择信息提供给特征空间LUT生成单元12324和特征轴设置单元12323。

模型公式生成单元12321从处理区域信息中识别输入图像的处理区域，并且代入输入图像中处理区域的像素值作为从模型生成单元12301提供的处理区域中每个水平线的关系模型的运动模糊图像中每个像素的像素值P_i，从而对于处理区域中每个水平线产生表达式(151)中的模型公式。模型公式生成单元12321然后将模型公式提供给正则方程生成单元12326。

特征提取单元12322从处理区域设置单元12291输入的处理区域信息中和从输入图像中识别构成处理区域的像素(的像素值)，并且关于构成处理区域的每个像素提取多个类型的特征。特征提取单元12322将处理区域中每个像素的多个类型的特征提供给特征空间LUT生成单元12324。

特征轴设置单元12323基于从用户I/F 12296输入的选择信息，设置用于产生特征空间LUT的M个版本的特征轴。注意特征轴是表示从输入图像中提取的多个特征中一个的轴。

特征空间LUT生成单元12324基于从特征提取单元12322提供的处理区域中每个像素的多个类型的特征中，与从特征轴设置单元12323提供的特征轴相对应的特征，分类(类型分类)处理区域中的每个像素，并且产生特征空间LUT。而且，特征空间LUT生成单元12324关于从特征轴设置单元12323提供的M个版本特征轴的每个，分类处理区域中的每个像素，因此产生M个版本的特征空间LUT。而且，特征空间LUT生成单元12324基于产生的M个版本的特征空间LUT以及从用户I/F 12296输入的不满意区域指示信息，从处理区域的像素中选择不满意区域中的像素以及与那些像素具有类似特征的像素，取这些像素作为约束像素，并且将关于约束像素的信息提供给约束条件表达式生成单元12325。因此，特征空间LUT生成单元12324基于M个版本的特征空间LUT选择M个版本的约束像素。

此外，如果选择信息已经从用户I/F 12296输入，也就是，如果用户已经观看M个版本的输出图像并且通过操作用户I/F 12296选择期望图像或者接近该期望的图像，特征空间LUT生成单元12324关于产生的M个版本的特征空间LUT中用于获得选择信息表示的输出图像的特征空间LUT中，由用户指示的不满意区域中的像素(如果用户没有指示不满意区域，处理区域的像素)的特征类，存储应用于约束条件表达式的权重。

当选择信息从用户I/F 12296的输入重复时，特征空间LUT生成单元12324删除前一次产生的特征空间LUT，并且对于这次产生的M个版本的特征空间LUT中用来获得这次选择的输出图像的特征空间LUT，关于不满意区域中的像素的特征类存储权重，并且最终将权重存储在用于获得具有用户认为最佳的质量的输出图像的特征空间LUT，也就是最佳特征空间LUT中。这样，该最佳特征空间LUT存储属于最适合取作约束像素的像素的特征类的权重，所以在获得这种最佳特征空间LUT之后，根据最佳特征空间LUT，与每个特征的像素相对应的约束条件表达式的权重看作为该像素所属类而存储的权重，从而使得具有用户期望图像质量的输出图像能够关于任意输入图像而获得，即使在用户不指定不满意区域的情况下。

这里，特征空间LUT描述为存储权重，但是特征空间LUT可以存储表示该权重被应用的信息(或者看作约束像素)，代替权重自身。

而且，已经描述特征轴设置单元12323设置M个版本的特征轴，并且特征空间LUT生成单元12324产生在由M个版本特征轴的每个规定的特征空间中执行处理区域的像素的类型分类的M个版本的特征空间LUT，但是例如在另一种配置中，特征轴可以变得完全相同，并且M个版本的特征空间LUT可以通过分段同一个特征轴并且创建特征类，以及通过准备分段特征轴的M种方法来产生。

约束条件表达式生成单元12325对于从特征空间LUT生成单元12324提供的M个版本的约束像素，以预先确定的权重产生M个版本的预先确定约束条件，并且将M个版本的约束条件表达式提供给正则方程生成单元12326。

正则方程生成单元12326将从模型公式生成单元12321提供的模型公式与从约束条件表达式生成单元12325提供的M个版本约束条件表达式的每个组合在一起以产生M个版本的正则方程，其提供给现实世界波形估计单元12303。

接下来，将参考图177中的流程图详细描述公式生成单元12302(图176)的公式生成处理(图175的步骤S12292中的处理)。

在步骤S12311中，模型公式生成单元12321从模型生成单元12301获得处理区域中每个水平线的关系模型，并且流程前进到步骤S12312。在步骤S12312中，模型公式生成单元12321从传感器2获取输入图像，并且也从处理区域设置单元12291获得处理区域信息。模型公式生成单元12321然后从输入图像的处理区域信息中识别处理区域中每个像素的像素值P_i，并且将像素值P_i代入使用处理区域中每个像素的像素值从模型生成单元12301获得的表达式(151)的关系模型中，从而产生处理区域的每个水平线的模型公式。此外，模型公式生成单元12321将模型公式提供给正则方程生成单元12326。如果模型公式生成单元12321已经从模型生成单元12301获得由上面表达式(151)表示的关系模型，例如，模型公式通过将输入图像的像素值代入表达式(151)的像素值P₄～P₇中而产生。

在步骤S12312的处理之后，流程前进到步骤S12313，在那里特征提取单元12322提取输入图像的特征并且将其提供给特征空间LUT生成单元12324。也就是说，特征提取单元12322从处理区域设置单元12291获得处理区域信息，并且获取输入图像。特征提取单元12322基于处理区域信息识别输入图像处理区域中的像素，对于处理区域中每个像素提取多个类型的特征，并且将多个类型的特征提供给特征空间LUT生成单元12324。

在步骤S12313的处理之后，流程前进到步骤S12314，在那里特征轴设置单元12323通过组合例如由特征提取单元12322提取的多个特征的一个或多个来设置M个特征轴，其提供给特征空间LUT生成单元12324，并且流程前进到步骤S12315。这里，如果选择信息从用户I/F12296输入，特征设置单元12323基于用于获得由选择信息表示的输出图像的特征轴来设置M个特征轴。也就是说，如果第一次设置特征轴，特征轴设置单元12323取例如某个特征A作为一个特征轴，以及取其他M个特征的每个作为其他特征轴，从而设置M个特征轴(两个特征轴的M个版本的组合)。然后，如果选择信息从用户I/F 12296输入，除了用于获得选择信息表示的输出图像的两个特征轴，例如特征A和B的特征轴之外，特征轴设置单元12323以除特征A和B之外的M个特征的每个作为新的其他特征轴来设置M个新的特征轴(三个特征轴的M个版本的组合)。

因此，通过用户从前一次处理输出的M个输出图像中选择期望的一个，M个新的特征轴基于选择结果而设置，并且将经历约束条件的约束像素被确定，所以重复该处理最终设置具有用户期望图像质量的输出图像被设置的特征轴，因此，用户可以获得具有期望图像质量的输出图像。

注意，虽然上面描述设置由与M个特征轴(的组合)相同数目的特征轴构成的M个特征轴，但是M个特征轴的设置方法并不局限于此。也就是说，除此之外，由不同数目的特征轴(例如，仅特征A的特征轴，特征A和B的特征轴等)构成的M个特征轴可以设置为M个特征轴。

在步骤S12315中，特征空间LUT生成单元12324基于步骤S12314中设置的M个特征轴，将从特征提取单元12322提供的处理区域中像素的特征的每个像素分类成特征类，并且产生M个特征空间LUT。

也就是说，例如，让我们假定三个特征A，B和C已经作为多个特征由特征轴提取单元12322提取，并且特征轴设置单元12323已经从三个特征A～C中设置七个轴，这些是特征A，B，C，A和B，A和C，B和C，以及A和B和C，作为M个特征轴。在该情况下，观察由特征轴设置单元12322设置的七个特征轴中例如特征A和B的轴，特征空间LUT生成单元12324例如以预先确定的间隔分段特征A和B的轴，从而形成在由特征A和B规定的空间(特征空间)中产生的部分空间的特征类，并且通过登记(分类)其特征类中包含特征A和B的像素的信息到其特征类来产生具有特征A和B的轴的特征空间LUT。

现在，如果M个版本的特征空间LUT已经关于某个处理区域而产生，并且选择信息从用户I/F 12296输入，也就是，用户已经观看M个输出图像并且已经选择期望图像或者接近该期望的图像，特征空间LUT生成单元12324将应用于约束条件表达式的权重作为LUT值，关于不满意区域中像素的特征类，存储在用于获得选择信息表示的输出图像的特征空间LUT中，代替步骤S12314和S12315中的处理。

当选择信息从用户I/F 12296的输入重复时，特征空间LUT生成单元12324删除前一次产生的特征空间LUT，并且关于这次产生的M个版本的特征空间LUT中用于获得这次选择的输出图像的特征空间LUT中不满意区域中的像素的特征类存储权重，并且最终将权重存储在用于获得具有用户认为最佳的图像质量的输出图像的特征空间LUT，也就是最佳特征空间LUT中。

在该情况下，公式生成单元12302可以将特征空间LUT中存储的约束条件表达式的权重同样应用到其他输入图像。也就是说，如果另一个输入图像重新输入，公式生成单元12302从输入图像的处理区域中提取每个像素的多个类型的特征，并且基于多个类型的特征执行处理区域中每个像素的类型分类。公式生成单元12302将已经作为特征空间LUT中的类的LUT值而存储的权重，其中该类与由类型分类获得的处理区域的每个像素的类相同，设置为与该像素相对应的约束条件表达式的权重。在该情况下，用户不需要对每个输入图像设置最佳权重，从而减小用户的负担。而且，配置可以这样进行，其中每当新的输入图像输入时特征空间LUT重新产生或更新。

在步骤S12315的处理之后，流程前进到步骤S12316，在那里特征空间LUT生成单元12324确定将由约束条件约束的约束像素，将这些提供给约束条件表达式生成单元12325，并且流程前进到步骤S12317。也就是说，特征空间LUT生成单元12324从用户I/F 12296获得不满意区域指示信息，关于步骤S12315产生的M个版本特征空间LUT的每个，确定不满意区域的像素以及与那些像素属于相同特征类的像素作为约束像素，并且将由该确定获得的M个版本的约束像素提供给约束条件表达式生成单元12325。

现在，如果用户没有指示不满意区域并且不存在不满意区域指示信息从用户I/F 12296的输入，特征空间LUT生成单元12324确定例如处理区域中所有像素作为约束像素。

在步骤S12317中，约束条件表达式生成单元12325产生以预先确定的权重加权的M个版本的约束条件表达式，其是与步骤S12315中确定的M个版本约束像素相对应的约束条件。约束条件表达式生成单元12325然后将产生的M个约束条件表达式提供给正则方程生成单元12326。

例如，如果约束像素的数目是八，并且这些像素的不具有运动模糊的像素值用Q₀～Q₇表示，某一版本的约束条件表达式如上述表达式(154)中表示。约束条件表达式生成单元12325产生如表达式(154)中所示关于M个特征空间LUT的M个版本的约束条件表达式。

在步骤S12317的处理之后，流程前进到步骤S12318，在那里正则方程生成单元12326将从模型公式生成单元12321提供的模型公式与从约束条件表达式生成单元12325提供的M个约束条件表达式组合在一起，从而产生M个正则方程，其提供给现实世界波形估计单元12303。

随后，现实世界波形估计单元12303使用例如最小二乘方误差的最小范数求解从正则方程生成单元12325提供的M个版本的正则方程，从而获得处理区域的每个水平线中的像素的不具有运动模糊的M个版本的像素值。

注意，上述现实世界估计处理对于处理区域内水平方向上排列的像素的每个(水平线)而执行。也就是说，现实世界波形估计单元12303对于每个水平线，对于处理区域中的每个像素获得不具有运动模糊的M个像素值。在对于处理区域内所有水平线中的每个像素获得不具有运动模糊的M个像素值之后，现实世界波形估计单元12303将处理区域中每个像素的不具有运动模糊的M个像素值提供给图像生成单元12294。图像生成单元12294产生输入图像处理区域中每个像素的像素值已经用不具有运动模糊的M个版本的像素值取代的M个版本的输出图像，其提供给图像显示单元12295并显示。

而且，对于上述处理，约束条件表达式生成单元12325不产生关于除约束像素之外的约束条件表达式，但是除约束像素之外的约束条件表达式也可以使用预先确定的权重(例如不同于约束像素的权重的权重)W产生。

而且，在上述处理中，M个版本的特征空间LUT基于M个特征轴而产生，但是公式生成单元12302可以设置分段特征类分类的M种方法而不是上述特征轴，并且基于分段方法将处理区域中的像素分类成特征类，从而产生M个版本的特征空间LUT。

图178是描述图173中所示信号处理设备4的处理概述的图。

如图178中所示，用户观看输入图像12341，并且指示不满意的区域作为不满意区域。或者，用户观看输入图像12341但并不指示不满意区域，而是观看信号处理设备4基于预先确定条件处理的输出图像12342，并且指示不满意的区域作为不满意区域。

信号处理设备4然后基于由用户指示的不满意区域设置处理区域，并且对于处理区域的图像数据中的每个像素提取多个类型的特征。信号处理设备4设置M个版本的特征轴，基于M个版本的特征轴将每个像素分类成来自像素特征的特征类，并且产生特征空间LUT 12343。注意虽然图178仅显示一个特征空间LUT 12343，信号处理设备4产生M个版本的特征空间LUT。这里，特征空间LUT 12343中的格子表示特征类。而且，特征空间LUT 12343中所示的圆形表示不满意像素。具有圆形的格子处特征类的像素取作约束像素。注意在图178中，不满意像素仅属于一个特征类，但是不满意区域像素所属的特征类不一定是一个。也就是说，不满意区域的像素可能属于多个类。

信号处理设备4对于M个版本特征空间LUT的每个，确定属于不满意区域像素的特征类的像素作为约束像素。此外，信号处理设备4对于已经从M个版本特征空间LUT的每个确定的约束像素，产生具有预先确定权重的约束条件表达式，并且显示作为结果获得的M个输出图像12344-1～12344-M。用户从M个输出图像中选择期望图像或者接近期望图像的图像，并且信号处理设备4基于用于获得所选图像的特征轴重复M个新的特征轴的设置。

因此，用户可以容易地设置最佳约束像素，从而获得更接近现实世界1光信号的图像。也就是说，用户可以容易地获得期望图像或者接近期望图像的图像。而且，约束条件表达式对于不满意区域的相同特征类的像素而产生，所以用户不需要指示所有像素以取作不满意区域，从而减小用户的负担。

将参考图179A和图179B来描述图173中所示信号处理设备4的处理概述。

在图179A和图179B中，三个特征A～C作为像素的多个类型的特征而提取。在图179A中所示的实例中，特征空间LUT 12362对于其特征轴取特征A作为水平轴且特征B作为垂直轴。而且，在图179B中所示的实例中，特征空间LUT 12364对于其特征轴取特征A作为水平轴且特征C作为垂直轴。

如图179A中所示，用户观看输入图像12361并且指示(指向)不满意的区域作为不满意区域。信号处理设备4基于由用户指示的不满意区域设置处理区域，并且对于处理区域的输入图像数据中的每个像素提取特征A～C。信号处理设备4基于每个像素的特征A～C中的特征A和B将每个像素分类成特征类，并且产生特征空间LUT 12362。

信号处理设备4从特征空间LUT 12362中识别由用户指示的不满意区域像素的特征类12263，并且设置分类到该特征类12363的所有像素作为约束像素。此外，信号处理设备4对于约束像素产生具有预先确定权重的约束条件表达式，并且显示使用约束条件表达式获得的输出图像12364。注意输出图像12364上圆形中的圆表示已经分类到特征空间LUT 12362的特征类12363并且取作约束像素的像素。

图179B说明特征空间LUT 12365已经基于与图179A中情况不同的特征轴而产生的情况。也就是说，信号处理设备4基于对于其特征轴特征A作为水平轴且特征C作为垂直轴，产生特征空间LUT 12365，并且产生以分类到由用户指示的不满意区域中像素的特征类12366的所有像素作为约束像素的约束条件表达式。注意该约束条件表达式以与图179A中的情况相同的方式加权。信号处理设备4产生并显示使用约束条件表达式获得的输出图像12367。

以与图179A和图179B相同的方法，信号处理设备4基于具有不同特征轴的M个版本的特征LUT产生并显示M个输出图像。用户然后从M个输出图像中选择期望图像或者接近期望图像的图像，并且信号处理设备4基于用于获得所选图像的特征空间LUT的特征轴重复设置M个新版本的特征轴。

因此，用户可以容易地设置最佳约束像素，以便获得更接近现实世界1光信号的图像。也就是说，用户能够容易地获得具有期望图像质量的图像或者接近期望图像质量的图像。而且，约束条件表达式对于与不满意区域具有相同特征类的像素而产生，所以用户不需要指示所有像素以取作不满意区域，从而能够减小用户的负担。

图180说明相当于图153，图161，图167，和图173中所示信号处理设备4的信号处理设备4的构造实例。

也就是说，在图180中，分别地，处理区域选择单元12381对应于例如图153中的处理区域设置单元12071，运动量参数输入单元12382对应于例如图153中的连续性设置单元12072，特征提取单元12383，特征空间LUT生成单元12384，约束条件设置单元12385，以及运动模糊去除处理单元12386对应于例如图153中的现实世界估计单元12073，输出图像生成单元12387对应于例如图153中的图像生成单元12072，图像显示单元12388对应于例如图153中的图像显示单元12075，以及用户I/F 12389对应于例如图153中的用户I/F 12076。

注意，图180说明从运动模糊发生的图像数据(运动模糊图像数据)中估计现实世界1光信号的信号处理设备4的一种实施方案的构造实例，该运动模糊图像数据是具有例如以预先确定的速度在预先确定的方向上运动的连续性的数据3的实例。也就是说，该信号处理设备4从主体因例如主体(对象)在摄影时运动而以模糊方式获取的图像(运动模糊图像)中估计不模糊的图像(不具有运动模糊的图像)。

对于图180中所示的实施方案，运动模糊因拍摄以恒定运动量在水平方向(从左到右的方向)上运动的对象而发生的运动模糊图像输入到信号处理设备4，并且提供给处理区域选择单元12381，特征提取单元12383，约束条件设置单元12385，输出图像生成单元12387，以及图像显示单元12388。

处理区域选择单元12381从输入图像中选择(设置)处理区域，并且将处理区域的信息提供给运动量参数输入单元12382，约束条件设置单元12385，以及输出图像生成单元12387。

运动量参数输入单元12382设置表示对象运动的运动参数(表示运动量的值)，并且将运动量参数提供给约束条件设置单元12385，注意这里，运动量参数输入单元12382被配置以设置表示仅对象运动量值的运动量，假设对象在水平方向上运动，但是其他配置可以进行，其中表示对象运动的量值和方向的运动矢量被设置。

特征提取单元12383从输入图像中提取每个像素的多个类型的特征，并且将多个类型的特征提供给特征空间LUT生成单元12384。特征空间LUT生成单元12384基于M个即多个类型的特征轴，将输入图像的每个像素分类成来自从特征提取单元12383提供的多个类型特征的特征类，并且产生特征空间LUT。特征空间LUT生成单元12384将特征空间LUT提供给约束条件设置单元12385。

约束条件设置单元12385从输入图像和从处理区域选择单元12381提供的处理区域信息中识别处理区域中每个水平线的像素的像素值，并且也从运动量参数输入单元12382提供的运动量参数中识别对象的运动量。约束条件设置单元12385基于对象的运动量，对于处理区域中的每个水平线，产生模拟处理区域中水平线的每个像素的像素值与不具有运动模糊的像素的像素值之间关系的关系模型，将处理区域水平线中每个像素的像素值代入关系模型中，并且产生每个水平线的模型公式。

而且，约束条件设置单元12385设置约束不具有运动模糊的像素的像素值的约束条件表达式。此时，约束条件设置单元12385基于从特征空间LUT生成单元12384提供的特征空间LUT设置约束条件表达式。约束条件设置单元12385将每个水平线的模型公式和约束条件表达式提供给运动模糊去除处理单元12386。

运动模糊去除处理单元12386通过使用最小二乘方误差的最小范数求解每个水平线的模型公式以及从约束条件设置单元12385提供的约束条件表达式，获得关于处理区域中每个水平线的像素的不具有运动模糊的像素值，从而获得不具有运动模糊的像素值。运动模糊去除处理单元12386将处理区域的每个水平线中像素的不具有运动模糊的像素值提供给输出图像生成单元12387。

输出图像生成单元12387从处理区域选择单元12381提供的处理区域信息中识别处理区域中每个水平线的像素，并且产生每个水平线的像素已经用从运动模糊去除处理单元12386提供的处理区域每个水平线中像素的不具有运动模糊的像素值取代的图像，作为输出图像。输出图像生成单元12387将输出图像提供给图像显示单元12388并显示。

图像显示单元12388显示输入图像以及从输出图像生成单元12387提供的输出图像。

用户I/F 12389由用户操作，并且根据用户的操作，关于处理区域和运动量的信息提供给例如处理区域选择单元12381和运动量参数输入单元12382。

也就是说，用户观看显示在图像显示单元12388上的输入图像或输出图像，并且操作用户I/F 12389以便提供关于输入图像或输出图像的输入。根据用户操作，用户I/F 12389将用于选择处理区域的信息提供给处理区域选择单元12381。而且，根据用户操作，用户I/F 12389将处理区域中对象运动量的信息提供给运动量参数输入单元12382。

此外，根据用户操作，用户I/F 12389将关于应用约束条件的区域的信息提供给特征空间LUT生成单元12384和约束条件设置单元12385，以便不均等地创建关于处理区域中像素的约束条件。而且，根据用户操作，用户I/F 12389将指示约束条件权重的权重指示信息提供给约束条件设置单元12385。

将参考图181和图182中的流程图描述图180中所示信号处理设备4的处理。我们将假定对象以恒定速度在水平方向上运动。

首先，在步骤S12331中，信号处理设备4获取运动模糊图像的图像信号作为输入图像，并且将其提供给处理区域选择单元12381，特征提取单元12383，约束条件设置单元12385，输出图像生成单元12387，以及图像显示单元12388。特征提取单元12383从输入图像的每个像素中提取多个类型的特征，并且将多个类型的特征提供给特征空间LUT生成单元12384。特征空间LUT生成单元12384基于从特征提取单元12383提供的多个类型的特征，基于多个版本的特征轴产生特征空间LUT(图179A和图179B)。此外，在步骤S12331中，信号处理设备4使得图像显示单元12388显示输入图像，并且流程前进到步骤S12332。

在步骤S12332中，用户I/F 12389确定用户是否已经指示运动模糊区域，也就是，已经观看显示在图像显示单元12388上的输入图像(运动模糊图像)的用户是否感觉到输入图像中存在运动模糊，并且操作用户I/F 12389以便指向存在运动模糊的部分。在步骤S12332中，如果确定用户没有指示运动模糊区域，也就是，已经观看显示在图像显示单元12388上的输入图像的用户感觉到输入图像中不存在运动模糊并且图像没有不令人满意，流程前进到图182中的步骤S12342。在步骤S12342中，输出图像生成单元12387将输入图像提供给图像显示单元12388，作为它显示在那里的输出图像。

另一方面，如果在步骤S12332中确定用户已经指示运动模糊区域，用户I/F 12389将表示用户通过操作用户I/F 12389指示的运动模糊区域的运动模糊区域指示信息提供给处理区域选择单元12381，并且流程前进到步骤S12333。在步骤S12333中，处理区域选择单元12381基于从用户I/F 12389提供的运动模糊区域指示信息，选择例如包括运动模糊区域的矩形，作为输入图像的区域中的处理区域，并且将表示该处理区域的处理区域信息提供给运动量参数输入单元12382，约束条件设置单元12385，以及输出图像生成单元12387。在步骤S12333的处理之后，流程前进到步骤S12334，在那里运动量参数输入单元12382将表示处理区域中对象的运动量的运动参数输入到约束条件设置单元12385。也就是说，例如，如果用户已经观看显示在图像显示单元12388上的输入图像(运动模糊图像)，并且通过操作用户I/F 12389输入处理区域中对象的运动量，运动量参数输入单元12382将表示从用户I/F12389输入的运动量的运动量参数提供给约束条件设置单元12385。而且，运动量参数输入单元12382检测处理区域中对象的运动量，并且将表示运动量的参数提供给约束条件设置单元12385。约束条件设置单元12385基于运动量参数以及从处理区域选择单元12381提供的处理区域信息，对于处理区域中的每个水平线，产生并存储模拟处理区域的水平线中每个像素的像素值与不具有运动模糊的像素的像素值之间关系的关系模型，并且流程从步骤S12334前进到步骤S12335。

在步骤S12335中，用户I/F 12389确定平坦区域是否由用户从作为输入图像的运动模糊图像中指示。如果在步骤S12335中由用户I/F12389确定平坦区域已经由用户操作用户I/F 12389从运动模糊图像中指示，也就是，用户已经观看输入图像并且指示处理区域中不具有运动模糊的图像估计为平坦的平坦区域，流程前进到步骤S12336，并且用户I/F 12389将表示用户已经通过操作用户I/F 12389指示的平坦区域的平坦区域指示信息提供给约束条件设置单元12385。

在步骤S12336的处理之后，流程前进到步骤S12337，在那里特征空间LUT生成单元12384从产生的多个特征空间LUT中选择由用户操作用户I/F 12389选择的特征空间LUT，例如，并且将其提供给约束条件设置单元12385，并且流程前进到步骤S12339。也就是说，在步骤S12337中，与由特征空间LUT生成单元12384产生的多个特征空间LUT相对应的按钮显示在图像显示单元12388上。当用户通过操作用户I/F 12389在图像显示单元12388上显示的按钮上点击等，选择对应于所选按钮的特征空间LUT。在步骤S12339中，约束条件设置单元12385从用户I/F 12389提供的平坦区域指示信息中识别处理区域中的平坦区域。此外，约束条件设置单元12385从特征空间LUT生成单元12384提供的特征空间LUT中，识别与平坦区域的像素具有相同特征类的处理区域的像素。约束条件设置单元12385关于作为平坦区域的像素以及与平坦区域的像素具有相同特征类的像素的约束像素，产生处理区域中每个水平线的约束条件表达式，并且将约束条件表达式提供给运动模糊去除处理单元12386，并且流程前进到图182中的步骤S12340。例如，如果存在水平方向上排列的仅六个约束像素，并且Q₀～Q₅表示这些像素的每个的不具有运动模糊的像素值，约束条件表达式由上述表达式(153)指示。

另一方面，如果用户I/F 12389在图181的步骤S12335中确定不存在运动模糊图像中平坦区域的指示，流程前进到步骤S12338，并且确定不满意区域是否已经对于输出图像而指示，也就是用户已经观看在先前步骤S12342(图182)中显示在图像显示单元12388上的输出图像并且发现其不令人满意，并且已经通过操作用户I/F 12389指示发现不令人满意的区域。在步骤S12338中，如果用户I/F 12389已经确定不存在输出图像中不满意区域的指示，流程前进到步骤S12339。在该情况下，用户既没有指示平坦区域也没有指示不满意区域，所以在步骤S12339中，约束条件设置单元12385关于约束像素产生每个水平线的约束条件表达式，其中处理区域中所有像素取作约束像素，例如。

约束条件设置单元12385将约束条件表达式提供给运动模糊去除处理单元12386，并且流程从步骤S12339前进到图182中的步骤S12340。例如，如果在水平线中存在八个像素，并且Q₀～Q₇表示这些像素的每个的不具有运动模糊的像素值，约束条件表达式如上述表达式(152)指示。

在步骤S12340中，约束条件设置单元12385从处理区域选择单元12381提供的处理区域信息和输入图像中，识别输入图像的处理区域中每个水平线中的像素的像素值。而且，在步骤S12340中，约束条件设置单元12385将输入图像中处理区域的每个水平线中像素的像素值代入在步骤S12334中产生并存储的关系模型中，从而产生表达式(151)中所示的模型公式。约束条件设置单元12385然后将模型公式提供给运动模糊去除处理单元12386。

在步骤S12340的处理之后，流程前进到步骤S12341，在那里运动模糊去除处理单元12386执行运动模糊去除处理。也就是说，运动模糊去除处理单元12386使用从约束条件设置单元12385提供的约束条件表达式和模型公式，产生处理区域中每个水平线的正则方程。此外，运动模糊去除处理单元12386使用最小二乘方误差的最小范数求解正则方程，从而获得处理区域中每个水平线的像素中不具有运动模糊的像素值。运动模糊去除处理单元12386将处理区域的每个水平线中不具有运动模糊的像素值提供给输出图像生成单元12387，并且流程从步骤S12341前进到步骤S12342。

在步骤S12342中，输出图像生成单元12387从处理区域选择单元12381提供的处理区域信息中识别处理区域中每个水平线的像素，并且将处理区域的每个水平线中像素的像素值用从运动模糊去除处理单元12386提供的不具有运动模糊的像素值取代，从而产生输出图像。此外，在步骤S12342中，输出图像生成单元12387提供并在图像显示单元12388处显示输出图像，并且流程前进到步骤S12351。

另一方面，在图181的步骤S12338中，如果用户I/F 12389确定输出图像中的不满意区域已经指示，流程前进到步骤S12343，在那里表示由用户操作用户I/F 12389指示的不满意区域的不满意区域指示信息提供给约束条件设置单元12385，并且流程前进到步骤S12344。在步骤S12344中，约束条件设置单元12385关于不满意区域的像素处的约束条件表达式设置N个版本的权重，并且流程前进到步骤S12345。在步骤S12345中，特征空间LUT生成单元12384以与步骤S12337相同的方法，例如，从产生的多个特征空间LUT中选择由用户操作用户I/F12389选择的特征空间LUT，并且例如以与步骤S12337的情况相同的方法，将特征空间LUT提供给约束条件设置单元12385。

在步骤S12345的处理之后，流程前进到步骤S12346，在那里约束条件设置单元12385从用户I/F 12389提供的不满意区域指示信息中识别不满意区域，并且也从处理区域选择单元12381提供的处理区域信息中识别处理区域。约束条件设置单元12385从特征空间LUT生成单元12384提供的特征空间LUT中，识别处理区域的像素中与不满意区域中的像素具有相同特征类的像素，并且取这些作为约束像素。约束条件设置单元12385然后使用步骤S12344中设置的N个权重，以便对于每个水平线产生以N种不同方法加权的约束像素的约束条件表达式。约束条件设置单元12385将N个版本的约束条件表达式提供给运动模糊去除处理单元12386，并且流程前进到图182中的步骤S12347。

例如，如果存在水平方向上排列的仅八个约束像素，并且每个像素的不具有运动模糊的像素值用Q₀～Q₇表示，一个版本的约束条件表达式如上述表达式(154)中，其中W表示关于约束条件表达式的一个版本的W。约束条件设置单元12385产生表达式(154)的约束条件表达式中具有不同权重W的N个版本的表达式。

在步骤S12347中，约束条件设置单元12385从处理区域选择单元12381提供的处理区域信息和输入图像中，识别输入图像中处理区域的每个水平线中像素的像素值。而且，在步骤S12347中，约束条件设置单元12385将输入图像处理区域中每个水平线的像素的像素值代入步骤S12334中产生并存储的关系模型中，从而对于每个水平线产生表达式(151)的模型公式。约束条件设置单元12385然后将模型公式提供给运动模糊去除处理单元12386。

在步骤S12347的处理之后，流程前进到步骤S12348，在那里运动模糊去除处理单元12386执行运动模糊去除处理。也就是说，运动模糊去除处理单元12386从约束条件设置单元12385提供的N个版本约束条件表达式的每个以及模型公式中，产生处理区域中每个水平线的N个版本的正则方程，并且使用最小二乘方误差的最小范数求解N个正则方程，从而关于处理区域的每个水平线中的像素，获得不具有运动模糊的N个版本的像素值。运动模糊去除处理单元12386然后将不具有运动模糊的N个版本的像素值提供给输出图像生成单元12387，并且流程从步骤S12348前进到步骤S12349。

在步骤S12349中，输出图像生成单元12387从处理区域选择单元12381提供的处理区域信息中识别处理区域中每个水平线的像素，并且将处理区域的每个水平线中像素的像素值用从运动模糊去除处理单元12386提供的不具有运动模糊的N个版本的像素值取代，从而产生N个版本的输出图像。此外，在步骤S12349中，输出图像生成单元12387提供并在图像显示单元12388处显示N个版本的输出图像，并且流程前进到步骤S12350。

在步骤S12350中，用户I/F 12389确定输出图像是否由用户选择。也就是说，在步骤S12349中，N个版本的输出图像显示在图像显示单元12388上，并且在步骤S12350中确定已经观看N个版本输出图像的用户是否已经从N个版本的输出图像中选择具有期望图像质量的图像或者接近期望图像质量的图像。如果用户I/F 12389在步骤S12350中确定用户没有选择输出图像，流程等待直到用户选择输出图像。

如果在步骤S12350中由用户I/F 12389确定用户已经选择输出图像，流程前进到步骤S12351。

在步骤S12351中，由用户I/F 12389确定是否存在对于处理区域中图像的不满意。也就是说，在步骤S12351中确定用户是否已经观看步骤S12342中显示在图像显示单元12388上的输出图像或者步骤S12350中选择的输出图像，发现步骤S12333中选择的处理区域中的图像不令人满意，并且操作用户I/F 12389以便指示不满意。如果在步骤S12351中由用户I/F 12389确定存在对处理区域中图像的不满意，流程返回到图181中的步骤S12335，并且重复上述处理。注意在该情况下，在下一次执行的步骤S12344中，N个新版本的权重基于用于获得在前一个步骤S12350中选择的输出图像的约束条件表达式的权重而设置。

因此，当用户从前一次处理输出的N个输出图像中选择期望的一个时，N个新的权重基于选择结果而设置，所以通过用户重复从N个版本输出图像中期望一个的选择，最终，借此可以获得具有用户期望图像质量的输出图像的权重被设置。因此，用户可以获得输入图像的处理区域的部分已经变成具有期望图像质量的图像或者接近期望图像质量的图像的输出图像。

另一方面，在步骤S12351中，如果由用户I/F 12389确定不存在对处理区域中图像的不满意，流程前进到步骤S12352，并且确定另一个运动模糊区域是否已经被指示。也就是说，在步骤S12352中确定用户是否已经观看步骤S12342中显示的输出图像或者步骤S12350中选择的输出图像，感觉到除处理区域之外的图像中存在运动模糊，并且通过操作用户I/F 12389指示具有运动模糊的区域。如果用户I/F 12389在步骤S12352中确定存在另一个运动模糊区域的指示，流程返回到步骤S12333，并且重复上述处理。也就是说，信号处理设备4执行关于新的运动模糊区域的处理。注意在该情况下，处理执行，以在前一个步骤S12342中显示的输出图像或者在步骤S12350中选择的输出图像作为输入图像，或者以输入图像的处理区域已经用关于该处理区域最终获得的像素值取代的图像作为输入图像。而且，如果在步骤S12352中由用户I/F 12389确定另一个运动模糊区域没有被指示，这意味着用户对输出图像满意，所以处理结束。

将参考图183和图184中的流程图描述图180中所示信号处理设备的其他处理。我们将假定对象以恒定速度在水平方向上运动。

首先，在步骤S12371中，信号处理设备4获取运动模糊图像的图像信号作为输入图像，并且将其提供给处理区域选择单元12381，特征提取单元12383，约束条件设置单元12385，输出图像生成单元12387，以及图像显示单元12388。特征提取单元12383从输入图像的每个像素中提取多个类型的特征，并且将多个类型的特征提供给特征空间LUT生成单元12384。特征空间LUT生成单元12384基于从特征提取单元12383提供的多个类型的特征，基于多个版本的特征轴产生特征空间LUT(图179A和图179B)。此外，在步骤S12371中，信号处理设备4使得图像显示单元12388显示输入图像，并且流程前进到步骤S12372。

在步骤S12372中，用户I/F 12389确定用户是否已经指示运动模糊区域，也就是，已经观看显示在图像显示单元12388上的输入图像(运动模糊图像)的用户是否感觉到输入图像中存在运动模糊，并且操作用户I/F 12389以便指向存在运动模糊的部分。在步骤S12372中，如果确定用户没有指示运动模糊区域，也就是，已经观看显示在图像显示单元12388上的输入图像的用户感觉到输入图像中不存在运动模糊并且图像没有不令人满意，流程前进到图184中的步骤S12382。在步骤S12382中，输出图像生成单元12387将输入图像提供给图像显示单元12388，作为它显示在那里的输出图像。

另一方面，如果在步骤S12372中确定用户已经指示运动模糊区域，用户I/F 12389将表示用户通过操作用户I/F 12389指示的运动模糊区域的运动模糊区域指示信息提供给处理区域选择单元12381，并且流程前进到步骤S12373。在步骤S12373中，处理区域选择单元12381基于从用户I/F 12389提供的运动模糊区域指示信息，选择例如包括运动模糊区域的矩形，作为输入图像的区域中的处理区域，并且将表示该处理区域的处理区域信息提供给运动量参数输入单元12382，约束条件设置单元12385，以及输出图像生成单元12387。

在步骤S12373的处理之后，流程前进到步骤S12374，在那里运动量参数输入单元12382将表示处理区域中对象的运动量的运动参数输入到约束条件设置单元12385。也就是说，例如，如果用户已经观看显示在图像显示单元12388上的输入图像(运动模糊图像)，并且通过操作用户I/F 12389输入处理区域中对象的运动量，运动量参数输入单元12382将表示从用户I/F 12389输入的运动量的运动量参数提供给约束条件设置单元12385。而且，运动量参数输入单元12382检测处理区域中对象的运动量，并且将表示运动量的参数提供给约束条件设置单元12385。约束条件设置单元12385基于运动量参数以及从处理区域选择单元12381提供的处理区域信息，对于处理区域中的每个水平线，产生并存储模拟处理区域的水平线中每个像素的像素值与不具有运动模糊的像素的像素值之间关系的关系模型，并且流程从步骤S12374前进到步骤S12375。

在步骤S12375中，用户I/F 12389确定平坦区域是否由用户从作为输入图像的运动模糊图像中指示。如果在步骤S12375中由用户I/F12389确定平坦区域已经由用户操作用户I/F 12389从运动模糊图像中指示，也就是，用户已经观看输入图像并且指示处理区域中不具有运动模糊的图像估计为平坦的平坦区域，流程前进到步骤S12376，并且用户I/F 12389将表示用户已经通过操作用户I/F 12389指示的平坦区域的平坦区域指示信息提供给约束条件设置单元12385。

在步骤S12376的处理之后，流程前进到步骤S12377，在那里特征空间LUT生成单元12384从产生的多个特征空间LUT中选择由用户操作用户I/F 12389选择的特征空间LUT，例如，并且将其提供给约束条件设置单元12385，并且流程前进到步骤S12379。也就是说，在步骤S12377中，与由特征空间LUT生成单元12384产生的多个特征空间LUT相对应的按钮显示在图像显示单元12388上。当用户通过操作用户I/F 12389在图像显示单元12388上显示的按钮上点击等，与所选按钮相对应的特征空间LUT在步骤S12377中选择。

在步骤S12379中，约束条件设置单元12385从用户I/F 12389提供的平坦区域指示信息中识别处理区域中的平坦区域。此外，约束条件设置单元12385从特征空间LUT生成单元12384提供的特征空间LUT中，识别与平坦区域的像素具有相同特征类的处理区域的像素。约束条件设置单元12385关于作为平坦区域的像素以及与平坦区域的像素具有相同特征类的像素的约束像素，产生处理区域中每个水平线的约束条件表达式，并且将约束条件表达式提供给运动模糊去除处理单元12386，并且流程前进到图184中的步骤S12380。例如，如果存在水平方向上排列的仅六个约束像素，并且Q₀～Q₅表示这些像素的每个的不具有运动模糊的像素值，约束条件表达式由上述表达式(153)指示。

另一方面，如果用户I/F 12389在图183的步骤S12375中确定不存在运动模糊图像中平坦区域的指示，流程前进到步骤S12378，并且确定不满意区域是否已经对于输出图像而指示，也就是用户已经观看在先前步骤S12382(图184)中显示在图像显示单元12388上的输出图像并且发现其不令人满意，并且已经通过操作用户I/F 12389指示发现不令人满意的区域。在步骤S12378中，如果用户I/F 12389已经确定不存在输出图像中不满意区域的指示，流程前进到步骤S12379。在该情况下，用户既没有指示平坦区域也没有指示不满意区域，所以在步骤S12379中，约束条件设置单元12385关于约束像素产生每个水平线的约束条件表达式，其中处理区域中所有像素取作约束像素，例如。

约束条件设置单元12385将约束条件表达式提供给运动模糊去除处理单元12386，并且流程从步骤S12379前进到图184中的步骤S12380。例如，如果在水平线中存在八个像素，并且Q₀～Q₇表示这些像素的每个的不具有运动模糊的像素值，约束条件表达式如上述表达式(152)指示。

在步骤S12380中，约束条件设置单元12385从处理区域选择单元12381提供的处理区域信息和输入图像中，识别输入图像的处理区域中每个水平线中的像素的像素值。而且，在步骤S12380中，约束条件设置单元12385将输入图像中处理区域的每个水平线中像素的像素值代入在步骤S12384中产生并存储的关系模型中，从而产生表达式(151)中所示的模型公式。约束条件设置单元12385然后将模型公式提供给运动模糊去除处理单元12386。

在步骤S12380的处理之后，流程前进到步骤S12381，在那里约束条件设置单元12385执行运动模糊去除处理。也就是说，运动模糊去除处理单元12386使用从约束条件设置单元12385提供的约束条件表达式和模型公式，产生处理区域中每个水平线的正则方程。此外，运动模糊去除处理单元12386使用最小二乘方误差的最小范数求解正则方程，从而获得处理区域中每个水平线的像素中不具有运动模糊的像素值。运动模糊去除处理单元12386将处理区域的每个水平线中不具有运动模糊的像素值提供给输出图像生成单元12387，并且流程从步骤S12381前进到步骤S12382。

在步骤S12382中，输出图像生成单元12387从处理区域选择单元12381提供的处理区域信息中识别处理区域中每个水平线的像素，并且将处理区域的每个水平线中像素的像素值用从运动模糊去除处理单元12386提供的不具有运动模糊的像素值取代，从而产生输出图像。此外，在步骤S12382中，输出图像生成单元12387提供并在图像显示单元12388处显示输出图像，并且流程前进到步骤S12391。

另一方面，在图183的步骤S12378中，如果用户I/F 12389确定输出图像中的不满意区域已经指示，流程前进到步骤S12383，在那里表示由用户操作用户I/F 12389指示的不满意区域的不满意区域指示信息提供给约束条件设置单元12385，并且流程前进到步骤S12384。在步骤S12384中，约束条件设置单元12385关于不满意区域的像素处的约束条件表达式设置预先确定的权重，并且流程前进到步骤S12385。注意权重可以由用户操作用户I/F 12389来设置。

在步骤S12385中，特征空间LUT生成单元12384从产生的特征空间LUT中选择M个版本的特征空间LUT，并且将M个版本的特征空间LUT提供给约束条件设置单元12385。

在步骤S12385的处理之后，流程前进到步骤S12386，在那里约束条件设置单元12385从用户I/F 12389提供的不满意区域指示信息中识别不满意区域，并且也从处理区域选择单元12381提供的处理区域信息中识别处理区域。约束条件设置单元12385从特征空间LUT生成单元12384提供的M个版本的特征空间LUT中，识别处理区域的像素中与不满意区域中的像素具有相同特征类的像素，并且取这些作为约束像素。因此，约束条件设置单元12385对于每个水平线识别M个版本的约束像素。约束条件设置单元12385然后使用步骤S12384中设置的预先确定的权重，以便对于每个水平线产生约束像素的M个版本的约束条件表达式。约束条件设置单元12385将M个版本的约束条件表达式提供给运动模糊去除处理单元12386，并且流程前进到图184中的步骤S12387。

例如，如果存在水平方向上排列的仅八个约束像素，并且每个像素的不具有运动模糊的像素值用Q₀～Q₇表示，一个版本的约束条件表达式如上述表达式(154)中，其中W表示关于约束条件表达式的一个版本的W。因此，约束条件设置单元12385关于M个版本的约束像素产生表达式(154)的约束条件表达式中的M个版本的表达式。

在步骤S12387中，约束条件设置单元12385从处理区域选择单元12381提供的处理区域信息和输入图像中，识别输入图像中处理区域的每个水平线中像素的像素值。而且，在步骤S12387中，约束条件设置单元12385将输入图像处理区域中每个水平线的像素的像素值代入步骤S12374中产生并存储的关系模型中，从而对于每个水平线产生表达式(151)的模型公式。约束条件设置单元12385然后将模型公式提供给运动模糊去除处理单元12386。

在步骤S12387的处理之后，流程前进到步骤S12388，在那里运动模糊去除处理单元12386执行运动模糊去除处理。也就是说，运动模糊去除处理单元12386从约束条件设置单元12385提供的M个版本约束条件表达式的每个以及模型公式中，产生处理区域中每个水平线的M个版本的正则方程，并且使用最小二乘方误差的最小范数求解M个正则方程，从而关于处理区域的每个水平线中的像素，获得不具有运动模糊的M个版本的像素值。运动模糊去除处理单元12386然后将不具有运动模糊的M个版本的像素值提供给输出图像生成单元12387，并且流程从步骤S12388前进到步骤S12389。

在步骤S12389中，输出图像生成单元12387从处理区域选择单元12381提供的处理区域信息中识别处理区域中每个水平线的像素，并且将处理区域的每个水平线中像素的像素值用从运动模糊去除处理单元12386提供的不具有运动模糊的M个版本的像素值取代，从而产生M个版本的输出图像。此外，在步骤S12389中，输出图像生成单元12387提供并在图像显示单元12388处显示M个版本的输出图像，并且流程前进到步骤S12390。

在步骤S12390中，用户I/F 12389确定输出图像是否由用户选择。也就是说，在步骤S12389中，M个版本的输出图像显示在图像显示单元12388上，并且在步骤S12390中确定已经观看M个版本输出图像的用户是否已经从M个版本的输出图像中选择具有期望图像质量的图像或者接近期望图像质量的图像。如果用户I/F 12389在步骤S12390中确定用户没有选择输出图像，流程等待直到用户选择输出图像。

如果在步骤S12390中由用户I/F 12389确定用户已经选择输出图像，流程前进到步骤S12391。

在步骤S12391中，由用户I/F 12389确定是否存在对于处理区域中图像的不满意。也就是说，在步骤S12391中确定用户是否已经观看步骤S12382中显示在图像显示单元12388上的输出图像或者步骤S12390中选择的输出图像，发现步骤S12373中选择的处理区域中的图像不令人满意，并且操作用户I/F 12389以便指示不满意。如果在步骤S12391中由用户I/F 12389确定存在对处理区域中图像的不满意，流程返回到图183中的步骤S12375，并且重复上述处理。注意在该情况下，在下一次执行的步骤S12385中，M个新版本的特征轴基于用于获得在前一个步骤S12390中选择的输出图像的特征空间LUT的特征轴而选择，并且具有M个版本特征轴的特征空间LUT被选择。

因此，当用户从前一次处理输出的M个输出图像中选择期望的一个时，M个新的特征轴基于选择结果而设置，所以通过用户重复从M个版本输出图像中期望一个的选择，最终，借此可以获得具有用户期望图像质量的输出图像的特征轴被设置。因此，用户可以获得输入图像的处理区域的部分已经变成具有期望图像质量的图像或者接近期望图像质量的图像的输出图像。

另一方面，在步骤S12391中，如果由用户I/F 12389确定不存在对处理区域中图像的不满意，流程前进到步骤S12392，并且确定另一个运动模糊区域是否已经被指示。也就是说，在步骤S12392中确定用户是否已经观看步骤S12382中显示的输出图像或者步骤S12390中选择的输出图像，感觉到除处理区域之外的图像中存在运动模糊，并且通过操作用户I/F 12389指示具有运动模糊的区域。如果用户I/F 12389在步骤S12392中确定存在另一个运动模糊区域的指示，流程返回到步骤S12373，并且重复上述处理。也就是说，信号处理设备4执行关于新的运动模糊区域的处理。注意在该情况下，处理执行，以在前一个步骤S12382中显示的输出图像或者在步骤S12390中选择的输出图像作为输入图像，或者以输入图像的处理区域已经用关于该处理区域最终获得的像素值取代的图像作为输入图像。

而且，如果在步骤S12392中由用户I/F 12389确定另一个运动模糊区域没有被指示，这意味着用户对输出图像满意，所以处理结束。

而且，配置可以这样进行，其中图181和图182中所示流程图的处理与图183和图184中所示流程图的处理相结合。也就是说，如果用户已经观看输出图像并指示不满意区域，约束条件设置单元12385设置关于约束像素的约束条件表达式的N个版本的权重，并且也基于M个版本的特征空间LUT识别M个版本的约束像素，以便产生总共N乘M个版本的输出图像。而且，如果用户已经观看输出图像并指示不满意区域，约束条件设置单元12385可以交替地执行不满意区域的约束条件的N个版本权重的设置，以便产生N个输出图像，以及基于M个特征空间LUT的M个版本约束像素的识别，从而产生M个输出图像。

图185至图194是描述实施图181和图182中所示流程图中的处理，以及图183和图184中所示流程图中的处理的组合的图180中所示信号处理设备4的实例的图。

在这些实例中，用户从输入图像中指示处理区域并且进一步指示运动模糊图像估计为平坦的区域。然后用户观看作为处理结果的输出图像，指示不满意区域，并且获得作为再次处理结果的两个版本的输出图像。此外，用户从这两个输出图像中选择更接近期望图像的图像，并且获得基于选择结果而处理的四个版本的输出图像。最终，用户从四个版本的输出图像中选择期望图像或接近期望图像的图像。

现在，这里让我们假定运动量参数的真实值将提供给信号处理设备4。

图185说明已经观看输入图像的用户指示处理区域的状态。图185中所示输入图像通过摄影(玩具)飞机在屏幕的水平方向从左到右运动的时刻而获得。如图185中所示，边缘部分(轮廓部分)例如字母“TAL”因运动模糊而不明显。这里，用户已经指示围绕字母“TAL”显示于其中的部分的矩形区域作为处理区域。

图186是已经观看图185中所示输入图像的用户已经指向不具有运动模糊的图像估计为平坦的部分作为平坦区域的实例。这里，图像中用X标记的部分显示用户已经指向以指示平坦区域的位置，并且在图186中，围绕字母“L”的右侧、包括由用户指定位置的矩形区域设置为平坦区域。而且，在图186中，用图像左上方的正方形围绕的图像是用户已经指示的区域外围放大的图像，由矩形围绕的部分是由用户指向设置的平坦区域。

图187说明作为由信号处理设备4执行图185中所示输入图像的处理，而没有来自用户的平坦区域的指示而获得的处理结果的输出图像。也就是说，信号处理设备4执行图181和图182中的步骤S12331至步骤S12335，以及步骤S12338至步骤S12342，并且图187中所示输出图像显示在图像显示单元12388上。在该情况下，约束条件表达式对于处理区域中所有像素而产生。对于图187中所示的输出图像，运动模糊与图185或图186中所示的输入图像相比较减小，并且字母“TAL”更清晰。

图188说明在用户已经指示平坦区域的情况下，作为由信号处理设备4基于平坦区域执行图185中所示输入图像的处理而获得的处理结果的输出图像。也就是说，信号处理设备4执行图181和图182中的步骤S12331至步骤S12337，以及步骤S12339至步骤S12342，并且图188中所示输出图像显示在图像显示单元12388上。在该情况下，约束条件表达式仅对平坦区域像素而产生。对于图188中所示的输出图像，与图187中的情况一样，运动模糊减小，并且字母“TAL”更清晰。而且，与图187中的情况相比较，边缘部分和平坦部分的图像质量在图188中的输出图像中改进。

图189是说明用户已经指示图188中所示输出图像中不满意区域的状态的图。也就是说，用户已经指示不具有运动模糊的图像质量与想象的不同(图像质量退化)的输出图像中区域作为不满意区域。在图189中实例的情况下，用户已经指示字母“TAL”的“L”右侧附近的白色退化区域作为不满意区域。也就是说，图中矩形部分是指示为不满意区域的区域。

图190A和图190B显示由信号处理设备4基于如图189中所示由用户指示的不满意区域执行处理而获得的输出图像。也就是说，信号处理设备4执行图181和图182中的步骤S12331至步骤S12335，步骤S12338，以及步骤S12343至步骤S12349，并且在图像显示单元12388上显示图190A和图190B中所示的输出图像。

对于图190A和图190B，信号处理设备4对于由用户指示的不满意区域，产生具有两个版本的权重的约束条件表达式，并且显示通过使用两个版本的约束条件表达式执行处理而获得的两个版本的输出图像。这里，由正方形(图190A)围绕的图像显示由用户选择的图像。

图191A至图191D显示通过再次处理从图190A和图190B中选择的图像而获得的输出图像。也就是说，在图181和图182中的步骤S12331至步骤S12335，步骤S12338，以及步骤S12343至步骤S12351的处理之后，信号处理设备4执行步骤S12375，步骤S12378以及步骤S12383至步骤S12389的处理，并且在图像显示单元12388上显示图191A至图191D的输出图像。

对于图191A至图191D，信号处理设备4确定如何将由用户指示的不满意区域中的约束条件反映到处理区域中不满意区域之外的区域，所以特征空间LUT基于来自输入图像的多个类型特征的四个版本的特征轴而产生，并且四个版本的输出图像基于四个版本的特征空间LUT产生和显示。

用户从四个输出图像中选择具有期望图像质量的图像或者接近期望图像质量的图像。这里，由正方形(该图191D)围绕的图像显示由用户选择的图像。

图192是图185中所示输入图像的字母“TAL”放大的图。

图193显示在用户没有指示平坦区域和不满意区域的情况下从信号处理设备4获得的输出图像。如图193中所示，运动模糊从输出图像中减小(去除)，并且字母“TAL”清晰。

图194说明在用户已经对于图192中所示的输入图像指示一次平坦区域和两次不满意区域的情况下，从信号处理设备4获得的输出图像。对于图194中所示的输出图像，字母“TAL”与图193中所示的输出图像相比较清晰。此外，在图194中所示的输出图像中，字母“L”侧面白色平坦区域的图像质量在图193的情况之上提高。

现在，虽然上面已经描述了加权约束条件表达式并改变权重，权重不仅可以应用于约束条件表达式而且可以应用于模型公式，其权重被改变。

除了在权利要求书中描述的本发明的实施方案之外，上述实施方案包括关于下面给出的第一至第六信号处理设备的实施方案。

第一信号处理设备包括：处理区域设置装置，用于设置数据中的处理区域，其中真实世界的光信号已经投影到每个具有时间积分效应的多个像素上，并且真实世界光信号的连续性的一部分已经丢失；运动矢量设置装置，用于设置图像数据中对象的运动矢量，其对应于一部分连续性已经在图像数据中丢失的真实世界光信号的连续性；模型生成装置，用于模拟处理区域中每个像素的像素值与不存在运动模糊的每个像素的像素值之间的关系，理解处理区域中每个像素的像素值是由关于对象的不具有运动模糊的每个像素的像素值在对应于运动矢量而运动时积分所获得的值；正则方程生成装置，用于从处理区域中像素的像素值已经代入由模型生成装置产生的模型中的第一公式，以及约束不存在运动模糊的像素之间关系的第二公式中产生正则方程；权重改变装置，用于根据用户输入改变关于第一或第二公式的一部分的权重；以及现实世界估计装置，用于通过计算从其权重已经由权重改变装置改变的第一或第二公式中产生的正则方程，来估计不存在运动模糊的每个像素的像素值。

第二信号处理设备，除了第一信号处理设备的特征之外，其还包括：显示装置，用于显示处理区域中像素的像素值，以及运动模糊中像素的像素值的至少一个；其中权重改变装置对于显示在显示装置上的每个像素的像素值，与用户输入相对应地改变第一或第二公式的权重。

第三信号处理设备，其中，除了第二信号处理设备的特征之外，权重改变装置改变权重使得与根据用户输入的像素相对应的第一或第二公式的权重增加，并且其中现实世界估计装置通过计算从权重已经改变的第一或第二公式中产生的正则方程来估计不具有运动模糊的像素的像素值。

第四信号处理设备，其中，除了第二信号处理设备的特征之外，权重改变装置对于与根据用户输入的像素相对应的第一或第二公式设置多个权重，并且其中现实世界估计装置通过计算从多个权重已经设置的第一或第二公式中产生的多个正则方程的每个来估计不具有运动模糊的像素的多个像素值，并且其中显示装置显示由现实世界估计装置估计的不具有运动模糊的像素的多个像素值。

第五信号处理设备，除了第二信号处理设备的特征之外，其还包括：特征检测装置，用于根据用户输入检测像素特征；以及像素选取装置，用于选取具有与由特征检测装置检测的特征相类似的特征的像素；其中权重改变装置改变权重使得与根据用户输入的像素相对应的第一或第二公式的权重增加，并且其中现实世界估计装置通过计算从权重已经改变的第一或第二公式中产生的正则方程来估计不具有运动模糊的像素的像素值。

第六信号处理设备，除了第二信号处理设备的特征之外，其还包括：特征检测装置，用于根据用户输入检测多个像素特征；以及像素选取装置，用于选取具有与由特征检测装置检测的多个特征的每个相类似的特征的像素；其中权重改变装置改变与具有类似于多个类型特征的特征的像素相对应的第一或第二公式的权重，并且其中现实世界估计装置通过计算从权重已经关于多个类型特征的每个而改变的第一或第二公式中产生的多个正则方程的每个来估计不具有运动模糊的像素的多个像素值，并且其中显示装置显示由现实世界估计装置估计的不具有运动模糊的像素的多个像素值。

上述实施方案也包括关于下面给出的信号处理方法、程序和记录介质的实施方案。

一种信号处理方法、程序和记录介质包括：处理区域设置步骤，用于设置数据中的处理区域，其中真实世界的光信号已经投影到每个具有时间积分效应的多个像素上，并且真实世界光信号的连续性的一部分已经丢失；运动矢量设置步骤，用于设置图像数据中对象的运动矢量，其对应于一部分连续性已经在图像数据中丢失的真实世界光信号的连续性；模型生成步骤，用于模拟处理区域中每个像素的像素值与不存在运动模糊的每个像素的像素值之间的关系，理解处理区域中每个像素的像素值是由关于对象的不具有运动模糊的每个像素的像素值在对应于运动矢量而运动时积分所获得的值；正则方程生成步骤，用于从处理区域中像素的像素值已经代入在模型生成步骤中产生的模型中的第一公式，以及约束不存在运动模糊的像素之间关系的第二公式中产生正则方程；权重改变步骤，用于根据用户输入改变关于第一或第二公式的一部分的权重；以及现实世界估计步骤，用于通过计算从其权重已经在权重改变步骤中改变的第一或第二公式中产生的正则方程，来估计不存在运动模糊的每个像素的像素值。

工业适用性

如上所述，根据本发明，更接近真实世界信号的图像等可以获得。

Claims (11)

1.一种信号处理设备，包括：

处理区域设置装置，用于相对于具有比第一信号具有的第一维度少的第二维度的第二信号设置待处理的处理区域，该第一信号是真实世界信号并且被投影，由此所述真实世界信号的连续性的一部分丢失；

连续性设置装置，用于设置已经在所述第二信号中丢失的真实世界信号的连续性；

现实世界估计装置，用于根据由所述连续性设置装置设置的连续性，估计对应于由所述处理区域设置装置设置的处理区域内所述第二信号的所述真实世界的信号；以及

信息供给装置，用于根据用户操作将与所述处理区域、所述连续性和所述真实世界信号中至少一个相关的信息提供给所述处理区域设置装置、所述连续性设置装置或所述现实世界估计装置。

2.根据权利要求1的信号处理设备，其中所述处理区域设置装置关于真实世界光信号已经投影在具有时间或空间积分效应的多个像素中、由此真实世界光信号的一部分连续性已经丢失的图像数据，设置所述处理区域；

并且其中所述连续性设置装置设置在所述图像数据中丢失的真实世界光信号的连续性；

以及其中所述现实世界估计装置通过模拟与所述处理区域中的所述图像数据相对应的所述真实世界光信号来估计所述真实世界光信号。

3.根据权利要求2的信号处理设备，其中所述连续性设置装置根据从所述信息供给装置提供的信息，设置所述图像数据中对象的运动，其对应于所述图像数据中丢失的真实世界光信号的连续性；

以及其中所述现实世界估计装置包括：

模型生成装置，用于根据所述处理区域和所述运动，产生模拟所述图像数据中每个像素的像素值与所述真实世界光信号之间关系的关系模型；

公式生成装置，用于通过将所述图像数据中每个像素的像素值代入由所述模型生成装置产生的关系模型来产生公式；以及

现实世界波形估计装置，用于通过计算由所述公式生成装置产生的公式来估计所述真实世界光信号。

4.根据权利要求2的信号处理设备，其中所述连续性设置装置根据从所述信息供给装置提供的信息，设置所述图像数据中对象的空间方向，其对应于所述图像数据中丢失的真实世界光信号的连续性；

以及其中所述现实世界估计装置包括：

模型生成装置，用于根据所述处理区域和所述空间方向，产生模拟所述图像数据中每个像素的像素值与所述真实世界光信号之间关系的关系模型，假设与模拟对应于所述图像数据的所述真实世界光信号波形的近似模型的时间-空间方向中至少一个维度方向上的位置相对应的每个像素的像素值、通过在所述至少一个维度方向上积分所述近似模型来获得；

公式生成装置，用于通过将所述图像数据中每个像素的像素值代入由所述模型生成装置产生的关系模型来产生公式；以及

现实世界波形估计装置，用于通过计算由所述公式生成装置产生的公式来估计所述真实世界光信号。

5.根据权利要求4的信号处理设备，其中所述模型生成装置根据所述处理区域和所述空间方向产生所述关系模型，假设与所述光信号波形的所述近似模型的时间-空间方向中至少一个维度方向上的位置相对应的每个像素的像素值、通过关于多个类型近似模型的每个在所述至少一个维度方向上积分所述近似模型来获得，其中对应于所述图像数据的所述真实世界光信号已经使用具有多种类型阶数的多项式模拟；

并且其中所述公式生成装置通过将像素值代入关于所述多个类型近似模型的每个产生的关系模型来产生公式；

并且其中所述现实世界波形估计装置通过计算由所述公式生成装置产生的关于所述多个类型近似模型的每个的公式，来估计所述真实世界光信号的多个波形；

并且其中所述信号处理设备还包括：

图像生成装置，用于基于由所述现实世界波形估计装置估计的所述多个光信号波形来产生多个图像；以及

显示装置，用于显示由所述图像生成装置产生的所述多个图像；

以及其中如果所述用户已经执行选择所述多个图像中一个的操作，所述模型生成装置进一步基于从所述信息供给装置提供的信息，设置模拟对应于所述图像数据的所述真实世界光信号的近似模型的多项式的阶数。

6.根据权利要求2的信号处理设备，还包括：

图像生成装置，用于使用由所述现实世界波形估计装置估计的光信号产生图像；以及

显示装置，用于显示由所述图像生成装置产生的所述图像；

其中在所述图像显示在所述显示装置上之后，所述信息供给装置根据用户操作再次将与所述处理区域、所述连续性和所述真实世界信号中至少一个相关的信息提供给所述处理区域设置装置、所述连续性设置装置或所述现实世界估计装置。

7.根据权利要求6的信号处理设备，其中所述连续性设置装置根据从所述信息供给装置提供的信息设置多个连续性；

并且其中所述现实世界估计装置通过根据所述多个连续性的每个、模拟对应于所述处理区域中所述图像数据的所述真实世界光信号来估计多个所述真实世界光信号；

并且其中所述显示装置显示由所述图像生成装置产生的对应于所述多个真实世界光信号的多个图像的每个；

以及其中如果所述用户已经执行选择所述多个图像中一个的操作，所述连续性设置装置基于从所述信息供给装置提供的信息设置连续性。

8.根据权利要求2的信号处理设备，其中如果所述用户已经执行选择图像数据的操作，所述处理区域设置装置根据所选图像数据的特性设置多个处理区域，如果所述用户已经执行选择对应于所述多个处理区域的处理结果中一个的操作，进一步根据用户操作设置处理区域。

9.一种信号处理方法，包括：

使用处理区域设置装置设置处理区域的处理区域设置步骤，该处理区域设置装置用于相对于具有比第一信号具有的第一维度少的第二维度的第二信号设置待处理的所述处理区域，该第一信号是真实世界信号并且被投影，由此所述真实世界信号的连续性的一部分丢失；

使用连续性设置装置设置所述连续性的连续性设置步骤，该连续性设置装置用于设置已经在所述第二信号中丢失的真实世界信号的连续性；

使用现实世界估计装置估计所述真实世界信号的现实世界估计步骤，该现实世界估计装置用于根据在所述连续性设置步骤中设置的连续性，估计对应于在所述处理区域设置步骤中设置的处理区域内所述第二信号的所述真实世界的信号；以及

信息供给步骤，用于根据用户操作将与所述处理区域、所述连续性和所述真实世界信号中至少一个相关的信息提供给所述处理区域设置装置、所述连续性设置装置或所述现实世界估计装置。

10.一种使得计算机执行预先确定的信号处理的程序，所述程序包括：

使用处理区域设置装置设置处理区域的处理区域设置步骤，该处理区域设置装置用于相对于具有比第一信号具有的第一维度少的第二维度的第二信号设置待处理的所述处理区域，该第一信号是真实世界信号并且被投影，由此所述真实世界信号的连续性的一部分丢失；

使用连续性设置装置设置所述连续性的连续性设置步骤，该连续性设置装置用于设置已经在所述第二信号中丢失的真实世界信号的连续性；

使用现实世界估计装置估计所述真实世界信号的现实世界估计步骤，该现实世界估计装置用于根据在所述连续性设置步骤中设置的连续性，估计对应于在所述处理区域设置步骤中设置的处理区域内所述第二信号的所述真实世界的信号；以及

信息供给步骤，用于根据用户操作将与所述处理区域、所述连续性和所述真实世界信号中至少一个相关的信息提供给所述处理区域设置装置、所述连续性设置装置或所述现实世界估计装置。

11.一种存储使得计算机执行预先确定的信号处理的程序的记录介质，所述程序包括：

使用处理区域设置装置设置处理区域的处理区域设置步骤，该处理区域设置装置用于相对于具有比第一信号具有的第一维度少的第二维度的第二信号设置所述处理区域，该第一信号是真实世界信号并且被投影，由此所述真实世界信号的连续性的一部分丢失；

使用连续性设置装置设置所述连续性的连续性设置步骤，该连续性设置装置用于设置已经在所述第二信号中丢失的真实世界信号的连续性；

使用现实世界估计装置估计所述真实世界信号的现实世界估计步骤，该现实世界估计装置用于根据在所述连续性设置步骤中设置的连续性，估计对应于在所述处理区域设置步骤中设置的处理区域内所述第二信号的所述真实世界的信号；以及

信息供给步骤，用于根据用户操作将与所述处理区域、所述连续性和所述真实世界信号中至少一个相关的信息提供给所述处理区域设置装置、所述连续性设置装置或所述现实世界估计装置。

Images