CN1754185A - 图像处理装置、方法及程序 - Google Patents

Abstract

可以高精度地获得对现实世界的事件的处理结果。非连续分量选取单元(201)检测输入图像的多个像素的像素值的非连续部分。峰值检测单元(202)从非连续部分检测像素值变化的峰值。单调增/减检测单元(203)检测其中像素值从峰值单调增加或减小的单调增/减区域。连续性检测单元(204)在单调增/减区域中检测包括位于屏幕上相邻位置的另一个单调增/减区域的单调增/减区域作为具有数据连续性的连续性区域。数据连续性方向检测单元(301)检测连续性区域的连续性的方向。根据连续性区域和连续性区域的连续性方向，现实世界估计单元估计现实世界光信号的连续性，从而估计现实世界光信号。本发明可以用于产生高分辨率的图像的图像处理装置中。

Description

图像处理装置、方法及程序

技术领域

本发明涉及图像处理装置、方法及程序，尤其涉及考虑从其获取数据的现实世界的图像处理装置、方法和程序。

背景技术

利用传感器检测现实世界(真实世界)中的现象并处理从传感器输出的采样数据的技术得到了广泛使用。例如，这样的图像处理技术得到了广泛的使用，其中利用成像传感器成像现实世界并处理作为图像数据的采样数据。

另外，日本未审查专利申请公开号2001-250119中公开了通过利用传感器检测第一信号获得比第一维的维数低的第二维，所述第一信号是具有第一维的现实世界信号；获得第二信号，该第二信号包括相对于第一信号的畸变；以及，基于第二信号进行信号处理，从而产生比第二信号具有减轻的畸变的第三信号。

然而，用于从第二信号估计第一信号的信号处理还没有考虑这样的事实，即通过作为具有第一维的现实世界的信号的第一信号产生的、比第一维的维数低的第二维的、其中丢失了现实世界信号的部分连续性的第二信号具有对应于已经丢失的现实世界信号的稳定性的数据连续性。

发明内容

本发明考虑上述情况而获得，本发明的一个目的是考虑从其获得数据的现实世界，从获得相对于现实世界的现象更准确和更精确的处理结果。

根据本发明的图像处理装置包括：非连续部分检测装置，用于检测图像数据的多个像素的像素值的非连续部分，所述图像数据通过将现实世界光信号投影到每个具有空间时间积分效应的多个检测元件上获取，在所述图像数据中已经丢失了现实世界光信号的部分连续性；峰值检测装置，用于从所述非连续部分检测所述像素值的变化的峰值；单调增/减区域检测装置，用于检测其中像素值从所述峰值单调增加或减小的单调增/减区域；连续性检测装置，用于从由所述单调增/减区域检测装置检测的单调增/减区域检测关于其在图像数据中存在另一个与其相邻的单调增/减区域的单调增/减区域作为所述图像数据的具有连续性的连续性区域；方向检测装置，用于检测所述连续性区域的连续性方向；以及现实世界估计装置，用于通过基于由所述连续性检测装置检测的所述连续性区域和由所述连续性检测装置检测的所述连续性区域的所述连续性的方向，估计所述现实世界光信号的连续性而估计所述现实世界的光信号。

方向检测装置基于设置在由所述连续性检测装置检测的所述单调增/减区域的第一单调增/减区域中的多个第一像素的像素值的变化、和设置在相邻于所述第一单调增/减区域的第二单调增/减区域中的相邻于所述多个第一像素的多个第二像素的像素值的变化，可以检测所述连续性区域中所述连续性的方向。

在设置在所述第一单调增/减区域中的所述多个第一像素的像素值的增大与设置在所述第二单调增/减区域中的所述多个第二像素的像素值的减小匹配的情况下，所述方向检测装置可以检测由所述第一单调增/减区域和所述第二单调增/减区域确定的方向作为所述连续性区域的所述连续性的方向。

非连续部分检测装置可以获得对应于所述图像数据的多个像素的像素值的回归面，检测由具有所述像素值的所述像素构成的区域作为所述非连续部分，在所述区域中到所述回归面的距离等于或大于阈值，并计算从所述非连续部分中的所述像素的所述像素值减去由所述回归面模拟的值的差值；所述峰值检测装置基于所述差值检测所述峰值；所述单调增/减检测装置基于所述差值检测所述单调增/减区域；以及所述方向检测装置基于所述差值检测所述连续性区域中的所述连续性的方向。

根据本发明的图像处理方法包括：非连续部分检测步骤，用于检测图像数据的多个像素的像素值的非连续部分，所述图像数据通过将现实世界光信号投影到每个具有空间时间积分效应的多个检测元件上获取，在所述图像数据中已经丢失了现实世界光信号的部分连续性；峰值检测步骤，用于从所述非连续部分检测所述像素值的变化的峰值；单调增/减区域检测步骤，用于检测其中像素值从所述峰值单调增加或减小的单调增/减区域；连续性检测步骤，用于从在所述单调增/减区域检测步骤中检测的单调增/减区域检测关于其在图像数据中存在另一个与其相邻的单调增/减区域的单调增/减区域作为所述图像数据的具有连续性的连续性区域；方向检测步骤，用于检测所述连续性区域的连续性方向；以及现实世界估计步骤，用于通过基于在所述连续性检测步骤中检测的所述连续性区域和在所述连续性检测步骤中检测的所述连续性区域的所述连续性的方向，估计所述现实世界光信号的连续性而估计所述现实世界的光信号。

根据本发明的计算机可读程序包括：非连续部分检测步骤，用于检测图像数据的多个像素的像素值的非连续部分，所述图像数据通过将现实世界光信号投影到每个具有空间时间积分效应的多个检测元件上获取，在所述图像数据中已经丢失了现实世界光信号的部分连续性；峰值检测步骤，用于从所述非连续部分检测所述像素值的变化的峰值；单调增/减区域检测步骤，用于检测其中像素值从所述峰值单调增加或减小的单调增/减区域；连续性检测步骤，用于从在所述单调增/减区域检测步骤中检测的单调增/减区域检测关于其在图像数据中存在另一个与其相邻的单调增/减区域的单调增/减区域作为所述图像数据的具有连续性的连续性区域；方向检测步骤，用于检测所述连续性区域的连续性方向；以及现实世界估计步骤，用于通过基于在所述连续性检测步骤中检测的所述连续性区域和在所述连续性检测步骤中检测的所述连续性区域的所述连续性的方向，估计所述现实世界光信号的连续性而估计所述现实世界的光信号。

在根据本发明的图像处理装置和方法、以及程序中，检测图像数据的多个像素的像素值的非连续部分，所述图像数据通过将现实世界光信号投影到每个具有空间时间积分效应的多个检测元件上获取，在所述图像数据中已经丢失了现实世界光信号的部分连续性；从所述非连续部分检测所述像素值的变化的峰值；检测其中像素值从所述峰值单调增加或减小的单调增/减区域；从检测的单调增/减区域检测关于其在图像数据中存在另一个与其相邻的单调增/减区域的单调增/减区域作为所述图像数据的具有连续性的连续性区域；检测所述连续性区域的连续性方向；以及通过基于检测的所述连续性区域和检测的所述连续性区域的所述连续性的方向，估计所述现实世界光信号的连续性而估计所述现实世界的光信号。

图像处理装置可以是独立的装置，或者可以是执行图像处理的块。

附图说明

图1示出了本发明的原理；

图2是示出本发明信号处理装置的结构实例的方框图；

图3是示出本发明信号处理装置的方框图；

图4示出了常规图像处理装置的处理原理；

图5示出了本发明图像处理装置的处理原理；

图6详细示出了本发明原理；

图7详细示出了本发明原理；

图8示出了图像传感器上的像素布置的实例；

图9示出了作为CCD的检测装置的操作；

图10示出了被投影到对应于像素D到F的检测元件上的光与像素值之间的关系；

图11示出了通过时间、被投影到对应于一个像素的检测元件上的光以及像素值之间的关系；

图12示出了现实世界中线形对象的图像实例；

图13示出了通过实际图像拍摄获得的图像数据的像素值的实例；

图14是图像数据的示意图；

图15示出了具有不同于背景颜色的单色的线形的现实世界1的图像的实例；

图16示出了通过实际图像拍摄获得的图像数据的像素值的实例；

图17是图像数据的示意图；

图18示出了本发明原理；

图19示出了本发明原理；

图20示出了产生高分辨率数据的实例；

图21示出了通过模型的模拟；

图22示出了具有M块数据的模型的估计；

图23示出了现实世界信号和数据之间的关系；

图24示出了在产生表达时的关注数据的实例；

图25示出了用于现实世界中的两个对象的信号、以及在产生表达时属于混合区域的值；

图26示出了由公式(18)、公式(19)以及公式(20)表示的连续性；

图27示出了从数据选取的M块数据的实例；

图28示出了其中获得作为数据的像素值的区域；

图29示出了在空间-时间方向中对像素位置的模拟；

图30示出了在数据中的时间方向和二维空间方向上对现实世界的信号的积分；

图31示出了在产生具有空间方向中更高分辨率的高分辨率数据时的积分区域；

图32示出了在产生具有时间方向中更高分辨率的高分辨率数据时的积分区域；

图33示出了在除去由于移动的模糊而产生高分辨率数据时的积分区域；

图34示出了在产生具有空间方向中更高分辨率的高分辨率数据时的积分区域；

图35示出了输入图像的原始图像；

图36示出了输入图像的实例；

图37示出了通过应用常规类型分类适应处理获得的图像；

图38示出了对具有细线的区域的检测结果；

图39示出了从信号处理装置输出的输出图像的实例；

图40是示出利用信号处理装置的信号处理的流程图；

图41是示出数据连续性检测单元的结构的方框图；

图42示出了在背景上具有细线的现实世界中的图像；

图43示出了利用平面对背景的模拟；

图44示出了其上投影有细线图像的图像数据的截面形状；

图45示出了其上投影有细线图像的图像数据的截面形状；

图46示出了其上投影有细线图像的图像数据的截面形状；

图47示出了检测峰值和检测单调增/减区域的处理；

图48示出了检测这样的细线区域的处理，其中峰值的像素值超过阈值，而其相邻像素的像素值等于或小于阈值；

图49示出了在由图48中的点线AA’表示的方向上排列的像素的像素值；

图50示出了检测单调增/减区域中的连续性的处理；

图51示出了其中通过在平面上的模拟被选取连续性分量的图像的实例；

图52示出了对单调减小的区域的检测结果；

图53示出了其中被检测出连续性的区域；

图54示出了其中检测出连续性的区域上的像素值；

图55示出了用于检测其中被投影了细线图像的区域的另一处理实例；

图56是示出连续性检测处理的流程图；

图57示出了用于在时间方向上检测数据连续性的处理；

图58是示出非连续性分量选取单元的结构的方框图；

图59示出了排除的次数；

图60示出了输入图像的实例；

图61示出这样的图像，其中取作为没有排除的平面模拟的结果获得的标准误差为像素值；

图62示出了这样的图像，其中取作为具有排除的平面模拟的结果获得的标准误差为像素值；

图63示出了其中取排除次数为像素值的图像；

图64示出了其中取平面的空间方向X上的梯度为像素值的图像；

图65示出了其中取平面的空间方向Y上的梯度为像素值的图像；

图66示出了由平面模拟值形成的图像；

图67示出了由平面模拟值与像素值之差形成的图像；

图68是示出用于选取非连续性分量的处理的流程图；

图69是示出用于选取连续性分量的处理的流程图；

图70是示出用于选取连续性分量的其它处理的流程图；

图71是示出用于选取连续性分量的再一处理的流程图；

图72是示出连续性分量检测单元的另一结构的方框图；

图73是示出数据连续性方向检测单元的结构的方框图；

图74示出了输入图像包括的波纹的实例；

图75示出了输入图像包括的波纹的实例；

图76示出了其上投影有细线图像的数据的像素；

图77示出了其上投影有细线图像的数据的三行像素的像素值；

图78示出了其上投影有细线图像的数据的像素；

图79示出了其上投影有细线图像的数据的三行像素的像素值；

图80示出了其上投影有细线图像的数据的像素；

图81示出了其上投影有细线图像的数据的三行像素的像素值；

图82示出了输入图像的实例；

图83示出了在其中采用错误方向处理图像的情况下的处理结果的实例；

图84示出了在其中检测出正确的连续性方向的情况下的处理结果的实例；

图85是示出用于检测数据连续性的处理的流程图；

图86是示出用于检测数据连续性方向的处理的流程图；

图87是示出连续性分量检测单元的另一结构的方框图；

图88是示出现实世界估计单元的结构的方框图；

图89示出了用于检测现实世界信号中的细线的宽度的处理；

图90示出了用于检测现实世界信号中的细线的宽度的处理；

图91示出了用于估计现实世界信号中的细线的信号水平的处理；

图92是示出用于估计现实世界的处理的流程图；

图93是示出现实世界估计单元的另一结构的方框图；

图94是示出边界检测单元的结构的方框图；

图95示出了计算分配比值的处理；

图96示出了计算分配比值的处理；

图97示出了计算分配比值的处理；

图98示出了计算表示单调增/减区域的边界的回归线的处理；

图99示出了计算表示单调增/减区域的边界的回归线的处理；

图100是示出估计现实世界的处理的流程图；

图101是示出边界检测处理的流程图；

图102是示出现实世界估计单元的结构的方框图，所述单元估计空间方向中的导数值作为现实世界估计信息；

图103是示出利用图102所示的现实世界估计单元的现实世界模拟处理的流程图；

图104示出了参考像素；

图105示出了获得空间方向中的导数值的位置；

图106示出了空间方向中的导数值与平移量之间的关系；

图107是示出现实世界估计单元的结构的方框图，所述单元估计空间方向中的梯度作为现实世界估计信息；

图108是示出利用图107所示的现实世界估计单元的现实世界估计处理的流程图；

图109示出了获得空间方向中的梯度的处理；

图110示出了获得空间方向中的梯度的处理；

图111是示出现实世界估计单元的结构的流程图，所述单元用于估计帧方向中的导数值作为现实世界估计信息；

图112是示出利用图111所示的现实世界估计单元的现实世界估计处理的流程图；

图113示出了参考像素；

图114示出了获得帧方向中的导数值的位置；

图115示出了帧方向中的导数值与平移量之间的关系；

图116是示出现实世界估计单元的结构的方框图，所述单元估计帧方向中的梯度作为现实世界估计信息；

图117是示出利用图116所示的现实世界估计单元的现实世界估计处理的流程图；

图118示出了获得帧方向中的梯度处理；

图119示出了获得帧方向中的梯度处理；

图120示出了函数模拟的原理，其中为图3所示的现实世界估计单元的实施例的实例；

图121示出了在传感器为CCD的情况下的积分效应；

图122示出了如图121所示的传感器的积分效应的具体实例；

图123示出了如图121所示的传感器的积分效应的具体实例；

图124示出了图122所示的包括细线的现实世界区域；

图125相比于图120所示的实例，示出了图3所示的现实世界估计单元的实施例的实例的原理；

图126示出了图122所示的包括细线的数据区域；

图127示出了其中将图126所示的包括细线的数据区域中包含的每个像素值画成曲线图的图；

图128示出了其中将模拟图127所示的包括细线的数据区域中包含的像素值的模拟函数画成曲线图的图；

图129示出了图122示出的包括细线的现实世界区域所具有的空间方向中的连续性；

图130示出了其中将图126所示的包括细线的数据区域中包含的每个像素值画成曲线图的图；

图131示出了其中将图130所示的每个输入像素值平移预定平移量的状态；

图132示出了其中考虑空间方向连续性，将模拟图127所示的包括细线的数据区域中包含的像素值的模拟函数画成曲线图的图；

图133示出了空间混合区域；

图134示出了模拟空间混合区域中的现实世界信号的模拟函数；

图135示出了其中同时考虑传感器积分效应考虑空间方向连续性，将模拟对应于图127所示的包括细线的数据区域的现实世界信号的模拟函数画成曲线图的图；

图136是示出现实世界估计单元的结构实例的方框图，所述单元使用具有图120所示的原理的函数模拟技术中的基本多项式模拟；

图137是示出具有图136所示结构的现实世界估计单元执行的现实世界估计处理的流程图；

图138示出了分块范围；

图139示出了具有空间方向中的连续性的现实世界信号；

图140示出了在传感器为CCD的情况下的积分效应；

图141示出了截面方向中的距离；

图142是示出现实世界估计单元的结构实例的方框图，所述单元使用具有图120所示的原理的函数模拟技术中的二次多项式模拟；

图143是示出具有图142所示结构的现实世界估计单元所执行的现实世界估计处理的流程图；

图144示出了分块范围；

图145示出时间空间方向中的连续性方向；

图146示出了在传感器为CCD的情况下的积分效应；

图147示出了具有空间方向中的连续性的现实世界信号；

图148示出了具有空间时间方向中的连续性的现实世界信号；

图149是示出现实世界估计单元的结构实例的方框图，所述单元使用具有图120所示的原理的函数模拟技术中的三次多项式模拟；

图150是示出具有图149所示结构的现实世界估计单元所执行的现实世界估计处理的流程图；

图151示出了再积分的原理，其中为图3所示的图像产生单元的实施例的实例；

图152示出了输入像素和用于对应于输入像素模拟现实世界信号的模拟函数的实例；

图153示出了从图152所示的模拟函数，在图152所示的一个输入像素中产生4个高分辨率像素的实例；

图154是示出图像产生单元的结构实例的方框图，所述单元利用具有图151所示的原理的再积分技术的一维再积分；

图155是示出具有图154所示的结构的图像产生单元所执行的图像产生处理的流程图；

图156示出了输入图像的原始图像的实例；

图157示出了对应于图156所示的图像的图像数据的实例；

图158示出了输入图像的实例；

图159示出了对应于图158所示的图像的图像数据的实例；

图160示出了对输入图像进行常规类型分类适应处理获得的图像的实例；

图161示出了对应于图160所示的图像的图像数据的实例；

图162示出了对输入图像进行根据本发明的一维再积分技术处理获得的图像的实例；

图163示出了对应于图162所示的图像的图像数据的实例；

图164示出了具有空间方向连续性的现实世界信号；

图165是示出图像产生单元的结构实例的方框图，所述单元使用具有图151所示的原理的再积分技术的二维再积分技术；

图166示出了截面方向中的距离；

图167是示出具有图165所示的结构的图像产生单元所执行的图像产生处理的流程图；

图168示出了输入像素的实例；

图169示出了利用二维再积分技术，在图168所示的一个输入像素中产生4个高分辨率像素的实例；

图170示出了空间时间方向中的连续性方向；

图171是示出图像产生单元的结构实例的方框图，所述单元使用具有图151所示的原理的再积分技术的三维再积分技术；

图172是示出具有图171所示的结构的图像产生单元所执行的图像产生处理的流程图；

图173是示出应用本发明的图像产生单元的另一结构的方框图；

图174是示出利用图173所示的图像产生单元的图像产生处理的流程图；

图175示出了从输入像素产生四倍密度像素的处理；

图176示出了表示像素值的模拟函数与平移量之间的关系；

图177是示出应用本发明的图像产生单元的另一结构的方框图；

图178是示出利用图177所示的图像产生单元的图像产生处理的流程图；

图179示出了从输入像素产生四倍密度像素的处理；

图180示出了表示像素值的模拟函数与平移量之间的关系；

图181是示出利用类型分类适应处理校正技术中的一维再积分技术的图像产生单元的结构实例的方框图，所述单元是图3所示的图像产生单元的实施例的实例；

图182是示出图181所示的图像产生单元的类型分类适应处理单元的结构实例的方框图；

图183是示出图181所示的类型分类适应处理单元、以及用于通过学习确定类型分类适应处理校正单元使用的系数的学习装置的结构实例的方框图；

图184是示出图183所示的类型分类适应处理单元的学习单元的详细结构实例的方框图；

图185示出了图182所示的类型分类适应处理单元的处理结果的实例；

图186示出了图185所示的预测图像与HD图像之间的差值图像；

图187示出了图185中的HD图像的特定像素值、SD图像的特定像素值、对应于图186所示的区域中包含的X方向上的6个连续HD像素中自左4个HD像素的实际波形(现实世界信号)。

图188示出了图185中的预测图像与HD图像之间的差值图像；

图189示出了图185中的HD图像的特定像素值、SD图像的特定像素值、对应于图188所示的区域中包含的X方向上的6个连续HD像素中自左4个HD像素的实际波形(现实世界信号)。

图190示出了基于图187到图189所示的内容获得的结论；

图191是示出图181所示的图像产生单元的类型分类适应处理校正单元的结构实例的方框图；

图192是示出图183所示的类型分类适应处理校正单元的学习单元的详细结构实例的方框图；

图193示出了像素内梯度；

图194示出了图185所示的SD图像、以及以SD图像的每个像素的像素内梯度作为其像素值的特征图像；

图195示出了像素内梯度计算方法；

图196示出了像素内梯度计算方法；

图197是示出具有181所示结构的图像产生单元所执行的图像产生处理的流程图；

图198是详细示出图197所示的图像产生处理中的输入图像类型分类适应处理的流程图；

图199是详细示出图197所示的图像产生处理中的类型分类适应处理的校正处理的流程图；

图200示出了类型分块阵列的实例；

图201示出了类型分类实例；

图202示出了预测分块阵列实例；

图203是示出图183所示的学习装置的学习处理的流程图；

图204是示出图203所示的学习处理中的类型分类适应处理的具体学习处理的流程图；

图205是示出图203所示的学习处理中的类型分类适应处理的具体学习处理的流程图；

图206示出了图185所示的预测图像，以及其中将校正图像加到预测图像上的图像(通过如图181所示的图像产生单元产生的图像)；

图207是示出利用混合技术的信号处理装置的第一结构实例的方框图，其为图1所示的信号处理装置的实施例的另一实例；

图208是示出图207所示的信号处理装置的用于执行类型分类适应处理的图像产生单元的结构实例的方框图；

图209是示出相对于图208所示的图像产生单元的学习装置的结构实例的方框图；

图210是示出由具有图207所示的结构的信号处理装置执行的信号处理的流程图；

图211是示出图210所示的信号处理的类型分类适应处理的具体处理执行的流程图；

图212是示出图209所示的学习装置的学习处理的流程图；

图213是示出利用混合技术的信号处理装置的第二结构实例的方框图，其为图1所示的信号处理装置的实施例的另一实例；

图214是示出具有图211所示的结构的信号处理装置所执行的信号处理的流程图；

图215是示出利用混合技术的信号处理装置的第三结构实例的方框图，其为图1所示的信号处理装置的实施例的另一实例；

图216是示出具有图213所示的结构的信号处理装置所执行的信号处理的流程图；

图217是示出利用混合技术的信号处理装置的第四结构实例的方框图，其为图1所示的信号处理装置的实施例的另一实例；

图218是示出具有图215所示的结构的信号处理装置所执行的信号处理的流程图；

图219是示出利用混合技术的信号处理装置的第五结构实例的方框图，其为图1所示的信号处理装置的实施例的另一实例；

图220是示出具有图217所示的结构的信号处理装置所执行的信号处理的流程图；

图221是示出数据连续性检测单元的另一实施例的结构的方框图；

图222是示出利用图221所示的数据连续性检测单元的数据连续性检测处理的流程图。

具体实施方式

图1示出了本发明原理。如图所示，由传感器2获取在现实世界1中具有例如空间、时间、质量等的事件(现象)，并将其形成数据。现实世界1中的事件指光(图像)、声音、气压、温度、质量、湿度、亮度/暗度或动作等。现实世界1中的事件被分布在空间-时间方向上。例如，现实世界1的图像是现实世界1的光强在空间-时间方向上的分布。

注意传感器2，对于现实世界1中的具有空间、时间和质量的维度的事件，由传感器2将在现实世界1中可以由传感器2获取的事件转换成数据3。可以说由传感器2获取表示现实世界1中的事件的信息。

也就是说，传感器2将表示现实世界1中的事件的信息转换成数据3。可以说成，由传感器2获取作为表示具有例如空间、时间和质量的维度的现实世界1中的事件(现象)的信息的信号，并将其形成为数据。

下面，将现实世界1中的例如光(图像)、声音、气压、温度、质量、湿度、亮度/暗度或气味等的事件的分布称为现实世界1的信号，其作为表示事件的信息。另外，作为表示现实世界1的事件的信息的信号还可以简单地称为现实世界1的信号。在本说明书中，将信号理解为包括现象和事件，并且还包括这样的事物，其没有传输方面的目的。

从传感器2输出的数据3(检测到的信号)是通过将表示现实世界1的事件的信息投影到维度比现实世界1低的空间-时间上而获得的信息。例如，作为移动图像的图像数据的数据3，是通过将现实世界1的三维空间方向和时间方向上的图像投影到二维空间方向和时间方向的时空上而获得的信息。另外，在数据3是例如数字数据的情况中，根据样品增量完成数据3。在数据3是模拟数据的情况中，或者根据动态范围压缩数据3的信息，或者通过限幅器等删除信息的一部分。

从而，通过将示为表示具有预定维数的现实世界1中的事件的信息的信号投影到数据3上(检测的信号)，则减少了表示现实世界1中的事件的信息的一部分。也就是说，传感器2输出的数据3减少了表示现实世界1中的事件的信息的一部分。

然而，即使由于投影减少了表示现实世界1中的事件的信息的一部分，数据3包括用于估计作为表示现实世界1中的事件(现象)的信息的信号的有用信息。

对于本发明，将在数据3中包括的具有连续性的信息用作作为现实世界1的信息的用于估计信号的有用信息。连续性是新定义的概念。

关注现实世界1，现实世界1中的事件包括在预定维度方向上不变的特征。例如，现实世界1中的对象(有形对象)或者具有在空间方向或时间方向上连续的形状、图形或颜色，或者具有重复模式的形状、图形或颜色。

因此，表示现实世界1中的事件的信息包括在预定维数方向上不变的特征。

对于更具体的实例，例如线、细绳或粗绳的线形对象具有在长度方向上即空间方向上的不变的特征，也就是，在长度方向中的任意位置上的横截面形状是相同的。在长度方向上的任意位置上的横截面相同的在空间方向中的不变的特征，来自于线形对象为长形的特征。

因此，线性对象的图像具有在长度方向即空间方向上不变的特征，即在长度方向中的任意位置上的横截面形状是相同的。

另外，在空间方向上展开的作为有形对象的单个对象，可以说具有这样的不变的特征，其无论在其什么部分的空间方向上的颜色相同。

同样，在空间方向上展开的作为有形对象的单个对象的图像可以说具有这样的不变的特征，其无论在其什么部分的空间方向上的颜色相同。

这样，现实世界1(真实世界)中事件具有在预定维度方向上不变的特征，因此现实世界1的信号具有在预定维度方向上不变的特征。

在本说明书中，该在预定维度方向上不变的特征被称为连续性。现实世界(真实世界)1的信号的连续性表示在预定维度方向上不变的特征，所述维度方向被表示现实世界(真实世界)1的事件的信号所具有。

在现实世界1(真实世界)中存在无数这样的连续性。

下面，关注数据3，通过作为表示由传感器2投影的具有预定维的现实世界1的事件的信息的信号而获得数据3，其包括对应于在真是世界中的信号的连续性的连续性。可以说，数据3包括其中现实世界信号的连续性被投影的连续性。

然而，如上所述，在从传感器2输出的数据3中，已经丢失了现实世界1的部分信息，因此丢失了在现实世界1(真实世界)的信号中包含的部分连续性。

换句话说，数据3包括现实世界1(真实世界)的信号连续性中的部分连续性作为数据连续性。数据连续性表示数据3具有的在预定维度方向上不变的特征。

对于本发明，将数据3具有的数据连续性用作用于估计作为表示现实世界1的事件的信息的信号的重要数据。

例如，对于本发明，利用数据连续性，通过对数据3的信号处理，产生已经丢失的表示现实世界1中的事件的信息。

现在，在本发明中，利用长度(空间)、时间和质量在空间方向上或时间方向上的连续性，所述长度、时间和质量是用为表示现实世界1中的时间的信息的信号的维度。

再参考图1，传感器2的形式包括例如数字静物照相机、视频摄影机等，其拍摄现实世界1的图像，并将作为获取数据3的图像数据输出到信号处理装置4。传感器2还可以是温度记录装置、利用光致弹性的压力传感器等。

信号处理装置4由例如个人计算机等构成。

信号处理装置4被例如如图2所示构成。CPU(中央处理单元)21执行存储在ROM(只读存储器)22或存储器单元28中的各种处理顺序程序(processing following program)。RAM(随机存取存储器)23在适当的时候存储将要由CPU 21执行的程序、数据等。CUP21、ROM22和RAM23通过总线24互相连接。

在CPU 21上还通过总线24连接输入/输出接口25。输入/输出接口25连接由键盘、鼠标、麦克风等构成的输入装置26、以及由显示器、扬声器等构成的输出单元27。CPU21对应于从输入单元26输入的命令执行各种处理。然后，CPU21输出获得的图像和音频等作为处理输出单元27的结果。

连接输入/输出接口25的存储单元28由例如硬盘构成，并存储由CPU21执行的程序和各种数据。通信单元29通过互联网和其它网络与外部装置通信。在该实例的情况下，通信单元29用作获取单元，用于采集从传感器2输出的数据3。

另外，可以进行这样的设置，其中通过通信单元29获得程序，并将其存储在存储单元28中。

连接输入/输出接口25的驱动器30驱动磁盘51、光盘52、磁光盘53、或安装在其中的半导体存储器54等，并获得记录在其中的程序和数据。当需要时，将获得的程序和数据传输到存储单元28并存储。

图3是示出信号处理装置4的方框图。

注意，信号处理装置4的功能是由硬件实现或还由软件实现，是不想关的。也就是说，在本说明书中的方框图可以用为硬件方框图或用为软件功能方框图。

在如图3所示的信号处理装置4中，输入作为数据3的实例的图像数据，并且从输入图像数据(输入图像)检测数据的连续性。然后，从检测到的数据连续性估计由传感器2获取的现实世界1的信号。然后，根据现实世界1的估计信号，生成图像，并输出生成的图像(输出图像)。也就是说，图3示出了作为图像处理装置的信号处理装置4的结构。

将输入信号处理装置4的输入图像(作为数据3的实例的图像数据)提供给数据连续性检测单元101和现实世界估计单元102。

数据连续性检测单元101检测来自输入图像的数据的连续性，并将表示检测的连续性的数据连续性信息提供给现实世界估计单元102和图像生成单元103。数据连续性信息包括例如具有数据连续性的像素区域的位置、具有数据连续性的像素的区域的方向(时间方向和空间方向的角度或梯度)、或具有数据连续性的像素的区域的长度、或输入图像中的类似信息。下面将描述数据连续性检测单元101的详细结构。

现实世界估计单元102根据输入图像和从数据连续性检测单元101提供的数据连续性信息，估计现实世界1的信号。也就是说，现实世界估计单元102在获取输入图像时估计作为现实世界投射到传感器2上的信号的图像。现实世界估计单元102将表示对现实世界1的信号的估计的结果的现实世界估计信息提供给图像生成单元103。下面将描述现实世界估计单元102的详细结构。

图像生成单元103根据从现实世界估计单元102提供的、表示现实世界1的估计信号的现实世界估计信息生成进一步近似现实世界1的信号的信号，并输出生成的信号。或者，图像生成单元103根据从数据连续性检测单元101提供的数据连续性信息、和从现实世界估计单元102提供的表示现实世界1的估计信号的现实世界估计信息生成进一步近似现实世界1的信号的信号，并输出生成的信号。

也就是说，图像生成单元103根据现实世界估计信息生成进一步近似现实世界1的图像的图像，并输出生成的图像作为输出图像。或者，图像生成单元103根据数据连续性信息和现实世界估计信息生成进一步近似现实世界1的图像的图像，并输出生成的图像作为输出图像。

例如，图像生成单元103通过根据现实世界估计信息集成在空间方向或时间方向的希望范围内的现实世界1的估计图像，生成比输入图像在空间方向或时间放上上具有更高的分辨率的图像，并输出生成的图像作为输出图像。例如，图像生成单元103通过外推/内插生成图像，并输出生成的图像作为输出图像。

下面将描述图像生成单元103的详细结构。

接着将参考图4至7描述本发明的原理。

图4描述了利用常规信号处理装置121进行处理的原理图。常规信号处理装置121采用数据3作为处理参考，并以数据3作为处理对象执行例如增加分辨率等的处理。在常规信号处理装置121中，从未考虑过现实世界1，并且数据3是最终的参考，从而不能获得超过在数据3中包含的信息的信息作为输出。

另外，在常规信号处理装置121中，没有考虑由于传感器2的任何数据3中的畸变(作为现实世界1的信息的信号、以及数据3之间的差异)，从而常规信号处理装置121输出仍包含畸变的信号。另外，根据由信号处理装置121进行的处理，还进一步放大数据3中存在的由于传感器2的畸变，并输出包含放大的畸变的数据。

从而，在常规的信号处理中，从未考虑过从其获得数据3的现实世界1(的信号)。换句话说，在常规的信号处理中，认为现实世界1被包括在数据3包含的信息帧中，从而由数据3中包含的信息和畸变决定了信号处理的极限。本申请人已经单独地提出了考虑现实世界1的信号处理，但是这没有考虑下文描述的连续性。

相比于此，在根据本发明的信号处理中，明确地考虑现实世界1(的信号)而进行处理。

图5示出了在根据本发明的信号处理装置4中的处理的原理图。

其中与常规设置相同的是，由传感器2获得作为表示现实世界1中的事件的信息的信号，并且传感器2输出数据3，在数据3中被投影有作为现实世界1的信息的信号。

然而，在本发明中，由传感器2获得的作为表示现实世界1的事件的信息的信号被明确地考虑。也就是说，在已知数据3包含由于传感器2的畸变(作为现实世界1的信息的信号、以及数据之间的差异)的事实下进行信号处理。

从而，在根据本发明的信号处理中，处理结果不会由于包含在数据3中的信息和畸变而受到约束，并且，例如，对于现实世界1中的事件，可以获得更精确、并且比常规方法具有更高精度的处理结果。也就是说，在本发明中，对于输入到传感器2中的、作为表示现实世界1的事件的信息的信号，可以获得更精确、并且具有更高精度的处理结果。

图6和图7更详细地描述了本发明的原理。

如图6所示，例如为图像的现实世界的信号，是通过由透镜、光学LPF(低通滤镜)等构成的光学系统141，在作为传感器2的实例的CCD(电荷耦合装置)的感光面上的图像。作为传感器2的实例的CCD具有积分特性，从而在从CCD输出的数据3中生成与现实世界1的图像差异。下面将详细描述传感器2的积分特性。

在根据本发明的信号处理中，明确地考虑由CCD获得的现实世界1的图像和由CCD的数据取得并输出的数据3之间的关系。也就是说，明确地考虑数据3与作为由传感器2获得的现实世界的信息的信号之间的关系。

更具体的是，如图7所示，信号处理装置4使用模型161模拟(描述)现实世界。模型161由例如N个变量表示。更精确的是，模型161模拟(描述)现实世界1的信号。

为了预测模型161，信号处理装置4从数据3提取M页数据162。当从数据3提取M块数据162时，信号处理装置4使用包含在数据3中的数据的连续性。换句话说，信号处理装置4根据包含在数据3中的数据的连续性，提取用于预测模型161的数据162。随后，由数据的连续性约束模型161。

也就是说，模型161模拟(信息(信号)表示)具有连续性(在预定维度方向上的不变特征)的现实世界中的事件，所述连续性产生了数据3中的数据连续性。

现在，在数据162的数M为N或更大的情况中，所述数是模型变量的数目，可以从M块数据162预测由N个变量表示的模型161。

这样，信号处理装置4通过预测模拟(描述)现实世界1(的信号)的模型161，可以考虑作为现实世界1的信息的信号。

接着，将描述传感器2的积分效应。

作为用于拍摄图像的传感器2的图像传感器，例如CCD或CMOS(互补金属氧化物半导体)在成像现实世界时将作为现实世界的信息的信号投影到二维数据上。图像传感器的像素每个都具有预定面积称为光敏面(光敏区域)。对每个像素积分在空间方向和时间方向上的到达具有预定面积的光敏面上的入射光，并将所述入射光转换成每个像素的单个像素值。

下面将参考图8至图11描述对图像的空间-时间积分。

图像传感器对现实世界中的主体(客体)成像，并将获得的图像数据输出为多个单帧累加成像的结果。也就是说，图像传感器获取现实世界1的信号，所述信号为从现实世界1的主体反射的光，并输出数据3。

例如，图像传感器输出30帧/秒的图像数据。在这种情况下，可以使图像传感器的曝光时间为1/30秒。曝光时间是图像传感器开始将入射光转换成电荷到结束将入射光转换成电荷的时间。下文中，还将曝光时间称为快门时间。

图8描述了在图像传感器上的像素阵列的实例。在图8中，A至I表示各个像素。像素被设置在对应于由图像数据显示的图像的平面中。在图像传感器上对应于单个像素设置单个检测元件。当图像传感器拍摄现实世界1的图像时，一个检测元件对应于构成图像数据的一个像素输出一个像素值。例如，在检测元件的空间方向X(X坐标)中的位置对应于由图像数据显示的图像上的水平位置，以及在检测元件的空间方向Y(Y坐标)中的位置对应于由图像数据显示的图像上的垂直位置。

现实世界1中的光强分布在三维空间方向和时间方向中展开，但是图像传感器在二维空间方向和时间方向中获取现实世界1的光，并生成显示在二维空间方向和时间方向中的光强分布的数据3。

如图9所示，例如是CCD的检测装置，在对应于快门时间的期间将投射到光敏面(光敏区域)(检测区域)上的光转换成电荷，并积累转换的电荷。所述光是现实世界1的信息(信号)，其强度由三维空间位置和时刻决定。可以由函数F(x，y，z，t)表示现实世界1的光强分布，其中在三维空间中的位置x、y、z，以及时刻t为变量。

在检测装置CCD中积累的电荷量近似正比于投射到具有二维空间范围的整个光敏面上的光强分布、以及光被投射到其上的时间量。检测装置将从投射到整个光敏面上的光转换的电荷加到在对应于快门时间的期间已经积累的电荷上。也就是说，检测装置积分投射到具有二维空间范围的整个光敏面上的光，并累加对应于在对应快门时间期间积分的光的变化量。还可以认为检测装置具有对空间(光敏面)和时间(快门时间)的积分效应。

通过未示出的电路将在检测装置中积累的电荷转换成电压值，再将电压值转换成例如数字数据的像素值，并输出为数据3。因此，从图像传感器输出的各个像素值具有投影到一维空间的值，所述值是积分现实世界1的信息(信号)的部分的结果，所述现实世界具有关于快门时间的时间方向、和检测装置的光敏面的空间方向的时空范围。

$P={\∫}_{t_1}^{t_2}{\∫}_{y_1}^{y_2}{\∫}_{x_1}^{x_2}F(x,y,t)\mathrm{dxdydt}$ 公式(1)

也就是说，一个像素的象素值被表示为积分F(x，y，t)。F(x，y，t)是表示再检测装置的光敏面上的光强分布的函数。例如，像素值P由公式(1)表示。

在公式(1)中，x₁表示在检测装置的光敏面的左侧范围上的空间坐标(X坐标)。x₂表示在检测装置的光敏面的右侧范围上的空间坐标(X坐标)。在公式(1)中，y₁表示在检测装置的光敏面的上侧范围上的空间坐标(Y坐标)。y₂表示在检测装置的光敏面的下侧范围上的空间坐标(Y坐标)。另外，t₁表示开始将入射光转换成电荷的时刻。t₂表示结束将入射光转换成电荷的时刻。

注意实际上，从图像传感器输出的图像数据获得的像素值对于整个帧被校正。

图像数据的每个像素值是投射到图像传感器的每个检测元件的光敏面上的光的积分值，并且，对于被投射到图像传感器上的光，比检测元件的光面面更微小的现实世界1的光的波形被隐藏在成为积分值的像素值中。

下面，在本说明书中，将用预定维表示的作为参考的信号波形简单称为波形。

从而，在空间方向和时间方向中将现实世界1的图像积分为像素的累加，从而在图像数据中减少了现实世界1的图像的连续性的一部分，从而在图像数据中只剩下现实世界1的图像连续性的另一部分。或者，可能有这样的情况，其中在图像数据中包括从现实世界1的图像的连续性改变的连续性。

对于由具有积分效应的图像传感器拍摄的图像，将进一步描述在空间方向上的积分效应。

图10描述了到达对应于像素D至像素F的检测元件的入射光与像素值之间的关系。图10中的F(x)是表示现实世界1的光强分布的函数的实例，其中在空间(在检测装置上)X空间方向中的坐标x为变量。换句话说，F(x)是表示现实世界1的光强分布的函数的实例，其中空间坐标Y和时间方向不变。在图10中，L表示检测装置的光敏面的空间方向X中对应于像素D至像素F的长度。

$P={\∫}_{x_1}^{x_2}F\left(x\right)\mathrm{dx}$ 公式(2)

将单个像素的像素值表示为积分F(x)。例如，像素E的像素值P由公式(2)表示。

在公式(2)中，x₁表示对应于像素E的在检测装置的光敏面的左侧范围上的空间方向X中的空间坐标。x₂表示对应于像素E的在检测装置的光敏面的右侧范围上的空间方向X中的空间坐标。

同样，对于由具有积分效应的图像传感器拍摄的图像，将进一步描述在时间方向上的积分效应。

图11描述了经过的时间与到达对应于单个像素的检测元件的入射光之间的关系，并且图11中的像素值F(t)是表示现实世界1的光强分布的函数，其中时刻t为变量。换句话说，F(t)是表示现实世界1的光强分布的实例，其中空间方向Y和空间方向X不变。T_s表示快门时间。

帧#n-1是在时间上比帧#n靠前的帧，而帧#n+1是在时间上在帧#n后的帧。也就是说，以帧#n-1、帧#n和帧#n+1的顺序显示#n-1、帧#n和帧#n+1。

注意，在图11所示的实例中，快门时间t_s和帧间隔是相同的。

将单个像素的像素值表示为积分F(x)。例如，将例如帧n的像素的像素值由公式(3)表示。

$P={\∫}_{t_1}^{t_2}F\left(t\right)\mathrm{dx}$ 公式(3)

在公式(3)中，t₁表示开始将入射光转换成电荷的时刻。t₂表示结束将入射光转换成电荷的时刻。

下文中，将由传感器2在空间方向的积分效应简单称为空间积分效应，并将传感器2在时间方向的积分效应简单称为时间积分效应。另外，将空间积分效应或时间积分效应简单称为积分效应。

下面，将描述由具有积分效应的图像传感器获取的数据3中包括的数据连续性的实例。

图12示出了现实世界1的线形对象(例如细线)，即光强分布的实例。在图12中，附图上侧的位置表示光强(水平)，图中上左侧的位置表示在空间方向X中的位置，所述空间方向X是图像的空间方向的一个方向，而图中右侧的位置表示在空间方向Y中的位置，所述空间方向Y是图像的空间方向的另一个方向。

现实世界1的线形对象的图像包括预定连续性。也就是说，图12中所示的图像具有长度方向中的任意位置上的横截面的形状连续性(当在垂直于长度方向的方向上的位置变化时的变化水平)。

图13示出了通过对应于图12的图像的实际图像拍摄获得的图像数据的像素值的实例。

图14是图13所示的图像数据的模型图。

图14所示的模型图是利用图像传感器对线形对象的图像成像而获得的图像数据的模型图，所述线形对象的直径比每个像素的光敏面的长度L短，并在偏离图像传感器的像素阵列(像素的垂直或水平阵列)的方向上延伸。当获取图14的图像数据时被投射到图像传感器中的图像是如图12所示的现实世界1的线形对象的图像。

在图14中，图中的上侧位置表示像素值，图中上右侧的位置表示在空间方向X中的位置，空间方向X是图像的空间方向中的一个方向，以及图中右侧位置表示在空间方向Y中的位置，空间方向Y是图像的空间方向的另一个方向。图14中表示像素值的方向对应图12中的水平的方向，图14中空间方向X和空间方向Y与图12中的所示方向相同。

在利用图像传感器拍摄直径比每个像素的光敏面的长度L窄的线形对象的图像时，将线形对象在作为图像拍摄结果的图像数据中表示为多个弧形(半圆)，其具有预定长度，并在例如模型表示中以对角偏离的方式排列。所述弧形基本具有近似相同的形状。将一个弧形垂直地形成在一行像素上，或水平地形成在一行像素上。例如，将如图14所示的一个弧形垂直地形成在一行像素上。

从而，通过由例如图像传感器拍摄并获得图像数据，丢失了这样的连续性，其中现实世界1的线形对象图像的连续性为，在长度方向的任何位置上在空间方向Y上的横截面相同。也可以说，现实世界1的线形对象的图像所具有的连续性已经变为这样的连续性，即垂直地或水平地在一行像素上形成的形状相同的弧形以预定间隔排列。

图15示出了对象在现实世界1中的图像，即光强分布的实例，所述对象具有直边缘并与背景有单色差。在图15中，图中上侧位置表示光强(水平)，图中上右侧的位置表示空间方向X中的位置，空间方向X是图像空间方向的一个方向，以及图中右侧位置表示在空间方向Y中的位置，空间方向Y是图像空间方向的另一个方向。

具有直边缘并且与背景有单色差的现实世界1的对象的图像包括预定连续性。也就是说，图15所示的图像的连续性为，在长度方向上的任意位置上的横截面(对于在垂直于长度方向的方向上的位置的变化，水平的变化)相同。

图16示出了由现实图像拍摄获得的图像数据的像素值的实例，其对应于如图15所示的图像。如图16所示，图像数据为阶形，因为图像数据由具有像素增量的像素值构成。

图17是示出如图16所示的图像数据的模型图。

图17所示的模型图是用图像传感器拍摄现实世界1的对象的图像而获得的图像数据的模型图，所述对象具有直边缘并与背景具有单色差，所述模型图以偏离图像传感器的像素的阵列的方向延伸(像素的垂直或水平阵列)。在获取如图17所示的图像数据时被投射到图像传感器中的图像是现实世界1的对象的图像，所述对象如图15所示具有直边缘并与背景有单色差。

在图17中，图中上侧位置表示像素值，图中上右侧的位置表示空间方向X中的位置，空间方向X是图像空间方向的一个方向，以及图中右侧位置表示在空间方向Y中的位置，空间方向Y是图像空间方向的另一个方向。图17中表示像素值的方向对应于图15中的水平方向，并且图17中的空间方向X和空间方向Y与图15中相同。

在用图像传感器拍摄现实世界1的对象的图像的情况中，所述对象具有直边缘并与背景有单色差，在作为图像拍摄的结果获得的图像数据中将直边缘表示为多个爪形，其具有预定长度，并在例如模型表示中以对角偏离的方式排列。所述爪形具有近似相同的形状。将一个像素垂直地在一行像素上形成，或水平地在一行像素上形成。例如，将如图17所示的一个爪形垂直地在一行像素上形成。

从而，具有直边缘并与背景有单色差的现实世界1的对象的图像的连续性在用图像传感器成像而获得的图像数据中丢失，所示连续性例如为在边缘的长度方向中的任意位置上的横截面形状相同。也可以说，具有直边缘并与背景有单色差的现实世界1的对象的图像所具有的连续性已经变为这样的连续性，即垂直地或水平地在一行像素上形成的形状相同的爪形以预定间隔排列。

数据连续性检测单元101检测例如作为输入图像的数据3的该数据连续性。例如，数据检测单元101通过检测在预定维度方向上具有不变特征的区域而检测数据连续性。例如，数据连续性检测单元101检测这样的区域，其中相同的弧形以不变的间隔排列，如图14所示。另外，数据连续性检测单元101检测这样的区域，其中相同的爪形以不变的间隔排列，如图17所示。

另外，数据连续性检测单元101通过检测空间方向中的角度(梯度)而检测数据的连续性，所述角度表示相同形状的阵列。

另外，例如，数据连续性检测单元101通过检测空间方向和时间方向中的角度(移动)而检测数据的连续性，所述角度表示相同形状在空间方向和时间方向中的阵列。

另外，例如，数据连续性检测单元101通过检测在预定维度方向上具有不变特征的区域的长度而检测数据的连续性。

下文中，将数据3中传感器2投影现实世界1的对象的图像的部分还称为二值边缘，所述对象具有直边缘并与背景有单色差。

接着，将更详细地描述本发明原理。

如图18所示，在常规信号处理中，从数据3产生例如希望的高分辨率数据181。

相反，在根据本发明的信号处理中，从数据3估计现实世界1，并根据估计的结果产生高分辨率数据181。也就是说，如图19所示，从数据3估计现实世界1，并根据考虑数据3估计的现实世界1产生高分辨率数据181。

为了从现实世界1产生高分辨率数据181，需要考虑现实世界1和数据3之间的关系。例如，考虑为CCD的传感器2如何将现实世界1投影到数据3上。

传感器2CCD如上所述具有积分特性。也就是说，可以通过用传感器2的检测装置(如CCD)的检测区域(如光敏面)积分现实世界1的信号而计算数据3的一个单元(如像素值)。

将此应用到高分辨率数据181，可以通过施加处理而获得高分辨率数据181，其中虚拟高分辨率传感器将从现实世界1到数据3的信号投影到估计的现实世界1上。

换句话说，如图20所示，如果可以从数据3估计现实世界1的信号，通过对虚拟高分辨率传感器的检测元件的每个检测区域积分现实世界1的信号(在时空方向)，可以获得包含在高分辨率数据191中的一个值。

例如，在这样的情况中，其中现实世界1的信号中的变化比传感器2的检测元件的检测区域的尺寸小，则数据3不能表达现实世界1中的信号的小变化。因此，通过用比现实世界1的信号中的变化小的每个区域(在时间-空间方向)积分从数据3估计的现实世界1的信号，可以获得表示现实世界1的信号变化的高分辨率数据181。

也就是说，用相关于虚拟高分辨率传感器的每个检测元件的每个区域积分估计的现实世界1的信号，使得可以获得高分辨率数据18。

在本发明中，图像生成单元103通过在虚拟高分辨率传感器的检测元件的时间-空间区域积分估计的现实世界1的信号，而生成高分辨率数据181。

接着，在本发明中，为了从数据3估计现实世界1，使用数据3与现实世界1之间的关系、连续性以及数据3中的空间混合。

这里，混合表示数据3中的值，其中混合现实世界1中的两个对象的信号而获得信号值。

空间混合表示由于传感器2的空间积分效应，两个对象的信号在空间方向上的混合。

现实世界1自身由无数的事件构成，因此，为了用数学表达表示现实世界1自身，例如，需要无数个变量。从数据3不可能预测现实世界1的所有事件。

同样，不可能从数据3预测现实世界1的所有信号。

因此，如图21所示，在本实施例中，对于现实世界1的信号，具有连续性并且可以由函数函数f(x，y，z，t)表达的部分得到关注，并且用由N个变量表示的模型161模拟现实世界1的信号的可以由函数f(x，y，z，t)表示并具有连续性的部分。如图22所示，从数据3中的M块数据162预测模型161。

为了可以从M块数据162预测模型161，首先，需要根据连续性用N变量表示模型161，第二，利用N个变量产生表达式，所述表达式根据传感器2的积分特性表示由N个变量表示的模型161和M块数据162之间的关系。因为模型161是根据连续性由N个变量表示，可以说，利用N个变量的表示由N个变量表示的模型161和M块数据162之间的关系的表达式，描述了现实世界1的信号的具有连续性的部分与数据3的具有数据连续性的部分之间的关系。

换句话说，具有连续性的现实世界1的信号的部分产生了数据3中的数据连续性，所述部分通过由N个变量表示的模型161模拟。

数据连续性检测单元101检测数据3中具有由现实世界1的信号中具有连续性的部分产生的数据连续性的部分、以及其中产生数据连续性的部分的特征。

例如，如图23所示，在现实世界1的对象的图像中，其中具有直边缘并与背景有单色差，在图23中由A表示的关注位置上的边缘具有梯度。图23中的箭头B表示边缘的梯度。预定边缘梯度可以被表示为与左边轴或与到参考位置的方向所成的角度。例如，可以将预定边缘梯度表示为空间方向X坐标轴与边缘之间的角度。例如，可以将预定边缘梯度表示为由空间方向X的长度和空间方向Y的长度表示的方向。

当在传感器2中获得具有直边缘并与背景有单色差的现实世界1的对象的图像并输出数据3时，在对应于现实世界1的图像中的边缘的关注位置(A)的位置上，在数据3中排列对应于所述边缘的爪形，所述关注位置在图23中由“A”表示，并且，在对应于现实世界1的图像的边缘梯度的方向上，在图23中由“B”表示的梯度的方向上，排列对应于边缘的爪形。

由N个变量表示的模型161模拟在数据3中产生数据连续性的现实世界1的信号中的部分。

在利用N个变量列出表达式时，所述表达式表示由N个变量表示的模型161与M块数据162之间的关系，使用数据3中被产生有数据连续性的部分。

在该情况下，在如图24所示的数据3中，关注被产生有数据连续性并属于混合区域的值，用积分现实世界1的信号、等于由传感器2的检测元件输出的值列出表达式。例如，可以关于被产生有数据连续性的数据3中的多个值列出多个表达式。

在图24中，A表示关注边缘的位置，A’表示对应于现实世界1的图像中的关注边缘的位置(A)的像素(位置)。

现在，混合区域表示数据3中的这样的数据区域，其中混合现实世界1的两个对象的信号并将其变为一个值。例如，这样的像素值属于混合区域，其中在数据3中的现实世界1的对象的图像中积分具有直边缘的对象的图像和背景的图像，所述对象具有直边缘并与背景有单色差。

图25示出了现实世界1中的两个对象的信号以及在列出表达式的情况下属于混合区域的值。

图25的左边示出了对应于现实世界1的两个对象的现实世界1的信号，所述现实世界具有在空间方向X和空间方向Y中的预定范围，所述信号在传感器2的单个检测元件的检测区域获取。图25的右边示出了数据3中的单个像素的像素值P，其中已经由传感器2的单个检测元件投影图25的左边示出的现实世界1的信号。也就是说，在数据3中示出了单个像素的像素值P，其中由传感器2的单个检测元件获取的对应于现实世界1的两个对象的现实世界1的信号已经被投影，所述现实世界1在空间方向X和空间方向Y上具有预定范围。

图25中的L表示现实世界1的信号水平，其在图25中被示为白色，对应于现实世界1中的一个对象。图25中的R表示现实世界1的信号水平，其在图25中被示为阴影，对应于现实世界1中的另一个对象。

这里，混合比值α是对应于被投射到传感器2的一个检测元件的检测区域中的两个对象的信号(面积)比值，所述传感器2在空间方向X和空间方向Y上具有预定范围。例如，混合比值α表示被投射到到传感器2的一个检测元件的检测区域中的水平L信号的面积与传感器2的一个检测元件的检测区域的面积的比值，所述传感器2在空间方向X和空间方向Y上具有预定范围。

在该情况下，水平L、水平R和像素值P之间的关系可以表达为公式(4)。

α×L+(1-α)×R＝P

                                 公式(4)

注意，可能存在这样的情况，其中可以取水平R作为数据3中位于关注像素右侧的像素的像素值，从而可能存在这样的情况，其中可以取水平L作为数据3中位于关注像素左侧的像素的像素值。

另外，对于混合值α和混合区域，可以以与空间方向相同的方式考虑时间方向。例如，在其中作为图像拍摄对象的现实世界1中的对象正移向传感器2的情况中，被投射到传感器2的单个检测元件的检测区域中的两个对象的信号的比值在时间方向上变化。关于其的比值在时间方向上变化、已经被投射到传感器2的单个检测元件的检测区域中的两个对象的信号通过传感器2的检测元件被投影到数据3的单个值上。

由于传感器2的时间积分效应，两个对象的信号在时间方向上的混合被称为时间混合。

数据连续性检测单元101检测数据3中这样的像素区域，其中已经被投影有例如现实世界1中的两个对象的现实世界1的信号。数据连续性检测单元101对应于例如现实世界1中的图像边缘的梯度检测数据3中的梯度。

现实世界估计单元102通过如下估计现实世界的信号，其中，基于例如具有由数据连续性检测单元101检测的预定混合比值α、和区域梯度的像素区域，列出利用N个变量的表达式，所述表达式表示由N个变量表示的模型161与M块数据162之间的关系；并求解所列出的表达式。

下面将描述对现实世界1的具体估计。

在由函数F(x，y，z，t)表示的现实世界的信号中，考虑用由在空间方向X中的位置x、在空间方向Y中的位置y以及时刻t确定的模拟函数f(x，y，t)来模拟在空间方向Z中的横截面上(传感器2的位置)由函数F(x，y，t)表示的现实世界的信号。

现在，传感器2的检测区域具有在空间方向X和空间方向Y中的范围。换句话说，模拟函数f(x，y，t)是模拟由传感器2获取的具有在空间方向和时间方向中的范围的现实世界1的信号的函数。

可以说，现实世界1的信号的投影获得数据3的值P(x，y，t)。数据3的值P(x，y，t)是例如图像传感器传感器2输出的像素值。

现在，在可以公式化通过传感器2的投影的情况中，可以将通过投影模拟函数f(x，y，t)所获得的值表示为投影函数S(x，y，t)

获得投影函数S(x，y，t)具有下面的问题。

首先，通常，表示现实世界1的信号的函数F(x，y，z，t)可以是具有无限阶数的函数。

第二，即使可以将现实世界的信号描述为函数，通常不能确定借助传感器2的投影的投影函数S(x，y，t)。也就是说，传感器2的投影的动作，换句话说，传感器2的输入信号与输出信号之间的关系是未知的，所以不能确定投影函数S(x，y，t)

对于第一个问题，考虑用可描述函数(即具有有限阶数的函数)f_i(x，y，t)与变量w_i的乘积的和表达模拟现实世界1的信号的函数f(x，y，t)

另外，对于第二个问题，传感器2的公式化投影允许从对函数f_i(x，y，t)的描述来描述S_i(x，y，t)。

也就是说，用函数f_i(x，y，t)与变量w_i的乘积的和表达模拟现实世界1的信号的函数f(x，y，t)，则可以获得公式(5)。

$f(x,y,t)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{f}_i(x,y,t)$ 公式(5)

例如，如公式(6)所示，通过公式化传感器2的投影，从公式(5)可以公式化如公式(7)所示的数据3与现实世界的信号之间的关系。

$P_j(x_j,y_j{,t}_j)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{S}_i(x_j,y_j{,t}_j)$ 公式(6)

S_i(x，y，t)＝∫∫∫f_i(x，y，t)dxdydt

                                          公式(7)

在公式(7)中，j表示数据的指数。

在M个数据组(j＝1至M)与N个变量w_i(I＝1至N)共存于公式(7)中的情况下，满足公式(8)，则可以从数据3获得现实世界的模型161。

N≤M

                            公式(8)

N是表示模拟现实世界1的模型161的变量的个数。M是包括在数据3中的数据块162的个数。

用公式(5)表示模拟现实世界1的函数f(x，y，t)允许可以独立地处理变量部分w_i。这里，I便是变量数。另外，可以独立地处理由f_i表示的函数的形式，并且对于f_i可以使用希望的函数。

因此，变量w_i的个数N可以不依赖于函数f_i而确定，并且可以从变量w_i的个数N与数据M的块数之间的关系获得变量w_i。

也就是说，利用下面三条允许从数据3估计现实世界1。

首先，N个变量是确定的。也就是说，公式(5)是确定的。这使得可以利用连续性描述现实世界1。例如，可以用模型161描述现实世界1的信号，其中用多项式表达横截面，并且相同的横截面形状持续在不变的方向上。

第二，例如将通过传感器2的投影公式化为表达公式(7)。例如，这被公式化以使得对现实世界2的信号的积分的结果为数据3。

第三，选取M块数据162满足公式(8)。例如，从已经用数据连续性检测单元101检测的具有数据连续性的区域选取数据162。例如，选举这样区域的数据162，其中作为连续性的实例持续有不变的横截面。

这样，用公式(5)描述了数据3与现实世界1之间的关系，选取M块数据162，从而满足公式(8)，从而可以估计现实世界1。

尤其是，在N＝M的情况中，变量数N和表达式数M相等，从而可以通过公式化模拟方程而获得变量w_i。

另外，在N＜M的情况中，可以使用各种解决方法。例如，可以通过最小二乘法获得变量w_i。

现在，将详细描述利用最小二乘法的解决方法。

首先，根据公式(7)可以示出用于从现实世界1预测数据3的公式(9)。

${P^{\′}}_j(x_j,y_j,t_j)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{S}_i(x_j,y_j{,t}_j)$ 公式(9)

在公式(9)中，P’_j(x_j，y_j，t_j)是预测值。

公式(10)表示预测值P’与观察之P的方差E的和。

$E=\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{(P_j(x_j,y_j,t_j)-{P^{\′}}_j(x_j,y_j,t_j))}^2$ 公式(10)

获得这样的变量w_i，使得方差和E最小。因此，对公式(10)的每个变量w_k的微分值为0。也就是说，公式(11)成立。

$\frac{\∂E}{\∂w_k}=-2\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{w}_i{S}_k(x_j,y_j,t_j)(P_j(x_j,y_j{,t}_j)-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{S}_i(x_j,y_j,t_j))=0$

                                公式(11)

公式(11)推出公式(12)。

$\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\left(S_k(x_j,y_j,t_j)\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{S}_i(x_j,y_j,t_j)\right)=\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{S}_k(x_j,y_j{,t}_j)P_j(x_j,y_j,t_j)$

                                公式(12)

当公式(12)对K＝1至N成立时，获得通过最小二乘的解。公式(13)示出了其正态方程。

                                公式(13)

注意，在公式(13)中，将S_i(x_j，y_j，t_j)描述为S_i(j)。

                                公式(14)

$W_{\mathrm{MAT}}=\left(\begin{array}{c}{w}_1\\ w_2\\ \·\\ \·\\ \·\\ w_N\end{array}\right)$ 公式(15)

$P_{\mathrm{MAT}}=\left(\begin{array}{c}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{S}_1\left(j\right)P_j\left(j\right)\\ \underset{j=1}{\overset{M}{\mathrm{\Σ}}}{S}_2\left(j\right)P_j\left(j\right)\\ \·\\ \·\\ \·\\ \underset{j=1}{\overset{M}{\mathrm{\Σ}}}{S}_N\left(j\right)P_j\left(j\right)\end{array}\right)$ 公式(16)

从公式(14)至公式(16)，可以将公式(13)表达为S_MATW_MAT＝P_MAT。

在公式(13)中，S_i表示现实世界1的投影。在公式(13)中，P_j表示数据3。在公式(13)中，w_i表示描述和获得现实世界1的信号的特征的变量。

因此，通过将数据3输入公式(13)并获得矩阵解的W_MAT，使得可以估计现实世界1。也就是说，可以用计算公式(17)估计现实世界1。

W_MAT＝S_MAT ^-1P_MAT

                                  公式(17)

注意，在S_MAT不是正则的情况下，可以使用S_MAT的转置矩阵来获得W_MAT。

现实世界估计单元102通过例如将数据3输入公式(13)并获得矩阵解的W_MAT等，估计现实世界1。

现在，将描述更详细的实例。例如，将用多项式描述现实世界1的信号的横截面形状，即对于位置变化的水平变化。假设现实世界1的信号的横截面形状不变，并且现实世界1的信号的横截面以恒定的速度移动。从传感器2将现实世界1的信号到数据3的投影通过在现实世界1的信号的时间-空间方向的三维积分而被公式化。

现实世界1的信号的横截面以恒定速度移动的假设推出公式(18)和公式(19)。

$\frac{\mathrm{dx}}{\mathrm{dt}}=v_x$ 公式(18)

$\frac{\mathrm{dy}}{\mathrm{dt}}=v_y$ 公式(19)

这里，v_x和v_y都是不变的。

利用公式(18)和公式(19)，可以将现实世界1的信号的横截面形状表示为公式(20)。

f(x′，y′)＝f(x+v_xt，y+v_yt)

                                    公式(20)

通过在现实世界1的信号的时间-空间方向的三维积分公式化从传感器2将现实世界1的信号到数据3的投影，推出公式(21)。

$S(x,y,t)={\∫}_{x_s}^{x_e}{\∫}_{y_s}^{y_e}{\∫}_{t_s}^{t_e}f\left(x^{\′}{,y}^{\′}\right)\mathrm{dxdydt}$

$={\∫}_{x_s}^{x_e}{\∫}_{y_s}^{y_e}{\∫}_{t_s}^{t_e}f(x+v_{x}t,y+v_{y}t)\mathrm{dxdydt}$ 公式(21)

在公式(21)中，S(x，y，t)表示在如下区域上的积分值，所述区域为，在空间方向X上从位置x_s到位置x_e，在空间方向Y上从位置y_s到位置y_e，以及在时间方向t上从时刻t_s到时刻t_e，即所述区域被表示为空间-时间立方体。

利用确定公式(21)的希望的函数f(x’，y’)求解公式(13)，使得可以估计现实世界1的信号。

下面，将利用在公式(22)中表示的函数作为函数f(x’，y’)的实例。

f(x′，y′)＝w₁x¹+w₂y¹+w₃

           ＝w₁(x+v_xt)+w₂(y+v_xt)+w₃

                                         公式(22)

也就是说，将现实世界1的信号估计为包括在公式(18)、公式(19)以及公式(22)中表示的连续性。这表示，具有恒定形状的横截面在空间-时间方向中移动，如图26所示。

将公式(22)代入公式(21)推出公式(23)。

$S(x,y,t)={\∫}_{x_s}^{x_e}{\∫}_{y_s}^{y_e}{\∫}_{t_s}^{t_e}f(x+v_{x}t,y+v_{y}t)\mathrm{dxdydt}$

$=\mathrm{Volume}(\frac{w_0}{2}(x_e+x_s+v_x(t_e+t_s))$

$+\frac{w_1}{2}(y_e+y_s{+v}_y(t_e+t_s)+w_2)$

$=w_0{S}_0(x,y,t)+w_1{S}_1(x,y,t)+w_2{S}_2(x,y,t)$ 公式(23)

其中

体积＝(x_e-x_s)(y_e-y_s)(t_e-t_s)

s₀(x，y，t)＝体积/2×(x_e+x_s+v_x(t_e+t_s))

s₁(x，y，t)＝体积/2×(y_e+y_s+v_y(t_e+t_s))

s₂(x，y，t)＝1

成立

图27示出了从数据3中选取的M块数据162的实例。例如，可以说将27个像素值提取作为数据162，并且选取的像素值为P_j(x，y，t)。在该情况下，j为0至26。

在图27的实例中，在这样的情况下，其中对应于在t＝n的时刻上的关注位置的像素的像素值为P₁₃(x，y，t)，并且具有数据连续的像素的像素值的阵列方向(例如这样的方向，其中排列有由数据连续性检测单元101检测的形状相同的爪形)是连接P₄(x，y，t)、P₁₃(x，y，t)和P₂₂(x，y，t)的方向，则选取在t＝n的时刻上的像素值P₉(x，y，t)至P₁₇(x，y，t)、在t为先于n的时刻n-1的时刻上的像素值P₀(x，y，t)至P₈(x，y，t)，以及在t为n时刻后的n+1时刻上的像素值P₁₈(x，y，t)至P₂₆(x，y，t)。

现在，关于其已经获得了从为传感器2的图像传感器输出的数据3的数据，具有时间方向和二维空间方向的范围，如图28所示。现在，如图29所示，可以将对应于像素值的立方体的重心(关于其的像素值已经被获得的区域)用作在空间-时间方向中的像素位置。

通过从27个像素值P₀(x，y，t)至P₂₆(x，y，t)和公式(23)产生公式(13)，并获得W，使得可以估计现实世界1。

这样，现实世界估计单元102从27个像素值P₀(x，y，t)至P₂₆(x，y，t)和公式(23)产生公式(13)，并获得W，从而估计现实世界1的信号。

注意，对于函数f(x，y，t)可以使用Gaussian函数、∑函数等。

下面将参考图30至图34描述这样的处理的实例，所述处理从估计的现实世界1的信号，产生比数据3的分辨率更高的高分辨率数据181。

如图30所示，数据3具有这样的值，其中将现实世界1的信号在时间方向和二维空间方向上积分。例如，从为传感器2的图像传感器输出的像素值数据3具有这样的值，其中以在作为时间方向上的检测时间的快门时间、以及以在空间方向中的检测元件的光敏区域积分成为被投射到检测装置中的光的现实世界1的信号。

相反，如图31所示，通过在时间方向上以与输出数据3的传感器2的检测时间相同的时间、以及在空间方向上以比输出数据3的传感器2的检测元件的光敏区域小的区域，积分估计的现实世界1的信号，而产生在空间方向上分辨率更高的高分辨率数据181。

注意，当产生在空间方向上具有更高分辨率的高分辨率数据181时，可以将在其上积分估计的现实世界1的信号的区域设置为完全脱离输出数据3的传感器2的检测元件的光敏区域。例如，高分辨率数据181可以具有这样的分辨率，其为数据3的分辨率在空间方向上放大整数倍，当然，还可以具有这样的分辨率，其为数据3的分辨率在空间方向上放大例如5/3倍的比值。

另外，如图32所示，通过在空间方向上以与输出数据3的传感器2的检测元件的光敏区域相同的区域、以及在时间方向上以比输出数据3的传感器2的检测时间短的时间，积分估计的现实世界1的信号，而产生在时间方向上分辨率更高的高分辨率数据181。

注意，当产生在时间方向上具有更高分辨率的高分辨率数据181时，可以将在其上积分估计的现实世界1的信号的时间设置为完全脱离输出数据3的传感器2的检测元件的快门时间。例如，高分辨率数据181可以具有这样的分辨率，其为数据3的分辨率在时间方向上放大整数倍，当然，还可以具有这样的分辨率，其为数据3的分辨率在时间方向上放大例如7/4倍的比值。

如图33所示，通过只在空间方向而不在时间方向积分现实世界1的信号，产生了具有去除移动斑点的高分辨率数据181。

另外，如图34所示，通过在空间方向上以比输出数据3的传感器2的检测元件的光敏区域小的区域，以及在时间方向上以比输出数据3的传感器2的检测时间短的时间，积分估计的现实世界1的信号，而产生在时间方向和空间方向上分辨率更高的高分辨率数据181。

在该情况下，可以将在其上积分估计的现实世界1的信号的区域和时间设置为完全不相关于输出数据3的传感器2的检测元件的光敏区域和快门时间。

从而，例如，图像生成单元103通过在希望的空间-时间区域积分估计的现实世界1的信号，而产生在时间方向和空间方向上分辨率更高的数据。

因此，通过估计现实世界1的信号，可以产生关于现实世界1的信号更精确、并在时间方向或空间方向具有更高分辨率的数据。

下面将参考图35至39描述利用根据本发明的信号处理装置4的输入图像和处理结果的实例。

图35示出了输入图像的原始图像。图36示出了输入图像的实例。如图36所示的输入图像通过取像素的像素值的平均值作为单个像素的像素值而产生的图像，所述像素属于由如图35所示的图像的2×2个像素构成的块。也就是说，输入图像是通过模仿传感器的积分特性对图35中的图像施加空间方向积分而获得的图像。

图35中的原始图像包含从垂直方向顺时针倾斜约5度的细线的图像。同样，图36中的输入图像包含从垂直方向顺时针倾斜约5度的细线的图像。

图37示出了通过对图36的输入图像施加常规分类适应处理而获得的图像。这里，分类处理由分类处理和适应处理构成，其中由分类调节处理根据数据的种类分类数据，并对每一类的数据进行适应处理。在适应处理中，通过利用预定拍系数进行映射，将例如低图像质量或标准图像质量图像转换成高图像质量图像。

可以理解，在图37所示的图像中，细线的图像与图35中的原始图像的细线不同。

图38示出了由数据连续性检测单元101从图36中的实例所示的输入图像检测细线区域的结果。在图38中，白色区域表示细线区域，即其中排列由如图14所示的弧形的区域。

图39示出了从根据本发明的信号处理装置4输出的输出图像的实例，其以图36所示的图像为输入图像。如图39所示，根据本发明的信号处理装置4获得了更接近图35中的原始图像的细线图像的图像。

图40是描述利用根据本发明的信号处理装置4处理信号的流程图。

在步骤S101中，数据连续性检测单元101执行检测连续性的处理。数据连续性检测单元101检测包含在成为数据3的输入图像中的数据连续性，并将表示检测的数据连续性的数据连续性信息提供给现实世界估计单元102和图像生成单元103。

数据连续性检测单元101检测对应于现实世界的信号的连续性的数据的连续性。在步骤S101的处理中，由数据连续性检测单元101检测的数据连续性或者是包含在数据3中的现实世界1的图像的连续性的一部分，或者是从现实世界1的信号的连续性变化的连续性。

数据连续性检测单元101通过在预定维度方向上检测具有恒定特征的区域，而检测数据连续性。另外，数据连续性检测单元101通过检测表示相同形状的阵列的空间方向中的角度(梯度)而检测数据连续性。

在后文中将描述在步骤S101中的连续性检测处理的细节。

注意，可以将数据连续性信息用作表示数据3的特征的特征。

在步骤S102中，现实世界估计单元102执行估计现实世界的处理。也就是说，现实世界估计单元102根据输入图像和从数据连续性检测单元101提供的数据连续性信息，根据现实世界的信号。在例如步骤S102的处理中，现实世界估计单元102通过预测模拟(描述)现实世界1的模型161，估计现实世界1的信号。现实世界估计单元102将表示现实世界1的估计信号的现实世界估计信息提供给图像生成单元103。

例如，现实世界估计单元102通过预测线形对象的宽度估计现实世界1。另外，例如，现实世界估计单元102通过预测表示线形对象的颜色的水平估计现实世界1的信号。

在后文中将描述在步骤S102中估计现实世界的处理细节。

注意，可以将现实世界估计信息用作表示数据3的特征的特征。

在步骤S103中，图像生成单元103执行图像生成处理，并且所述处理结束。也就是说，图像生成单元103根据现实世界估计信息生成图像，并输出生成的图像。或者，图像生成单元103根据数据连续性信息和现实世界估计信息生成图像，并输出生成的图像。

例如，在步骤S103的处理中，图像生成单元103根据现实世界估计信息，积分模拟在空间方向中生成的现实世界的光信号的函数，从而生成比输入图像在空间方向上具有更高分辨率的图像，并输出生成的图像。例如，图像生成单元103根据现实世界估计信息，积分模拟在时间-空间方向中生成的现实世界的光信号的函数，从而生成比输入图像在时间方向和空间方向上具有更高分辨率的图像，并输出生成的图像。在后文中将描述在步骤S103中的图像生成处理中的细节。

从而，根据本发明的信号处理装置4从数据3检测数据连续性，并从检测的数据连续性估计现实世界1。信号处理装置4然后根据估计的现实世界1产生更近似地模拟现实世界1的信号。

如上所述，在执行估计现实世界的信号的处理的情况中，可以获得精确度和高精度处理结果。

另外，在投影具有第一维度的作为现实世界的信号的第一信号的情况中，检测出对应于现实世界的信号的丢失连续性的第二维度的第二信号的数据连续性，所述第二维度的维数比第一维数少，从其角已丢失了现实世界的信号连续性的一部分，并且通过根据检测的数据连续性估计丢失的现实世界的信号连续性而估计第一信号，对于现实世界中的事件可以获得精确和高精度的处理结果。

接着，将描述数据连续性检测单元101的结构细节。

图41是示出数据连续性检测单元101的结构的方框图。

一旦拍摄其为细线的对象的图像，其结构如图41所示的数据连续性检测单元101检测包含在数据3中的数据连续性，该连续性从其中为对象所具有的横截面形状相同的连续性产生。也就是说，其结构如图41所示的数据连续性检测单元101检测包含在数据3中的数据连续性，该连续性从其中在长度方向上的任意位置，相对于垂直于长度方向的方向中的位置变化，光的水平的变化相同的连续性产生，后一连续性为其为细线的现实世界1的图像所具有。

尤其是，其结构如图41所示的数据连续性检测单元101检测通过用具有空间积分效应的传感器2拍摄细线的图像而获得的在数据3中的这样的区域，在所述区域中，以对角偏离相邻的方式排列具有预定长度的多个弧形(半圆形)。

数据连续性检测单元101选取除以下部分的图像数据部分，所述没有被选取的部分为，其中具有数据连续性的细线的图像已经被从其为数据3的输入图像投影(下文中，其中具有数据连续性的细线的图像已经被投影的图像数据的部分也被称为连续性分量，并且将其它部分称为非连续性分量)，从选取的非连续性分量和输入图像检测其中现实世界1的细线的图像已经被投影的像素，并检测由其中现实世界1的细线的图像已经被投影的像素构成的输入图像的区域。

非连续性分量选取单元201从输入图像选取非连续性分量，并将表示选取的非连续性分量的非连续性分量信息与输入图像一起提供给峰值检测单元202和单调增加/减少检测单元203。

例如，如图42所示，将其中在具有近似恒定的光水平的背景上存在细线的现实世界1的图像投影到数据3中的情况中，非连续性分量选取单元201通过模拟在其为数据3的输入图像中的背景，而在平面中选取其为背景的非连续性分量，如图43所示。在图43中，实线表示数据3的像素值，虚线示出了由模拟背景的平面表示的近似值。在图43中，A表示其中细线的图像已经被投影的像素的像素值，PL表示模拟背景的平面。

这样，在具有数据连续性的图像数据的部分上的多个像素的像素值对于非连续性分量是不连续的。

非连续性分量选取单元201检测其为数据3的图像数据的多个像素的像素值的非连续部分，在所述非连续部分中，其为现实世界1的光信号的图像已经被投影，并且现实世界1的图像的连续性的部分已经被丢失。

下文将描述用非连续性分量选取单元201选取非连续性分量的处理的细节。

峰值检测单元202和单调增/减检测单元203根据从非连续性分量选取单元201提供的非连续性分量信息，从输入图像中除去非连续性分量。例如，峰值检测单元202和单调增/减检测单元203通过将只投影了背景图像的输入图像的像素的像素值设为0，而从输入图像中除去非连续性分量。另外，例如，峰值检测单元202和单调增/减检测单元203通过从输入图像的每个像素的像素值减去由平面PL模拟的值，而从输入图像中除去非连续性分量。

由于可以从输入图像中除去背景，峰值检测单元202至连续性检测单元204可以只处理投影了细线的图像数据的部分，从而进一步简化了峰值检测单元202至连续性检测单元204的处理。

注意，非连续性分量选取单元201可以将其中已经从输入图像除去非连续性分量的图像数据提供给峰值检测单元202和单调增/减检测单元203。

在下述的处理的实例中，对象为其中已经从输入图像除去非连续性分量的图像数据，即只由包含连续性分量的像素构成的图像数据。

现在，将描述其上被投影了细线图像的图像数据，峰值检测单元202至连续性检测单元204将检测所述图像数据。

在没有光学LPF的情况中，可以认为其上投影了如图42所示的细线图像的图像数据在空间方向Y中的截面形状(对于在空间方向中的位置的变化，像素值的变化)为如图44所示的梯形，或如图45所示的三角形。然而，普通的图像传感器具有获得通过光学LPF的图像的光学LPF，并将获得的图像投影到数据3上，因此，实际中，在空间方向Y中具有细线的图像数据的截面形状为类似高斯分布的形状，如图46所示。

峰值检测单元202至连续性检测单元204检测由其上已经投影了细线图像的像素构成的区域，其中相同的截面形状(对于在空间方向中的位置的变化，像素值的变化)以恒定间隔垂直排列在屏幕中，并且，所述单元还通过检测对应于现实世界1的细线的长度方向的区域连接，检测由其上投影了细线图像的像素构成的区域，所述区域具有数据连续性。也就是说，峰值检测单元202至连续性检测单元204检测其中在输入图像中的单个垂直行像素上形成的弧形(半圆形)的区域，并确定检测的区域在水平方向上是否相邻，从而检测形成弧形的连接区域，所述区域对应于作为现实世界1的信号的细线图像的长度方向。

另外，峰值检测单元202至连续性检测单元204检测由其上投影了细线图像的像素构成的区域，其中相同的截面形状以恒定间隔水平排列在屏幕中，并且，所述单元还通过检测对应于现实世界1的细线的长度方向的检测区域的连接，检测由其上投影了细线图像的像素构成的区域，所述区域具有数据连续性。也就是说，峰值检测单元202至连续性检测单元204检测其中在输入图像中的单个水平行像素上形成的弧形的区域，并确定检测的区域在垂直方向上是否相邻，从而检测形成弧形的连接区域，所述区域对应于作为现实世界1的信号的细线图像的长度方向。

首先，将描述用于检测其上投影了细线图像的像素的区域的处理，在所述区域中，相同的弧形以恒定的间隔垂直排列在屏幕中。

峰值检测单元202检测像素值比周围像素大的像素，即峰值，并将表示峰值位置的峰值信息提供给单调增/减检测单元203。在对象为在屏幕中排列成单个垂直行的像素的情况中，峰值检测单元202比较像素位置在屏幕上方的像素值与像素位置在屏幕下方的像素值，并检测具有最大像素值的像素作为峰值。峰值检测单元202从单个图像例如从单帧图像检测一个或多个峰值。

单个屏幕包括帧或场。这在下面的描述中也成立。

例如，峰值检测单元202从还没有被取为关注像素的一帧图像的像素中选择关注像素，比较关注像素的像素值与在关注像素上方的像素的像素值，比较关注像素的像素值与在关注像素下方的像素的像素值，检测像素值大于其上方像素的像素值并大于其下方像素的像素值的关注像素，并取该检测到的关注像素作为峰值。峰值检测单元将表示检测到的峰值的峰值信息提供给单调增/减检测单元203。

存在峰值检测单元202未检测到峰值的情况。例如，在图像的所有像素的像素值相同的情况中，或像素值在一个或两个方向减少的情况中，检测不到峰值。在这些情况中，在图像数据上没有投影细线图像。

单调增/减检测单元203根据从峰值检测单元202提供的表示峰值位置的峰值信息检测关于由峰值检测单元202检测的峰值的备选区域，所述区域由其上投影了细线图像的像素构成，其中所述像素垂直排列成单行，并且，所示单元203将表示检测的区域的区域信息与峰值信息一起提供给连续性检测单元204。

尤其是，单调增/减检测单元203检测由具有从峰值像素值单调减小的像素值的像素构成的区域，作为由其上投影了细线图像的像素构成的备选区域。单调减小表示，在长度方向上离峰值较远的像素的像素值比离峰值较近的像素的像素值小。

另外，单调增/减检测单元203检测由具有从峰值像素值单调增大的像素值的像素构成的区域，作为由其上投影了细线图像的像素构成的备选区域。单调增大表示，在长度方向上离峰值较远的像素的像素值比离峰值较近的像素的像素值大。

下面，对像素值单调增大的像素的区域的处理与对像素值单调减小的像素的区域的处理相同，因此省略对其的描述。另外，在关于如下的处理的描述中，其中检测由其上投影了细线图像的像素构成的区域，其中相同的弧形以恒定间隔水平排列在屏幕中，关于像素值单调增大的像素的区域的处理与关于像素值单调减小的像素的区域的处理相同，从而省略对其的描述。

例如，单调增/减检测单元203检测经过峰值的垂直行中的每个像素的像素值、到上方像素的像素值的差、以及到下方像素的像素值的差。单调增/减检测单元203然后通过检测其中差的符号改变的像素，而检测其中像素值单调减小的区域。

另外，单调增/减检测单元203从其中像素值单调减小的区域利用峰值的像素值的符号作为参考，检测由具有与峰值像素值的正负相同的像素值的像素构成的区域作为由其上投影了细线图像的像素构成的备选区域。

例如，单调增/减检测单元203比较每个像素的像素值的符号与上方像素的像素值的符号以及下方像素的像素值的符号，并检测像素值的符号改变的像素，从而检测像素值符号相同的像素区域作为其中像素值单调减小的区域中的峰值。

从而，单调增/减检测单元203检测由在垂直方向排列的像素形成的区域，其中像素值关于峰值单调减小，并以相同符号的像素值作为峰值。

图47描述了峰值检测和单调增/减区域检测的处理，用于从相对于在空间方向Y中的位置的像素值，检测其中投影了细线图像的像素的区域。

在图47到图49中，P表示峰值。在其结构在图41中示出的数据连续性检测单元101的说明中，P表示峰值。

峰值检测单元202比较在空间方向Y上的像素的像素值与相邻于其的像素的像素值，并通过检测在空间方向Y上像素值大于其相邻两个像素的像素值的像素，而检测峰值P。

由峰值P和在空间方向Y上的在峰值P两侧的像素构成的区域是单调减小的区域，其中在空间方向Y中的两侧像素的像素值相对于峰值P的像素值单调减小。在图47中，由A标出的箭头和由B标出的箭头表示在峰值P的两侧的单调减小区域。

单调增/减检测单元203获得每个像素的像素值与在空间方向Y上相邻的像素的像素值的差，并检测其中差的符号改变的像素。单调增/减检测单元203取在其上差的符号改变的检测像素与(在峰值P侧)紧邻其的像素之间的边界作为由其中投影了细线图像的像素构成的细线区域的边界。

在图47中，由C表示细线区域的边界，其为其上的差的符号改变的像素与(在峰值P侧)紧邻其的像素之间的边界。

另外，单调增/减检测单元203比较每个像素的像素值与在空间方向Y上与其相邻的像素的像素值，并检测其中像素值的符号在单调减小区域改变的像素。单调增/减检测单元203取在其上像素值的符号改变的检测像素与(在峰值P侧)紧邻其的像素之间的边界作为细线区域的边界。

在图47中，由P表示细线区域的边界，其为其上的像素值的符号改变的像素与(在峰值P侧)紧邻其的像素之间的边界。

如图47所示，由其中投影了细线图像的像素构成的细线区域F为在细线区域边界C和细线区域边界D之间的区域。

单调增/减检测单元203从由这种单调增/减区域构成的细线区域F获得长于预定阈值的细线区域F，即具有比预定阈值更多的像素个数的细线区域F。例如，在阈值为3的情况下，单调增/减检测单元203检测出包括4个或更多像素的细线区域F。

另外，单调增/减检测单元203从检测的细线区域F将峰值P的像素值、峰值P的右侧的像素的像素值、以及峰值P的左侧的像素的像素值中的每个与阈值比较，检测具有峰值P的细线像素区域F，其中峰值P的像素值超过阈值，以及其中峰值P右侧的像素的像素值为阈值或更小、以及其中峰值P左侧的像素的像素值为阈值或更小，并取检测的细线区域F作为由包含细线图像的分量的像素构成的备选区域。

换句话说，确定出，这样的具有峰值P的细线区域F不包括细线图像的分量，其中峰值P的像素值为阈值或更小，或其中峰值P右侧的像素的像素值超过阈值，或其中峰值P左侧的像素的像素值超过阈值，并将该区域从由包括细线图像的分量的像素构成的备选区域中除去。

也就是说，如图48所示，单调增/减检测单元203比较峰值P的像素值与阈值，并比较在空间方向X(由虚线AA’表示的方向)中相邻于峰值P的像素的像素值与阈值，从而检测峰值P所属的细线区域F，其中峰值P的像素值超过阈值，以及其中在空间方向X上相邻于其的像素的像素值等于或小于阈值。

图49示出了在由图48中的AA’表示的空间方向X中排列的像素的像素值。这样的峰值P所属的细线区域F包括细线分量，在所述细线区域中，峰值P的像素值超过阈值Th_S，以及其中在空间方向X上相邻于其的像素的像素值等于或小于阈值Th_S。

注意，可以这样设置，其中单调增/减检测单元203取背景像素值为参考，比较峰值P的像素值和背景的像素值之差与阈值，并且还比较在空间方向上相邻于峰值P的像素的像素值和背景的像素值之差与阈值，从而检测峰值P所属的细线区域F，其中峰值P的像素值和背景的像素值之差超过阈值，以及其中在空间方向X上相邻的像素的像素值和背景的像素值之差等于或小于阈值。

单调增/减检测单元203将表示如下区域的单调增/减区域信息输出给连续性检测单元204，所述区域由这样的像素构成，所述像素的像素值以峰值P作为参考单调减小，并且像素值的符号与峰值P的符号相同，其中峰值P超过阈值，并且其中峰值P右侧的像素的像素值等于或低于阈值，以及峰值P左侧的像素的像素值等于或低于阈值。

在检测这样的像素的区域的情况下，所述像素在屏幕的垂直方向中排列成单行，在所述屏幕上已经投影了细线的图像，属于由单调增/减区域信息表示的区域的像素被排列在垂直方向上，并包括其上投影了细线图像的像素。也就是说，由单调增/减区域信息表示的区域包括由在屏幕的垂直方向上排列成单行的像素形成的区域，在所述屏幕中已经投影了细线的图像。

这样，顶点检测单元202和单调增/减检测等于203检测由其上投影了细线的图像的像素构成的连续性区域，利用这样的性质，对于其中被投影了细线的图像的像素，其像素值在空间方向Y上的变化近似于高斯分布。

在由在垂直方向上排列的像素构成的区域中，其由从单调增/减检测单元203提供的单调增/减区域信息表示，连续性检测单元204检测包括在水平方向上相邻的像素的区域，即具有类似像素值变化并在垂直方向上重复的区域作为连续区域，并输出峰值信息和表示检测的连续区域的数据连续性信息。数据连续性信息包括单调增/减区域信息、表示区域的连接的信息等。

对于已经被投影细线的像素，弧形以相邻的方式以不变的间隔对准，从而检测的连续区域包括其中已经被投影细线的像素。

检测的连续区域包括这样的像素，其中弧形相邻地以恒定间隔对准，所述像素已经被投影细线，从而将检测的连续区域作为连续性区域，并且连续性检测单元204输出表示检测的连续区域的数据连续性信息。

也就是说，连续性检测单元204使用通过成像细线而获得的数据3中的连续性，其中弧形相邻地以恒定间隔对准，所述连续性由于现实世界1中的细线的图像的连续性而被产生，所述连续性的实质为在长度方向上的连续，从而进一步缩小利用峰值检测单元202和单调增/减检测单元203检测的备选区域。

图50描述了检测单调增/减区域的连续性的处理。

如图50所示，在由在屏幕的垂直方向上对准为单行的像素形成的细线区域F包括在水平方向中相邻的像素的情况下，连续性检测单元204确定在两个单调增/减区域之间存在连续性，并且在不包括在水平方向中相邻的像素的情况下，确定在两个细线区域F之间不存在连续性。例如，在包括在水平方向中相邻于细线区域F₀的像素的像素的情况下，确定由在屏幕的垂直方向中对准为单行的像素构成的细线区域F_-1与由在屏幕的垂直方向上对准为单行的像素构成的细线区域F₀是连续的。在包括在水平方向中相邻于细线区域F₁的像素的像素的情况下，确定由在屏幕的垂直方向中对准为单行的像素构成的细线区域F₀与由在屏幕的垂直方向上对准为单行的像素构成的细线区域F₁是连续的。

这样，通过峰值检测单元202至连续性检测单元204检测由在屏幕的垂直方向上对准为单行的像素构成的区域，在所述屏幕上已经被投影细线图像。

如上所述，峰值检测单元202至连续性检测单元204检测由在屏幕的垂直方向上对准为单行的像素构成的区域，在所述屏幕上已经被投影细线图像，并且还检测在屏幕的水平方向上对准为单行的像素构成的区域，在所述屏幕上已经被投影细线图像。

注意，处理顺序并不约束本发明，并且当然可以并行执行。

也就是说，峰值检测单元202对于在屏幕中的水平方向上对准为单行的像素检测作为峰值的像素，其具有比在屏幕上位于左侧和右侧的像素的像素值更大的像素值，并且，所示单元202将表示检测的峰值的位置的峰值信息提供给单调增/减检测单元203。峰值检测单元202从例如一帧图像的一个图像中检测一个或多个峰值。

例如，峰值检测单元202从还没有被取为关注像素的一帧图像的像素中选择关注像素，比较关注像素的像素值与在关注像素左侧的像素的像素值，比较关注像素的像素值与在关注像素右侧的像素的像素值，检测像素值大于其左侧像素的像素值并大于其右侧像素的像素值的关注像素，并取该检测到的关注像素作为峰值。峰值检测单元202将表示检测到的峰值的峰值信息提供给单调增/减检测单元203。

存在峰值检测单元202未检测到峰值的情况。

单调增/减检测单元203检测相对于由峰值检测单元202检测的峰值的备选区域，所述区域由在水平方向中对准为单行的像素构成，并且其中已经被投影细线图像，以及，所述单元203将表示检测区域的单调增/减区域信息与峰值信息一起提供给连续性检测单元204。

尤其是，单调增/减检测单元203检测由具有以峰值像素值为参考单调减小的像素值的像素构成的区域，作为由其上投影了细线图像的像素构成的备选区域。

例如，对于相对峰值的在水平方向的单行中的每个像素，单调增/减检测单元203获得每个像素的像素值、与左侧像素的像素值之差、以及与右侧像素的像素值之差。单调增/减检测单元203然后通过检测其中差的符号改变的像素，而检测其中像素值单调减小的区域。

另外，单调增/减检测单元以峰值的像素值的符号为参考，检测由具有与峰值像素值的符号相同的像素值的像素构成的区域作为由其中已经被投影细线图像的像素构成的备选区域。

例如，单调增/减检测单元203比较每个像素的像素值的符号与左侧的像素的像素值的符号或右侧的像素的像素值的符号，并检测像素值的符号改变的像素，从而从像素值单调减小的区域检测出由具有与峰值符号相同的像素值的像素构成的区域。

这样，单调增/减检测单元203检测在水平方向上对准、并具有与峰值的符号相同的像素值的像素构成的区域，其中所述像素值相对于峰值单调减小。

从由这种单调增/减区域构成的细线区域，单调增/减检测单元203获得比预先设置的阈值长的细线区域，即比阈值具有更多像素个数的细线区域。

另外，从如此检测的细线区域，单调增/减检测单元203比较峰值的像素值、峰值上方的像素的像素值、以及峰值下方的像素的像素值中的每一个与阈值，检测这样的包括峰值的细线区域，其中峰值的像素值超过阈值，峰值上方的像素的像素值在阈值范围内、以及峰值下方的像素的像素值在阈值范围内，并取检测的细线区域作为由包含细线图像的分量的像素构成的备选区域。

换句话说，确定出，这样的具有峰值的细线区域不包括细线图像的分量，其中峰值的像素值在阈值范围内，或峰值上方的像素的像素值超过阈值，或峰值下方的像素的像素值超过阈值，并将该区域从由包括细线图像的分量的像素构成的备选区域中除去。

注意，可以将单调增/减检测单元203设置为取背景像素值为参考，比较像素的像素值和背景的像素值之差与阈值，并且还比较背景的像素值和在垂直方向上相邻于峰值的像素的像素值之差与阈值，从而取这样的检测的细线区域作为由包括细线图像分量的像素构成的备选区域，其中峰值的像素值和背景的像素值之差超过阈值，以及背景的像素值和在垂直方向上相邻的像素的像素值之差在阈值范围内。

单调增/减检测单元203将表示如下区域的单调增/减区域信息提供给连续性检测单元204，所述区域由这样的像素构成，所述像素的像素值的符号与峰值的符号相同，并以峰值P作为参考单调减小，其中峰值超过阈值，并且峰值右侧的像素的像素值在阈值范围内，以及峰值左侧的像素的像素值在阈值范围内。

在检测由这样的像素构成的区域的情况下，所述像素在屏幕的水平方向中对准为单行，在所述屏幕上已经投影了细线的图像，属于由单调增/减区域信息表示的区域的像素包括被对准在水平方向上的像素，其上投影了细线图像的像素。也就是说，由单调增/减区域信息表示的区域包括由在屏幕的水平方向上对准成单行的像素形成的区域，在所述屏幕中已经投影了细线的图像。

在由在水平方向上对准的像素构成的区域中，其由从单调增/减检测单元203提供的单调增/减区域信息表示，连续性检测单元204检测包括在垂直方向上相邻的像素的区域，即具有类似像素值变化并在水平方向上重复的区域作为连续区域，并输出表示峰值信息和检测的连续区域的数据连续性信息。数据连续性信息包括表示区域的连接的信息等。

对于已经被投影细线的像素，弧形以相邻的方式以不变的间隔对准，从而检测的连续区域包括其中已经被投影细线的像素。

检测的连续区域包括这样的像素，其中弧形以恒定间隔排列，所述像素已经被投影细线，从而将检测的连续区域作为连续性区域，并且连续性检测单元204输出表示检测的连续区域的数据连续性信息。

也就是说，连续性检测单元204使用通过成像细线而获得的数据3中的连续性，其中弧形相邻地以恒定间隔排列，所述连续性从现实世界1中的细线的图像的连续性而产生，所述连续性为在长度方向上的连续，从而进一步缩小利用峰值检测单元202和单调增/减检测单元203检测的备选区域。

图51示出了其中通过平面模拟选取连续性分量的图像的实例。

图52示出了检测图51中的图像的峰值、并检测单调减小区域的结果。在图52中，白色表示的部分为检测的区域。

图53示出了其中通过检测图52中的图像的相邻区域的连续性而检测连续性的区域。在图53中，示出为白色的部分是已经被确定连续性的区域。可以理解，对连续性的检测还识别了所述区域。

图54示出了如图53所示的区域的像素值，即已经被检测连续性的区域的像素值。

从而，数据连续性检测单元101可以检测在作为输入图像的数据3中包含的连续性。也就是说，数据连续性检测单元101可以检测包括在数据3中的数据连续性，所述数据连续性由现实世界1的图像产生，所述图像为被投影到数据3上的细线。数据连续性检测单元101从数据3检测由这样的像素构成的区域，在所述像素中被投影有为细线的现实世界的图像。

图55示出了利用数据连续性检测单元101检测具有连续性的区域的其它处理的实例，其中被投影有细线图像。如图55所示，数据连续性检测单元101每个像素与相邻像素的像素值差的绝对值。对应像素放置计算出的差的绝对值。例如，在例如如图55所示的情况中，其中存在具有各个像素值P0、P1和P2的对准的像素，数据连续性检测单元101计算差d0＝P0-P1和差d1＝P1-P2。另外，数据连续性检测单元101计算差d0和差d1的绝对值。

在包含在像素值P0、P1和P2中的非连续性分量相同的情况下，只将对应于细线分量的值设置为差d0和差d1。

因此，对于对应于像素放置的差的绝对值，在相邻差值相同的情况下，数据连续性检测单元101确定，对应于两个差的绝对值的像素(在两个差的绝对值之间的像素)包含细线分量。另外，对于根据像素放置的差的绝对值，在相邻差值相同但是差的绝对值小于预定阈值的情况下，数据连续性检测单元确定，对应于两个差的绝对值的像素(在两个差的绝对值之间的像素)不包含细线的分量。

数据连续性检测单元101还可以利用例如这样的简单方法检测细线。

图56是描述连续性检测处理的流程图。

在步骤S201，非连续性分量选取单元201从输入图像选取非连续性分量，所述分量是除了已经被投影细线的部分的部分。非连续性分量选取单元201将表示选取的非连续性分量的非连续性分量信息与输入图像一起提供给峰值检测单元202和单调增/减检测单元203。下面将描述用于选取非连续性分量的处理的细节。

在步骤S202，峰值检测单元202根据从非连续性分量选取单元201提供的非连续性分量信息，从输入图像除去非连续性分量，从而只留下输入图像中的包括连续性分量的像素。另外，在步骤S202，峰值检测单元202检测峰值。

也就是说，在以屏幕的垂直方向作为参考而实施处理的情况中，对于包含连续性分量的像素，峰值检测单元202比较每个像素的像素值与上方和下方的像素的像素值，并确定像素值比上方像素的像素值和下方像素的像素值都大的像素，从而检测峰值。另外，在步骤S202中，在以屏幕的水平方向为参考而实施处理的情况中，对于包含连续性分量的像素，峰值检测单元202比较每个像素的像素值与右侧和左侧的像素的像素值，并确定像素值比右侧像素的像素值和左侧像素的像素值都大的像素，从而检测峰值。

峰值检测单元202将表示检测的峰值的峰值信息提供给单调增/减检测单元203。

在步骤S203，单调增/减检测单元203根据从非连续性分量选取单元201提供的非连续性分量信息，从输入图像除去非连续性分量，从而只留下输入图像中的包括连续性分量的像素。另外，在步骤S203，单调增/减检测单元203根据从峰值检测单元202提供的表示峰值位置的峰值信息，通过检测相对于峰值的单调增/减，检测由具有数据连续性的像素构成的区域。

在以屏幕的垂直方向作为参考而实施处理的情况中，单调增/减检测单元203根据峰值的像素值和相对于峰值垂直对准的一行像素的像素值，检测由垂直对准的一行像素构成的单调增/减，在所述像素中已经被投影单个信息图像，从而检测由具有数据连续性的像素构成的区域。也就是说，在步骤S203中，在以屏幕的垂直方向作为参考而实施处理的情况中，单调增/减检测单元203相关于峰值和相对于峰值垂直对准的一行像素，获得每个像素的像素值与上方和下方的像素的像素值之差，从而检测差的符号改变的像素。另外，相关于峰值和相对于峰值垂直对准的一行像素，单调增/减检测单元203比较每个像素的像素值的符号与上方或下方的像素的像素值的符号，从而检测像素值的符号改变的像素。另外，单调增/减检测单元203比较峰值的像素值、峰值右侧和左侧的像素的像素值与阈值，并检测由其中峰值的像素值超过阈值、并且其中峰值右侧和左侧的像素的像素值在阈值范围之内的像素构成的区域。

单调增/减检测单元203取通过这样检测的区域作为单调增/减区域，并将表示单调增/减区域的单调增/减区域信息提供给连续性检测单元204。

在以屏幕的水平方向作为参考而实施处理的情况中，单调增/减检测单元203根据峰值的像素值和相对于峰值水平对准的一行像素的像素值，检测由水平对准的一行像素构成的单调增/减，在所述像素中已经被投影单个信息图像，从而检测由具有数据连续性的像素构成的区域。也就是说，在步骤S203中，在以屏幕的水平方向作为参考而实施处理的情况中，单调增/减检测单元203相关于峰值和相对于峰值水平对准的一行像素，获得每个像素的像素值与右侧和左侧的像素的像素值之差，从而检测差的符号改变的像素。另外，相关于峰值和相对于峰值水平对准的一行像素，单调增/减检测单元203比较每个像素的像素值的符号与右侧或左侧的像素的像素值的符号，从而检测像素值的符号改变的像素。另外，单调增/减检测单元203比较峰值的像素值、峰值上侧和下侧的像素的像素值与阈值，并检测由其中峰值的像素值超过阈值、并且其中峰值上侧和下侧的像素的像素值在阈值范围之内的像素构成的区域。

单调增/减检测单元203取通过这样检测的区域作为单调增/减区域，并将表示单调增/减区域的单调增/减区域信息提供给连续性检测单元204。

在步骤S204，单调增/减检测单元203确定对所有像素的处理是否结束。例如，非连续性分量选取单元201检测单屏(例如帧、场等)输入图像的所有像素，并确定是否已经检测单调增/减区域。

当在步骤S204中确定对所有像素的处理没有结束的情况下，即，还存在没有经过峰值检测和单调增/减区域检测的处理的像素，则流程返回步骤S202，将还没有经过峰值检测和单调增/减区域检测的处理的像素选作为处理的对象，并且重复峰值检测和单调增/减区域检测的处理。

当在步骤S204中确定对所有像素的处理已经结束的情况下，在已经对所有像素检测峰值和单调增/减区域的情况下，则流程进到步骤S205，其中，连续性检测单元204根据单调增/减区域信息，检测检测出的区域的连续性。例如，在由在屏幕的垂直方向上对准的一行像素构成、由单调增/减区域信息表示的单调增/减区域在水平方向上包括相邻像素的情况下，则连续性检测单元204确定，在两个单调增/减区域之间存在连续性，而在不包括在水平方向上的相邻像素的情况下，确定在两个单调增/减区域之间不存在连续性。例如，在由在屏幕的水平方向上对准的一行像素构成、由单调增/减区域信息表示的单调增/减区域在垂直方向上包括相邻像素的情况下，则连续性检测单元204确定，在两个单调增/减区域之间存在连续性，而在不包括在垂直方向上的相邻像素的情况下，确定在两个单调增/减区域之间不存在连续性。

连续性检测单元204取检测的连续性区域作为具有数据连续性的连续性区域，并输出表示峰值位置和连续性区域的数据连续性信息。数据连续性信息包含表示区域的连接的信息。从连续性检测单元204输出的数据连续性信息表示作为连续性区域的细线区域，其由其中已经被投影现实世界1的细线图像的像素构成。

在步骤S206中，连续性方向检测单元205确定对所有像素的处理是否已经结束。也就是说，连续性方向检测单元205确定是否已经对特定帧的输入图像的所有像素检测区域连续性。

当在步骤S206中确定对所有像素的处理还没有结束的情况下，即，还存在没有被取作为区域连续性检测的对象的像素，则流程返回步骤S205，选取还没有经过的像素，并重复检测区域连续性的处理。

当在步骤S206中确定对所有像素的处理已经结束的情况下，即，所有像素已经被取作为区域连续性检测的对象，则流程结束。

从而，检测了在作为输入图像的数据3中的连续性。也就是说，检测了在数据3中包含的这样数据连续性，所述连续性由现实世界1的图像产生，所述图像是已经被投影到数据3上的细线，并且，从数据3中检测出具有数据连续性的区域，所述区域由这样的像素构成，在所述像素上已经投影了作为细线的现实世界1的图像。

现在，在图41中示出的数据连续性检测单元101可以根据具有从数据3的帧中检测的数据连续性的区域，检测时间维度的数据连续性。

例如，如图57所示，连续性检测单元204通过连接在帧#n中的具有检测的数据连续性的区域、在帧#n-1中具有检测的数据连续性的区域、以及在帧#n+1中具有检测的数据连续性的区域的边缘，而检测时间维度的数据连续性。

帧#n-1是在时间方向在帧#n之前的帧，而帧#n+1是在时间方向在帧#n之后的帧。也就是说，以帧#n-1、帧#n以及#n+1的顺序显示帧#n-1、帧#n以及#n+1。

尤其是，在图57中，G表示通过连接在帧#n中的具有检测的数据连续性的区域、在帧#n-1中具有检测的数据连续性的区域、以及在帧#n+1中具有检测的数据连续性的区域的一个边缘而获得的移动矢量，而G’表示通过具有检测的数据连续性的区域的另一个边缘所获得的移动矢量。移动矢量G和移动矢量G’是在时间方向上的数据连续性的实例。

另外，具有如图41所示的结构的数据连续性检测单元101可以输出表示具有数据连续性的区域的长度的信息作为数据连续性信息。

图58是示出非连续性分量选取单元201的方框图，其进行对非连续性分量的平面模拟，并选取非连续性分量，所示非连续性分量是图像数据中不具有数据连续性的部分。

具有如图58所示的结构的非连续性分量选取单元201从输入图像选取由预定数的像素构成的块，进行对所述块的平面模拟，使得在所述块与平面值之间的误差小于预定阈值，从而选取非连续性分量。

将输入图像提供给块选取单元221，并将其不变的输出。

块选取单元221从输入图像选取由预定数的像素构成的块。例如，块选取单元221选取由7×7个像素构成的块，并将其提供给平面模拟单元222。例如，块选取单元221以光栅扫描的顺序移动用作将被选取的块的中心的像素，从而从输入图像顺序选取块。

平面模拟单元222在预定平面上模拟在所述块中包括的像素的像素值。例如，平面模拟单元222在由公式(24)表达的平面上模拟在所述块中包括的像素的像素值。

Z＝ax+by+c

                             公式(24)

在公式(24)中，x表示在屏幕一个方向中的像素的位置(空间方向X)，而y表示在屏幕另一个方向中的像素的位置(空间方向Y)。z表示由平面表示的应用值。a表示平面的空间方向X的梯度、而b表示平面的空间方向Y的梯度。在表达式(24)中，c表示平面的偏移(截距)。

例如，平面模拟单元222通过回归处理获得梯度a、梯度b和截距c，从而在由公式(24)表达的平面上模拟包含在块中的像素的像素值。平面模拟单元222通过包括舍选的回归处理获得梯度a、梯度b和截距c，从而在由公式(24)表达的平面上模拟包含在块中的像素的像素值。

例如，平面模拟单元222获得由表达式(24)表达的平面，其中利用最小二乘法，而使得所述块的像素的像素值的误差最小，从而在所述平面上模拟包含在块中的像素的像素值。

注意，尽管平面模拟单元222已被描述为在由公式(24)表达的平面上模拟块，但是其不限于由公式(24)表达的平面，而是，可以在由具有更高自由度的函数表示的平面上模拟所述块，例如n阶多项式(其中n为任意整数)。

重复确定单元223计算模拟值与对应的块的像素的像素值之间的误差，所述模拟值由在其上模拟块的像素值的平面表示。公式(25)是示出模拟值与对应的块的像素的像素值zi之差的误差ei的表达式，其中所述模拟值由在其上模拟块的像素值的平面表示。

$e_i=z_i-\hat{z}=z_i-(\hat{a}{x}_i+\hat{b}{y}_i+\hat{c})$ 公式(25)

在公式(25)中，z-帽(在z上的^符号将被描述为z-帽在本说明书的下文中将使用相同的描述)表示由在其上模拟块的像素值的平面表示的模拟值，a-帽表示在其上模拟块的像素值的平面的空间方向X的梯度，b帽表示在其上模拟块的像素值的平面的空间方向Y的梯度，以及c帽表示在其上模拟块的像素值的平面的偏移(截距)。

重复确定单元223排除这样的像素，所述像素的模拟值与对应的块的像素的像素值的误差ei如公式(25)所示。从而，其中已经被投影细线的像素，即具有连续性的像素被排除。重复确定单元223将表示排除像素的排除信息提供给平面模拟单元222。

另外，重复确定单元223计算标准误差，并这样的情况下，其中标准误差等于或大于预先设置以确定模拟的结束的阈值，并且块的像素的一半或更多的像素没有被排除，则重复确定单元223使平面模拟单元222重复在包含在块中的像素上的平面模拟处理，所述所述块已经被除去排除的像素。

具有连续性的像素被排除，从而，在平面上模拟已经除去排除像素的像素表示，平面模拟非连续性分量。

在标准误差低于用于确定模拟结束的阈值的情况下，或者块的像素的一半或更多的像素已被排除，则重复确定单元223结束平面模拟

在由5×5个像素构成的块中，可以利用例如公式(26)计算标准误差e_s。

$e_s=\mathrm{\Σ}(z_i-\hat{z})/(n-3)$

$=\mathrm{\Σ}\left\{\right(z_i-(\hat{a}{x}_i+\hat{b}{y}_i+\hat{c})\}/(n-3)$ 公式(26)

这里，n是像素个数。

注意，重复确定单元223不限于标准误差，并可以被设置为计算包含在块中的所有像素的方差和，并进行下面的处理。

现在，当对块的平面模拟移动在光栅扫描方向中的一个像素时，如图59所示，具有连续性、在图中由黑圆点表示的像素，即包含细线分量的像素，将被多次排除。

一旦完成平面模拟，重复确定单元223将表示用于模拟块的像素值的平面的信息(公式24的平面的梯度和截距)输出为非连续性信息。

注意，可以进行这样的设置，其中重复确定单元223比较排除每个像素的次数与预设的阈值，并取被排除了等于或大于阈值的多次的像素作为包含连续性分量的像素，并将表示包含连续性分量的像素的信息输出为连续性分量信息。在该情况下，峰值检测单元202至连续性检测单元205在包含由连续性分量信息表示的连续性分量的像素上实施其各自的处理。

下面将参考图60至图67描述非连续性分量选取处理的结果的实例。

图60示出了由原始图像中的2×2个像素的像素值的平均值产生的输入图像的实例，所述原始图像包含已经被生成为像素值的细线。

图61示出了从图60所示的图像获得的图像，其中将作为无排除的平面模拟的结果获得标准误差取为像素值。在图61所示的实例中，对由相关于单个关注像素的5×5个像素值构成的块进行平面模拟。在图61中，白色像素是具有更大像素值的像素，即具有更大标准误差的像素，而黑色像素是具有较小像素值的像素，即具有较小标准误差的像素。

从图61可以确定，在将作为无排除的平面模拟的结果获得标准误差取为像素值的情况中，在非连续性部分的边界处的大面积上获得较大的值。

在图62至图67的实例中，对由相关于单个关注像素的7×7个像素值构成的块进行平面模拟。在对7×7个像素构成的块进行平面模拟的情况中，一个像素被重复包括在块49中，表示，包含连续性分量的像素被排除49次。

图62中，将通过具有图60中的图像排除的平面模拟获得的标准误差取为像素值。

在图62中，白色像素是具有更大像素值的像素，即具有更大标准误差的像素，而黑色像素是具有较小像素值的像素，即具有较小标准误差的像素。可以理解，标准误差在进行排除的情况中比在不进行排除的情况中总体较小。

图63中，将在具有图60中的图像排除的平面模拟中的排除次数取为像素值。在图63中，白色像素是具有更大像素值的像素，即被排除更多次数的像素，而黑色像素是具有较小像素值的像素，即被排除较少次数的像素。

从图63可以理解，其中被投影细线图像的像素被排除更多的次数。利用其中取排除次数作为像素值的图像，可以生成用于掩盖输入图像的非连续性部分的图像。

在图64中示出的图像中，取用于模拟块的像素值的平面的空间方向X的梯度作为像素值。在图65中示出的图像中，取用于模拟块的像素值的平面的空间方向Y的梯度作为像素值。

图66是由用于模拟块的像素值的平面表达的模拟值构成的图像。可以理解，在图像66中，细线已经消失。

图67是由图60中的图像与图66中的被表达为平面的模拟值构成的图像的差构成的图像，其中图60通过取原始图像中的2×2个像素的块的平均值作为像素值而产生。图67所示的图像的像素值已经将非连续性分量除去，从而只剩下其上被投影细线图像的值。从图67可以理解，在由原始图像的像素值与由进行模拟的平面表示的模拟值之差构成的图像中，较好地选取了原始图像的连续性分量。

可以将以下值用作输入图像的特征：排除次数、用于模拟块的像素的像素值的平面的空间方向X的梯度、用于模拟块的像素的像素值的平面的空间方向Y的梯度、由用于模拟块的像素的像素值的平面表达的模拟值、以及误差ei。

图68是描述利用具有图58所示的结构的非连续性分量选取单元201选取非连续性分量的处理的流程图。

在步骤S221中，块选取单元221从输入图像选取由预定数的像素构成的块，并将其提供给平面模拟单元222。例如，块选取单元221选择还没有被选取的输入图像的像素的一个像素，并选取以选择块为中心的由7×7个像素构成的块。例如，块选取单元221可以以光栅扫描的顺序选择像素。

在步骤S222中，平面模拟单元222在平面上模拟所选取的块。例如，平面模拟单元222通过回归处理在平面上模拟选取块的像素的像素值。例如，平面模拟单元222通过回归处理在平面上模拟除排除的像素以外的选取块的像素的像素值。在步骤S223中，重复确定单元223执行重复确定。例如，通过从块的像素的像素值和平面模拟值计算标准误差，并计算排除像素的个数。

在步骤S224，重复确定单元223确定标准误差是否等于或大于阈值，并且在确定标准误差等于或大于阈值的情况下，流程进到步骤S225。

注意，可以这样设置，其中重复确定单元223在步骤S224中确定是否已排除块中一半或更多的像素，以及标准误差是否等于或大于阈值，并在确定块的一半或更多的像素已经被排除、并且标准误差等于或大于阈值的情况下，流程进到步骤S225。

在步骤S225，重复确定单元223计算块的每个像素的像素值与模拟的平面模拟值之间的误差，排除具有最大误差的像素，并通知平面模拟单元222。该过程返回到步骤S222，并且对除被排除的像素以外的块的像素重复平面模拟处理和重复确定处理。

在步骤S225，在这样的情况下，其中在步骤S221的处理中选取这样的块，所述块被移动在栅格扫描方向中的一个像素，包括细线分量的像素(图中由黑色圆点表示)被排除多次，如图59所示。

在其中在步骤S224中确定标准误差不等于或大于阈值的情况下，所述块已经在平面上被模拟，从而流程进到步骤S226。

注意，可以这样设置，其中重复确定单元223在步骤S224中确定是否已排除块中一半或更多的像素，以及标准误差是否等于或大于阈值，并在确定块的一半或更多的像素已经被排除、并且标准误差等于或大于阈值的情况下，流程进到步骤S225。

在步骤S226，重复确定单元223输出用于模拟块的像素的像素值的平面的梯度和截距作为非连续性分量信息。

在步骤S227，块选取单元221确定对一屏输入图像的所有像素的处理是否已经结束，并在确定仍然存在未被取作为处理对象的像素的情况下，流程返回到步骤S221，从仍未经过处理的像素选取块，并重复上述处理。

在步骤S227中确定对一屏输入图像的所有像素的处理已经结束的情况下，该处理结束。

从而，具有图58所示结构的非连续性分量选取单元201可以从输入图像选取非连续性分量。非连续性分量选取单元201从输入图像选取非连续性分量，从而峰值检测单元202和单调增/减检测单元203可以获得输入图像与由非连续性分量选取单元201选取的非连续性分量之差，从而执行关于包含连续性分量的差的处理。

注意，可以使用在平面模拟处理中计算的如下值作为特征：在进行排除的情况下的标准误差、在不进行排除的情况下的标准误差、排除像素的次数、平面的空间方向X的梯度(在公式(24)中的a-帽)、平面的空间方向Y的梯度(在公式(24)中的b-帽)、平面平移的水平(在公式(24)中的c-帽)、以及在输入图像的像素值与由平面表示的模拟值之差。

图69是描述用于用具有图58所示的结构的非连续性分量选取单元201选取连续性分量的处理的流程图，该处理代替了用于对应于步骤S201选取非连续性分量的处理。步骤S241至步骤S245的处理与步骤S221至步骤S225的处理相同，从而省略对其的描述。

在步骤S246中，重复确定单元223输出由平面表示的模拟值与输入图像的像素值之差作为输入图像的连续性分量。也就是说，重复确定单元223输出平面模拟值与实际像素值之差。

注意，可以将重复确定单元223设置为关于其由平面表示的模拟值与输入图像的像素值之差等于或大于预定阈值的像素的像素值，输出由平面表示的模拟值与输入图像的像素值之差，作为输入图像的连续性分量。

步骤S247的处理与步骤S227的处理相同，因此省略对其的描述。

平面模拟非连续性分量，因此，非连续性分量选取单元201通过从在输入图像的每个像素的像素值中减去由用于模拟像素值的平面表示的模拟值，可以从输入图像中除去非连续性分量。在这种情况下，峰值检测单元202至连续性检测单元204可以只处理输入图像的连续性分量，即已经被投影细线图像的值，从而利用峰值检测单元202至连续性检测单元204的处理变得更加容易。

图70是描述用于利用具有如图58所示的结构的非连续性分量选取单元201选取连续性分量的另一处理的流程图，所述处理取代了对应于步骤S201的用于选取非连续性分量的处理。步骤S261至步骤S265的处理与步骤S221至步骤S225的处理相同，因此省略对其的描述。

在步骤S266中，重复确定单元223存储对每个像素的排除次数，该流程返回到步骤S262，并且重复所述处理。

在步骤S264，在确定标准误差不等于或大于阈值的情况下，所述块已经在平面上模拟，从而流程进到步骤S267，重复确定单元223确定对一屏输入图像的所有像素的处理是否已经结束，并且在确定仍存在没有被取作为处理对象的像素的情况下，流程回到标准S261，关于仍未经过处理的像素，选取块，并重复上述处理。

在步骤S627中确定对一屏输入图像的所有像素的处理已经结束的情况下，则流程进到步骤S268，重复确定单元223选择未被选择的像素，并确定对选择像素的排除次数是否等于或大于阈值。例如，重复确定单元223在步骤S268中确定对选择图像的排除次数是否等于或大于预先存储的阈值。

在步骤S268中确定对选择的像素的排除次数等于或大于阈值的情况下，则选择的像素包含连续性分量，从而流程进到步骤S269，在该步骤中，重复确定单元223输出选择像素的像素值(输入图像中的像素值)作为输入图像的连续性分量，并且流程进到步骤S270。

在步骤S268中确定对选择图像的排除次数不等于或大于阈值的情况下，则选择图像不包含连续性分量，从而跳过在步骤S269中的处理，并且过程进到步骤S270。也就是说，不输出这样的像素的像素值，关于所述像素，已经确定排除次数不等于或大于阈值。

注意，可以这样设置，其中重复确定单元223输出关于已经被确定对其的排除次数不等于或大于阈值的像素的设为0的像素值。

在步骤S270中，重复确定单元223确定对一屏输入图像的所有像素的处理是否已经结束，以确定排除次数是否等于或大于阈值，并在确定所述处理对于所有像素还没有结束的情况下，这表示仍然存在没有被取作为处理对象的像素，从而流程返回步骤S268，选择仍未经过处理的像素，并重复上述处理。

在步骤S270中确定对于一屏输入图像的所有像素的处理已经结束的情况下，则处理结束。

从而，对于输入图像的像素，非连续性分量选取单元201可以输入包含连续性分量的像素的像素值作为连续性分量信息。也就是说，对于输入图像的像素，非连续性分量选取单元201可以输出包含细线图像的分量的像素的像素值。

图71是描述用于利用具有如图58所示的结构的非连续性分量选取单元201选取连续性分量的另一处理的流程图，所述处理取代了对应于步骤S201的用于选取非连续性分量的处理。步骤S281至步骤S288的处理与步骤S261至步骤S268的处理相同，因此省略对其的描述。

在步骤S289中，重复确定单元223输出由平面表示的模拟值与选择像素的像素值之差作为输入图像的连续性分量。也就是说，重复确定单元223输出已经从输入图像中除去非连续性分量的图像作为连续性细线。

步骤S290的处理与步骤S270的处理相同，因此省去对其的描述。

从而，非连续性分量选取单元201可以输出其中已经从输入图像除去非连续性分量的图像作为连续性信息。

如上所述，在已经投影现实世界光信号的情况下，检测出其中现实世界光信号的部分连续性已经被丢失的第一图像数据的多个像素的像素值的非连续性部分，从检测的非连续性部分检测数据连续性，通过根据检测的数据连续性估计现实世界光信号的连续性，产生了用于模拟光信号的模型(函数)，并根据产生的函数生成第二图像数据，可以获得对于现实世界中的事件更精确并具有更高精度的处理结果。

图72是示出数据连续性检测单元101的另一结构的方框图。与图41中相同的部分以相同的标号示出，并省略对其的描述。

在具有图72所示结构的数据连续性检测单元101中，基于由连续性检测装置检测的单调增/减区域的第一单调增/减区域中设置的多个第一像素的像素值的变化、以及设置在相邻于第一单调增/减区域的第二单调增/减区域中的相邻于多个第一像素的多个第二像素的像素值变化，检测连续性区域中的连续性的方向。

在具有图72所示结构的数据连续性检测单元101中，将输入图像提供给非连续性分量选取单元201和数据连续性方向检测单元301。

峰值检测单元202将表示检测的峰值的峰值信息提供给单调增/减检测单元203和数据连续性方向检测单元301。

连续性检测单元204将峰值信息和表示连续性区域(细线区域(单调增/减区域))的数据连续性信息提供给数据连续性方向检测单元301。

数据连续性方向检测单元301基于输入图像检测连续性区域的连续性，其为具有数据连续性的连续性区域的连续性的方向、表示从峰值检测单元202提供的峰值信息、以及属于由连续性检测单元204检测的连续性区域的像素值。数据连续性方向检测单元301输出峰值信息、检测的连续性区域、以及表示连续性的连续性区域的方向的数据连续性信息。

图73是示出数据连续性方向检测单元301的结构的方框图。也就是说，数据连续性方向检测单元301包括像素值变化检测单元321和方向检测单元322。

像素值变化检测单元321基于输入图像、从峰值检测单元202提供的表示峰值的峰值信息、以及属于由连续性检测单元204检测的连续性区域(细线区域(单调增/减区域))中的像素值检测区域中的像素值变化，并将表示像素值变化的信息提供给方向检测单元322。

尤其是，像素值变化检测单元321对由连续性检测单元204检测的每个连续性区域计算峰值像素值与属于该区域的每个像素的像素值之差。另外，像素值变化检测单元321计算属于该区域并相邻于另一个与该区域相邻的区域的峰值的像素的像素值、与相邻于该区域的像素的像素值之差。像素值变化检测单元321对方向检测单元322提供表示峰值像素值与属于该区域的每个像素的像素值之差、以及属于该区域并相邻于另一个与该区域相邻的区域的峰值的像素的像素值、与属于该区域的像素的像素值之差的信息。

方向检测单元322基于从像素值变化检测单元321提供的表示像素值变化的信息，检测连续性区域的连续性的方向，其为具有数据连续性的连续性区域的连续性方向。

尤其是，在从峰值的减小与增大匹配的情况下，将从相邻于该区域的区域确定的方向检测作为连续性区域的连续性方向，其中所述减小被表示为属于该区域的峰值的像素值与属于该区域的像素值之差，所述增大被表示为相邻于与该区域相邻的另一个区域中的峰值的像素的像素值与相邻于属于该区域的像素的像素的像素值之差。

图74示出了图像表现波纹，其在利用作为图像传感器的传感器2成像重复细线图形时出现，也就是说，其为输入图像包含的所谓的波纹。

在图像包含波纹中，在简单地根据相邻于细线区域的像素是否被包括在其中而检测连续性的情况下，如图75所示，同时检测出错误细线方向B和正确细线方向A(连续性区域的连续性方向)。

因此，在本发明中，利用其上投影有细线图像的数据3的性质获得数据3的连续性区域的正确的连续性方向。

图76示出了其上投影了细线图像的数据3的像素。在图73中，水平方向表示空间方向X，垂直方向表示空间方向Y。在图76中，在两点连线之间的区域表示已经投影细线图像的区域。在图76中，P表示峰值。

图77示出了其上投影有图76所示的细线图像的数据3中的三行像素的像素值。

在图77中，图像向上方向表示像素值，图中右上方向表示空间方向Y，以及图中向下方向表示空间方向X。在图77中，P表示峰值。

如图77所示，由其上投影细线图像的数据3的像素的像素值表示的波形示意性地采用弧形。细线图像具有近似相同的直径和相同的水平，无论其哪个部分，从而通过投影特定长度的细线图像获得的像素值通常为常数。换句话说，在将特定长度的细线图像投影到多个像素的像素值的情况下，在多个像素的像素值中，其中被投影特定长度的细线图像的值为常数。

也就是说，在属于细线区域的像素的像素值相对于峰值P减小的情况下，对应于减小像素值的细线图像被投影到另一个细线区域的其它像素上。

具有图72所示结构的数据连续性检测单元101利用通过投影特定长度的细线图像获得的像素值的和通常为常数的性质获得对应于细线方向的连续性区域的正确连续性方向。也就是说，具有图72所示结构的数据连续性检测单元101利用在属于细线区域的像素的像素值减小的情况下，对应于正确的细线方向的位置上的细线区域的像素的像素值对应于减小量增加的事实，获得对应于细线方向的连续性区域的连续性的正确方向。

如图78所示，在相邻于峰值P的像素并属于与峰值P相同的细线区域的像素e₁的像素值相比于峰值P的像素值减小的情况下，可以将减小的像素值看作被分配给像素e₂，像素e₂相邻于像素e₁并属于相邻于峰值P所属细线区域的细线区域。

也就是说，如图79所示，从峰值像素值到像素e₁的像素值的减小A的绝对值等于从属于相邻于峰值P所属细线区域的细线区域、并相邻于峰值P的像素e₃到相邻于像素e₁的像素e₂的增大B的绝对值。

另外如图80所示，在属于与峰值P相同的细线区域并相邻于像素e₁的像素e₄的像素值相比于峰值P的像素值减小的情况下，可以将减小的值看作被分配给像素e₅，像素e₅相邻于像素e₄并属于相邻于峰值P所属细线区域的细线区域。

如图81所示，从峰值像素值到像素e₄的像素值的减小C的绝对值等于从属于相邻于峰值P所属细线区域的细线区域、并相邻于峰值P的像素e₃到相邻于像素e₄的像素e₅的增大D的绝对值。

在两个或多个细线区域在单个细线区域上连续的情况下，数据连续性方向检测单元301检测包括其中像素值对应于细线区域的像素值的变化而变化为连续性方向的像素值的细线区域。也就是说，在两个或多个细线区域在单个细线区域上连续的情况下，数据连续性方向检测单元301检测包括其中像素值对应于细线区域的像素值的减小而减小为连续性方向的像素值的细线区域，或检测包括其中像素值对应于细线区域的像素值的增大而增大为连续性方向的像素值的细线区域。

图82到图84示出了处理结果的实例。

图82示出了输入图像的实例。在图82中，包括朝向图像右上方的细线图像。

在不执行检测连续性方向的处理而利用错误方向进行图像处理的情况下，如图83所示，细线图像消失。在如图83所示的情况下，确定包括朝向左上方的细线图像。

相反，如图84所示，在执行用于检测连续性方向的处理的情况下，检测正确的连续性方向，并产生细线图像。

接着，将参考图85描述具有图72所示结构的数据连续性检测单元101所进行检测数据连续性的处理。

步骤S301到S305与图56中步骤S201到步骤S205的处理相同，因此省略对其的描述。

在步骤S306中，数据连续性方向检测单元301执行用于检测数据连续性方向的处理。下面将详细描述检测数据连续性方向的处理。

步骤S307的处理与图56中步骤S206的处理相同，因此省略对其的描述。

接着，将参考图86的流程图描述对应于步骤S306中的检测数据连续性方向的处理。

在步骤S331中，数据连续性方向检测单元301的像素值变化检测单元321基于从连续性检测单元204提供的数据连续性信息，确定是否存在从作为峰值P所属的细线区域的单调增/减区域连续的两个或多个单调增/减区域，在确定存在从作为峰值P所属的细线区域的单调增/减区域连续的两个或多个单调增/减区域的情况下，需要检测连续性的准确方向，从而流程进到步骤S332，其中像素值变化检测单元321获得单调增/减区域的像素值。

在步骤S333中，像素值变化检测单元321计算峰值P所属的细线单调增/减区域的像素的像素值的变化。像素值变化检测单元321将计算的峰值P所属的细线单调增/减区域的像素的像素值的变化提供给方向检测单元322。例如，像素值变化检测单元321以峰值P的像素值为参考，计算峰值P所属的单调增/减区域的像素的像素值的减小。

在步骤S334中，像素值变化检测单元321计算相邻于峰值P所属的细线单调增/减区域的单调增/减区域的像素的像素值的变化。像素值变化检测单元321将计算的相邻于峰值P所属的细线单调增/减区域的单调增/减区域的像素的像素值的变化提供给方向检测单元322。例如，关于邻于峰值P所属的单调增/减区域的单调增/减区域的像素，像素值变化检测单元321以相邻于峰值P的像素的像素值为参考，计算属于相邻单调增/减区域的像素的像素值的增大。

在步骤S335中，方向检测单元322比较在峰值P所属的细线单调增/减区域中的像素的像素值变化的绝对值、与在相邻于峰值P所属的细线单调增/减区域的单调增/减区域中的像素的像素值变化的绝对值。例如，方向检测单元322比较在峰值P所属的细线单调增/减区域中的像素的像素值基于峰值P的像素值的减小的绝对值、与关于相邻单调增/减区域的像素的在相邻于峰值P所属的细线单调增/减区域的单调增/减区域中的像素的像素值基于相邻于峰值P的像素的像素值的增加的绝对值。

在步骤S336中，方向检测单元322取在步骤S335的处理中比较出的具有小绝对值差的相邻单调增/减区域、和峰值P所属的细线单调增/减区域确定的方向作为数据连续性方向，从而处理结束。方向检测单元322输出包括表示具有数据连续性的区域和数据连续性方向的数据连续性信息。

例如，方向检测单元322设置矢量，以峰值P作为其起点，以具有小差绝对值的相邻单调增/减区域的峰值为其终点，作为表示连续性方向的矢量。

在步骤S331中，在确定不存在从峰值P所属的细线区域连续的两个或多个细线区域的情况下，不需要检测正确的数据连续性的方向，从而跳过步骤S332到步骤S336，并且该处理结束。

这样，具有图72所示结构的数据连续性检测单元101可以检测数据连续性方向，还可以检测具有数据连续性的区域。

注意，在将平面适配到输入图像上的情况下，可以基于通过从输入图像的像素的像素值减去由用于适配的平面模拟的模拟值获得的值检测数据连续性的方向。

图87是示出数据连续性检测单元101的结构的方框图，所述单元基于通过从输入图像的像素的像素值减去由用于适配的平面模拟的模拟值获得的差值检测数据连续性的方向。

在具有图87所示结构的数据连续性检测单元101中，数据连续性方向检测单元301从通过从输入图像的像素的像素值减去由用于适配的平面模拟的模拟值获得的差值检测单调增/减区域的像素值变化。数据连续性方向检测单元301基于从差值检测的单调增/减区域的像素值变化检测连续性区域的连续性方向。

从而，在检测其中投影有现实世界光信号、并丢失了现实世界光信号的部分连续性的输入图像中的多个像素的像素值的非连续性部分、从非连续性部分检测像素值变化的峰值、检测其中像素值从峰值单调增加或减小的单调增/减区域、检测其中检测的单调增/减区域的单调增/减区域位于屏幕上的相邻位置的单调增/减区域作为具有图像数据连续性的连续性区域、以及检测连续性区域的连续性方向的情况下，则可以检测连续性区域的正确的连续性方向。

另外，从而，在检测其中投影有现实世界光信号、并丢失了现实世界光信号的部分连续性的输入图像中的多个像素的像素值的非连续性部分、从非连续性部分检测像素值变化的峰值、检测其中像素值从峰值单调增加或减小的单调增/减区域、检测其中检测的单调增/减区域的另一个单调增/减区域位于屏幕上的相邻位置的单调增/减区域作为具有图像数据连续性的连续性区域、以及检测连续性区域的连续性方向的情况下，基于检测的单调增/减区域的第一单调增/减区域中的多个第一像素值的变化、和相邻于第一单调增/减区域的第二单调增/减区域中的相邻于多个第一像素值的多个第二像素的像素值的变化、则可以检测连续性区域的正确的连续性方向。

接着，将描述对现实世界1的信号的估计。

图88是示出现实世界估计单元102的结构的方框图。

利用具有图88所示结构的现实世界估计单元102，基于输入图像和从连续性检测单元101提供的数据连续性信息，检测作为现实世界1中的信号的细线的宽度，并估计细线的水平(现实世界1的信号的光强)。

线宽检测单元2101基于从连续性检测单元101提供的、表示用作由像素构成的细线区域、其上投影有细线图像的连续性区域的数据连续性信息检测细线的宽度。线宽检测单元2101将表示检测的细线的宽度的细线宽度信息与数据连续性信息一起提供给信号水平估计单元2102。

信号水平估计单元2102基于输入图像、从线宽检测单元2101提供的表示细线宽度的细线宽度信息以及数据连续性信息估计细线图像的水平，所述图像用作现实世界1中的信号，即光强水平，并输出表示细线宽度和细线图像水平的现实世界估计信息。

图89和图90描述了检测现实世界1的信号中的细线的宽度的处理。

在图89和图90中，用粗线围绕的区域(由4个方形构成的区域)表示一个像素，用虚线围绕的区域表示其上投影有细线图像的由像素构成的细线区域，以及圆形表示细线区域的重心。在图89和图90中，阴影线表示投影到传感器2上的细线图像。换句话说，可以认为阴影线表示其中将现实世界1的细线图像投影到传感器2上的区域。

在图89和图90中，S表示将要从细线区域的重心位置计算的梯度，D是细线区域的重复。这里，细线区域彼此相邻，从而梯度S是像素增量中的重心之间的距离。另外，细线区域的重复D表示在两个细线区域中彼此相邻的像素个数。

在图89和图90中，W表示细线的宽度。

在图89中，梯度为2，重复D为2。

在图90中，梯度为3，重复D为1。

细线区域彼此相邻，并在细线区域彼此相邻方向上的其重心之间的距离为一个像素，从而W∶D＝1∶S成立，可以通过重复D/梯度S获得细线宽度W。

例如，如图89所示，当梯度S为2，重复D为2，2/2为1，因此细线宽度W为1。另外，例如，如图175所示，当梯度S为3，重复D为1，则细线宽度为1/3。

线宽检测单元2101从而基于从细线区域的重心位置计算的梯度和细线区域的重复检测细线的宽度。

图91描述了用于估计现实世界1中的信号的细线信号的水平的处理。

在图91中，用粗线围绕的区域(由4个方形构成的区域)表示一个像素，用虚线围绕的区域表示由其上投影有细线图像的像素构成的细线区域。在图91中，E表示细线区域在细线区域中的像素增量上的细线区域的长度，D表示细线区域的重复(相邻于另一个细线区域的像素个数)。

当处理增量(细线区域)内的水平不变时，近似细线信号的水平，并当水平等于对应于相邻像素的像素值的水平时，近似除细线以外的图像的水平，其中细线被投影为像素的像素值。

将细线信号的水平表示为C，可以认为，对于被投影在细线区域上的信号(图像)，图中投影细线信号的部分的左侧部分的水平为A，图中投影细线信号的部分的左侧部分的水平为B。

这里，公式(27)成立。

细线区域的像素值之和＝(E-D)/2×A+(E-D)/2×B+D×C

                              公式(27)

细线宽度是不变的，细线区域的宽度为一个像素，从而在细线区域中的细线的面积(其中投影信号的部分)等于细线区域的重复D。细线区域的宽度是一个像素，从而在细线区域中的像素增量上的细线区域面积等于细线区域的长度E。

对于细线区域，细线左侧的面积为(E-D)/2。对于细线区域，细线右侧的面积为(E-D)/2。

公式(27)右边的第一项是其中投影这样的信号的像素值的部分，所述信号具有与在被投影到相邻于左侧的像素上的信号相同的水平，并可以被表示成公式(28)。

A＝∑α_i×A_i＝∑1/(E-D)×(i+0.5)×A_i

                                       公式(28)

在公式(28)中，A_i表示相邻于左侧的像素的像素值。

在公式(28)中，α_i表示面积比例，在所述面积中具有与被投影到相邻于左侧的像素上的信号相同的水平的信号被投影到细线区域的像素上。换句话说，α_i表示与相邻于左侧的像素的像素值相同、被包括在细线区域的像素的像素值中的像素值的比例。

i表示相邻于细线区域的左侧的像素的位置。

例如，在图91中，与相邻于细线区域左侧的像素的像素值A₀相同、被包括在细线区域的像素的像素值中的像素值的比例为α₀。在图91中，与相邻于细线区域左侧的像素的像素值A₁相同、被包括在细线区域的像素的像素值中的像素值的比例为α₁。在图91中，与相邻于细线区域左侧的像素的像素值A₂相同、被包括在细线区域的像素的像素值中的像素值的比例为α₂。

公式(27)右边第二项表示其中投影这样的信号的像素值的部分，所述信号具有与在被投影到相邻于右侧的像素上的信号相同的水平，并可以被表示成公式(29)。

B＝∑β_j×B_j＝∑1/(E-D)×(j+0.5)×B_j

                                公式(29)

在公式(29)中，B_j表示相邻于右侧的像素的像素值。

在公式(29)中，β_j表示面积比例，在所述面积中具有与被投影到相邻于右侧的像素上的信号相同的水平的信号被投影到细线区域的像素上。换句话说，β_j表示与相邻于右侧的像素的像素值相同、被包括在细线区域的像素的像素值中的像素值的比例。

j表示相邻于细线区域的右侧的像素的位置。

例如，在图91中，与相邻于细线区域右侧的像素的像素值B₀相同、被包括在细线区域的像素的像素值中的像素值的比例为β₀。在图91中，与相邻于细线区域右侧的像素的像素值B₁相同、被包括在细线区域的像素的像素值中的像素值的比例为β₁。在图91中，与相邻于细线区域右侧的像素的像素值A₂相同、被包括在细线区域的像素的像素值中的像素值的比例为β₂。

从而，信号水平估计单元2102通过基于公式(28)和公式(29)计算除具有被包括在细线区域中的像素值的细线以外的图像的像素值、并基于公式(27)从细线区域中的像素值除去除细线以外的图像的像素值，获得只包括细线的图像的被包括在细线区域中的像素值。随后，信号水平估计单元2102基于只包括细线的图像的像素值和细线的面积获得细线信号的水平。更具体的是，信号水平估计单元2102通过将包括具有被包括在细线区域中的像素值的细线的图像的像素值除以在细线区域中的细线的面积，即细线区域的重复D，而计算细线信号的水平。

信号水平估计单元2102输出表示现实世界1的信号中的细线宽度和细线信号水平的现实世界估计信息。

利用本发明的技术，在轮廓上描述了细线的波形代替像素，从而可以采用任何分辨率。

接着，将参考图92中的流程图描述对应于在步骤S102中的处理的现实世界估计处理。

在步骤S2101，线宽检测单元2101基于数据连续性信息检测细线的宽度。例如，线宽检测单元2101通过将细线区域的重复除以从细线区域中的重心位置计算的梯度而估计现实世界1的信号中的细线的宽度。

在步骤S2102，信号水平估计单元2102基于细线宽度和相邻于细线区域的像素的像素值估计细线的信号水平，并输出表示估计的细线的宽度和信号水平的现实世界估计信息，从而处理结束。例如，信号水平估计单元2102通过计算其上被投影除被包括在细线区域中的细线以外的图像的像素值、并除去其上被投影除来自细线区域的细线以外的图像的像素值而获得其上投影只包括细线的图像的像素值，并通过基于获得的其上只投影包括细线的图像的像素值、和细线的面积计算细线的信号水平而估计现实世界1的信号中的细线的水平。

从而，现实世界估计单元102可以估计现实世界1的信号的细线的宽度和水平。

如上所述，投影现实世界的光信号，检测其中丢失了现实世界的光信号的部分连续性的关于第一图像数据的数据连续性，基于表示对应于数据连续性的现实世界中的光信号的波形的模型从第一图像数据的连续性估计现实世界的光信号的波形，以及在将估计的光信号转换成第二图像数据的情况下，对于现实世界中的光信号可以获得更精确的更高精度处理结果。

图93是示出现实世界估计单元102的另一结构的方框图。

利用具有图93所示的结构的现实世界估计单元102，再次基于输入图像和从数据连续性检测单元101提供的数据连续性信息检测区域，同样，基于检测的区域检测用作现实世界1中的信号的图像的细线的宽度，以及估计现实世界1中的信号的光强(水平)。例如，利用具有图93所示的结构的现实世界估计单元102，再次检测由其上投影有细线图像的像素构成的连续性区域，同样，基于检测的区域检测用作现实世界1中的信号的图像的细线的宽度，以及估计现实世界1中的信号的光强。

从数据连续性检测单元101提供、被输入具有图93所示结构的现实世界估计单元102的数据连续性细线包括：非连续性分量信息，其表示用作数据3的输入图像中的除其上投影有细线图像的连续性分量之外的非连续性分量；单调增/减区域信息，其表示连续性区域的单调增/减区域；表示连续性区域的信息等。例如，在数据连续性信息中包括的非连续性分量细线由模拟例如输入图像中的背景的非连续性分量的平面梯度和截距构成。

将输入现实世界估计单元102的数据连续性信息提供给边界检测单元2121。将输入到现实世界估计单元102的输入图像提供给边界检测单元2121和信号水平估计单元2102。

边界检测单元2121从数据连续性信息中包括的非连续性分量信息和输入图像产生只由其上投影有细线图像的连续性分量构成的图像，计算表示其中投影有用作现实世界1的信号的细线图像的比例的分配比值，以及同样通过从计算的分配比值计算表示细线区域的边界的回归线而检测用作连续性区域的细线区域。

图94是示出边界检测单元2121的结构的方框图。

分配比值计算单元2131从数据连续性信息、包括在数据连续性信息中的非连续性分量信息以及输入图像产生只由连续性分量构成的图像，在所述连续性分量上投影有细线图像。更具体的是，分配比值计算单元2131基于包括在数据连续性信息中的单调增/减区域信息从输入图像检测连续性区域的相邻单调增/减区域，并通过从属于检测的单调增/减区域的像素的像素值中减去将在由包括在连续性分量信息中的梯度和截距表示的平面模拟的模拟值，产生只由连续性分量构成的图像，在所述连续性分量上投影有细线图像。

注意，分配比值计算单元2131通过从输入图像中的像素的像素值中减去将在由包括在连续性分量信息中的梯度和截距表示的平面模拟的模拟值，产生只由连续性分量构成的图像，在所述连续性分量上投影有细线图像。

分配比值计算单元2131基于只由连续性分量构成的图像，计算表示其中将用作现实世界1的信号的细线图像分配到属于连续性区域中的相邻单调增/减区域的两个像素上的部分的分配比值。分配比值计算单元2131将计算的分配比值提供给回归线计算单元2132。

将参考图95到图97标书在分配比值计算单元2131中的分配比值计算处理。

图95中左边两列的数值表示通过从输入图像中的像素的像素值中减去将在由包括在连续性分量信息中的梯度和截距表示的平面模拟的模拟值而计算的图像的垂直排列成两列的像素的像素值。图95中用左边方形围绕的两个区域表示单调增/减区域2141-1和单调增/减区域2141-2，其为两个相邻的单调增/减区域。换句话说，在单调增/减区域2141-1和单调增/减区域2141-2中所示的数值表示属于由数据连续性检测单元101检测的、用作连续性区域的单调增/减区域的像素的像素值。

图95中右边一列的数值表示通过相加图95中左侧两列的像素的像素值中的水平排列的像素的像素值而获得的值。换句话说，图95中右边一列的数值表示通过相加关于由垂直排列的一列像素构成的两个单调增/减区域的水平相邻的像素的其上投影有细线图像的像素值而获得的值。

例如，当属于单调增/减区域2141-1和单调增/减区域2141-2中的任何一个，其分别由垂直排列的一列像素构成，水平相邻的像素的像素值为2和58，相加的值是60。当属于单调增/减区域2141-1和单调增/减区域2141-2中的任何一个，其分别由垂直排列的一列像素构成，水平相邻的像素的像素值为1和65，相加的值是66。

可以理解，图95中右侧列中的数值，即通过相加关于由垂直排列的一列像素构成的两个单调增/减区域的水平相邻的像素的其上投影有细线图像的像素值而获得的值通常是常数。

类似，通过相加关于由水平排列的一列像素构成的两个单调增/减区域的垂直相邻的像素的其上投影有细线图像的像素值而获得的值通常是常数。

分配比值计算单元2131通过利用相加关于两个单调增/减区域的相邻像素的其上投影有细线图像的像素值而获得的值通常是常数的特征计算细线图像如何被分配到一列中的像素的像素值上。

如图96所示，分配比值计算单元2131通过将属于由垂直排列的一列像素构成的两个相邻单调增/减区域的每个像素的像素值除以通过相加每个水平相邻的、其上投影有细线图像的像素值而获得的值，而计算关于属于两个相邻的单调增/减区域的每个像素的分配比值。然而，再计算结果，即计算的分配比值超过100的情况下，将分配比值设为100。

例如，如图96所示，当属于由垂直排列的一列像素构成的两个相邻单调增/减区域的水平相邻的像素的像素值分别为2和58时，相加的值是60，因此，计算出对于对应的像素的分配比值分别是3.5和96.5。当属于由垂直排列的一列像素构成的两个相邻单调增/减区域的水平相邻的像素的像素值分别为1和65时，相加的值是66，因此，计算出对于对应的像素的分配比值分别是1.5和98.5。

在该情况中，在三个单调增/减区域相邻的情况下，考虑哪一列是第一计算的，在通过相加水平相邻的每个像素的其上投影有细线图像的像素值而获得的两个值中，基于更接近峰值P的像素值的值计算分配比值，如图97所示。

例如，当峰值P的像素值为81，而属于单调增/减区域的关注像素的像素值为79，在相邻于左侧的像素的像素值为3、并且相邻于右侧的像素的像素值为-1的情况下，通过相加相邻于左侧的像素值获得的值是82，通过相加相邻于右侧的像素的像素值获得的值是78，因此，选择更接近峰值P的像素值81的82，从而基于相邻于左侧的像素计算分配比值。类似，当峰值P的像素值为81，而属于单调增/减区域的关注像素的像素值为75，在相邻于左侧的像素的像素值为0、并且相邻于右侧的像素的像素值为3的情况下，通过相加相邻于左侧的像素值获得的值是75，通过相加相邻于右侧的像素的像素值获得的值是78，因此，选择更接近峰值P的像素值81的78，从而基于相邻于右侧的像素计算分配比值。

从而，分配比值计算单元2131计算关于由垂直排列的一列像素构成的单调增/减区域的分配比值。

利用相同的处理，分配比值计算单元2131计算关于由水平排列的一列像素构成的单调增/减区域的分配比值。

回归线计算单元2132假设单调增/减区域的边界是直线，并通过基于由分配比值计算单元2131计算的分配比值计算表示单调增/减区域的边界的回归线，而再次检测连续性区域内的单调增/减区域。

下面将参考图98到图99描述在回归线计算单元2132中计算表示单调增/减区域的边界的回归线的处理。

在图98中，白色圆形表示位于单调增/减区域2141-1到单调增/减区域2141-5的上部边界的像素。回归线计算单元2132利用回归处理计算关于单调增/减区域2141-1到单调增/减区域2141-5的上部边界的回归线。例如，回归线计算单元2132计算出直线A，其中与位于单调增/减区域2141-1到单调增/减区域2141-5的上部边界的像素的距离的平方和变为最小值。

另外，在图98中，黑色圆形表示位于单调增/减区域2141-1到单调增/减区域2141-5的下部边界的像素。回归线计算单元2132利用回归处理计算关于单调增/减区域2141-1到单调增/减区域2141-5的下部边界的回归线。例如，回归线计算单元2132计算出直线B，其中与位于单调增/减区域2141-1到单调增/减区域2141-5的下部边界的像素的距离的平方和变为最小值。

回归线计算单元2132通过基于计算的回归线确定单调增/减区域的边界而检测连续性区域内的单调增/减区域。

如图99所示，回归线计算单元2132基于计算的直线A确定单调增/减区域2141-1到单调增/减区域2141-5的上部边界。例如，回归线计算单元2132从最接近计算的直线A的像素确定关于每个单调增/减区域2141-1到单调增/减区域2141-5的上侧边界。例如，回归线计算单元2132这样确定上侧边界，使得最接近计算的回归线A的像素被包括在关于每个单调增/减区域2141-1到单调增/减区域2141-5的每个区域中。

如图99所示，回归线计算单元2132基于计算的直线B确定单调增/减区域2141-1到单调增/减区域2141-5的下部边界。例如，回归线计算单元2132从最接近计算的直线B的像素确定关于每个单调增/减区域2141-1到单调增/减区域2141-5的下侧边界。例如，回归线计算单元2132这样确定下侧边界，使得最接近计算的回归线B的像素被包括在关于每个单调增/减区域2141-1到单调增/减区域2141-5的每个区域中。

从而，回归线计算单元2132同样基于用于再现由数据连续性检测单元101检测的连续性区域的边界的回归线检测其中像素值从峰值单调增或减的区域。换句话说，回归线计算单元2132同样通过基于计算的回归线确定单调增/减区域的边界检测用作连续性区域内的单调增/减区域的区域，并将表示检测的区域的区域信息提供给线宽检测单元2101。

如上所述，边界检测单元2121计算表示其中用作现实世界1的信号的细线图像投影到像素上的比值的分配比值，并同样通过从计算的分配比值计算表示单调增加区域的边界的回归线而检测连续性区域内的单调增/减区域。从而可以检测更精确的单调增/减区域。

图93中所示的线宽检测单元2101以与图88所示情况相同的处理，基于从边界检测单元2121提供的表示检测的区域的区域信息而检测细线的宽度。线宽检测单元2101将表示检测的细线的宽度的细线宽度信息与数据连续性信息一起一起提供给信号水平估计单元2102。

图93中所示的信号水平估计单元2102的处理与图88所示的情况的处理相同，从而省略对其的描述。

图100是描述利用具有图93所示结构的现实世界估计单元102的对应于步骤S102中的处理的现实世界估计处理的流程图。

在步骤S2121，边界检测单元2121执行边界检测处理，用于同样基于属于由数据连续性检测单元101检测的连续性区域的像素的像素值检测区域。下面将描述边界检测处理的细节。

在步骤S2122和步骤S2123中的处理与在步骤S2101和步骤S2102中的处理相同，因此省略对其的描述。

图101是用于描述对应于步骤S2121中的处理的边界检测处理的流程图。

在步骤S2131中，分配比值计算单元基于表示单调增/减区域的数据连续性信息和输入图像计算表示其中投影了细线图像的比例的分配比值。例如，分配比值计算单元2131基于包括在数据连续性信息中的单调增/减区域信息从输入图像检测连续性区域中的相邻单调增/减区域，并通过从属于检测的单调增/减区域的像素的像素值中减去将在由包括在连续性分量信息中的梯度和截距表示的平面模拟的模拟值，产生只由连续性分量构成的图像，在所述连续性分量上投影有细线图像。随后，分配比值计算单元2131通过关于属于两个相邻单调增/减区域的每个像素将属于由一列像素构成的两个单调增/减区域的像素的像素值除以相邻像素的像素值的和，而计算分配比值。

分配比值计算单元2131将计算的分配比值提供给回归线计算单元2132。

在步骤S2132，回归线计算单元2132同样通过基于表示其中投影了信息图像的比例的分配比值计算表示单调增加区域的边界的回归线，而检测连续性区域内的区域。例如，回归线计算单元2132假设单调增/减区域的边界是直线，并通过计算表示单调增/减区域的一端边界的回归线，并计算表示单调增/减区域的另一端边界的回归线，而再次检测连续性区域内的单调增/减区域。

回归线计算单元2132将表示在连续性区域中再次检测的区域的区域信息提供给线宽检测单元2101，从而该处理结束。

从而，具有图93所示结构的现实世界估计单元102再次检测由其上投影了细线图像的像素构成的区域，基于再次检测的区域检测用作现实世界1的信号的图像中的细线的宽度，以及估计现实世界1中的信号的光强(水平)分布。从而，可以更精确地检测细线的宽度，并关于现实世界1的信号更精确地估计光强。

如上所述，在投影了现实世界的光信号的情况下，检测第一图像数据中多个像素的像素值的非连续性部分，在所述第一图像数据中丢失现实世界的光信号的部分连续性，从检测的非连续性部分检测具有数据连续性的连续性区域，从检测的连续性部分检测具有数据连续性的连续性区域，基于属于检测的连续性区域的像素的像素值再次检测区域，以及基于检测的区域估计现实世界，对于现实世界中的事件可以获得更精确和更高精度的处理结果。

接着，将参考图102描述关于现实世界估计单元102，其输出具有连续性的区域中的每个像素在空间方向上的模拟函数的导数值作为现实世界估计信息。

参考像素选取单元2201基于从数据连续性检测单元101输入的数据连续性信息(作为连续性的角度或区域信息)确定输入图像中的每个像素是否是处理区域，在为处理区域的情况下，选取用于获得模拟函数所需的参考像素信息，所述模拟函数用于模拟输入图像的像素的像素值(计算所需的关注像素周围多个像素的像素值和位置)，并将其输出给模拟函数估计单元2202。

模拟函数估计单元2202利用最小二乘法，基于从参考像素选取单元2201输入的参考像素信息估计用于近似描述关注像素周围的像素的像素值的模拟函数，并将估计的模拟函数输出给微分处理单元2203。

微分处理单元2203基于从模拟函数估计单元2202输入的模拟函数，从根据数据连续性信息(例如细线或二值边缘的相对于预定轴的角度：梯度)的角度获得将要从关注像素产生的像素位置的平移量，计算在该位置上的所述模拟函数根据平移量的微分(用于模拟每个像素的像素值的函数的导数值对应于到对应于沿一维方向的连续性的直线的距离)，另外，相加关于关注像素的像素值和位置的信息和梯度作为其连续性，以及将其输出给图像产生单元103作为现实世界估计信息。

接着，将参考图103描述利用图102中的现实世界估计单元102的现实世界估计处理。

在步骤S2201中，参考像素选取单元2201从数据连续性检测单元101以及输入图像获取角度和区域信息作为数据连续性信息。

在步骤S2202，参考像素选取单元2201从输入图像的未处理的像素中设置关注像素。

在步骤S2203中，参考像素选取单元2201基于数据连续性信息的区域信息，确定关注像素是否被包括在处理区域中，在关注像素不是处理区域中的一个像素的情况下，处理进到步骤S2210，通过模拟函数估计单元2202通知微分处理单元2203关注像素是非处理区域，微分处理单元2203响应其将相应关注像素的导数值设为0，另外对其相加关注像素的像素值，并将其输出给图像产生单元103作为学生会色剂估计信息，并且处理进到步骤S2211。另外，在确定关注像素位于处理区域的情况下，则处理进到步骤S2204。

在步骤S2204，参考像素选取单元2201基于包括在数据连续性信息中的角度信息确定具有数据连续性的方向的角度更接近水平方向还是更接近垂直方向。也就是说，在具有数据连续性的角度θ为45°＞θ≥0°，或180°＞θ≥135°的情况下，参考像素选取单元2201确定关注像素的连续性方向接近水平方向，在具有数据连续性的角度θ为135°＞θ≥45°的情况下，确定关注像素的连续性方向接近垂直方向。

在步骤S2205，参考像素选取单元2201选取分别对应于从输入图像确定的方向的参考像素的位置信息和像素值，并将其输出给模拟函数估计单元2202。也就是说，参考像素变成将用于计算后面的模拟函数的数据，因此优选根据其梯度选取。因此，对应于水平方向和垂直方向的任何确定方向，选取在长范围上在其方向上的参考像素。更具体的是，例如，如图104所示，在梯度G_f接近垂直方向的情况下，确定方向为垂直方向。在该情况中，例如如图104所示，当取图104的中心的像素(0，0)为关注像素，参考像素选取单元2101选取(-1，2)、(-1，1)、(-1，0)、(-1，-1)、(-1，-2)、(0，2)、(0，1)、(0，0)、(0，-1)、(0，-2)、(1，2)、(1，1)、(1，0)、(1，-1)、以及(1，-2)像素的每个像素值。注意在图104中，可以说每个像素在水平方向和垂直方向上的长度为1。

换句话说，参考像素选取单元2201选取垂直方向上长范围中的像素作为参考像素，使得参考像素共为15个像素，其为以关注像素为中心的分别在垂直方向(上/下)的两个像素和分别在水平方向(左/右)的1个像素。

相反，在确定方向为水平方向的情况下，参考像素选取单元2201选取水平方向上长范围中的像素作为参考像素，使得参考像素共为15个像素，其为以关注像素为中心的分别在垂直方向(上/下)的1个像素和分别在水平方向(左/右)的2个像素，并将其输出给模拟函数估计单元2202。显然，参考像素的个数并不限于上述的15个像素，而是可以采用任何像素个数。

在步骤S2206中，模拟函数估计单元2202利用最小二乘法基于从参考像素选取单元2201输入的参考像素的信息估计模拟函数f(x)，并将其输出给微分处理单元2203。

也就是说，模拟函数f(x)是如下述公式(30)所示的多项式。

f(x)＝w₁xⁿ+w₂x^n-1+…+w_n+1

                                     公式(30)

从而，如果获得公式(30)中的多项式的每个系数W₁到W_n+1，则可以获得用于模拟每个参考像素的像素值(参考像素值)的模拟函数f(x)。然而，需要超过系数个数的像素值，因此，例如，在如图104所示的情况下，参考像素的个数为共15个，因此在多项式中可以获得的系数的个数限于15。在该情况下，可以说多项式达到14维，并通过获得系数W₁到W₁₅而估计模拟函数。注意，在该情况下，通过建立由15维多项式构成的模拟函数f(x)可以采用联立方程。

因此，当采用如图104所示的15个参考像素值，模拟函数估计单元2202通过利用最小二乘法求解下面的公式(31)而估计模拟函数f(x)。

P(-1，-2)＝f(-1-Cx(-2))

P(-1，-1)＝f(-1-Cx(-1))

P(-1，0)＝f(-1)(＝f(-1-Cx(0)))

P(-1，1)＝f(-1-Cx(1))

P(-1，2)＝f(-1-Cx(2))

P(0，-2)＝f(0-Cx(-2))

P(0，-1)＝f(0-Cx(-1))

P(0，0)＝f(0)(＝f(0-Cx(0)))

P(0，1)＝f(0-Cx(1))

P(0，2)＝f(0-Cx(2))

P(1，-2)＝f(1-Cx(-2))

P(1，-1)＝f(1-Cx(-1))

P(1，0)＝f(1)(＝f(1-Cx(0)))

P(1，1)＝f(1-Cx(1))

P(1，2)＝f(1-Cx(2))

                         公式(31)

注意，参考像素的个数可以根据多项式的阶数而改变。

这里，Cx(ty)表示平移量，当用G_f表示作为连续性的梯度，则定义Cx(ty)＝ty/G_f。该平移量Cx(ty)表示，在空间方向Y＝0的位置上的模拟函数f(x)沿梯度G_f连续(具有连续性)的条件下，在空间方向Y＝ty的位置上平移相对于空间方向X的宽度。因此，例如，在将模拟函数限定为在空间方向Y＝0的位置上的f(x)时，该模拟函数f(x)必需相对于空间方向X沿梯度G_f在空间方向Y＝ty上平移Cx(ty)，从而将函数定义为f(x-Cx(ty))＜＝f(x-ty/G_f)。

在步骤S2207中，微分处理单元2203基于从模拟函数估计单元2202输入的模拟函数f(x)获得在将要产生的像素位置上的平移量。

也就是说，在产生像素为分别在水平方向和垂直方向上有两倍的密度(共四倍密度)的情况下，微分处理单元2203首先获得在中心位置的平移量Pin(Xin，Yin)以将关注像素分成两个像素Pa和Pb，其变成如图105所示的在垂直方向上的二倍密度，从而获得关注像素在中心位置Pin(Xin，Yin)的导数值。该平移量变成Cx(0)，因此实际变为0。注意，在图105中，其基本重心位置为(Xin，Yin)的像素Pin为方形，基本重心位置分别为(Xin，Yin+0.25)和(Xin，Yin-0.25)的像素Pa和Pb在图中水平方向上为矩形。

在步骤S2208中微分处理单元2203微分模拟函数f(x)以获得模拟函数的初始微分函数f(x)’，获得对应于获得的平移量的位置上的导数值，并将其输出给图像产生单元103作为现实世界估计信息。也就是说，在该情况下，微分处理单元2203获得导数值f(Xin)’，并将其位置(在该情况下为关注像素(Xin，Yin))、其像素值以及在连续性方向上的梯度信息加到其上，并将其输出。

在步骤S2209中，微分处理单元2203确定是否已经获得用于产生希望密度的像素所需的导数值。例如，在该情况下，获得的导数值只是用于二倍密度所需的导数值(只获得在空间方向Y上变成二倍密度的导数值)，从而确定没有获得用于产生希望密度的像素所需的导数值，并且处理返回步骤S2207。

在步骤S2207中，微分处理单元2203再次基于从模拟函数估计单元2202输入的模拟函数f(x)获得在将要产生的像素的位置上的平移量。也就是说，在该情况下，微分处理单元2203获得用于进一步将分开的像素Pa和Pb分别分成两个像素所需的导数值。在图105中分别以黑色圆形表示Pa和Pb的位置，从而微分处理单元2203获得对应于每个位置的平移量。像素Pa和Pb的平移量分别是Cx(0.25)和Cx(-0.25)。

在步骤S2208中，微分处理单元2203对模拟函数f(x)进行初始微分，获得在对应于平移量的位置上的导数值。所述平移量对应于每个像素Pa和Pb，并将其输出给图像产生单元103，作为现实世界估计信息。

也就是说，在采用如图104所示的参考像素的情况下，如图106所示，微分处理单元2203获得关于获得的模拟函数f(x)的微分函数f(x)’，获得在位置(Xin-Cx(0.25))和(Xin-Cx(-0.25))上的导数值，其分别是对空间方向X平移平移量Cx(0.25)和Cx(-0.25)的f(Xin-Cx(0.25))’和f(Xin-Cx(-0.25))’的位置，将对应于其导数值的位置信息与其相加，并将其输出作为现实世界估计信息。注意，在第一处理中输出像素值的信息，因此没有将其加到该处理中。

在步骤S2209中，微分处理单元2203再次确定是否获得用于产生希望密度的像素所需的导数值。例如，在该情况下，已经获得将变成四倍密度的导数值，从而确定已经获得用于产生希望密度的像素所需的导数值，并且处理进到步骤S2211。

在步骤S2211中，参考像素选取单元2201确定是否已经处理所有像素，在确定仍未处理所有像素的情况下，该处理返回步骤S2202。另外，在步骤S2211中，在确定已经处理所有的像素的情况下，该处理结束。

如上所述，在产生像素以在关于输入图像的水平方向和垂直方向上变成四倍密度的情况下，通过利用在将要分开的像素的中心位置的模拟函数的导数值的外推/内插，分割像素，从而为了产生四倍密度像素，需要共3个导数值的信息。

也就是说，如图105所示，用于产生四个像素P01、P02、P03和P04所需的导数值在最后被一个像素所需(在图105中，像素P01、P02、P03和P04为方形，其重心位置为图中四个交叉符号的位置，并且像素Pin的每边的长度为1，因此像素P01、P02、P03和P04的每边长度约为0.5)，因此，为了产生四倍密度像素，首先产生在水平方向或在垂直方向上的二倍密度像素(在该情况下，为垂直方向)(在步骤S2207和S2208中的上述第一处理)，并且，另外将分割的两个像素在垂直于初始分割方向的方向上分割(在该情况下为水平方向)(在步骤S2207和S2208中的上述第二处理)。

注意，在上述实例中，已经描述了在计算四倍密度像素的时间上的导数值作为实例。但是，在计算密度大于四倍密度的像素的情况下，可以通过重复进行步骤S2207到S2209中的处理获得用于计算像素值所需的更多的导数值。另外，在上述实例中，已经描述了用于获得二倍密度像素值的实例，但是，模拟函数f(x)是连续函数，从而即使对于密度不是复数密度的像素值，仍可以获得需要的导数值。

根据上述设置，可以获得用于模拟关注像素附近的像素的像素值的模拟函数，并且可以将在对应于空间方向中的像素位置的位置上的导数值输出作为现实世界估计信息。

利用如图102所述的现实世界估计单元102，已经将用于产生图像的导数值输出作为现实世界估计信息，但是导数值是与在需要的位置上的模拟函数f(x)的梯度相同的值。

现在，将参考图107描述现实世界估计单元102，其中只直接获得用于产生像素所需的模拟函数f(x)的梯度，而不获得模拟函数f(x)，并将其输出作为现实世界估计信息。

参考像素选取单元2211基于从数据连续性检测单元101输入的数据连续性信息(作为连续性的角度，或区域信息)，确定输入图像的每个像素的是否是处理区域，在确定为处理区域的情况下，选取用于获得输入图像的梯度所需的参考像素信息(用于计算所需的包括关注像素的在垂直方向上排列的周边多个像素，或包括关注像素的在水平方向上排列的周边多个像素、以及每个像素值的信息)，并将其输出给梯度估计单元2212。

梯度估计单元2212基于从参考像素选取单元2211输入的参考像素信息产生用于产生像素所需的像素位置的梯度信息，并将其输出给图像产生单元103作为现实世界估计信息。具体是，梯度估计单元2212获得模拟函数f(x)在关注像素的位置上的梯度，所述函数利用像素之间的像素值的差值信息近似表达现实世界，并将其与关注像素的位置信息和像素值、以及连续性方向上的梯度信息一起输出作为现实世界估计信息。

下面，将参考图108中的流程图描述利用图107中的现实世界估计单元102的现实世界估计处理。

在步骤S2221中，参考像素选取单元2211从数据连续性检测单元101与输入图像一起获取角度和区域信息作为数据连续性信息。

在步骤S2222中，参考像素选取单元2211从输入图像的未处理的像素中设置关注像素。

在步骤S2223中，参考像素选取单元2211基于数据连续性的区域信息确定关注像素是否在处理区域中，在确定关注像素不在处理区域中的情况下，该处理进到步骤S2228中，其中，通知梯度估计单元2212关注像素位于非处理区域中，梯度估计单元2212响应其将对应于关注像素的梯度设为0，并将关注像素的像素值加到其中，并将其作为现实世界估计信息输出给图像产生单元103，并且，该处理进到步骤S2229。另外，在确定关注像素位于处理区域中的情况下，该处理进到步骤S2224。

在步骤S2224中，参考像素选取单元2211基于包括在数据连续信息中的角度信息确定具有数据连续性的方向的角度是接近水平方向还是接近垂直方向。也就是说，在具有数据连续性的角度θ为45°＞θ≥0°，或180°＞θ≥135°的情况下，参考像素选取单元2211确定关注像素的连续性方向接近水平方向，在具有数据连续性的角度θ为135°＞θ≥45°的情况下，确定关注像素的连续性方向接近垂直方向。

在步骤S2225，参考像素选取单元2211选取分别对应于从输入图像确定的方向的参考像素的位置信息和像素值，并将其输出给梯度估计单元2212。也就是说，参考像素变成将用于计算后面的梯度的数据，因此优选根据表示连续性方向的梯度选取。因此，对应于水平方向和垂直方向的任何确定方向，选取在长范围上在其方向上的参考像素。更具体的是，例如，如图109所示，在梯度接近垂直方向的情况下，当取图109的中心的像素(0，0)为关注像素，参考像素选取单元2111选取(0，2)、(0，1)、(0，0)、(0，-1)、(0，-2)中的每个像素值。注意在图194中，可以说每个像素在水平方向和垂直方向上的长度为1。

换句话说，参考像素选取单元2211选取垂直方向上长范围中的像素作为参考像素，使得参考像素共为5个像素，其为以关注像素为中心的在垂直方向(上/下)的两个像素。

相反，在确定方向为水平方向的情况下，参考像素选取单元2211选取水平方向上长范围中的像素作为参考像素，使得参考像素共为5个像素，其为以关注像素为中心的在水平方向(左/右)的2个像素，并将其输出给模拟函数估计单元2202。显然，参考像素的个数并不限于上述的5个像素，而是可以采用任何像素个数。

在步骤S2226中，梯度估计单元2212基于从参考像素选取单元2211输入的参考像素的信息、和在连续性方向中的梯度G_f，计算每个像素值的平移量。也就是说，在取对应于空间方向Y＝0的模拟函数f(x)为基的情况下，对应于空间方向Y＝-2、-1、1和2的模拟函数沿作为连续性的梯度G_f连续，如图194所示，从而将每个模拟函数描述为f(x-Cx(2))、f(x-Cx(1))、f(x-Cx(-1))以及f(x-Cx(-2))，并且，将其表示为对于每个空间方向Y＝-2、-1，1，2在空间方向X上平移每个平移量的函数。

因此，梯度估计单元2212获得其平移量Cx(-2)到Cx(2)。例如，在如图109所示选取参考像素的情况下，关于其平移量，图中的参考像素(0，2)变成Cx(2)＝2/G_f，参考像素(0，1)变成Cx(1)＝1/G_f，参考像素(0，0)变成Cx(0)＝0，参考像素(0，-1)变成Cx(-1)＝-1/G_f，以及参考像素(0，-2)变成Cx(-2)＝-2/G_f。

在步骤S2227中，梯度估计单元2212计算(估计)在关注像素的位置上的模拟函数f(x)的梯度。例如，如图109所示，在关于关注像素的连续性方向为接近垂直方向的角度的情况下，在水平方向上相邻的像素之间的像素值表现更大的差，但是，在垂直方向的像素之间的变化较小并相似，因此，梯度估计单元2212通过获取在垂直方向上的像素之间的变化，用垂直方向上的像素之间的差代替在水平方向上的差，并获得在关注像素的位置上的模拟函数f(x)的梯度作为根据平移量在空间方向X上的变化。

也就是说，如果假设存在近似描述现实世界的模拟函数f(x)，则上述平移量和各个参考像素的像素值之间的关系如图110所示。这里图109中各个像素的像素值被从上表示为P(0，2)、P(0，1)、P(0，0)、P(0，-1)以及P(0，-2)。从而，关于像素值P和关注像素(0，0)附近的平移量Cx，获得5对关系(P，Cx)＝((P(0，2)，-Cx(2)、(P(0，1)，-Cx(1))、(P(0，-1)，-Cx(-1)、(P(0，-2)，-Cx(-2))以及(P(0，0)，0)。

这里，对于像素值P，平移量Cx，以及梯度Kx(在模拟函数f(x)上的梯度)，如下述公式(32)关系成立。

P＝Kx×Cx

                              公式(32)

上述公式(32)是关于变量Kx的单变量函数，从而梯度估计单元2212利用一个变量的最小二乘法获得梯度Kx(梯度)。

也就是说，梯度估计单元2212通过求解如下述公式(33)所示的正规方程获得关注像素的梯度，将关注像素的像素值、以及连续性方向上的梯度信息加到其上，并将其输出给图像产生单元103作为现实世界估计信息。

$K_x=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left(C_{\mathrm{xi}}{-P}_i\right)}{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left(C_{\mathrm{xi}}\right)}^2}$ 公式(33)

这里，i表示用于识别上述参考像素的每对像素值p和平移量C的数1到m。另外，m表示包括关注像素的参考像素个数。

在步骤S2229中，参考像素选取单元2211确定是否已经处理所有像素，在确定仍未处理所有像素的情况下，该处理返回步骤S2222。另外，在确定已经在步骤S2229中处理所有像素的情况下，该处理结束。

注意，通过上述处理将要输出作为现实世界估计信息的梯度在计算将要通过外推/内插最后获得的希望像素值时采用。另外，对于上述实例，已经描述了在计算二倍密度像素时的梯度作为实例，但是，在计算密度大于二倍密度的情况下，可以获得用于计算像素值所需的更多位置的梯度。

例如，如图105所示，当产生在空间方向上共具有四倍密度的像素的情况下，其中在水平方向为二倍密度，在垂直方向上为二倍密度，可以如上所述获得对应于图105中各个位置的Pin、Pa和Pb的模拟函数f(x)的梯度Kx。

另外，在上述实例中，已经描述了用于获得二倍密度的实例，但是，模拟函数f(x)是连续函数，从而，即使像素的像素值位于不是复数密度的位置上，仍可以获得需要的梯度。

根据上述设置，可以通过利用关注像素附近的像素值，产生和输出模拟函数上的梯度，用于产生空间方向上的像素作为现实世界估计信息，而不获得近似表示现实世界的模拟函数。

接着，将参考图111描述现实世界估计单元102，其对于具有连续性的区域中的每个像素，输出在一个帧方向(时间方向)的模拟函数上的导数值作为现实世界估计信息。

参考像素选取单元2231基于从数据连续性检测单元101输入的数据连续性信息(作为连续性的移动(移动矢量)，以及区域信息)确定输入图像中的每个像素是否在处理区域中，并且在每个像素位于处理区域的情况下，选取用于获得模拟输入图像中的像素的像素值的模拟函数所需的参考像素信息(用于计算所需的关注像素周围的多个像素位置及其像素值)，并将其输出给模拟函数估计单元2202。

模拟函数估计单元2232利用最小二乘法，基于从参考像素选取单元2231输入的在帧方向中的参考像素信息估计模拟函数，其近似描述了关注像素周围每个像素的像素值，并将估计的函数输出给微分处理单元2233。

微分处理单元2233基于从模拟函数估计单元2232输入的帧方向中的模拟函数，获得根据数据连续性信息的移动将要从关注像素产生的像素位置在帧方向上的平移量，根据其平移量计算在帧方向上的模拟函数上的位置的导数值(对应于沿初始方向距离对应于连续性的直线的距离模拟每个像素的像素值的模拟函数的导数值)，还将关注像素的位置和像素值以及关于作为连续性的移动的信息加到其上，并将其输出给图像产生单元103作为现实世界估计信息。

接着，将参考图112中的流程图，描述利用图111中的现实世界估计单元102的现实世界估计处理。

在步骤S2241中，参考像素选取单元2231从数据连续性检测单元101和输入图像一起获取作为数据连续性信息的移动和区域信息。

在步骤S2242中，参考像素选取单元2231从输入图像中的未处理像素中设置关注像素。

在步骤S2243中，参考像素选取单元2231基于数据连续性的区域信息确定关注像素是否在处理区域中，在确定关注像素不在处理区域中的情况下，该处理进到步骤S2250中，通过模拟函数估计单元2232通知差值处理单元2233关注像素位于非处理区域中，差值处理单元2233响应其将对应于关注像素的导数值设为0，并将关注像素的像素值加到其中，并将其作为现实世界估计信息输出给图像产生单元103，并且，该处理进到步骤S2251。另外，在确定关注像素位于处理区域中的情况下，该处理进到步骤S2244。

在步骤S2244中，参考像素选取单元2231基于包括在数据连续信息中的移动信息，确定具有数据连续性的方向的移动是接近空间方向还是接近帧方向。也就是说，如图113所示，如果取表示空间和时间方向在由作为参考轴的帧方向T和空间方向Y构成的表面内的角度为θv，在具有数据连续性的角度θv为45°＞θv≥0°，或180°＞θv≥135°的情况下，参考像素选取单元2201确定关注像素的连续性移动接近帧方向(时间方向)，在具有数据连续性的角度θv为135°＞θv≥45°的情况下，确定关注像素的连续性方向接近空间方向。

在步骤S2245中，参考像素选取单元2201对应于从输入图像分别确定的方向选取参考像素的像素值和位置信息，并将其输出给模拟函数估计单元2232。也就是说，参考像素变成将要用于计算下面的模拟函数的数据，因此优选根据其角度选取。从而对应于帧方向和空间方向的任意预定方向，选取在其方向上较长范围中的参考像素。具体是，例如如图113所示，在移动方向Vf接近空间方向的情况下确定方向为空间方向。在该情况下，如图113所示，当取图113的中心的像素(t，y)＝(0，0)为关注像素时，参考像素选取单元2131选取选取(t，y)＝(-1，2)、(-1，1)、(-1，0)、(-1，-1)、(-1，-2)、(0，2)、(0，1)、(0，0)、(0，-1)、(0，-2)、(1，2)、(1，1)、(1，0)、(1，-1)、以及(1，-2)像素的每个像素值。注意在图198中，可以说每个像素在帧方向和空间方向上的长度为1。

换句话说，参考像素选取单元2231选取相对于帧方向在空间方向上较长范围中的像素作为参考像素，使得参考像素共为15个像素，其为以关注像素为中心的分别在空间方向(图中上/下)的两个像素×分别在帧方向(图中左/右)的1个像素。

相反，在确定方向为帧方向的情况下，参考像素选取单元2231选取帧方向上长范围中的像素作为参考像素，使得参考像素共为15个像素，其为以关注像素为中心的分别在空间方向(图中上/下)的1个像素和分别在帧方向(图中左/右)的2个像素，并将其输出给模拟函数估计单元2232。显然，参考像素的个数并不限于上述的15个像素，而是可以采用任何像素个数。

在步骤S2246中，模拟函数估计单元2232利用最小二乘法基于从参考像素选取单元2231输入的参考像素的信息估计模拟函数f(t)，并将其输出给微分处理单元2233。

也就是说，模拟函数f(t)是如下述公式(34)所示的多项式。

f(t)＝W₁tⁿ+W₂t^n-1+…+W_n-1

                                公式(34)

从而，如果获得公式(34)中的多项式的每个系数W₁到W_n+1，则可以获得用于模拟每个参考像素的像素值的在帧方向中的模拟函数f(t)。然而，需要超过系数个数的参考像素值，因此，例如，在如图113所示的情况下，参考像素的个数为共15个，因此在多项式中可以获得的系数的个数限于15。在该情况下，可以说多项式达到14维，并通过获得系数W₁到W₁₅而估计模拟函数。注意，在该情况下，通过建立由15维多项式构成的模拟函数f(x)可以采用联立方程。

因此，当采用如图113所示的15个参考像素值，模拟函数估计单元2232通过利用最小二乘法求解下面的公式(35)而估计模拟函数f(t)。

P(-1，-2)＝f(-1-Ct(-2))

P(-1，-1)＝f(-1-Ct(-1))

P(-1，0)＝f(-1)(＝f(-1-Ct(0)))

P(-1，1)＝f(-1-Ct(1))

P(-1，2)＝f(-1-Ct(2))

P(0，-2)＝f(0-Ct(-2))

P(0，-1)＝f(0-Ct(-1))

P(0，0)＝f(0)(＝f(0-Ct(0)))

P(0，1)＝f(0-Ct(1))

P(0，2)＝f(0-Ct(2))

P(1，-2)＝f(1-Ct(-2))

P(1，-1)＝f(1-Ct(-1))

P(1，0)＝f(1)(＝f(1-Ct(0)))

P(1，1)＝f(1-Ct(1))

P(1，2)＝f(1-Ct(2))

                              公式(35)

注意，参考像素的个数可以根据多项式的阶数而改变。

这里，Ct(ty)表示平移量，其与上述Cx(ty)相同，当用V_f表示作为连续性的梯度，则定义Ct(ty)＝ty/V_f。该平移量Ct(ty)表示，在限定在空间方向Y＝0的位置上的模拟函数f(t)沿梯度V_f连续(具有连续性)的条件下，在空间方向Y＝ty的位置上平移相对于帧方向T的宽度。因此，例如，在将模拟函数限定为在空间方向Y＝0的位置上的f(t)时，该模拟函数f(t)必需相对于帧方向T在空间方向Y＝ty上平移Ct(ty)，从而将函数定义为f(t-Ct(ty))＜＝f(t-ty/V_f)。

在步骤S2247中，微分处理单元2233基于从模拟函数估计单元2232输入的模拟函数f(t)获得在将要产生的像素位置上的平移量。

也就是说，在产生像素为分别在帧方向和空间方向上有两倍的密度(共四倍密度)的情况下，微分处理单元2233首先获得例如在中心位置的下述平移量Pin(Tin，Yin)，其在下述被分成两个像素Pat和Pbt，变成如图114所示的在空间方向上的二倍密度，从而获得关注像素在中心位置Pin(Tin，Tin)的导数值。该平移量变成Ct(0)，因此实际变为0。注意，在图114中，其基本重心位置为(Tin，Yin)的像素Pin为方形，基本重心位置分别为(Tin，Yin+0.25)和(Tin，Yin-0.25)的像素Pat和Pbt在图中水平方向上分别为矩形。

在步骤S2248中，微分处理单元2233微分模拟函数f(t)，以获得模拟函数的初始微分函数f(t)’，获得对应于获得的平移量的位置上的导数值，并将其输出给图像产生单元103作为现实世界估计信息。也就是说，在该情况下，微分处理单元2233获得导数值f(Tin)’，并将其位置(在该情况下为关注像素(Tin，Yin))、其像素值以及在连续性方向上的移动信息加到其上，并将其输出。

在步骤S2249中，微分处理单元2233确定是否已经获得用于产生希望密度的像素所需的导数值。例如，在该情况下，获得的导数值只是用于空间方向中的二倍密度所需的导数值(未获得在帧方向上变成二倍密度的导数值)，从而确定没有获得用于产生希望密度的像素所需的导数值，并且处理返回步骤S2247。

在步骤S2247中，微分处理单元2203再次基于从模拟函数估计单元2202输入的模拟函数f(t)获得在将要产生的像素的位置上的平移量。也就是说，在该情况下，微分处理单元2203获得用于进一步将分开的像素Pat和Pbt分别分成两个像素所需的导数值。在图114中分别以黑色圆形表示Pat和Pbt的位置，从而微分处理单元2233获得对应于每个位置的平移量。像素Pat和Pbt的平移量分别是Ct(0.25)和Ct(-0.25)。

在步骤S2248中，微分处理单元2233对模拟函数f(t)微分，获得在对应于平移量的位置上的导数值。所述平移量对应于每个像素Pat和Pbt，并将其输出给图像产生单元103，作为现实世界估计信息。

也就是说，在采用如图113所示的参考像素的情况下，如图115所示，微分处理单元2233获得关于获得的模拟函数f(t)的微分函数f(t)’，获得在位置(Tin-Ct(0.25))和(Tin-Ct(-0.25))上的导数值，其分别是对时间方向T平移平移量Ct(0.25)和Ct(-0.25)的f(Tin-Ct(0.25))’和f(Tin-Ct(-0.25))’的位置，将对应于其导数值的位置信息与其相加，并将其输出作为现实世界估计信息。注意，在第一处理中输出像素值的信息，因此没有将其加到该处理中。

在步骤S2249中，微分处理单元2233再次确定是否获得用于产生希望密度的像素所需的导数值。例如，在该情况下，已经获得将变成在空间方向Y上和在帧方向T上的二倍密度(共四倍密度)的导数值，从而确定已经获得用于产生希望密度的像素所需的导数值，并且处理进到步骤S2251。

在步骤S2251中，参考像素选取单元2231确定是否已经处理所有像素，在确定仍未处理所有像素的情况下，该处理返回步骤S2242。另外，在步骤S2251中，在确定已经处理所有的像素的情况下，该处理结束。

如上所述，在产生像素以在关于输入图像的帧方向(时间方向)和空间方向上变成四倍密度的情况下，通过利用在将要分开的像素的中心位置的模拟函数的导数值的外推/内插，分割像素，从而为了产生四倍密度像素，需要共3个导数值的信息。

也就是说，如图114所示，用于产生四个像素P01t、P02t、P03t和P04t所需的导数值在最后被一个像素所需(在图114中，像素P01t、P02t、P03t和P04t为方形，其重心位置为图中四个交叉符号的位置，并且像素Pin的每边的长度为1，因此像素P01t、P02t、P03t和P04t的每边长度约为0.5)，因此，为了产生四倍密度像素，首先产生在帧方向或在空间方向上的二倍密度像素(在步骤S2247和S2248中的上述第一处理)，并且，另外将分割的两个像素在垂直于初始分割方向的方向上分割(在该情况下为帧方向)(在步骤S2247和S2248中的上述第二处理)。

注意，在上述实例中，已经描述了在计算四倍密度像素的时间上的导数值作为实例。但是，在计算密度大于四倍密度的像素的情况下，可以通过重复进行步骤S2247到S2249中的处理获得用于计算像素值所需的更多的导数值。另外，在上述实例中，已经描述了用于获得二倍密度像素值的实例，但是，模拟函数f(t)是连续函数，从而即使对于密度不是复数密度的像素值，仍可以获得需要的导数值。

根据上述设置，利用关注像素附近的像素的像素值可以获得用于近似表达每个像素的像素值的模拟函数，并且可以将用于产生像素所需的位置上的导数值输出作为现实世界估计信息。

利用如图111所述的现实世界估计单元102，已经将用于产生图像的导数值输出作为现实世界估计信息，但是导数值是与在需要的位置上的模拟函数f(t)的梯度相同的值。

现在，将参考图116描述现实世界估计单元102，其中只直接获得用于产生像素所需的模拟函数在帧方向上的梯度，而不获得模拟函数，并将其输出作为现实世界估计信息。

参考像素选取单元2251基于从数据连续性检测单元101输入的数据连续性信息(作为连续性的移动，或区域信息)，确定输入图像的每个像素的是否是处理区域，在为处理区域的情况下，选取用于获得输入图像的梯度所需的参考像素信息(用于计算所需的包括关注像素的在空间方向上排列的周边多个像素，或包括关注像素的在帧方向上排列的周边多个像素、以及每个像素值的信息)，并将其输出给梯度估计单元2252。

梯度估计单元2252基于从参考像素选取单元2251输入的参考像素信息产生用于产生像素所需的像素位置的梯度信息，并将其输出给图像产生单元103作为现实世界估计信息。具体是，梯度估计单元2252获得模拟函数在关注像素的位置上的梯度，所述函数利用像素之间的像素值的差值信息近似表达每个参考像素的像素值，并将其与关注像素的位置信息和像素值、以及连续性方向上的移动信息一起输出作为现实世界估计信息。

下面，将参考图117中的流程图描述利用图116中的现实世界估计单元102的现实世界估计处理。

在步骤S2261中，参考像素选取单元2251从数据连续性检测单元101与输入图像一起获取移动和区域信息作为数据连续性信息。

在步骤S2262中，参考像素选取单元2251从输入图像的未处理的像素中设置关注像素。

在步骤S2263中，参考像素选取单元2251基于数据连续性的区域信息确定关注像素是否在处理区域中，在确定关注像素不在处理区域中的情况下，该处理进到步骤S2268中，其中，通知梯度估计单元2252关注像素位于非处理区域中，梯度估计单元2252响应其将对应于关注像素的梯度设为0，并将关注像素的像素值加到其中，并将其作为现实世界估计信息输出给图像产生单元103，并且，该处理进到步骤S2269。另外，在确定关注像素位于处理区域中的情况下，该处理进到步骤S2264。

在步骤S2264中，参考像素选取单元2211基于包括在数据连续信息中的移动信息确定作为数据连续性的移动是接近帧方向还是接近空间方向的移动。也就是说，如果取表示空间和时间方向在由作为参考轴的帧方向T和空间方向Y构成的表面内的角度为θv，在具有数据连续性的移动θv为45°＞θv≥0°，或180°＞θv≥135°的情况下，参考像素选取单元2251确定关注像素的作为连续性的移动接近帧方向，在具有数据连续性的角度θv为135°＞θv≥45°的情况下，确定关注像素的连续性移动接近空间方向。

在步骤S2265，参考像素选取单元2251选取分别对应于从输入图像确定的方向的参考像素的位置信息和像素值，并将其输出给梯度估计单元2252。也就是说，参考像素变成将用于计算后面的梯度的数据，因此优选根据作为连续性的移动选取。因此，对应于帧方向和空间方向的任何确定方向，选取在长范围上在其方向上的参考像素。更具体的是，例如，如图118所示，在确定移动接近空间方向的情况下，当取图118的中心的像素(t，y)＝(0，0)为关注像素，参考像素选取单元2151选取(t，y)＝(0，2)、(0，1)、(0，0)、(0，-1)、(0，-2)中的每个像素值。注意在图118中，可以说每个像素在帧方向和空间方向上的长度为1。

换句话说，参考像素选取单元2251选取空间方向上长范围中的像素作为参考像素，使得参考像素共为5个像素，其为以关注像素为中心的在空间方向(图中上/下)的两个像素。

相反，在确定方向为帧方向的情况下，参考像素选取单元2251选取水平方向上长范围中的像素作为参考像素，使得参考像素共为5个像素，其为以关注像素为中心的在帧方向(左/右)的2个像素，并将其输出给模拟函数估计单元2252。显然，参考像素的个数并不限于上述的5个像素，而是可以采用任何像素个数。

在步骤S2266中，梯度估计单元2252基于从参考像素选取单元2251输入的参考像素的信息、和在连续性方向中的移动V_f，计算每个像素值的平移量。也就是说，在取对应于空间方向Y＝0的模拟函数f(t)为基的情况下，对应于空间方向Y＝-2、-1、1和2的模拟函数沿作为连续性的移动V_f连续，如图118所示，从而将每个模拟函数描述为f(t-Ct(2))、f(t-Ct(1))、f(t-Ct(-1))以及f(t-Ct(-2))，并且，将其表示为对于每个空间方向Y＝-2、-1，1，2在帧方向T上平移每个平移量的函数。

因此，梯度估计单元2252获得其平移量Ct(-2)到Ct(2)。例如，在如图118所示选取参考像素的情况下，关于其平移量，图中的参考像素(0，2)变成Ct(2)＝2/V_f，参考像素(0，1)变成Ct(1)＝1/V_f，参考像素(0，0)变成Ct(0)＝0，参考像素(0，-1)变成Ct(-1)＝-1/V_f，以及参考像素(0，-2)变成Ct(-2)＝-2/V_f。梯度估计单元2252获得这些平移量Ct(-2)到Ct(2)。

在步骤S2267中，梯度估计单元2252计算(估计)在关注像素的帧方向上的梯度。例如，如图118所示，在关于关注像素的连续性方向为接近空间方向的角度的情况下，在帧方向上相邻的像素之间的像素值表现更大的差，但是，在空间方向的像素之间的变化较小并相似，因此，梯度估计单元2252通过获取在空间方向上的像素之间的变化，用帧方向上的像素之间的差代替在空间方向上的差，并获得在关注像素上的梯度作为根据平移量在帧方向T上的变化。

也就是说，如果假设存在近似描述现实世界的模拟函数f(t)，则上述平移量和各个参考像素的像素值之间的关系如图119所示。这里，图119中的各个像素的像素值被从上表示为P(0，2)、P(0，1)、P(0，0)、P(0，-1)以及P(0，-2)。从而，关于像素值P和关注像素(0，0)附近的平移量Ct，获得5对关系(P，Ct)＝((P(0，2)，-Ct(2)、(P(0，1)，-Ct(1))、(P(0，-1)，-Ct(-1)、(P(0，-2)，-Ct(-2))以及(P(0，0)，0)。

这里，对于像素值P，平移量Ct，以及梯度Kt(在模拟函数f(t)上的梯度)，如下述公式(36)关系成立。

P＝Kt×Ct

                             公式(36)

上述公式(36)是关于变量Kt的单变量函数，从而梯度估计单元2212利用一个变量的最小二乘法获得变量Kt(梯度)。

也就是说，梯度估计单元2252通过求解如下述公式(37)所示的正规方程获得关注像素的梯度，将关注像素的像素值、以及连续性方向上的梯度信息加到其上，并将其输出给图像产生单元103作为现实世界估计信息。

$K_t=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left(C_{\mathrm{ti}}{-P}_i\right)}{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left(C_{\mathrm{ti}}\right)}^2}$ 公式(37)

这里，i表示用于识别上述参考像素的每对像素值p和平移量Ct的数1到m。另外，m表示包括关注像素的参考像素个数。

在步骤S2269中，参考像素选取单元2251确定是否已经处理所有像素，在确定仍未处理所有像素的情况下，该处理返回步骤S2262。另外，在确定已经在步骤S2269中处理所有像素的情况下，该处理结束。

注意，通过上述处理将要输出作为现实世界估计信息的梯度在计算将要通过外推/内插最后获得的希望像素值时采用。另外，对于上述实例，已经描述了在计算二倍密度像素时的梯度作为实例，但是，在计算密度大于二倍密度的情况下，可以获得用于计算像素值所需的更多位置的梯度。

例如，如图105所示，当产生在时间和空间方向上共具有四倍密度的像素的情况下，其中在水平方向或帧方向上产生二倍密度，可以如上所述获得对应于图105中各个位置的Pin、Pat和Pbt的模拟函数f(t)的梯度Kt。

另外，在上述实例中，已经描述了用于获得二倍密度像素值的实例，但是，模拟函数f(t)是连续函数，从而，即使像素的像素值位于不是复数密度的位置上，仍可以获得需要的梯度。

显然，对于用于获得模拟函数相对于帧方向或空间方向的梯度或导数值的处理顺序没有限制。另外，在上述实例中，在空间方向，已经描述了利用空间方向Y和帧方向T的关系，但是可以采用空间方向X和帧方向T之间的关系代替该关系。另外，可以从时间和空间方向的二维关系选择性地获得梯度(任一维度方向)或导数值。

根据上述设置，可以通过利用关注像素附近的像素值，在用于产生像素所需的位置上的帧方向(时间方向)上产生和输出模拟函数上的梯度作为现实世界估计信息，而不获得近似表示现实世界的在帧方向上的模拟函数。

接着，将参考图120到150描述现实世界估计单元102(图3)的另一实施例。

图120描述了该实施例的特征。

如图120所示，利用预定函数F表示作为被投影在传感器2上的图像、现实世界1中的信号(光强分布)。注意，下文中，在对该实施例的描述中，用作现实世界1中的图像的信号，尤其指光信号，以及函数F尤其指光信号函数F。

在该实施例中，在由光信号函数F表示的现实世界1中的光信号具有预定连续性的情况下，现实世界估计单元102通过利用来自传感器2的输入图像(包括对应于连续性的数据连续性的图像数据)、和来自于数据连续性检测单元101的数据连续性信息(对应于输入图像数据的连续性的数据连续性信息)的预定函数f模拟光信号函数F而估计光信号函数F。注意，下文在对该实施例的描述中，函数f尤其指模拟函数f。

换句话说，在该实施例中，现实世界估计单元102模拟(描述)利用模型161(图7)由光信号函数F表示的图像(现实世界1中的光信号)，所述模型由模拟函数f表示。因此，下文中，该实施例称为函数模拟方法。

现在，在进入对函数模拟方法的具体描述之前，将描述关于其中本申请人已经发明的背景的函数模拟方法。

图121描述了其中将传感器看作CCD的积分效应。

如图121所示，将多个检测元件2-1设置在传感器2的平面上。

在图121的实例中，取平行于检测元件2-1的预定边的方向作为X方向，其为空间方向中的一个方向，并取垂直于X的方向的方向为Y方向，其为空间方向中的另一个方向。另外，取垂直于X-Y平面的方向作为用作时间方向的方向t。

另外，在图121的实例中，用方形表示传感器2的每个检测元件2-1的空间形状，其一边的长度为1。传感器2的快门时间(曝光时间)被表示为1。

另外，在图121的实例中，取传感器2的一个检测元件2-1的中心作为空间方向(X方向和Y方向)中的原点(在X方向上位置x＝0，以及在Y方向上位置y＝0)，并且，取曝光时间的中间时刻为时间方向(t方向)上的原点(在t方向上的位置t＝0)。

在该情况下，中心在空间方向中的原点(x＝0，y＝0)的检测元件2-1对光信号函数F(x，y，t)进行积分，其范围为在x方向上从-0.5到0.5，在Y方向上从-0.5到0.5，以及在t方向上-0.5到0.5，并将其积分值输出作为像素值P。

也就是说，从其中心在空间方向上的原点的检测元件2-1输出的像素值P由下面公式(38)表示。

$P={\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}F(x,y,t)\mathrm{dxdydt}$ 公式(38)

通过以同样的方法取其中心为空间方向中的原点，另一个检测元件2-1也输出了如公式(38)所示的像素值P。

图122描述了传感器2的积分效应的具体实例

在图122，X方向和Y方向表示传感器2的X方向和Y方向(图121)。

现实世界1的光信号的部分2301(下文中，该部分指区域)表示具有预定连续性的区域的实例。

注意，区域2301是连续性光信号(连续性区域)的部分。另一方面，在图122中，区域2301被示出为在实际中分成的20个小区域(方形区域)。这是为了示出，区域2301的尺寸等于其中排列在x方向上的传感器2的四个检测元件(像素)，以及在y方向上的传感器2的五个检测元件(像素)的尺寸。也就是说，区域2301中的每20个小区域(虚拟区域)等于一个像素。

另外，区域2301中的白色部分表示对应于细线的光信号。因此，区域2301在其中细线连续的方向上具有连续性。下文中，区域2301指包括细线的现实世界区域2301。

在该情况下，当包括细线的现实世界区域2301(现实世界1中的光信号的部分)被传感器2检测时，通过积分效应从传感器2输出输入图像(像素)的区域2302(下文中，其指包括细线的数据区域2302)。

注意，包括细线的数据区域2302的每个像素由图中的图像表示，但是在实际中为表示预定值的数据。也就是说，通过传感器2的积分效应，包括细线的现实世界区域2301被变为(变形)包括细线的数据区域2302，其被分成每个具有预定像素值的20个像素(在X方向上的四个像素和在Y方向上的五个像素，共20个像素)。

图123描述了传感器2的积分效应的另一具体实例(不同于图122的实例)。

在图123中，X方向和Y方向表示传感器2的X方向和Y方向(图121)。

现实世界1中的光信号的部分(区域)2303表示具有预定连续性的区域的另一实例(不同于图122中包括细线的实际区域2301的实例)。

注意，区域2303与包括细线的现实世界区域2301具有相同的尺寸。也就是说，与现实中的包括细线的现实世界区域2301相同，区域2303也是现实世界1中连续光信号的部分(连续区域)，但是被示出为分成等于图123中的传感器2的一个像素的20个小区域(方形区域)。

另外，区域2303包括具有预定第一光强(值)的第一部分边缘，以及具有预定第二光强(值)的第二部分边缘。因此，区域2303具有在其中边缘连续的方向上的连续性。下文中，区域2303指包括二值边缘的现实世界区域2303。

在该情况中，当由传感器2检测包括二值边缘的现实世界区域2303时(现实世界1中的光信号的部分)，通过积分效应从传感器2输出输入图像(像素值)的区域2304(下文中，指包括二值边缘的数据区域2304)。

注意，将包括二值边缘的数据区域2304的每个像素值与包括细线的数据区域2302相同的显示为图中的图像，但是，实际上为表示预定值的数据。也就是说，通过传感器2的积分效应，将包括二值边缘的现实世界区域2303变为(变形为)包括二值边缘的数据区域2304，其被分成每个具有预定像素值的20个像素(在X方向的四个像素和在Y方向上的五个像素共20个像素)。

常规图像处理装置具有从传感器2输出的关注图像数据，例如，包括细线的数据区域2302，包括二值边缘的数据区域2304等作为原点(基)，并且，对图像数据进行随后的图像处理。也就是说，无论通过积分效应将从传感器2输出的图像数据变为(变形为)不同于现实世界1中的光信号的数据，常规图像处理装置在假设不同于现实世界1中的光信号的数据已经校正的情况下进行图像处理。

从而，常规图像处理装置具有这样的问题，其中基于其中变化了现实世界的细节的波形(图像数据)，在从传感器2输出图像数据的阶段，难于从波形存储原始细节。

因此，利用函数模拟方法，为了解决该问题，如上所述(如图120所示)，现实世界估计单元102通过利用基于图像数据(输入图像)的模拟函数f模拟光信号函数F(现实世界1中的光信号)而估计光信号函数F，所述图像数据例如从传感器2中输出的包括细线的数据区域2302和包括二值边缘数据区域2304。

从而，在现实世界估计单元102的下一个阶段(在该情况中为图3中的图像产生单元103)，通过取图像数据，即可以由模拟函数f表示的图像数据作为原点可以进行处理，在所述图像数据中考虑了积分效应。

下文中，将参考附图单独描述该函数模拟方法的三种具体方法(第一到第三函数模拟方法)。

首先，将参考图124到图138描述第一函数模拟方法。

图124示出了再次描述的图122所示的包括细线的现实世界区域2301。

在图124中，X方向和Y方向表示传感器2的X方向和Y方向(图121)。

第一函数模拟方法是用于模拟一维波形的方法(下文中，该波形指X截面波形F(x))，其中，在x方向上(图中箭头2311的方向)投影对应于如图124所示的包括细线的现实世界区域2301的光信号函数F(x，y，t)，其中，模拟函数f(x)用作n维(n为任意整数)多项式。因此，下文中，第一函数模拟方法尤其指一维多项式模拟方法。

注意，在一维多项式模拟方法中，将要模拟的X截面波形F(x)不限于对应于图124中包括细线的现实世界区域2301的波形。也就是说，如下文所述，在一维多项式模拟方法中，只要X截面波形F(x)对应具有连续性的现实世界1中的光信号，则可以模拟任何波形。

另外，光信号函数F(x，y，t)的投影方向不限于X方向，或者还可以采用Y方向或t方向。也就是说，在一维多项式模拟方法中，可以利用预定模拟函数f(y)模拟其中将光信号函数F(x，y，t)投影到Y方向上的函数F(y)，或可以利用预定模拟函数f(t)模拟其中将光信号函数F(x，y，t)投影到t方向上的函数F(t)。

尤其是，一维多项式模拟方法是以模拟函数f(x)用作n维多项式用于模拟例如X截面波形F(x)的方法，所述多项式如下面公式(39)所示。

$f\left(x\right)=w_0+w_{1}x+w_{2}x+\·\·\·+w_n{x}^n=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{x}^i$ 公式(39)

也就是说，在一维多项式模拟方法中，现实世界估计单元102通过计算公式(39)中的系数(特征)xⁱ的w_i，而模拟X截面波形F(x)。

该计算特征w_i的方法不限于特定方法，例如，可以采用下面的第一到第三方法。

也就是说，第一方法是目前采用的方法。

另一方面，第二方法是由本申请人新发明的方法，其相对于第一方法考虑在空间方向上的连续性。

然而，如上所述，在第一和第二方法中，没有考虑传感器2的积分效应，因此，通过对上述公式(39)代入通过第一方法或第二方法计算得到的特征w_i获得的模拟函数f(x)是关于输入图像的模拟函数，但是严格的说，不能指X截面波形F(x)的模拟函数。

因此，本申请人发明了第三方法，其相对于第二方法还考虑传感器2的积分效应而计算特征w_i。通过对上述公式(39)代入利用该第三方法计算的特征w_i而获得的模拟函数f(x)可以指X截面波形F(x)的模拟函数，其中考虑了传感器2的积分效应。

从而，严格的说，第一方法和第二方法不能指一维多项式模拟方法，只有第三方法可以指一维多项式模拟方法。

换句话说，如图125所示，第二方法是根据本发明的现实世界模拟单元102的实施例，其不同于一维多项式模拟方法。也就是说，图125描述了对应于第二方法的实施例的特征。

如图125所示，在对应于第二方法的实施例中，在用光信号函数F表示的现实世界1的光信号具有预定连续性的情况下，现实世界估计单元102没有利用来自传感器2的输入图像(包括对应于连续性的数据连续性的图像数据)、和从数据连续性检测单元101输入的数据连续性信息(对应于输入图像数据的连续性的连续性信息)模拟X截面波形F(x)，而是利用预定模拟函数f₂(x)模拟了来自传感器2的输入图像。

从而，难于说，第二方法是与第三方法具有相同水平的方法，其中没有考虑传感器2的积分效应，而进行只对输入图像的模拟。然而，第二方法是优于常规第一方法的方法，其中，第二方法考虑了空间方向上的连续性。

下文中，将以第一方法，第二方法，以及第三方法的次序单独描述这三种方法的内容。

注意，在下文中，由第一方法、第二方法和第三方法产生的各个模拟函数f(x)彼此区别的情况下，它们尤其指模拟函数f₁(x)，模拟函数f₂(x)，以及模拟函数f₃(x)。

首先，将描述第一方法的内容。

在第一方法中，在这样的条件下，其中在上述公式(39)中所示的模拟函数f₁(x)在图126中的包括细线的现实世界区域2301中成立，定义了下面的预测公式(40)。

P(x，y)＝f₁(x)+e

                           公式(40)

在公式(40)中，x表示从关注像素相对于X方向的像素位置。Y表示从关注像素相对于Y方向的像素位置。e表示误差余量。尤其是，例如，如图126所示，可以说，在包括细线的数据区域2302(其数据为由传感器2检测包括细线的现实世界的区域2301的数据(图124)，并输出)中，关注像素是X方向上自左侧的第二个像素，也是Y方向上自底部的第三个像素。另外，可以说，关注像素的中心为原点(0，0)，并且建立其轴分别为平行于传感器2(图121)的X方向和Y方向的x轴和y轴的系统(下文中，指关注像素坐标系)。在该情况中，关注像素坐标系的坐标值(x，y)表示相对像素位置。

另外，在公式(40)中，P(x，y)表示在相对像素位置(x，y)上的像素值。尤其是，在该情况下，包括细线的数据区域2302中的P(x，y)如图127所示。

图127以曲线图的方式表示该像素值P(x，y)。

在图127中，曲线图的各垂直轴表示像素值，以及水平轴表示在x方向上距离关注像素的相对位置x。另外，图中分别为，自上的第一曲线图中的虚线表示输入像素值P(x，-2)，自上的第二曲线图中的三点连线表示输入像素值P(x，-1)，自上的第三曲线图中的实线表示输入像素值P(x，0)，自上的第四曲线图中的单点连线表示输入像素值P(x，1)，自上的第六曲线图中的两点连线表示输入像素值P(x，2)。

当对上述公式(40)分别代入如图127所示的20个输入像素值P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2)(然而，x是-1到2的任何整数值)，产生下面公式(41)所示的二十个方程，注意每个e_k(k为1到20的任何整数)表示误差余量。

P(-1，-2)＝f₁(-1)+e₁

P(0，-2)＝f₁(0)+e₂

P(1，-2)＝f₁(1)+e₃

P(2，-2)＝f₁(2)+e₄

P(-1，-1)＝f₁(-1)+e₅

P(0，-1)＝f₁(0)+e₆

P(1，-1)＝f₁(1)+e₇

P(2，-1)＝f₁(2)+e₈

P(-1，0)＝f₁(-1)+e₉

P(0，0)＝f₁(0)+e₁₀

P(1，0)＝f₁(1)+e₁₁

P(2，0)＝f₁(2)+e1₂

P(-1，1)＝f₁(-1)+e₁₃

P(0，1)＝f₁(0)+e₁₄

P(1，1)＝f₁(1)+e₁₅

P(2，1)＝f₁(2)+e₁₆

P(-1，2)＝f₁(-1)+e₁₇

P(0，2)＝f₁(0)+e₁₈

P(1，2)＝f₁(1)+e₁₉

P(2，2)＝f₁(2)4+e₂₀

                                      公式(41)

公式(41)由二十个方程构成，从而例如在模拟函数f₁(x)的特征w_i数小于20的情况下，即在模拟函数f₁(x)是具有小于19的维数的多项式的情况下，可以利用最小二乘法计算特征w_i。注意，下面将描述最小二乘法的具体求解。

例如，如果说模拟函数f₁(x)的维数为5，利用公式(41)由最小二乘法计算的模拟函数f₁(x)(通过计算特征w_i产生的模拟函数f₁(x))变成如图128所示的曲线。

注意，在图128中，垂直轴表示像素值，水平轴表示距离关注像素的相对位置x。

也就是说，例如，如果将构成图126中包括细线的数据区域2302的二十个像素值P(x，y)(如图127所示分别为输入像素值P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2))不经过任何修改地沿x轴补充(如果认为在Y方向上的相对位置y不变，并重叠图127所示的5个曲线)，如图128所示的平行于x轴的多条直线(虚线、三点连线、实线、单点连线以及两点连线)被分布。

然而，在图128中分别为，虚线表示输入像素值P(x，-2)，三点连线表示输入像素值P(x，-1)，实线表示输入像素值P(x，0)，单点连线表示输入像素值P(x，1)，两点连线表示输入像素值P(x，2)。另外，在同一像素值的情况下，实际上多于两条直线的直线重叠，但是在图128中，所述直线被绘出以区分每条直线，因此，没有彼此重叠的直线。

当各20个输入像素值(P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2))这样被分布，以最小化函数值f₁(x)的误差的回归曲线(通过对上述公式(38)代入利用最小二乘法计算的特征w_i而获得的模拟函数f₁(x))变成如图128所示的曲线(模拟函数f1(x))。

从而，模拟函数f₁(x)只是表示了在x方向上连接在Y方向上的像素值(自关注像素在X方向上具有相同的相对位置x的像素值)P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2)的方法的曲线。也就是说，没有考虑光信号包括的空间方向中的连续性而产生模拟函数f₁(x)。

例如，在该情况中，将包括细线的现实世界区域2301(图124)认为将要模拟的客体。该包括细线的现实世界区域2301具有在空间方向上的连续性，其由梯度G_f表示，如图129所示。注意，在图129中，X方向和Y方向表示传感器2的X方向和Y方向(图121)。

因此，数据连续性检测单元101(图120)可以输出如图129所示的角度θ(在由对应于梯度G_F的梯度G_f表示的数据连续性方向和X方向之间产生的角度θ)作为对应于作为空间方向中的连续性的梯度G_F的数据连续性信息。

然而，在第一方法中，完全没有使用从数据连续性检测单元101输出的数据连续性信息。

换句话说，例如如图129所示，在包括细线的现实世界区域2301中的空间方向中的连续性方向为基本角度θ方向。然而，第一方法是假设包括细线的现实世界区域2301的空间方向中的连续性方向为Y方向(即假设角度θ为90)下，用于计算模拟函数f₁(x)的特征w_i的方法。

因此，模拟函数f₁(x)变成其波形变模糊的函数，并且其细节比原始像素值减少。换句话说，虽然图中没有示出，在利用第一方法产生的模拟函数f₁(x)中，其波形变成与实际X截面波形F(x)不同的波形。

为此，本申请人已经发明了用于计算特征w_i的第二方法，其相对于第一方法还考虑了空间方向中的连续性(利用角度θ)。

也就是说，第二方法是在假设包括细线的现实世界区域2301的连续性方向为基本角度θ方向下，用于计算模拟函数f₂(x)的特征w_i的方法。

尤其是，例如，表示对应于空间方向中的连续性的数据连续性的梯度G_f，由下面的公式(42)表示。

$G_f=\tan \mathrm{\θ}=\frac{\mathrm{dy}}{\mathrm{dx}}$ 公式(42)

注意，在公式(42)中，dx表示如图129所示的在X方向上的微小移动量，dy表示如图129所示的相对于dx的在Y方向上的微小移动量。

在该情况中，如果定义平移量C_x(y)如下面公式(43)所示，利用第二方法，对应于在第一方法中使用的公式(40)的方程变成如下面公式(44)所示。

$C_x\left(y\right)=\frac{y}{G_f}$ 公式(43)

P(x，y)＝f₂(x-C_x(y))+e

                                 公式(44)

也就是说，在第一方法中采用的公式(40)表示在像素中心位置(x，y)的X方向上的位置x与位于相同位置上的任何像素的像素值P(x，y)相同。换句话说，公式(40)表示具有相同像素值的像素在Y方向上连续(在Y方向上表现连续性)。

另一方面，在第二方法中采用的公式(44)表示其中心位置为(x，y)的像素值P(x，y)不等于位于距离关注像素(其中心位置为(0，0)的像素)为X方向上的x的位置上的像素的像素值(等于f₂(x)的模拟值)，并且，与在X方向上距离其像素为平移量C_x(y)的位置上的像素的像素值(等于f₂(x+C_x(y))的模拟值)相同(在X方向上距离关注像素为x+C_x(y)的位置上的像素)。换句话说，公式(44)表示具有相同像素值的像素在对应于平移量C_x(y)的角度θ方向上连续(在基本角度θ方向上表现连续性)

从而，平移量C_x(y)是考虑在空间方向中的连续性(图129中由梯度G_F表示的连续性，严格地说，用梯度G_f表示的数据连续性)的校正量，以及利用平移量C_x(y)通过校正公式(40)获得公式(44)。

在该情况下，当分别对上述公式(44)代入图126中所示的包括细线的数据区域的二十个像素值P(x，y)(然而，x为-1到2的任一整数值，而y为-2到2的任一整数值)，产生如下面公式(45)所示的二十个方程。

P(-1，-2)＝f₂(-1-C_x(-2))+e₁

P(0，-2)＝f₂(0-C_x(-2))+e₂

P(1，-2)＝f₂(1-C_x(-2))+e₃

P(2，-2)＝f₂(2-C_x(-2))+e₄

P(-1，-1)=f₂(-1-C_x(-1))+e₅

P(0，-1)＝f₂(0-C_x(-1))+e₆

P(1，-1)＝f₂(1-C_x(-1))+e₇

P(2，-1)＝f₂(2-C_x(-1))+e₈

P(-1，0)＝f₂(-1)+e₉

P(0，0)＝f₂(0)+e₁₀

P(1，0)＝f₂(1)+e₁₁

P(2，0)＝f₂(2)+e₁₂

P(-1，1)＝f₂(-1-C_x(1))+e₁₃

P(0，1)＝f₂(0-C_x(1))+e₁₄

P(1，1)＝f₂(1-C_x(1))+e₁₅

P(2，1)＝f₂(2-C_x(1))+e₁₆

P(-1，2)＝f₂(-1-C_x(2))+e₁₇

P(0，2)＝f₂(0-C_x(2))+e₁₈

P(1，2)＝f₂(1-C_x(2))+e₁₉

P(2，2)＝f₂(2-C_x(2))+e₂₀

                                       公式(45)

公式(45)如上述公式(41)由二十个方程构成。因此相对于第一方法，在第二方法中，当在模拟函数f₂(x)的特征w_i数小于20的情况下，即在模拟函数f₂(x)是具有小于19的维数的多项式的情况下，可以利用最小二乘法计算特征w_i。注意，下面将描述最小二乘法的具体求解。

例如，如果说模拟函数f₂(x)的维数与第一方法相同为5，在第二方法中如下计算特征w_i。

也就是说，图130以曲线图的方式表示公式(45)左侧所示的像素值P(x，y)。由图130所示的各个5个曲线图如图127所示的基本相同。

如图215所示，最大像素值(对应于细线的像素值)在由梯度G_f表示的数据连续性方向上连续。

因此，在第二方法中，如果例如沿x轴补充如图130所示的各个输入像素值P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2)，在像素值变化为如图131所示的状态后补充像素值代替如第一方法中没有修改的补充像素值(假设y不变，并且5个图形在状态上重叠，如图130所示)。

也就是说，图131表示这样的状态，其中如图130所示的各个输入像素值P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2)被平移如上述公式(43)所示的平移量C_x(y)。换句话说，图131表示了这样的状态，其中如图130所示的五个曲线图被平移，如同表示数据连续性的实际方向上的梯度G_F被认为是梯度G_F’(在图中，由虚线构成的直线被认为是由实线构成的直线)。

在图131中的状态中，例如，如果将各输入像素值P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2)沿x轴补充(在图131所示的状态中，如果重叠5个曲线)，如图132所示的平行于x轴的多条直线(虚线、三点连线、实线、单点连线以及两点连线)被分布。

注意，在图132中，垂直轴表示像素值，水平轴表示距离关注像素的相对位置x。同样，虚线表示输入像素值P(x，-2)，三点连线表示输入像素值P(x，-1)，实线表示输入像素值P(x，0)，单点连线表示输入像素值P(x，1)，两点连线表示输入像素值P(x，2)。另外，在同一像素值的情况下，实际上多于两条直线的直线重叠，但是在图132中，所述直线被绘出以区分每条直线，因此，没有彼此重叠的直线。

当各20个输入像素值P(x，y)(然而，x为-1到2的任意整数，y为-2到2的任意整数)这样被分布，以最小化函数值f₂(x+C_x(y))的误差的回归曲线(通过对上述公式(38))代入利用最小二乘法计算的特征w_i而获得的模拟函数f₂(x))变成如图132中实线所示的曲线f₂(x)。

从而，利用第二方法产生的模拟函数f₂(x)表示了在X方向上连接从数据连续性检测单元101(图120)输出的在角度θ方向(即在基本空间方向中的连续性)上的输入像素值P(x，y)的方法的曲线。

另一方面，如上所述，利用第一方法产生的模拟函数f₁(x)只是表示了在X方向上连接在Y方向(即，不同于空间方向中的连续性的方向)上的输入像素值P(x，y)。

因此，如图132所示，利用第二方法产生的模拟函数f₂(x)变成其中波形模糊程度下降的函数，另外，相对于原始像素值的细节减少程度比第一方法产生的模拟函数f₁(x)减少。换句话说，虽然图中没有示出，利用第二方法产生的模拟函数f₂(x)中，其波形变成比利用第一方法产生的模拟函数f₁(x)更接近实际X截面的波形F(x)的波形。

然而，如上所述，模拟函数f₂(x)是考虑空间方向中的连续性的函数，但是只是其中将输入图像(输入像素值)看作原点而产生的函数。也就是说，如图125所示，模拟函数f₂(x)只是模拟不同于X截面波形F(x)的输入图像的函数，而难于认为模拟函数f₂(x)是模拟X截面波形F(x)的函数。换句话说，第二方法是在假设上述公式(44)成立下用于计算特征w_i的方法，但是不考虑上述公式(38)中的关系(不考虑传感器2的积分效应)。

因此，本申请人已经发明用于计算模拟函数f₃(x)的特征w_i的第三方法，其相对于第二方法还考虑了传感器2的积分效应。

也就是说，第三方法是引入空间混合区域的概念的方法。

在描述第三方法前，将参考图133描述空间混合区域。

在图133中，现实世界1中的光信号的部分2321(下文中，指区域2321)表示具有与传感器2的一个检测元件(像素)相同面积的区域。

当传感器2检测区域2321时，传感器2输出通过对区域2321进行在时间和空间方向上(X方向、Y方向和t方向)的积分而获得的值(一个像素值)2322。注意，图中将像素值2322表示为图像，但是实际为表示预定值的数据。

现实世界1中的区域2321被清楚地分成对应于前景(例如上述细线)的光信号(图中的白色区域)、和对应于背景的光信号(图中黑色区域)。

另一方面，像素值2322是通过对对应于前景的现实世界1中的光信号和对应于背景的现实世界1中的光信号进行积分而获得的值。换句话说，像素值2322是对应于其中空间混合对应于前景的光和对应于背景的光的水平的值。

从而，在这样的情况下，其中对应于现实世界1的光信号的一个像素(传感器2的检测元件)的部分不是其中具有相同水平的信号空间均匀地分布的部分，而是其中分布例如前景和背景的具有不同水平的光信号的部分，一旦其区域被传感器2检测，该区域变成一个像素值，如同通过传感器2的积分效应(在空间方向中的积分)空间混合不同的光水平。从而，这里，将由这样的像素构成的区域称为空间混合区域，在所述像素中，对对应于前景(现实世界1中的光信号)的图像、和对应于背景的图像(现实世界1中的光信号)进行空间积分。

因此，在第三方法中，现实世界估计单元102(图120)通过利用用作如图134所示的一维多项式的模拟函数f₃(x)模拟X截面波形F(x)，而估计表示现实世界1中的原始区域2321(在现实世界1的光信号中，部分2321对应于传感器2的一个像素)的X截面波形F(x)。

也就是说，图134示出了对应于用作空间混合区域(图133)的像素值2322的模拟函数f₃(x)的实例，即，模拟对应于现实世界1中的区域2331内的实线的X截面波形F(x)的模拟函数f₃(x)(图133)。在图134中，图中水平方向上的轴线表示平行于对应于像素值2322的像素的左上端x_s到右下端x_e的边的像素(图133)，将其取为x轴。图中垂直方向上的轴线被取为表示像素值的轴线。

在图134中，在通过对模拟函数f₃(x)进行在从x_s到x_e(像素宽度)的范围上进行积分获得的结果通常等于从传感器2输出的像素值P(x，y)的条件下(只依赖于误差余量)，限定下面公式(46)。

$P={\∫}_{x_s}^{x_e}{f}_3\left(x\right)\mathrm{dx}+e$

$={\∫}_{x_s}^{x_e}(w_0+w_{1}x+w_2{x}^2+\·\·\·+w_n{x}^n)\mathrm{dx}+e$

$=w_0\left(x_e{-x}_s\right)+\·\·\·+w_{n-1}\frac{x_e^n-x_s^n}{n}+w_n\frac{x_e^{n+1}-x_e^{n+1}}{n+1}+e$ 公式(46)

在该情况下，从如图129所示的包括细线的数据区域2302的20个像素值P(x，y)(然而，x为-1到2的任一整数值，而y为-2到2的任一整数值)计算模拟函数f₃(x)的特征w_i，从而公式(46)中的像素值P变成P(x，y)。

另外，如同在第二方法中，需要考虑空间方向的连续性，因此，公式(46)的积分范围中的开始位置x_s和结束位置x_e每个都依赖于平移量C_x(y)。也就是说，公式(46)的积分范围中的开始位置x_s和结束位置x_e每个如下面公式(47)所示。

x_s＝x-C_x(y)-0.5

x_e＝x-C_x(y)+0.5

                                   公式(47)

在该情况下，当将如图129所示的包括细线的数据区域2302每个像素值，即如图130所示的各个输入像素值P(x，-2)、P(x，-1)、P(x，0)、P(x，1)以及P(x，2)(然而，x为从-1到2的任意整数值)代入上述公式(46)中(积分范围为上述公式(47))，产生在下面公式(48)中的20个方程。

$P(-1,-2)={\∫}_{-1-C_x(-2)-0.5}^{-1-C_x(-2)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_1,$

$P(0,-2)={\∫}_{0-C_x(-2)-0.5}^{0-C_x(-2)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_2,$

$P(1,-2)={\∫}_{1-C_x(-2)-0.5}^{1-C_x(-2)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_3,$

$P(2,-2)={\∫}_{2-C_x(-2)-0.5}^{2-C_x(-2)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_4,$

$P(-1,-1)={\∫}_{-1-C_x(-1)-0.5}^{-1-C_x(-1)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_5,$

$P(0,-1)={\∫}_{0-C_x(-1)-0.5}^{0-C_x(-1)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_6,$

$P(1,-1)={\∫}_{1-C_x(-1)-0.5}^{1-C_x(-1)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_7,$

$P(2,-1)={\∫}_{2-C_x(-)-0.5}^{2-C_x(-1)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_8,$

$P(-\mathrm{1,0})={\∫}_{-1-0.5}^{-1+0.5}{f}_3\left(x\right)\mathrm{dx}+e_9,$

$P\left(\mathrm{0,0}\right)={\∫}_{0-0.5}^{0+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{10},$

$P(1,0)={\∫}_{1-0.5}^{1+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{11},$

$P(2,0)={\∫}_{2-0.5}^{2+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{12},$

$P(-1,1)={\∫}_{-1-C_x\left(1\right)-0.5}^{-1-C_x\left(1\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{13},$

$P(0,1)={\∫}_{0-C_x\left(1\right)-0.5}^{0-C_x\left(1\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{14},$

$P(1,1)={\∫}_{1-C_x\left(1\right)-0.5}^{1-C_x\left(1\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{15},$

$P(2,1)={\∫}_{2-C_x\left(1\right)-0.5}^{2-C_x\left(1\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{16},$

$P(-1,2)={\∫}_{-1-C_x\left(2\right)-0.5}^{-1-C_x\left(2\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{17},$

$P(0,2)={\∫}_{0-C_x\left(2\right)-0.5}^{0-C_x\left(2\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{18},$

$P(1,2)={\∫}_{1-C_x\left(2\right)-0.5}^{1-C_x\left(2\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{19},$

$P\left(\mathrm{2,2}\right)={\∫}_{2-C_x\left(2\right)-0.5}^{2-C_x\left(2\right)+0.5}{f}_3\left(x\right)\mathrm{dx}+e_{20},$ 公式(48)

公式(48)如上述公式(45)由二十个方程构成。因此相对于第二方法，在第三方法中，当在模拟函数f₃(x)的特征w_i数小于20的情况下，即在模拟函数f₃(x)是具有小于19的维数的多项式的情况下，可以利用最小二乘法计算特征w_i。注意，下面将描述最小二乘法的具体求解。

例如，如果说模拟函数f₃(x)的维数为5，利用公式(48)由最小二乘法计算的模拟函数f₃(x)(通过计算特征w_i产生的模拟函数f₃(x))变成如图135中实线所示的曲线。

注意，在图135中，垂直轴表示像素值，水平轴表示距离关注像素的相对位置x。

如图135所示，在将利用第三方法产生的模拟函数f₃(x)(如图中实线所示的曲线)与利用第二方法产生的模拟函数f₂(x)(如图中虚线所示的曲线)相比较的情况下，在x＝0处的像素值变大，并且曲线的梯度产生更陡的波形。这是因为细节增为多于输入像素，导致与输入像素的分辨率无关。也就是说，可以说模拟函数f₃(x)模拟了X截面波形F(x)。因此，虽然图中没有示出，模拟函数f₃(x)变成比模拟函数f₂(x)更接近X截面波形F(x)的波形。

图136示出了利用该一维多项式模拟方法的现实世界估计单元102的结构实例。

在图136中，现实世界估计单元102通过利用上述第三方法(最小二乘法)计算特征w_i，而估计X截面波形F(x)，并利用计算的特征w_i产生上述公式(39)的模拟函数f(x)。

如图136所示，现实世界估计单元102包括：条件设置单元2231、输入图像存储单元2332、输入像素值获取单元2333、积分分量计算单元2334、正规方程产生单元2335、以及模拟函数产生单元2336。

条件设置单元233l设置用于估计对应于关注像素的X截面波形F(x)的像素范围(下文称分块范围)、以及模拟函数f(x)的维数n。

输入图像存储单元2332临时存储来自传感器2的输入图像(像素值)。

输入像素值获取单元2333获取存储在输入图像存储单元2332中的输入图像的对应于由条件设置单元2231设置的分块范围的输入图像区域，并将其提供给正规方程产生单元2335作为输入像素值表。也就是说，输入像素值表是其中描述输入图像区域中包括的像素的各个像素值的表。注意，下面将描述输入像素值表的具体实例。

这里，现实世界估计单元102利用上述公式(46)和公式(47)通过最小二乘法计算模拟函数f(x)的特征w_i，但是上述公式(46)可以表示成如公式(49)所示。

P(x，y)

$=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×\frac{{(x-C_x\left(y\right)+0.5)}^{i+1}-{(x-C_x\left(y\right)-0.5)}^{i+1}}{i+1}+e$

$=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i\×S_i(x_x,x_e)+e$

                             公式(49)

在公式(49)中，S_i(x_s，x_e)表示i维项的积分分量。也就是说，积分分量S_i(x_s，x_e)如下面公式(50)所示。

$S_i(x_s,x_e)=\frac{x_e^{i+1}-x_s^{i+1}}{i+1}$ 公式(50)

积分分量计算单元2334计算积分分量S_i(x_s，x_e)。

尤其是，只要已知相对像素位置(x，y)、平移量C_x(y)、以及I维项的i，便可以计算如公式(50)所示的S_i(x_s，x_e)(然而，值x_s和值x_e是如上述公式(46)所示的值)。另外，其中分别，由关注像素和分块范围确定相对像素位置(x，y)，由角度θ(通过上述公式(41)和公式(43))确定平移量C_x(y)，以及由维数n确定范围i。

因此，积分分量计算单元2334基于由条件设置单元2331设置的维数和分块范围、从数据连续性检测单元101输出的数据连续性信息的角度θ计算积分分量S_i(x_s，x_e)，并将计算结果提供给正规方程产生单元2335作为积分分量表。

正规方程产生单元2335在利用从输入像素值获取单元2333提供的输入像素值表、以及从积分分量计算单元2334提供的积分分量表通过最小二乘法获得的公式(49)右侧的特征w_i的情况下，产生上述公式(46)，即正规方程，并将其作为正规方程表提供给模拟函数产生单元2336。注意，下面将描述正规方程的具体实例。

模拟函数产生单元2336通过利用矩阵方法求解包括在从正规方程产生单元2335提供的正规方程表中的正规方程，而计算上述公式(49)的各个特征w_i(即，作为一维多项式的模拟函数f(x)的各个系数w_i)，并将其输出给图像产生单元103。

接着，将参考图137的流程图描述采用一维多项式模拟方法的现实世界估计单元102(图136)的现实世界估计处理(图40中步骤S102的处理)。

例如，假设如上述作为从传感器2输出的一帧输入图像的、包括图207中的包括细线的数据区域2302的输入图像已经被存储入输入图像存储单元2332。另外，假设数据连续性检测单元101(图40)已经在步骤S101中的连续性检测处理(图40)中对包括细线的数据区域2302进行了其处理，并已经输出角度θ作为数据连续性信息。

在该情况下，条件设置单元2331在图137的步骤S2301中设置条件(分块范围和维数)。

例如，假设设置了如图138所示的分块范围2351，并将维数设置为5维。

也就是说，图138描述了分块范围的实例。在图138中，X方向和Y方向分别为传感器2的X方向和Y方向(图121)。另外，分块范围2351表示由共20个像素(图中20个方形)构成的像素组，其中为X方向上的4个像素和Y方向上的5个像素。

另外，如图138所示，假设图中分块范围2351的关注像素被设置在自左第二个像素、同时也是自底部第三个像素。另外，假设如图138所示，根据自关注像素的相对像素位置(x，y)(在其中取关注像素的中心(0，0)为原点的关注像素坐标系中的坐标值)，由数l表示每个像素(l为从0到19的任何整数值)。

现在，将返回图137进行描述，其中在步骤S2302中，条件设置单元2331设置关注像素。

在步骤S2303中，输入像素值获取单元2333基于由条件设置单元2331设置的条件(分块范围)获取输入像素值，并产生输入像素值表。也就是说，在该情况下，输入像素值获取单元2333获取包括细线的数据区域2302(图126)，并产生由20个输入像素值P(l)构成的表作为输入像素值表。

注意，在该情况下，输入像素值P(l)和上述输入像素值P(x，y)之间的关系是如下面的公式(51)所示的关系。然而，在公式(51)中，左侧表示输像素值P(l)，右侧表示输入像素值P(x，y)。

P(0)＝P(0，0)

P(1)＝P(-1，2)

P(2)＝P(0，2)

P(3)＝P(1，2)

P(4)＝P(2，2)

P(5)＝P(-1，1)

P(6)＝P(0，1)

P(7)＝P(1，1)

P(8)＝P(2，1)

P(9)＝P(-1，0)

P(10)＝P(1，0)

P(11)＝P(2，0)

P(12)＝P(-1，-1)

P(13)＝P(0，-1)

P(14)＝P(1，-1)

P(15)＝P(2，-1)

P(16)＝P(-1，-2)

P(17)＝P(0，-2)

P(18)＝P(1，-2)

P(19)＝P(2，-2)

                                   公式(51)

在步骤S2304，积分分量计算单元2334基于由条件设置单元2331设置的条件(分块范围和维数)、以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并产生积分分量表。

在该情况下，如上所述，输入像素值不是P(x，y)而是P(l)，并被获取作为像素数l的值，从而积分分量计算单元2334将上述公式(50)中的积分分量S_i(x_s，x_e)计算为l的函数，如下面公式(52)中左侧所示的积分分量S_i(l)。

S_i(l)＝S_i(x_s，x_e)

                                公式(52)

尤其是，在该情况下，计算出如下面公式(53)所示的积分分量S_i(l)。

S_i(0)＝S_i(-0.5，0，5)

S_i(1)＝S_i(-1.5-C_x(2)，-0.5-C_x(2))

S_i(2)＝S_i(-0.5-C_x(2)，0.5-C_x(2))

S_i(3)＝S_i(0.5-C_x(2)，1.5-C_x(2))

S_i(4)＝S_i(1.5-C_x(2)，2.5-C_x(2))

S_i(5)＝S_i(-1.5-C_x(1)，-0.5-C_x(1))

S_i(6)＝S_i(-0.5-C_x(1)，0.5-C_x(1))

S_i(7)＝S_i(0.5-C_x(1)，1.5-C_x(1))

S_i(8)＝S_i(1.5-C_x(1)，2.5-C_x(1))

S_i(9)＝S_i(-1.5，-0.5)

S_i(10)＝S_i(0.5，1.5)

S_i(11)＝S_i(1.5，2.5)

S_i(12)＝S_i(-1.5-C_x(-1)，-0.5-C_x(-1))

S_i(13)＝S_i(-0.5-C_x(-1)，0.5-C_x(-1))

S_i(14)＝S_i(0.5-C_x(-1)，1.5-C_x(-1))

S_i(15)＝S_i(1.5-C_x(-1)，2.5-C_x(-1))

S_i(16)＝S_i(-1.5-C_x(-2)，-0.5-C_x(-2))

S_i(17)＝S_i(-0.5-C_x(-2)，0.5-C_x(-2))

S_i(18)＝S_i(0.5-C_x(-2)，1.5-C_x(-2))

S_i(19)＝S_i(1.5-C_x(-2)，2.5-C_x(-2))

                                           公式(53)

注意，在公式(53)中，左侧表示积分分量S_i(l)，以及右侧表示积分分量S_i(x_s，x_e)。也就是说，在该情况下，i为0到5，因此，计算出20S₀(l)、20S₁(l)、20S₂(l)、20S₃(l)、20S₄(l)、以及20S₅(l)共120个20S_i(l)。

尤其是，第一积分分量计算单元2334利用从数据连续性检测单元101提供的角度θ计算每个平移量C_x(-2)、C_x(-1)、C_x(1)以及C_x(2)。接着，积分分量计算单元2334利用计算的平移量C_x(-2)、C_x(-1)、C_x(1)以及C_x(2)计算如公式(52)右侧所示的关于i＝0到5的每个的20个积分分量S_i(x_s，x_e)中的每个。也就是说，计算120个积分分量S_i(x_s，x_e)。注意，在对该积分分量S_i(x_s，x_e)的计算中，使用了上述公式(50)。接着，积分分量计算单元2334根据公式(53)将每个计算的120个积分分量S_i(x_s，x_e)转换成相应的积分分量S_i(l)，并产生包括转换的120个积分分量S_i(l)的积分分量表。

注意，步骤S2303中的处理和步骤S2304中的处理的顺序不限于图137中的实例，可以先执行步骤S2304中的处理，或者可以同时执行步骤S2303中的处理和步骤S2304中的处理。

接着，在步骤S2305中，正规方程产生单元2335基于由输入像素值获取单元2333在步骤S2303中的处理中产生的输入像素值表、以及由积分分量计算单元2334在步骤S2304的处理中产生的积分分量表，而产生正规方程表。

尤其是，在该情况下，利用最小二乘法计算对应于上述公式(49)的下面公式(54)的特征。对应于此的正规方程如下面公式(55)所示。

$P\left(l\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×S_i\left(l\right)+e$ 公式(54)

                            公式(55)

注意，在公式(55)中，L表示分块范围中的像素数l的最大值。n表示作为多项式的模拟函数f(x)的维数。尤其是，在该情况下，n＝5，以及L＝19。

如果限定如公式(55)所示的正规方程的每个矩阵如公式(56)到(58)所示，正规方程被表示为如下公式(59)。

公式(56)

$W_{\mathrm{MAT}}=\left(\begin{array}{c}{w}_0\\ w_1\\ \·\\ \·\\ \·\\ w_n\end{array}\right)$

公式(57)

$P_{\mathrm{MAT}}=\left(\begin{array}{c}\underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_0\left(l\right)P\left(l\right)\\ \underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_1\left(l\right)P\left(l\right)\\ \·\\ \·\\ \·\\ \underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_n\left(l\right)P\left(l\right)\end{array}\right)$

公式(58)

S_MATW_MAT＝P_MAT

                               公式(59)

如公式(57)所示，各个矩阵W_MAT的分量为将要获得的特征w_i。因此，在公式(59)中，如果确定了左侧的矩阵S_MAT和右侧的矩阵P_MAT，可以利用矩阵解计算矩阵W_MAT(即特征w_i)。

尤其是，如公式(56)所示，只要已知上述积分分量S_i(l)，便可以计算矩阵S_MAT的各个分量。积分分量S_i(l)被包括在从积分分量计算单元2334提供的积分分量表中，从而正规方程产生单元2335可以利用积分分量表计算矩阵S_MAT的每个分量。

另外，如公式(58)所示，只要已知积分分量S_i(l)和像素值P(l)，就可以计算矩阵P_MAT的各个分量。积分分量S_i(l)与被包括在矩阵S_MAT的各个分量中的那些相同，另外，输入像素值P(l)被包括在从输入像素值获取单元2333提供的输入像素值表中，从而，正规方程产生单元利用积分分量表和输入像素值表可以计算矩阵P_MAT的每个分量。

从而，正规方程产生单元2335计算矩阵S_MAT和矩阵P_MAT的每个分量，并将计算结果(矩阵S_MAT和矩阵P_MAT的每个分量)作为正规方程表输出给模拟函数产生单元2336。

当从正规方程产生单元2335输出正规方程表时，在步骤S2306中，模拟函数产生单元2336基于正规方程表计算特征w_i(即作为一维多项式的模拟函数f(x)的系数w_i)，作为上述公式(59)中的矩阵W_MAT的各个分量。

尤其是，可以将上述公式(59)中的正规方程转换为下面的公式(60)。

$W_{\mathrm{MAT}}=S_{\mathrm{MAT}}^{-1}{P}_{\mathrm{MAT}}$ 公式(60)

在公式(60)中，左侧矩阵W_MAT的各个分量是将要获得的特征w_i。关于矩阵S_MAT和矩阵P_MAT的各个分量被包括在从正规方程产生单元2335提供的正规方程表中。因此，模拟函数产生单元2336通过利用正规方程表计算公式(60)的右侧中的矩阵而计算矩阵W_MAT，并将计算结果(特征w_i)输出给图像产生单元103。

在步骤S2307中，模拟函数产生单元2336确定是否已经完成对全部像素的处理。

在步骤S2307中，在确定仍未完成对全部像素的处理时，该处理返回步骤S2303，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S2302到S2307。

在已经完成对全部像素的处理的情况下(在步骤S2307中，在确定已经完成对全部像素的处理的情况下)，对现实世界1的估计处理结束。

注意，通过这样计算的利用系数(特征)w_i产生的模拟函数f(x)的波形变成如上述图135中模拟函数f3(x)的波形。

从而，在一维多项式模拟方法中，在假设具有与一维X截面波形F(x)相同的形式的波形在连续性方向上连续下，计算作为一维多项式的模拟函数f(x)的特征。因此，在一维多项式模拟方法中，可以利用比其它函数模拟方法更少的计算处理量计算模拟函数f(x)的特征。

换句话说，在一维多项式模拟方法中，例如，每个具有时-空积分效应的传感器的多个检测元件(例如图121中的传感器2的检测元件2-1)投影现实世界1中的光信号(例如图122中的现实世界1中的光信号的l部分2301)，图120中的数据连续性检测单元101(图3)检测由多个像素构成的图像数据(例如图122中的图像数据(输入图像数据)2302)中的数据连续性(例如，图129中由G_f表示的数据连续性)，所述像素具有由检测元件2-1投影的像素值(例如在图127中的各个曲线图中示出的输入像素值P(x，y))，所述连续性丢失了现实世界1的光信号的连续性的部分(例如图129中由梯度G_F表示的连续性)。

例如，在这样的条件下，其中在对应于图像数据的时-空方向的一维方向(例如，图124中的箭头2311的方向，即X方向)中的位置上的像素的像素值(例如，作为上述公式(46)左侧的输入像素值P)为通过一维方向中的积分效应获取的像素值(例如，如公式(46)右侧所示，通过在X方向上积分模拟函数f₃(x)而获得的值)，所述一维方向对应于由数据连续性检测单元101检测的数据连续性，则图120(图3)中的现实世界估计单元102通过利用预定模拟函数f(尤其是，例如图135中的模拟函数f₃(x))模拟表示现实世界1的光信号的光信号函数F(尤其是，X截面波形F(x))，而估计光信号函数F。

具体地说，例如，在这样的条件下，其中，在对应于沿一维方向(例如，图X方向)上离对应于由连续性检测处理单元101检测的数据连续性(例如图131中对应于梯度G_f的线(虚线))的直线的距离(例如图131中的平移量C_x(y))的像素的像素值为通过一维方向中的积分效应获取的像素值(例如，如公式(46)右侧所示，通过在X方向上积分模拟函数f₃(x)而获得的值，其中积分范围如公式(46)所示)，则现实世界估计单元102通过利用模拟函数f模拟光信号函数F而估计光信号函数F。

因此，在一维多项式模拟方法中，可以利用比其它函数模拟方法更少的计算处理量计算模拟函数的特征。

接着，将参考图139到图145描述第二函数模拟方法。

也就是说，第二函数模拟方法是这样的方法，其中将例如具有在由例如如图139所示的梯度G_F表示的空间方向上的连续性的现实世界1中的光信号看作在X-Y平面上的波形F(x，y)(在作为空间方向的一个方向的X方向和垂直于X方向的Y方向上的平面水平)，并且利用作为二维多项式的模拟函数f(x，y)模拟波形F(x，y)，从而估计波形F(x，y)。因此，下文中，第二函数模拟方法称二维多项式模拟方法。

注意，在图139中，分别为，水平方向表示作为空间方向的一个方向的X方向，右上方向表示作为空间方向的另一个方向的Y方向，以及垂直方向表示光水平。G_F表示作为空间方向中的连续性的梯度。

另外，在描述二维多项式模拟方法中，假设传感器2为由设置在其平面上的多个检测元件2-1构成的CCD，如图140所示。

在图140的实例中，取平行于检测元件2-1的预定边的方向为作为空间方向的一个方向的X方向，取垂直于X方向的方向为作为空间方向的另一个方向的Y方向。取垂直于X-Y平面的方向为作为时间方向的t方向。

另外，在图140所示的实例中，取传感器2的各个检测元件2-1的空间形状为边长为1的方形。取传感器2的快门时间(曝光时间)为1。

另外，在图140所示的实例中，取传感器2的一个特定检测元件2-1的中心为空间方向(X方向和Y方向)中的原点(X方向上x＝0的位置，以及Y方向上y＝0的位置)，并取曝光时间的中间时刻为时间方向中(t方向)的原点(t方向中t＝0的位置)。

在该情况下，中心在空间方向中的原点(x＝0，y＝0)的检测元件2-1对光信号函数F(x，y，t)进行积分，其范围为在x方向上从-0.5到0.5，在Y方向上从-0.5到0.5，以及在t方向上-0.5到0.5，并将积分值输出作为像素值P。

也就是说，从其中心在空间方向上的原点的检测元件2-1输出的像素值P由下面公式(61)表示。

$P={\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}F(x,y,t)\mathrm{dxdydt}$ 公式(61)

类似，通过取将要处理的检测元件2-1的中心为空间方向中的原点，另一个检测元件2-1也输出了如公式(61)所示的像素值P。

另外，如上所述，二维多项式模拟方法是这样的方法，其中将现实世界1的光信号处理作为例如如图139所示的波形F(x，y)，并且利用作为二维多项式的模拟函数f(x，y)模拟二维波形F(x，y)。

首先，将描述表示具有二维多项式的模拟函数f(x，y)的方法。

如上所述，用光信号函数F(x，y，t)表示现实世界1的光信号，在所示函数中的变量为在三维空间x、y和z上的位置以及时刻t。这里，将这样的光信号函数F(x，y，t)，即在Y方向上的任意位置被投影到X方向上的一维波形称为X截面波形F(x)。

当关注该X截面波形F(x)，在现实世界1中的信号具有在空间方向中的特定方向上的连续性的情况下，可以考虑具有与X截面波形F(x)相同的形式的波形在连续性方向上连续。例如，在图139中的实例中，具有与x截面波形F(x)相同的形式的波形在梯度G_F方向上连续。换句话说，可以认为，通过在梯度G_F方向上连续的具有与X截面波形F(x)相同的形式的波形形成波形F(x，y)。

因此，通过考虑由具有与模拟X截面波形F(x)的模拟函数f(x)相同的形式的连续波形形成用于模拟波形F(x，y)的模拟函数f(x，y)，可以由二维多项式表示模拟函数f(x，y)。

下面将更详细地描述模拟函数f(x，y)的表示方法。

例如，假设由传感器2(图140)检测上述图139所示的现实世界1的光信号，即在由梯度G_F表示的空间方向上具有连续性的光信号，并将其输出作为输入图像(像素值)。

另外，假设如图141所示，数据连续性检测单元101(图3)对该输入图像的由在X方向上的4个像素和在Y方向上的5个像素共20个像素(图中，由虚线表示的20个方形)构成的输入图像区域2401进行其处理，并输出角度θ(由对应于梯度G_F的梯度G_f表示的数据连续性方向和X方向之间的角度θ)作为一个数据连续性信息。

注意，在输入图像区域2401中，图中的水平方向表示作为空间方向的一个方向的X方向，以及图中的垂直方向表示作为空间方向中的另一个方向的Y方向。

另外，在图141中，建立(x，y)坐标系，从而取为自左的第二个像素、同时为自底部的第三个像素的像素作为关注像素，并取关注像素的中心为原点(0，0)。将在X方向上相对于通过原点(0，0)并具有角度θ的直线(具有表示数据连续性方向的梯度G_f的直线)的相对距离(下文中，称为截面方向距离)描述为x’。

另外，在图141中，右侧的曲线图是其中模拟X截面波形F(x’)的函数，其表示作为n维(n为任意整数)多项式的模拟函数f(x’)。在右侧曲线图中的轴线中，图中水平方向上的轴线表示截面方向距离，以及图中垂直方向上的轴线表示像素值。

在该情况下，如图141所示的模拟函数f(x’)是n维多项式，因而由下面公式(62)表示。

$f\left(x^{\′}\right)=w_0+w_1{x}^{\′}+w_2{x}^{\′}+\·\·\·+w_n{x}^{\′n}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{x}^{\′i}$ 公式(62)

另外，由于角度θ确定，因此具有角度θ并通过原点(0，0)的直线是唯一确定的，在Y方向上的任意位置y上，直线在X方向上的位置x₁由下面公式(63)表示。然而，在公式(63)中，s表示cotθ。

x₁＝s×y

                                    公式(63)

也就是说，如图141所示，由坐标(x₁，y)表示对应于由梯度G_f表示的数据连续性的直线上的点。

利用公式(63)，将截面方向距离x’表示成如下面公式(64)。

x′＝x-x₁＝x-s×y

                                   公式(64)

因此，利用公式(62)和公式(64)，将输入图像区域2410内的任意位置(x，y)上的模拟函数f(x，y)表示成下面的公式(65)。

$f(x,y)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{(x-s\×y)}^i$ 公式(65)

注意，在公式(65)中，w_i表示模拟函数f(x，y)的系数。注意，可以将包括模拟函数f(x，y)的模拟函数f的系数w_i取值为模拟函数f的特征。因此，模拟函数f的系数w_i也称为模拟函数f的特征w_i。

从而，只要角度θ已知，可以将具有二维波形的模拟函数f(x，y)表示成公式(65)的多项式。

因此，如果现实世界估计单元102可以计算公式(65)的特征w_i，则现实世界估计单元102可以估计如图139所示的波形F(x，y)。

接着，下文中，将描述用于计算公式(65)的特征w_i的方法。

也就是说，当在对应于一个像素(传感器2(图140)的检测单元2-1)的积分范围(在空间方向中的积分范围)上对由公式(65)表示的模拟函数f(x，y)进行积分时，积分值变成关于像素的像素值的估计值。这由下面的公式(66)中的方程表示。注意，在二维多项式模拟方法中，将时间方向t看作不变值，从而公式(66)被看作其中以在空间方向(X方向和Y方向)中的位置x和y为变量的方程。

$P(x,y)={\∫}_{y-0.5}^{y+0.5}{\∫}_{x-0.5}^{x+0.5}\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{(x-s\×y)}^i+e$ 公式(66)

在公式(66)中，P(x，y)表示其中心位置为来自传感器2的输入图像的位置(x，y)(自关注像素的相对位置(x，y))的像素的像素值。另外，e表示误差余量。

从而，在二维多项式模拟方法中，可以用公式(66)表示输入像素值P(x，y)和作为二维多项式的模拟函数f(x，y)之间的关系，因此，通过利用公式(66)(通过对公式(64)代入计算的特征w_i而产生模拟函数f(x，y))由例如最小二乘法等计算特征w_i，现实世界估计单元102可以估计二维函数F(x，y)(其中在空间方向中突出表示具有空间方向中的由梯度G_F(图139)表示的连续性的现实世界1中的光信号的波形F(x，y))。

图142示出了采用该二维多项式模拟方法的现实世界估计单元102的结构实例。

如图142所示，现实世界估计单元102包括：条件设置单元2421、输入图像存储单元2422、输入像素值获取单元2423、积分分量计算单元2424、正规方程产生单元2425、以及模拟函数产生单元2426。

条件设置单元2421设置用于估计对应于关注像素的函数F(x，y)的像素范围(分块范围)、以及模拟函数f(x，y)的维数n。

输入图像存储单元2422临时存储来自传感器2的输入图像(像素值)。

输入像素值获取单元2423获取存储在输入图像存储单元2422中的输入图像的对应于由条件设置单元2421设置的分块范围的输入图像区域，并将其提供给正规方程产生单元2425作为输入像素值表。也就是说，输入像素值表是其中描述输入图像区域中包括的像素的各个像素值的表。注意，下面将描述输入像素值表的具体实例。

另外，如上所述，采用二维函数模拟方法的现实世界估计单元102通过利用最小二乘法求解上述公式(66)而计算由上述公式(65)表示的模拟函数f(x，y)的特征w_i。

通过利用从下面公式(67)到(69)获得的下面的公式(70)可以将公式(66)表示成下面的公式(71)。

$\∫x^i\mathrm{dx}=\frac{x^{i+1}}{i+1}$ 公式(67)

${\∫(x-s\×y)}^i\mathrm{dx}=\frac{{(x-s\×y)}^{i+1}}{(j+1)}$ 公式(68)

$\∫{(x-s\×y)}^i\mathrm{dy}=\frac{{(x-s\×y)}^{i+1}}{s(i+1)}$ 公式(69)

${\∫}_{y-0.5}^{y+0.5}{\∫}_{x-0.5}^{x+0.5}{(x-s\×y)}^i\mathrm{dxdy}={\∫}_{y-0.5}^{y+0.5}{\left[\frac{{(x-s\×y)}^{i+1}}{(i+1)}\right]}_{x-0.5}^{x+0.5}\mathrm{dy}$

$={\∫}_{y-0.5}^{y+0.5}\frac{{(x+0.5-s\×y)}^{i+1}-{(x-0.5-s\×y)}^{i+1}}{i+1}\mathrm{dy}$

$={\left[\frac{{(x+0.5-s\×y)}^{i+2}}{s(i+1)(i+2)}\right]}_{y-0.5}^{y+0.5}-{\left[\frac{{(x-0.5-s\×y)}^{i+2}}{s(i+1)(i+2)}\right]}_{y-0.5}^{y+0.5}$

$=\frac{{(x+0.5-s\×y+0.5s)}^{i+2}-{(x+0.5-s\×y-0.5s)}^{i+2}-{(x-0.5-s\×y+0.5s)}^{i+2}+{(x-0.5-s\×y-0.5s)}^{i+2}}{s(i+1)(i+2)}$

                                  公式(70)

$P(x,y)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\frac{w_i}{s(i+1)(i+2)}\{{(x+0.5-s\×y+0.5s)}^{i+2}$

$-{(x+0.5-s\×y-0.5s)}^{i+2}-{(x-0.5-s\×y+0.5s)}^{i+2}$

$+{(x-0.5-s\×y-0.5s)}^{i+2}\}+e$

$=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{s}_i(x-0.5,x+0.5,y-0.5,y+0.5)+e$

                                  公式(71)

在公式(71)中，S_i(x-0.5，x+0.5，y-0.5，y+0.5)表示i维项的积分分量。也就是说，积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)如下面公式在(72)所示。

$s_i(x-0.5,x+0.5,y-0.5,y+0.5)=$

$\frac{{(x+0.5-s\×y+0.5s)}^{i+2}-{(x+0.5-s\×y-0.5s)}^{i+2}-{(x-0.5-s\×y+0.5s)}^{i+2}+{(x-0.5-s\×y-0.5s)}^{i+2}}{s(i+1)(i+2)}$

                                         公式(72)

积分分量计算单元2424计算积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)。

尤其是，只要已知相对像素位置(x，y)、上述公式(65)中i维项的s和i变量，便可以计算如公式(72)所示的积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)。其中分别地，相对像素位置(x，y)由关注像素和分块范围确定，变量s为由角度θ确定的cotθ，以及范围i由维数n确定。

因此，积分分量计算单元2424基于由条件设置单元2421设置的维数和分块范围、从数据连续性检测单元101输出的数据连续性信息的角度θ计算积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)，并将计算结果提供给正规方程产生单元2425作为积分分量表。

正规方程产生单元2425在利用从输入像素值获取单元2423提供的输入像素值表、以及从积分分量计算单元2424提供的积分分量表通过最小二乘法获得上述公式(66)即公式(71)的情况下，产生正规方程，并将其作为正规方程表提供给模拟函数产生单元2426。注意，下面将描述正规方程的具体实例。

模拟函数产生单元2426通过利用矩阵方法求解包括在从正规方程产生单元2425提供的正规方程表中的正规方程，而计算上述公式(66)的各个特征w_i(即，作为二维多项式的模拟函数f(x，y)的各个系数w_i)，并将其输出给图像产生单元103。

接着，将参考图143的流程图描述采用二维多项式模拟方法的的现实世界估计处理(图40中步骤S102的处理)。

例如，假设具有由梯度G_F表示的空间方向中的连续性的现实世界1中的光信号已经由传感器2(图140)检测、并被存储入输入图像存储单元2422作为对应于一帧的输入图像。另外，假设数据连续性检测单元101已经在步骤S101中的连续性检测处理(图40)中对输入图像的上述如图141所示的区域2401进行了其处理，并已经输出角度θ作为数据连续性信息。

在该情况下，在步骤S2401中，条件设置单元2421设置条件(分块范围和维数)。

例如，假设设置了如图144所示的分块范围2441，并将维数设置为5维。

图144描述了分块范围的实例。在图144中，X方向和Y方向分别为传感器2的X方向和Y方向(图140)。另外，分块范围2441表示由共20个像素(图中20个方形)构成的像素组，其中为X方向上的4个像素和Y方向上的5个像素。

另外，如图144所示，假设图中分块范围2441的关注像素被设置在自左第二个像素、同时也是自底部第三个像素。另外，假设如图144所示，根据自关注像素的相对像素位置(x，y)(在其中取关注像素的中心(0，0)为原点的关注像素坐标系中的坐标值)，由数l表示每个像素(1为从0到19的任何整数值)。

现在，将返回图143进行描述，其中在步骤S2402中，条件设置单元2421设置关注像素。

在步骤S2403中，输入像素值获取单元2423基于由条件设置单元2421设置的条件(分块范围)获取输入像素值，并产生输入像素值表。也就是说，在该情况下，输入像素值获取单元2423获取输入图像区域2402(图141)，并产生由20个输入像素值P(l)构成的表作为输入像素值表。

注意，在该情况下，输入像素值P(l)和上述输入像素值P(x，y)之间的关系是如下面的公式(73)所示的关系。然而，在公式(73)中，左侧表示输像素值P(l)，右侧表示输入像素值P(x，y)。

P(0)＝P(0，0)

P(1)＝P(-1，2)

P(2)＝P(0，2)

P(3)＝P(1，2)

P(4)＝P(2，2)

P(5)＝P(-1，1)

P(6)＝P(0，1)

P(7)＝P(1，1)

P(8)＝P(2，1)

P(9)＝P(-1，0)

P(10)＝P(1，0)

P(11)＝P(2，0)

P(12)＝P(-1，-1)

P(13)＝P(0，-1)

P(14)＝P(1，-1)

P(15)＝P(2，-1)

P(16)＝P(-1，-2)

P(17)＝P(0，-2)

P(18)＝P(1，-2)

P(19)＝P(2，-2)             公式(73)

在步骤S2404，积分分量计算单元2424基于由条件设置单元2421设置的条件(分块范围和维数)、以及从数据连续性检测单元101提供的数据连续性信息(角度θ)计算积分分量，并产生积分分量表。

在该情况下，如上所述，输入像素值不是P(x，y)而是P(l)，并被获取作为像素数l的值，从而积分分量计算单元2424将上述公式(72)中的积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)计算为l的函数，如下面公式(74)中左侧所示的积分分量S_i(l)。

S_i(l)＝S_i(x-0.5，x+0.5，y-0.5，y+0.5)

                                            公式(74)

尤其是，在该情况下，计算出如下面公式(75)所示的积分分量S_i(l)。

S_i(0)＝S_i(-0.5，0.5，-0.5，0.5)

S_i(1)＝S_i(-1.5，-0.5，1.5，2.5)

S_i(2)＝S_i(-0.5，0.5，1.5，2.5)

S_i(3)＝S_i(0.5，1.5，1.5，2.5)

S_i(4)＝S_i(1.5，2.5，1.5，2.5)

S_i(5)＝S_i(-1.5，-0.5，0.5，1.5)

S_i(6)＝S_i(-0.5，0.5，0.5，1.5)

S_i(7)＝S_i(0.5，1.5，0.5，1.5)

S_i(8)＝S_i(1.5，2.5，0.5，1.5)

S_i(9)＝S_i(-1.5，-0.5，-0.5，0.5)

S_i(10)＝S_i(0.5，1.5，-0.5，0.5)

S_i(11)＝S_i(1.5，2.5，-0.5，0.5)

S_i(12)＝S_i(-1.5，-0.5，-1.5，-0.5)

S_i(13)＝S_i(-0.5，0.5，-1.5，-0.5)

S_i(14)＝S_i(0.5，1.5，-1.5，-0.5)

S_i(15)＝S_i(1.5，2.5，-1.5，-0.5)

S_i(16)＝S_i(-1.5，-0.5，-2.5，-1.5)

S_i(17)＝S_i(-0.5，0.5，-2.5，-1.5)

S_i(18)＝S_i(0.5，1.5，-2.5，-1.5)

S_i(19)＝S_i(1.5，2.5，-2.5，-1.5)

                                       公式(75)

注意，在公式(75)中，左侧表示积分分量S_i(l)，以及右侧表示积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)。也就是说，在该情况下，i为0到5，因此，计算出20S₀(l)、20S₁(l)、20S₂(l)、20S₃(l)、20S₄(l)、以及20S₅(l)共120个20S_i(l)。

尤其是，第一积分分量计算单元2424利用从数据连续性检测单元101提供的角度θ计算cotθ，并取计算结果为变量s。接着，积分分量计算单元2424利用计算的变量s计算如公式(72)右侧所示的关于i＝0到5的每个的20个积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)中的每个。也就是说，计算120个积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)。注意，在对该积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)的计算中，使用了上述公式(138)。接着，积分分量计算单元2424根据公式(141)将每个计算的120个积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)转换成相应的积分分量S_i(l)，并产生包括转换的120个积分分量S_i(l)的积分分量表。

注意，步骤S2403中的处理和步骤S2404中的处理的顺序不限于图143中的实例，可以先执行步骤S2404中的处理，或者可以同时执行步骤S2403中的处理和步骤S2404中的处理。

接着，在步骤S2405中，正规方程产生单元2425基于由输入像素值获取单元2423在步骤S2403中的处理中产生的输入像素值表、以及由积分分量计算单元2424在步骤S2404的处理中产生的积分分量表，而产生正规方程表。

尤其是，在该情况下，利用最小二乘法计算通过上述公式(71)计算特征w_i(然而，在公式(70)中，使用利用公式(74)从积分分量S_i(x-0.5，x+0.5，y-0.5，y+0.5)转换来的S_i(l))，对应于此的正规方程如下面公式(76)所示。

                                   公式(76)

注意，在公式(76)中，L表示分块范围中的像素数l的最大值。n表示作为多项式的模拟函数f(x)的维数。尤其是，在该情况下，n＝5，以及L＝19。

如果限定如公式(76)所示的正规方程的每个矩阵如公式(77)到(79)所示，则正规方程被表示为如下公式(80)。

                             公式(77)

$W_{\mathrm{MAT}}=\left(\begin{array}{c}{w}_0\\ w_1\\ \·\\ \·\\ \·\\ w_n\end{array}\right)$ 公式(78)

$P_{\mathrm{MAT}}=\left(\begin{array}{c}\underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_0\left(l\right)P\left(l\right)\\ \underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_1\left(l\right)P\left(l\right)\\ \·\\ \·\\ \·\\ \underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_n\left(l\right)P\left(l\right)\end{array}\right)$ 公式(79)

S_MATW_MAT＝P_MAT

                             公式(80)

如公式(78)所示，矩阵W_MAT的各个分量为将要获得的特征w_i。因此，在公式(80)中，如果确定了左侧的矩阵S_MAT和右侧的矩阵P_MAT，可以利用矩阵解计算矩阵W_MAT。

尤其是，如公式(77)所示，利用上述积分分量S_i(l)，可以计算矩阵S_MAT的各个分量。也就是说，积分分量S_i(l)被包括在从积分分量计算单元2424提供的积分分量表中，从而正规方程产生单元2425可以利用积分分量表计算矩阵S_MAT的每个分量。

另外，如公式(79)所示，利用积分分量S_i(l)和输入像素值P(l)，可以计算矩阵P_MAT的各个分量。也就是说，积分分量S_i(l)与被包括在矩阵S_MAT的各个分量中的那些相同，另外，输入像素值P(l)被包括在从输入像素值获取单元2423提供的输入像素值表中，从而，正规方程产生单元2425利用积分分量表和输入像素值表可以计算矩阵P_MAT的每个分量。

从而，正规方程产生单元2425计算矩阵S_MAT和矩阵P_MAT的每个分量，并将计算结果(矩阵S_MAT和矩阵P_MAT的每个分量)作为正规方程表输出给模拟函数产生单元2426。

当从正规方程产生单元2425输出正规方程表时，在步骤S2406中，模拟函数产生单元2426基于正规方程表计算特征w_i(即作为二维多项式的模拟函数f(x，y)的系数w_i)，作为上述公式(80)中的矩阵W_MAT的各个分量。

尤其是，可以将上述公式(80)中的正规方程转换为下面的公式(81)。

$W_{\mathrm{MAT}}=S_{\mathrm{MAT}}^{-1}{P}_{\mathrm{MAT}}$ 公式(81)

在公式(81)中，左侧矩阵W_MAT的各个分量是将要获得的特征w_i。关于矩阵S_MAT和矩阵P_MAT的各个分量被包括在从正规方程产生单元2425提供的正规方程表中。因此，模拟函数产生单元2426通过利用正规方程表计算公式(81)的右侧中的矩阵而计算矩阵W_MAT，并将计算结果(特征w_i)输出给图像产生单元103。

在步骤S2407中，模拟函数产生单元2426确定是否已经完成对全部像素的处理。

在步骤S2407中，在确定仍未完成对全部像素的处理时，该处理返回步骤S2402，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S2402到S2407。

在已经完成对全部像素的处理的情况下(在步骤S2407中，在确定已经完成对全部像素的处理的情况下)，对现实世界1的估计处理结束。

作为对二维多项式模拟方法的描述，已经采用了用于对应于空间方向(X方向和Y方向)计算模拟函数f(x，y)的系数(特征)w_i的实例，但是也可以将二维多项式模拟方法施加到时间和空间方向(X方向和t方向、或Y方向和t方向)。

也就是说，上述实例是这样的实例，其中现实世界1中的光信号具有由梯度G_F(图139)表示的空间方向中的连续性，以及因此，如上述公式(66)所示，所示方程包括在空间方向(X方向和Y方向)中的二维积分。然而，关于二维积分的构思不仅可以被施加到空间方向，还可以被施加到时间和空间方向(X方向和t方向，或Y方向和t方向)。

换句话说，在二维多项式模拟方法中，即使在这样的情况下，其中，将要被估计的光信号函数F(x，y，t)不仅具有空间方向中的连续性，还具有时间和空间方向中的连续性(然而，X方向和t方向，或Y方向和t方向)，这可以利用二维多项式模拟。

尤其是，例如，在存在在水平方向上以均匀速度水平移动的对象的情况下，对象的移动方向由例如X-t平面中的梯度V_f表示，如图145所示。换句话说，可以认为梯度V_f表示在X-t平面中的时间和空间方向上的连续性方向。因此，数据连续性检测单元101可以输出如图145所示的移动θ(严格地说，虽然图中没有示出，移动θ是由用对应于梯度V_F的梯度V_f表示的数据连续性方向和空间方向中的X方向产生的角度)作为数据连续性信息，其对应于表示在X-t平面中的时间和空间方向上的连续性的梯度V_F、以及角度θ(对应于在X-Y平面中由梯度G_F表示的空间方向的连续性的连续性信息)。

因此，采用二维多项式模拟方法的现实世界估计单元102通过用移动θ代替角度θ，可以以与上述方法相同的方法计算模拟函数f(x，t)的系数(特征)w_i。然而，在该情况下，将要使用的公式不是上述公式(66)，而是下面的公式(82)。

$P(x,t)={\∫}_{t-0.5}^{t+0.5}{\∫}_{x-0.5}^{x+0.5}\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{(x-s\×t)}^i\mathrm{dxdt}+e$ 公式(82)

注意，在公式(148)中，s为cotθ(然而，θ是移动)。

另外，可以以与上述模拟函数f(x，t)相同的方法，处理关注空间方向Y代替空间方向X的模拟函数f(y，t)。

从而，在二维多项式模拟方法中，例如，每个具有时间-空间积分效应的传感器的多个检测元件(例如图140中传感器2的检测元件2-1)投影现实世界1的光信号(图120)，图120中的数据连续性检测单元101检测图像数据(例如，图120中的输入图像)中的数据连续性(例如，图141中由G_f表示的数据连续性)，所述图像数据由具有利用检测元件2-1投影的像素值的多个像素构成，其丢失了现实世界1的光信号的部分连续性(例如，图139中由梯度G_F表示的连续性)。

例如，在这样的条件下，其中在对应于图像数据的时-空方向的二维方向(例如，图139和图140中的空间方向和空间方向Y)中的位置上的像素的像素值(例如，作为上述公式(65)左侧的输入像素值P(x，y))为通过二维方向中的积分效应获取的像素值(例如，如公式(66)右侧所示，通过在X方向和Y方向上积分模拟上述公式(65)中的函数f(x，y)而获得的值)，所述二维方向对应于由数据连续性检测单元101检测的数据连续性(例如，如公式(66)右侧所示)，则图120(图3)中的现实世界估计单元102(图142的结构)通过利用作为多项式的模拟函数f(例如如公式(65)中的模拟函数f(x，y))模拟表示现实世界1的光信号的光信号函数F(尤其是，图139中的函数F(x，y))，而估计光信号函数F。

具体为，例如，在这样的条件下，其中，在对应于沿二维方向上离对应于由连续性检测处理单元101检测的数据连续性(例如图141中对应于梯度G_f的线(箭头))的直线的距离(例如图141中的截面方向距离x’)的像素的像素值为通过至少在二维方向中的积分效应获取的像素值，则现实世界估计单元102通过利用作为多项式的第二函数模拟表示现实世界的光信号的第一函数而估计表示光信号的第一函数。

因此，在二维多项式模拟方法中，考虑二维积分效应而不是一维积分效应，从而可以比一维多项式模拟方法更精确地估计现实世界1中的光信号。

接着，将参考图146到图150描述第三函数模拟方法。

也就是说，第三函数模拟方法是这样的方法，其中关注具有在时空方向的预定方向上的连续性的现实世界1中的光信号由光信号函数F(x，y，t)表示的情况，利用模拟函数f(x，y，t)模拟光信号函数F(x，y，t)，从而估计光信号函数F(x，y，t)。因此，下文中，第三函数模拟方法称为三维函数模拟方法。

另外，在描述三维多项式模拟方法中，假设传感器2为由设置在其平面上的多个检测元件2-1构成的CCD，如图146所示。

在图146的实例中，取平行于检测元件2-1的预定边的方向为作为空间方向的一个方向的X方向，取垂直于X方向的方向为作为空间方向的另一个方向的Y方向。取垂直于X-Y平面的方向为作为时间方向的t方向。

另外，在图146所示的实例中，取传感器2的各个检测元件2-1的空间形状为边长为1的方形。取传感器2的快门时间(曝光时间)为1。

另外，在图146所示的实例中，取传感器2的一个特定检测元件2-1的中心为空间方向(X方向和Y方向)中的原点(X方向上x＝0的位置，以及Y方向上y＝0的位置)，并取曝光时间的中间时刻为时间方向中(t方向)的原点(t方向中t＝0的位置)。

在该情况下，中心在空间方向中的原点(x＝0，y＝0)的检测元件2-1对光信号函数F(x，y，t)进行积分，其范围为在x方向上从-0.5到0.5，在Y方向上从-0.5到0.5，以及在t方向上-0.5到0.5，并将积分值输出作为像素值P。

也就是说，从其中心在空间方向上的原点的检测元件2-1输出的像素值P由下面公式(83)表示。

$P={\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}{\∫}_{-0.5}^{+0.5}F(x,y,t)\mathrm{dxdydt}$ 公式(83)

类似，通过取将要处理的检测元件2-1的中心为空间方向中的原点，另一个检测元件2-1也输出了如公式(83)所示的像素值P。

另外，如上所述，在三维多项式模拟方法中，将光信号函数F(x，y，t)模拟为三维多项式的模拟函数f(x，y，t)。

尤其是，例如，取模拟函数f(x，y，t)为具有N变量(特征)的函数，定义对应于公式(83)的输入像素P(x，y，t)与模拟函数f(x，y，t)之间的关系式。从而，在获取大于N的M个输入像素P(x，y，t)的情况下，可以从定义的关系式计算N个变量(特征)。也就是说，现实世界估计单元102通过获取M个输入像素P(x，y，t)并计算N个变量(特征)可以估计光信号函数F(x，y，t)。

在该情况下，现实世界估计单元102通过利用来自传感器2的输入图像(输入像素值)中包括的数据连续性作为约束(即，利用数据连续性信息作为将要从数据连续性检测单元101输出的输入图像)，从整个输入图像中选取(获取)M个输入图像P(x，y，t)。

例如，如图147所示，在对应于输入图像的光信号函数F(x，y，t)具有由梯度G_F表示的空间方向中的连续性的情况下，数据连续性检测单元101最后输出角度θ(在由对应于梯度G_F的梯度G_f(未示出)表示的数据连续性方向与X轴之间的角度θ)作为相对于输入图像的连续性信息。

在该情况下，就认为即使在投影到Y方向的任意位置的情况下，其中光信号函数F(x，y，t)被投影在X方向的一维波形(该波形在此称作X截面波形)具有相同的形式。

也就是说，就认为存在具有相同形式的X截面波形，其为在连续性方向(相对于X方向的角度θ方向)上连续的二维(空间方向)波形，并且用模拟函数f(x，y，t)模拟三维波形，其中这样的二维波形在时间方向t上连续。

换句话说，在Y方向上从关注像素的中心平移y位置的X截面波形变成这样的波形，其中通过关注像素中心的X截面波形在X方向上被移动(平移)预定量(根据角度θ的变化量)。注意，下文中，该量称为平移量。

可以如下计算平移量。

也就是说，梯度V_f(例如，表示对应于图147中的梯度V_F的数据连续性方向的梯度V_f)和角度θ如下面公式(84)所示。

$G_f=\tan \mathrm{\θ}=\frac{\mathrm{dy}}{\mathrm{dx}}$ 公式(84)

注意，在公式(84)中，dx表示在X方向中的微小移动量，dy表示相对于dx在Y方向上的微小移动量。

因此，如果将相对于X方向的移动量描述为C_x(y)，其由下面公式(85)表示。

$C_x\left(y\right)=\frac{y}{G_f}$ 公式(85)

如果这样定义平移量C_x(y)，则对应于公式(83)的输入像素P(x，y，t)与模拟函数f(x，y，t)之间的关系式如下面的公式(86)所示。

$P(x,y,t)={\∫}_{t_s}^{t_e}{\∫}_{y_s}^{y_e}{\∫}_{x_s}^{x_e}f(x,y,t)\mathrm{dxdydt}+e$ 公式(86)

在公式(86)中，e表示误差余量。t_s表示在t方向上的积分开始位置，以及t_e表示在t方向上的积分结束位置。同样，y_s表示在Y方向上的积分开始位置，以及y_e表示在Y方向上的积分结束位置。另外，x_s表示在X方向上的积分开始位置，以及x_e表示在X方向上的积分结束位置。然而，各个具体积分范围如下面公式(87)所示。

t_s＝t-0.5

t_e＝t+0.5

y_s＝y-0.5

y_e＝y+0.5

x_s＝x-C_x(y)-0.5

x_e＝x-C_x(y)+0.5

                            公式(87)

如公式(87)所示，通过在X方向上将积分范围平移平移量C_x(y)到达位于在空间方向上距离关注像素为(x，y)的像素，可以将其表示为具有在连续性方向(相对于X方向的角度θ)上连续的相同形式的X截面波形。

从而，在三维函数模拟方法中，像素值P(x，y，t)与三维模拟函数f(x，y，t)之间的关系可以利用公式(86)表示(积分范围为公式(87))，因此，通过例如利用公式(86)和公式(87)的最小二乘法计算模拟函数f(x，y，t)的N个特征，可以估计光信号函数F(x，y，t)(例如，具有由如图147所示的梯度V_F表示的空间方向中的连续性的光信号)。

注意，在由光信号函数F(x，y，t)表示的光信号具有由如图147所示的梯度V_F表示的空间方向中的连续性的情况下，可以如下模拟光信号函数F(x，y，t)。

也就是说，假设假设其中在Y方向上投影有光信号函数F(x，y，t)的一维波形(下文中，这样的波形称为Y截面波形)具有相同的形式，即使在X方向的任意位置上的投影的情况下。

换句话说，假设存在其中具有相同形式的Y截面波形的二维(空间方向)波形在连续性方向(相对于X方向的角度θ方向)上连续，并且用模拟函数f(x，y，t)模拟三维波形，其中这样的二维波形在时间方向t上连续。

因此，在X方向上从关注像素的中心平移x位置的Y截面波形变成这样的波形，其中通过关注像素中心的Y截面波形在Y方向上被移动(平移)预定平移量(根据角度θ的变化平移量)。

可以如下计算平移量。

也就是说，梯度G_f如上述公式(84)所示，从而如果相对于Y方向的平移量被描述为C_y(x)，其被表示为下面的公式(88)。

C_y(x)＝G_f×x

                           公式(88)

如同对平移量C_x(y)的定义，如果这样定义平移量C_x(y)，则对应于公式(83)的输入像素P(x，y，t)与模拟函数f(x，y，t)之间的关系式如上述的公式(86)所示。

然而，在该情况下，各个具体积分范围如下面公式(89)所示。

t_s＝t-0.5

t_e＝t+0.5

y_s＝y-C_y(x)-0.5

y_e＝y-C_y(x)+0.5

x_s＝x-0.5

x_e＝x+0.5

                             公式(89)

如公式(89)(和上述公式(86))所示，通过在Y方向上将积分范围平移平移量C_x(y)到达位于在空间方向上距离关注像素为(x，y)的像素，可以将其表示为具有在连续性方向(相对于X方向的角度θ)上连续的相同形式的Y截面波形。

从而，在三维函数模拟方法中，上述公式(86)右侧的积分范围不仅可以设为公式(87)还可以设为公式(89)，因此，通过例如利用其中采用公式(89)作为积分范围的公式(86)的最小二乘法计算模拟函数f(x，y，t)的n个特征，可以估计光信号函数F(x，y，t)(例如，具有由梯度G_F表示的空间方向中的连续性的现实世界1中的光信号)。

从而，表示积分范围的公式(87)和公式(89)表示基本相同但只有一个差别，所述差别是关于周边像素是在对应于连续性方向的X方向上平移(在公式(87)的情况下)还是在对应于连续性方向的Y方向上平移(在公式(89)的情况下)。

然而，对应于连续性方向(梯度G_F)，存在关于将光信号函数F(x，y，t)看作一组X截面波形、或一组Y截面波形的差别。也就是说，在连续性方向接近Y方向的情况下，优选将光信号函数F(x，y，t)看作一组X截面波形。另一方面，在连续性方向接近X方向的情况下，优选将光信号函数F(x，y，t)看作一组Y截面波形。

因此，优选的是，现实世界估计单元102同时预备公式(87)和公式(89)作为积分范围，并根据连续性方向选择公式(87)和公式(89)中的任一个作为模拟公式(86)右侧的积分范围。

尽管已经描述了在这样的情况下的三维函数方法，其中光信号函数F(x，y，t)具有空间方向(X方向和Y方向)中的连续性(例如，由如图147的梯度G_F表示的空间方向上的连续性)，但是可以将三维函数方法应用到这样的情况中，其中光信号函数F(x，y，t)具有在时间和空间方向(X方向、Y方向以及t方向)上的连续性(由梯度V_f表示的连续性)，如图148所示。

也就是说，在图148中，取对应于帧#N-1的光信号函数为F(x，y，#N-1)，取对应于帧#N的光信号函数为F(x，y，#N)，以及取对应于帧#N+1的光信号函数为F(x，y，#N+1)。

注意，在图148中，取水平方向为空间方向的一个方向的X方向，取右上方向为空间方向的另一个方向的Y方向，以及取垂直方向为作为图中时间方向的t方向。

另外，帧#N-1在时间方向上在帧#N之前，而帧#N+1在时间方向上在帧#N之后。也就是说，以帧#N-1、#N和#N+1的顺序显示帧#N-1、#N和#N+1。

在图148所示的实例中，将沿如梯度V_F(图中自左下附近的边的右上向内的方向)所示的方向上的截面光水平看作基本不变。因此，在图148的实例中，可以认为光信号函数F(x，y，t)具有由梯度V_F表示的在时间空间方向中的连续性。

在该情况下，当定义表示在时间和空间方向中的连续性的函数C(x，y，t)，并且用定义的函数C(x，y，t)定义上述公式(86)的积分范围，则利用上述公式(87)和公式(89)可以计算模拟函数f(x，y，t)的N个特征。

函数C(x，y，t)不限于特定函数，只要其为表示连续性方向的函数。然而下文中，假设采用线性连续性，并定义对应于作为表示上述空间方向中的连续性的函数的平移量C_x(y)(公式(85))和平移量C_y(x)(公式87)的C_x(t)和C_y(t)作为对应于如下文的其函数C(x，y，t)。

也就是说，如果对应于表示上述空间方向中的数据连续性的梯度G_f将在时间和空间方向中的数据连续性取为V_f，并且如果将该梯度V_f分成在X方向中的梯度(下文称为V_fx)和在Y方向上的梯度(下文称为V_fy)，则分别地，梯度V_fx由下面公式(90)表示，以及梯度V_fy由下面公式(91)表示。

$V_{\mathrm{fx}}=\frac{\mathrm{dx}}{\mathrm{dt}}$ 公式(90)

$V_{\mathrm{fy}}=\frac{\mathrm{dy}}{\mathrm{dt}}$ 公式(91)

在该情况下，利用公式(90)中的V_fx将函数C_x(t)表示为下面的公式(92)。

C_x(t)＝V_fx×t

                            公式(92)

类似，利用公式(91)中的V_fy将函数C_y(t)表示为下面的公式(93)。

C_y(t)＝V_fy×t

                            公式(93)

从而，当定义了表示时间和空间方向中的连续性2511的函数C_x(t)和C_y(t)时，公式(86)的积分范围被表示为公式(94)。

t_s＝t-0.5

t_e＝t+0.5

y_s＝y-C_y(t)-0.5

y_e＝y-C_y(t)+0.5

x_s＝x-C_x(t)-0.5

x_e＝x-C_x(t)+0.5

                             公式(94)

从而，在三维函数模拟方法中，像素值P(x，y，t)与三维模拟函数f(x，y，t)之间的关系可以利用公式(86)表示，因此，通过例如利用以公式(94)作为公式(86)右侧的积分范围的最小二乘法等计算模拟函数f(x，y，t)的n+1个特征，可以估计光信号函数F(x，y，t)(具有在时间和空间方向中的预定方向上的连续性的现实世界1的光信号)。

图149示出了采用该三维多项式模拟方法的现实世界估计单元102的结构实例。

注意，通过现实世界估计单元102采用三维函数模拟方法计算的模拟函数f(x，y，t)(实际上，其特征(系数))不限于特定方程，但是在下面的描述中采用了n(n＝N-1)维的多项式。

如图149所示，现实世界估计单元102包括：条件设置单元2521、输入图像存储单元2522、输入像素值获取单元2523、积分分量计算单元2524、正规方程产生单元2525、以及模拟函数产生单元2526。

条件设置单元2521设置用于估计对应于关注像素的函数F(x，y，t)的像素范围(分块范围)、以及模拟函数f(x，y，t)的维数n。

输入图像存储单元2522临时存储来自传感器2的输入图像(像素值)。

输入像素值获取单元2523获取存储在输入图像存储单元2522中的输入图像的对应于由条件设置单元2521设置的分块范围的输入图像区域，并将其提供给正规方程产生单元2525作为输入像素值表。也就是说，输入像素值表是其中描述输入图像区域中包括的像素的各个像素值的表。

另外，如上所述，采用三维函数模拟方法的现实世界估计单元102通过利用上述公式(86)(然而，以公式(87)、公式(90)或公式(94)为积分范围)的最小二乘法计算模拟函数f(x，y)的N个特征(在该情况下，为每一维的系数)。

通过计算对公式(86)右侧的积分可以将其表示为下面的公式(95)。

$P(x,y,t)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{S}_i(x_s,x_e,y_s,y_e,t_s,t_e)+e$ 公式(95)

在公式(95)中，w_i表示i维项的系数(特征)，另外，S_i(x_s，x_e，y_s，y_e，t_s，t_e)表示i维项的积分分量。然而，分别地，x_s表示在X方向上的积分范围开始位置，x_e表示在X方向上的积分范围结束位置，y_s表示在Y方向上的积分范围开始位置，y_e表示在Y方向上的积分范围结束位置，t_s表示在t方向上的积分范围开始位置，以及t_e表示在t方向上的积分范围结束位置。

积分分量计算单元2524计算积分分量S_i(x_s，x_e，y_s，y_e，t_s，t_e)。

也就是说，积分分量计算单元2524基于由条件设置单元2521设置的维数和分块范围、从数据连续性检测单元101输出的数据连续性信息的角度或移动(对于整数范围，在利用上述公式(87)或公式(90)的情况下的角度，以及在利用上述公式(94)的情况下的移动)计算积分分量S_i(x_s，x_e，y_s，y_e，t_s，t_e)，并将计算结果提供给正规方程产生单元2525作为积分分量表。

正规方程产生单元2525在利用从输入像素值获取单元2523提供的输入像素值表、以及从积分分量计算单元2524提供的积分分量表通过最小二乘法获得上述公式(95)的情况下，产生正规方程，并将其作为正规方程表提供给模拟函数产生单元2526。下面将描述正规方程的具体实例。

模拟函数产生单元2526通过利用矩阵方法求解包括在从正规方程产生单元2525提供的正规方程表中的正规方程，而计算各个特征w_i(在该情况下，作为三维多项式的模拟函数f(x，y)的各个系数w_i)，并将其输出给图像产生单元103。

接着，将参考图150的流程图描述采用三维函数模拟方法的的现实世界估计处理(图40中步骤S102的处理)。

首先，在步骤S2501中，条件设置单元2521设置条件(分块范围和维数)。

例如，假设设置了由L个像素构成的分块范围2441。另外，假设预定数l(l为0到L-1中的任意整数)属于每个像素。

接着，在步骤S2502中，条件设置单元2521设置关注像素。

在步骤S2503中，输入像素值获取单元2523基于由条件设置单元2521设置的条件(分块范围)获取输入像素值，并产生输入像素值表。在该情况下，产生由L个输入像素值P(x，y，t)构成的表。这里，假设将L个输入像素值P(x，y，t)中的每个描述为作为其像素的数l的函数的P(l)。也就是说，输入像素值表变成包括L个P(l)的表。

在步骤S2504，积分分量计算单元2524基于由条件设置单元2521设置的条件(分块范围和维数)、以及从数据连续性检测单元101提供的数据连续性信息(角度或移动)计算积分分量，并产生积分分量表。

然而，在该情况下，如上所述，输入像素值不是P(x，y，t)而是P(l)，并被获取作为像素数l的值，从而积分分量计算单元2524将上述公式(95)中的积分分量S_i(x_s，x_e，y_s，y_e，t_s，t_e)计算为如积分分量S_i(l)的l的函数。也就是说，积分分量表变成包括L×i S_i(l)的表。

注意，步骤S2503中的处理和步骤S2504中的处理的顺序不限于图150中的实例，可以先执行步骤S2504中的处理，或者可以同时执行步骤S2503中的处理和步骤S2504中的处理。

接着，在步骤S2505中，正规方程产生单元2525基于由输入像素值获取单元2523在步骤S2503中的处理中产生的输入像素值表、以及由积分分量计算单元2524在步骤S2504的处理中产生的积分分量表，而产生正规方程表。

尤其是，在该情况下，利用最小二乘法计算对应于上述公式(95)计算下面公式(96)的特征w_i。对应于此的正规方程如下面公式(97)所示。

$P\left(l\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{S}_i\left(l\right)+e$ 公式(96)

                             公式(97)

如果定义如公式(97)所示的正规方程的每个矩阵如公式(98)到(100)所示，则正规方程被表示为如下公式(101)。

                             公式(98)

$W_{\mathrm{MAT}}=\left(\begin{array}{c}{w}_0\\ w_0\\ \·\\ \·\\ \·\\ w_n\end{array}\right)$ 公式(99)

$P_{\mathrm{MAT}}=\left(\begin{array}{c}\underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_0\left(l\right)P\left(l\right)\\ \underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_1\left(l\right)P\left(l\right)\\ \·\\ \·\\ \·\\ \underset{l=0}{\overset{L}{\mathrm{\Σ}}}{S}_n\left(l\right)P\left(l\right)\end{array}\right)$ 公式(100)

S_MATW_MAT＝P_MAT

                        公式(101)

如公式(99)所示，矩阵W_MAT的各个分量为将要获得的特征w_i。因此，在公式(101)中，如果确定了左侧的矩阵S_MAT和右侧的矩阵P_MAT，可以利用矩阵解计算矩阵W_MAT(即特征w_i)。

尤其是，如公式(98)所示，只要已知上述积分分量S_i(l)，可以计算矩阵S_MAT的各个分量。积分分量S_i(l)被包括在从积分分量计算单元2524提供的积分分量表中，从而正规方程产生单元2525可以利用积分分量表计算矩阵S_MAT的每个分量。

另外，如公式(100)所示，只要已知积分分量S_i(l)和输入像素值P(l)，可以计算矩阵P_MAT的各个分量。积分分量S_i(l)与被包括在矩阵S_MAT的各个分量中的那些相同，另外，输入像素值P(l)被包括在从输入像素值获取单元2523提供的输入像素值表中，从而，正规方程产生单元2525利用积分分量表和输入像素值表可以计算矩阵P_MAT的每个分量。

从而，正规方程产生单元2525计算矩阵S_MAT和矩阵P_MAT的每个分量，并将计算结果(矩阵S_MAT和矩阵P_MAT的每个分量)作为正规方程表输出给模拟函数产生单元2526。

当从正规方程产生单元2525输出正规方程表时，在步骤S2506中，模拟函数产生单元2526基于正规方程表计算特征w_i(即模拟函数f(x，y，t)的系数w_i)，作为上述公式(101)中的矩阵W_MAT的各个分量。

尤其是，可以将上述公式(101)中的正规方程转换为下面的公式(102)。

$W_{\mathrm{WAT}}=S_{\mathrm{MAT}}^{-1}{P}_{\mathrm{MAT}}$ 公式(102)

在公式(02)中，左侧矩阵W_MAT的各个分量是将要获得的特征w_i。关于矩阵S_MAT和矩阵P_MAT的各个分量被包括在从正规方程产生单元2525提供的正规方程表中。因此，模拟函数产生单元2526通过利用正规方程表计算公式(102)的右侧中的矩阵而计算矩阵W_MAT，并将计算结果(特征w_i)输出给图像产生单元103。

在步骤S2507中，模拟函数产生单元2526确定是否已经完成对全部像素的处理。

在步骤S2507中，在确定仍未完成对全部像素的处理时，该处理返回步骤S2502，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S2502到S2507。

在已经完成对全部像素的处理的情况下(在步骤S5407中，在确定已经完成对全部像素的处理的情况下)，对现实世界1的估计处理结束。

如上所述，三维函数模拟方法考虑在时间和空间方向上的三维积分效应代替一维或二维积分效应，因此，可以比一维多项式模拟方法和二维多项式模拟方法更精确地估计现实世界1的光信号。

换句话说，在三维函数模拟方法中，例如，在这样的条件下，其中，每个具有时间-空间积分效应的传感器的多个检测元件(例如图146中传感器2的检测元件2-1)投影现实世界1的光信号，在具有利用检测元件投影的像素值的多个像素构成的输入图像中，所述输入图像丢失了现实世界1的光信号的部分连续性(例如，图147中由梯度G_F表示的、或图148中由梯度V_F表示的连续性)，对应于时空方向中的至少一维方向(例如图148中空间方向X、空间方向Y以及时间方向t的三维方向)的一个位置的上述像素的上述像素值(例如公式(87)左侧的输入像素值P(x，y，z))为通过至少一维方向中的积分效应获取的像素值(例如，如公式(86)右侧所示，通过对模拟函数f(x，y，t)在空间方向X、空间方向Y以及时间方向t三维中积分所获的值)，则图120(图3)中的现实世界估计单元102(例如具有图149所示的结构)利用预定模拟函数f(尤其是，例如，公式(86)右侧的模拟函数f(x，y，t))模拟表示现实世界中的光信号的光信号函数F(尤其是，例如图147和图148中的光信号函数F(x，y，t))而估计光信号函数F，

另外，例如，在图120(图3)中的数据连续性检测单元101检测输入图像数据的连续性的情况下，在对应于在输入数据的时空方向对应于由数据连续性检测单元101检测的数据连续性的至少一维方向中的位置上的像素的像素值是通过至少一维方向上的积分效应获取的像素值的条件下，现实世界估计单元102通过利用模拟函数f模拟光信号函数F而估计光信号函数F。

具体为，例如，在这样的条件下，其中，在对应于沿至少一维方向上离对应于由连续性检测处理单元101检测的数据连续性的直线的距离(例如上述公式(85)中的平移量C_x(y))的像素的像素值为通过至少在一维方向中的积分效应获取的像素值(例如，如公式(87)右侧所示，以上述公式(86)为积分范围，通过对模拟函数f(x，y，t)在X方向、Y方向以及t方向三维中积分所获的值)，则现实世界估计单元102通过利用模拟函数f模拟光信号函数F而估计光信号函数。

因此，三维函数模拟方法可以更精确地估计现实世界1中的光信号。

接着，将参考图151到图172描述图像产生单元103(图3)的实施例。

图151描述了本实施例的特征。

如图151所示，本实施例基于现实世界估计单元102采用函数模拟方法的条件。也就是说，假设作为投影到传感器2中的图像的现实世界1的信号(光强分布)由预定函数F表示，这是现实世界估计单元102利用从传感器2输出的输入图像(像素值P)和从数据连续性检测单元101输出的数据连续性信息由预定函数f模拟函数F而估计函数F的假设。

注意，下文中，在对本实施例的描述中，作为图像的现实世界1中的信号尤其称为光信号，函数F尤其称为光信号函数F。另外，函数f尤其称为模拟函数f。

在该实施例中，基于该假设，图像产生单元103利用从数据连续性检测单元101输出的数据连续性信息和从现实世界估计单元102输出的现实世界估计信息(在图151的实例中，模拟函数f的特征)在预定时间空间区域上积分模拟函数f，并输出积分值作为输出像素值M(输出图像)。注意，在该实施例中，将输入像素值描述为P，并将输出像素值描述为M，以区分输入像素值和输出像素值。

换句话说，当对光信号函数F积分一次，光信号函数F变成输入像素值P，从输入像素值P估计光信号函数F(用模拟函数f模拟)，再次对估计的光信号函数F(即模拟函数f)积分，从而产生输出像素值M。因此，下文中，由图像产生单元103执行的对模拟函数f的积分称为再积分。另外，本实施例称为再积分方法。

注意，如下文所述，在再积分方法中，在产生输出像素值M的情况下，模拟函数f的积分范围不限于在产生输入像素值P的情况下光信号函数F的积分范围(即，传感器2的检测元件的垂直宽度和水平宽度、时间方向上的传感器2的曝光时间)，可以采用任何积分范围。

例如，在产生输出像素值M的情况下，改变模拟函数f的积分范围在空间方向上的积分范围，允许改变根据其积分范围的输出图像的像素间距。也就是说，可以用于产生空间分辨率。

同样，例如，在产生输出像素值M的情况下，改变模拟函数f的积分范围在时间方向上的积分范围，允许产生时间分辨率。

此后，将参考附图分别描述该重积分方法的三种特定方法。

也就是说，这些特定方法分别是对应于三种特定函数模拟方法(现实世界估计单元102的实施例的上述三种特定实例)的方法的再积分方法。

尤其是，第一方法是对应于上述一维多项式模拟方法(一种函数模拟方法的方法)的再积分方法。因此，在第一方法中，进行一维再积分，从而下文中，将这样的再积分方法称为一维再积分方法。

第二方法是对应于上述二维多项式模拟方法(一种函数模拟方法的方法)的再积分方法。因此，在第二方法中，进行二维再积分，从而下文中，将这样的再积分方法称为二维再积分方法。

第三方法是对应于上述三维多项式模拟方法(一种函数模拟方法的方法)的再积分方法。因此，在第三方法中，进行三维再积分，从而下文中，将这样的再积分方法称为三维再积分方法。

下文中，将以一维再积分方法、二维再积分方法以及三维再积分方法的顺序对其进行详细描述。

首先将描述一维再积分方法。

在一维再积分方法中，假设利用一维多项式模拟方法产生模拟函数f(x)。

也就是说，假设利用作为n维多项式(n为任意整数)的模拟函数f(x)模拟一维波形(在对再积分方法的描述中，将投影到X方向上的波形称为X截面波形F(x))，在所述一维波形中，其变量为三维空间中的x、y和z以及时刻t的光信号函数F(x，y，t)被投影到作为空间方向的X方向、Y方向和Z方向、以及作为时间方向的t方向的预定方向上。

在该情况下，在一维再积分方法中，如下面公式(103)计算输出像素值M。

$M=G_e\×{\∫}_{x_s}^{x_e}f\left(x\right)\mathrm{dx}$ 公式(103)

注意，在公式(103)中，x_s表示积分开始位置，x_e表示积分结束位置。另外，G_e表示预定增益。

尤其是，例如，假设现实世界估计单元102已经产生如图152所示的模拟函数f(x)(X截面波形F(x)的模拟函数f(x))，其中以如图152所示的像素3101(对应于传感器2的预定检测元件的像素3101)作为关注像素。

注意，在图152的实例中，取像素3101的像素值(输入像素值)为P，取像素3101的形状为边长为1的方形。另外，在空间方向中，取平行于像素3101的一边的方向(图中的水平方向)为X方向，取垂直于X方向的方向(图中为垂直方向)为Y方向。

另外，在图152的下方，示出了其中取关注像素3101的中心为原点的空间方向(X方向和Y方向)中的坐标系(下文中，称为关注像素坐标系)、以及坐标系中的像素3101。

另外，在图152的上方，示出了表示模拟函数f(x)在y＝0时的曲线图(y为在图中下方所示的关注像素坐标系中在Y方向上的坐标值)。在该曲线图中，平行于图中水平方向的轴线与在图中下方所示的关注像素坐标系中的X方向上的x轴线相同(原点也相同)，另外，取平行于图中垂直方向的轴线为表示像素值的轴线。

在该情况下，在模拟函数f(x)和像素3101的像素值P之间的下面公式(104)中的关系成立。

$P={\∫}_{-0.5}^{0.5}f\left(x\right)\mathrm{dx}+e$ 公式(104)

另外，如图152所示，假设像素3101具有由梯度G_f表示的空间方向中的数据连续性。另外，假设数据连续性检测单元101(图151)已经输出如图152所示的角度θ作为对应于由梯度G_f表示的数据连续性的数据连续性信息。

在该情况下，例如，在一维再积分方法中，如图153所示，在X方向上-0.5到0.5的范围、同时在Y方向上-0.5到0.5的范围中(其中图152中的像素3101所在的范围)可以新产生四个像素3111到3114。

注意，在图153的下方，示出了与图152中相同的关注像素坐标系、以及在关注像素坐标系中的像素3111到3114。另外，在图153的上方，示出了与图152中相同的曲线图(表示在y＝0上的模拟函数f(x)的曲线图)。

尤其是，如图153所示，在一维再积分方法中，可以分别进行利用下面公式(105)计算像素3111的像素值M(1)、利用下面公式(106)计算像素3112的像素值M(2)、利用下面公式(107)计算像素3113的像素值M(3)、以及利用下面公式(108)计算像素3114的像素值M(4)。

$M\left(1\right)=2\×{\∫}_{x_{s1}}^{x_{e1}}f\left(x\right)\mathrm{dx}$ 公式(105)

$M\left(2\right)=2\×{\∫}_{x_{s2}}^{x_{e2}}f\left(x\right)\mathrm{dx}$ 公式(106)

$M\left(3\right)=2\×{\∫}_{x_{s3}}^{x_{e3}}f\left(x\right)\mathrm{dx}$ 公式(107)

$M\left(4\right)=2\×{\∫}_{x_{s4}}^{x_{e4}}f\left(x\right)\mathrm{dx}$ 公式(108)

注意，公式(105)中的x_s1、公式(106)中的x_s2、公式(107)中的x_s3以及公式(108)中的x_s4分别表示相应的公式的积分开始位置。另外，公式(105)中的x_e1、公式(106)中的x_e2、公式(107)中的x_e3以及公式(108)中的x_e4分别表示相应的公式的积分结束位置。

在每个公式(105)到(108)的右侧的积分范围变成每个像素3111到像素3114的像素宽度(在X方向上的长度)。也就是说，每个x_e1-x_s1、x_e2-x_s2、x_e3-x_s3、以及x_e4-x_s4变成0.5。

然而，在该情况下，可以考虑，具有与在y＝0上的模拟函数f(x)相同的形式的一维波形不是在Y方向上而是在由梯度G_f表示的数据连续性方向(即角度θ方向)上连续(实际上，具有与y＝0时的X截面波形F(x)相同的形式的波形在连续性方向上连续)。也就是说，在取在图153中的关注像素坐标系的原点(0，0)(图152中像素3101的中心)上的像素值f(0)作为像素值fl的情况下，像素值fl连续的方向不是Y方向而是由由梯度G_f表示的数据连续性方向(角度θ方向)。

换句话说，在考虑在Y方向上预定位置y(然而，y为除0以外的数值)上的模拟函数f(x)的波形的情况下，对应于像素值fl的位置不是位置(0，y)而是位置(C_x(y)，y)，其通过在X方向上从位置(0，y)移动预定量而获得(这里，假设该量还被称为平移量。另外，平移量是根据在Y方向上的位置y的量，因此假设将该平移量描述为C_x(y))。

因此，作为每个上述公式(105)到公式(108)右侧的积分范围，需要考虑在其中存在将要获得的像素值M(l)(然而，l是1到4的任意整数值)的中心，即平移量C_x(y)的Y方向上的位置y而设置积分范围。

尤其是，例如，其中存在像素3111和像素3112的中心的在Y方向上的位置y不是y＝0而是y＝0.25。

因此，模拟函数f(x)在y＝0.25的波形相当于通过将在y＝0上的模拟函数f(x)的波形在X方向上移动平移量C_x(0.25)而获得的波形。

换句话说，在上述公式(105)中，如果假设相对于像素3111的像素值M(1)是通过在预定积分范围(从开始位置x_s1到结束位置x_e1)上积分y＝0上的模拟函数f(x)而获得，则其积分范围变为不是从开始位置x_s1＝-0.5到结束位置x_e1＝0(像素3111自身在X方向上所占的范围)，而是如图153所示的范围，即从开始位置x_s1＝-0.5+C_x(0.25)到结束位置x_e1＝0+C_x(0.25)(在将像素3111临时移动平移量C_x(0.25)的情况下，像素3111在X方向上所占的范围)。

类似，在上述公式(106)中，如果假设相对于像素3112的像素值M(2)是通过在预定积分范围(从开始位置x_s2到结束位置x_e2)上积分y＝0上的模拟函数f(x)而获得，则其积分范围变为不是从开始位置x_s2＝0到结束位置x_e2＝0.5(像素3112自身在X方向上所占的范围)，而是如图153所示的范围，即从开始位置x_s2＝0+C_x(0.25)到结束位置x_e2＝0.5+C_x(0.25)(在将像素3112临时移动平移量C_x(0.25)的情况下，像素3112在X方向上所占的范围)。

另外，例如，其中存在像素3113和像素3114的中心的在Y方向上的位置y不是y＝0而是y＝-0.25。

因此，在y＝-0.25上的模拟函数f(x)的波形相当于通过在X方向上将y＝0上的模拟函数f(x)的波形移动平移量C_x(-0.25)而获得的波形。

换句话说，在上述公式(107)中，如果假设相对于像素3113的像素值M(3)是通过在预定积分范围(从开始位置x_s3到结束位置x_e3)上积分y＝0上的模拟函数f(x)而获得，则其积分范围变为不是从开始位置x_s3＝-0.5到结束位置x_e3＝0(像素3113自身在X方向上所占的范围)，而是如图153所示的范围，即从开始位置x_s3＝-0.5+C_x(-0.25)到结束位置x_e3＝0+C_x(-0.25)(在将像素3113临时移动平移量C_x(-0.25)的情况下，像素3113在X方向上所占的范围)。

类似，在上述公式(108)中，如果假设相对于像素3114的像素值M(4)是通过在预定积分范围(从开始位置x_s4到结束位置x_e4)上积分y＝0上的模拟函数f(x)而获得，则其积分范围变为不是从开始位置x_s4＝0到结束位置x_e4＝0.5(像素3114自身在X方向上所占的范围)，而是如图153所示的范围，即从开始位置x_s4＝0+C_x(-0.25)到结束位置x_e4＝0.5+C_x(-0.25)(在将像素3114临时移动平移量C_x(-0.25)的情况下，像素3114在X方向上所占的范围)。

因此，图像产生单元102(图151)通过对公式(105)到公式(108)中的每个代入上述积分范围的相应的积分范围而计算上述公式(105)到公式(108)，并输出这些公式的计算结果作为输出像素值M(1)到M(4)。

从而，图像产生单元102通过采用一维再积分方法可以生成比输入像素3101具有更高分辨率的四个像素，即像素3111到像素3114(图153)作为位于来自传感器2(图151)的输出像素3101(图152)上的像素。另外，虽然图中没有示出，如上所述，除了像素3111到像素3114，图像产生单元102通过适当变化积分范围可以产生相对于输入像素3101具有任意幂数的空间分辨率的像素，而不会降级。

图154示出了使用该一维再积分方法的图像产生单元103的结构实例。

如图154所示，在该实例中所示的图像产生单元103包括：条件设置单元3121、特征存储单元3122、积分分量计算单元3123、以及输出像素值计算单元3124。

条件设置单元3121基于从现实世界估计单元102提供的现实世界估计信息(在图154的实例中的模拟函数f(x)的特征)设置模拟函数f(x)的维数n。

条件设置单元3121还设置在再积分模拟函数f(x)的情况中(在计算输出像素值的情况中)的积分范围。注意，由条件设置单元3121设置的积分范围不需要为像素的宽度。例如，在空间方向(X方向)上积分模拟函数f(x)，因此，只要已知相对于来自传感器2(图151)的输入图像的每个像素的空间尺寸的输出像素(将由图像产生单元103计算的像素)的相对尺寸(空间分辨率的幂数)，则可以确定具体积分范围。因此，条件设置单元3121可以设置例如空间分辨率幂数作为积分范围。

特征存储单元3122临时存储从现实世界估计单元102顺序提供的模拟函数f(x)的特征。然后，当特征存储单元3122存储了模拟函数f(x)的全部特征，则特征存储单元3122产生包括模拟函数f(x)的全部特征的特征表，并将其提供给输出像素值计算单元3124。

另外，如上所述，图像产生单元103利用上述公式(103)计算输出像素值M，但是包括在上述公式(103)的右侧的模拟函数f(x)具体由下面公式(109)表示。

$f\left(x\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×x^i\mathrm{dx}$ 公式(109)

注意，在公式(109)中，w_i表示从现实世界估计单元102提供的模拟函数f(x)的特征。

因此，当将公式(109)的模拟函数f(x)代入上述公式(103)右侧的模拟函数f(x)以展开(计算)公式(103)的右侧，则输出像素值M被表示为下面的公式(110)。

$M=G_e\×\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×\frac{x_e^{i+1}-x_s^{i+1}}{i+1}$

$=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×k_i\left(x_s{,x}_e\right)$ 公式(110)

在公式(110)中，K_i(x_s，x_e)表示i维项的积分分量。也就是说，积分分量K_i(x_s，x_e)如下面公式(111)所示。

$k_i(x_s,x_e)=G_e\×\frac{x_e^{i+1}-x_s^{i+1}}{i+1}$ 公式(111)

积分分量计算单元3123计算积分分量K_i(x_s，x_e)。

尤其是，如公式(111)所示，只要已知积分范围的开始位置x_s和结束位置x_e、i维项的增益G_e和i，则可以计算积分分量K_i(x_s，x_e)。

其中，利用由条件设置单元3121设置的空间分辨率幂数(积分范围)确定增益G_e。

利用由条件设置单元3121设置的维数n确定范围i。

另外，利用现在将产生的输出像素的中心像素位置(x，y)和像素宽度、以及表示数据连续性方向的平移量C_x(y)确定积分范围的开始位置x_s和结束位置x_e。注意，当现实世界估计单元102产生模拟函数f(x)时，(x，y)表示距离关注像素的中心位置的相对位置。

另外，利用由条件设置单元3121设置的空间分辨率幂数(积分范围)确定现在将产生的输出像素的中心像素位置(x，y)和像素宽度。

另外，对于平移量C_x(y)和从数据连续性检测单元101提供的角度θ，如下面公式(112)和公式(113)的关系成立，因此，利用角度θ确定平移量C_x(y)。

$G_f=\mathrm{tar\θ}=\frac{\mathrm{dy}}{\mathrm{dx}}$ 公式(112)

$C_x\left(y\right)=\frac{y}{G_f}$ 公式(113)

注意，在公式(112)中，G_f表示表示数据连续性方向的梯度，θ表示从数据连续性检测单元101(图151)输出的数据连续性信息之一的角度(作为空间方向之一的X方向与由梯度G_f表示的数据连续性方向之间的角度)。另外，dx表示在X方向上的微小移动量，以及dy表示相当于dx在Y方向(垂直于X方向的空间方向)上的微小移动量。

因此，积分分量计算单元3123基于由条件设置单元3121设置的维数和空间分辨率幂数(积分范围)、以及从数据连续性检测单元101输出的数据连续性信息的角度θ而计算积分分量K_i(x_s，x_e)，并将计算结果提供给输出像素值计算单元3124作为积分分量表。

输出像素值计算单元3124利用从特征存储单元3122提供的特征表、以及从积分分量计算单元3123提供的积分分量表而计算上述公式(110)的右侧，并将计算结果输出作为输出像素值M。

接着，将参考图155中的流程图描述采用一维再积分方法利用图像产生单元103(图154)的图像产生处理(图40的步骤S103中的处理)。

例如，现在，假设现实世界估计单元102已经产生如图152所示的模拟函数f(x)，同时，取上述如图152所示的像素3101作为在上述图40的步骤S102的处理中的关注像素。

另外，假设数据连续性检测单元101已经输出如图152所示的角度θ作为在上述图40的步骤S101中的处理中的数据连续性信息。

在该情况下，条件设置单元3121在图155的步骤S3101中设置条件(维数和积分范围)。

例如，现在，假设设置维数为5，另外设置空间四倍密度(空间分辨率幂数，其导致像素的宽度间距在上、下、左、右边上变成1/2幂)作为积分范围。

也就是说，在该情况下，因此，已经设置在X方向上的-0.5到0.5的范围、同时在Y方向上的-0.5到0.5的范围(图152的像素3101的范围上)上新产生像素3111到像素3114四个像素，如图153所示。

在步骤S3102中，特征存储单元3122获取从现实世界估计单元102提供的模拟函数f(x)的特征，并产生特征表。在该情况下，从现实世界估计单元102提供作为5维多项式的模拟函数f(x)的系数w₀到w₅，因此，产生(w₀，w₁，w₂，w₃，w₄，w₅)作为特征表。

在步骤S3103中，积分分量计算单元3123基于由条件设置单元3121设置的条件(维数和积分范围)、已经从数据连续性检测单元101提供的数据连续性信息(角度θ)而计算积分分量，并产生积分分量表。

尤其是，例如，如果假设各个现在将产生的像素3111到3114对应于数(下文称该数为模数)1到4，积分分量计算单元3123将上述公式(177)的积分分量K_i(x_s，x_e)计算为l的函数(然而，l表示模数)，如如下面公式(114)左侧所示的积分分量K_i(l)。

K_i(l)＝K_i(x_s，x_e)

                           公式(114)

尤其是，在该情况下，计算如下面公式(115)所示的积分分量K_i(l)。

k_i(1)＝k_i(-0.5-C_x(-0.25)，0-C_x(-0.25))

k_i(2)＝k_i(0-C_x(-0.25)，0.5-C_x(-0.25))

k_i(3)＝k_i(-0.5-C_x(0.25)，0-C_x(0.25))

k_i(4)＝k_i(0-C_x(0.25)，0.5-C_x(0.25))

                                       公式(115)

注意，在公式(115)中，左侧表示积分分量K_i(l)，右侧表示积分分量K_i(x_s，x_e)。也就是说，在该情况下，l是1到4中的任意一个，i是0到5中的任意一个，因此计算6K_i(1)，6K_i(2)，6K_i(3)，以及6K_i(4)共24个K_i(l)。

更具体的是，首先，积分分量计算单元3123利用从数据连续性检测单元101提供的角度θ从上述公式(112)和公式(113)计算每个平移量C_x(-0.25)和C_x(0.25)。

接着，积分分量计算单元3123利用平移量C_x(-0.25)和C_x(0.25)计算公式(115)中四个公式每个右侧的关于i＝0到5的积分分量K_i(x_s，x_e)。注意，在该对积分分量K_i(x_s，x_e)的计算中，采用了上述公式(111)。

随后，积分分量计算单元3123根据公式(115)将计算的24个积分分量K_i(x_s，x_e)的每个转换成相应的积分分量K_i(l)，并产生包括被转换成24个积分分量K_i(l)(即，6K_i(1)、6K_i(2)、6K_i(3)以及6K_i(4))的积分分量表。

注意，步骤S3102中的处理和步骤S3103中的处理的顺序不限于图155中的实例，可以先执行步骤S3103中的处理，或者可以同时执行步骤S3102中的处理和步骤S3103中的处理。

接着，在步骤S3104中，输出像素值计算单元3124基于由特征存储单元3122在步骤S3102中的处理产生的特征表、以及由积分分量计算单元3123在步骤S3103的处理中产生的积分分量表分别计算输出像素值M(1)到M(4)。

尤其是，在该情况下，输出像素值计算单元3124通过计算对应于上述公式(110)的下面公式(116)到公式(119)的右侧而计算如下中的每个：像素3111的像素值M(1)(模数为1的像素)、像素3112的像素值M(2)(模数为2的像素)、像素3113的像素值M(3)(模数为3的像素)、以及像素3114的像素值M(4)(模数为4的像素)。

$M\left(1\right)=\underset{i=0}{\overset{5}{\mathrm{\Σ}}}{w}_i{k}_i\left(1\right)$ 公式(116)

$M\left(2\right)=\underset{i=0}{\overset{5}{\mathrm{\Σ}}}{w}_i{k}_i\left(2\right)$ 公式(117)

$M\left(3\right)=\underset{i=0}{\overset{5}{\mathrm{\Σ}}}{w}_i{k}_i\left(3\right)$ 公式(118)

$M\left(4\right)=\underset{I=0}{\overset{5}{\mathrm{\Σ}}}{w}_i{k}_i\left(4\right)$ 公式(119)

在步骤S3105中，输出像素值计算单元3124确定是否已经完成对全部像素的处理。

在步骤S3105中，在确定仍未完成对全部像素的处理时，该处理返回步骤S3102，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S3102到S3104。

在已经完成对全部像素的处理的情况下(在步骤S3105中，在确定已经完成对全部像素的处理的情况下)，输出像素值计算单元3124在步骤S3106中输出图像。然后，图像产生处理结束。

下面，将参考图156到图163，关于预定输入图像，描述通过采用一维再积分方法获得的输出图像和通过采用其它方法(常规分类适应处理)获得的输出图像的差别。

图156示出了输入图像的原始图像，图157示出了对应于图156中的原始图像的图像数据。在图157中，图中垂直方向的轴线表示像素值，以及图中右下方向的轴线表示作为图像的空间方向的一个方向的X方向，图中右上方向的轴线表示作为图像的空间方向的另一个方向的Y方向。注意，在后面的图159、图161、以及图163中的各个轴线对应于图157中的轴线。

图158示出了输入图像的实例。如图158所示的输入图像是通过取属于如图156所示的由2×2个像素构成的块的像素的像素值的平均值作为一个像素的像素值而产生的图像。也就是说，输入图像是通过在空间方向上积分如图156所示的图像而获得的图像，其模仿了传感器的积分性质。另外，图159示出了对应于图158中的输入图像的图像数据。

图156所示的原始图像包括离垂直方向顺时针倾斜约5°的细线图像。类似，如图158所示的输入图像包括离垂直方向顺时针倾斜约5°的细线图像。

图160示出了通过对如图158所示的输入图像进行常规分类适应处理而获得的图像(下文中，由图160所示的图像称为常规图像)。另外，图161示出了对应于常规图像的图像数据。

注意，分类适应处理由分类处理和适应处理构成，分类调节处理根据数据的性质分类数据，并对每一类的数据进行适应处理。在适应处理中，通过利用预定拍系数进行映射，将例如低质量或标准质量图像转换成高质量图像。

图162示出了通过对如图158所示的输入图像施加应用本发明的一维再积分方法获得的图像(下文中，如图162所示的图像称为根据本发明的图像)。另外，图163示出了对应于根据本发明的图像的图像数据。

可以理解，当将图160中的常规图像与图162中的根据本发明的图像进行比较时，在常规图像中的细线图像不同于图156的原始图像中的细线，但是，另一方面，在根据本发明的图像中，细线图像与图156中的原始图像的细线几乎相同。

该差异是由以下的差别导致的，其中，常规类型分类适应处理是基于(源于)图158中的输入图像进行处理的方法，另一方面，根据本发明的一维再积分方法是考虑细线的连续性、并基于(源于)估计的原始图像进行处理(进行再积分以计算像素值)而估计图156中的原始图像(产生对应于原始图像的模拟函数f(x))的方法。

从而，在一维再积分方法中，通过基于利用一维多项式模拟方法产生的一维多项式的模拟函数f(x)(现实世界中的X截面波形F(x)的模拟函数f(x))，在任意范围上积分模拟函数f(x)而产生输出图像(像素值)。

因此，在一维再积分方法中，可以比常规的其它方法输出更接近原始图像(将被投影到传感器2上的现实世界1的光信号)的图像。

换句话说，一维再积分方法基于如下的条件：图151中的数据连续性检测单元101检测由多个像素构成的输入图像中的数据连续性，所述像素具有这样的像素值，其上由每个具有空间-时间积分效应的传感器2的多个检测元件投影现实世界1的光信号，所述检测元件丢失了现实世界1的光信号的部分连续性，并且在这样的假设下，对应于输入图像的时间-空间方向的一维方向中的位置的像素的像素值是通过在其一维方向上的积分效应而获取的像素值，现实世界估计单元102响应检测的数据连续性通过利用预定模拟函数f(x)模拟表示现实世界1的光信号的光信号函数F(尤其是，X截面波形F(x))而估计光信号函数F。

具体说，例如，一维再积分方法基于这样的条件：在这样的假设下，对应于沿一维方向离对应于检测的数据连续性的直线的距离的每个像素的像素值是通过在其一维方向上的积分效应而获得的像素值，则用模拟函数f(x)模拟X截面波形F(x)。

在一维再积分方法中，例如，图151(图3)中的图像产生单元103通过积分由现实世界估计单元102估计的X截面波形F(x)，即基于该假设的在一维方向上的希望增量中的模拟函数f(x)，而产生具有希望尺寸的像素的像素值M，并将其输出作为输出图像。

因此，在一维再积分方法中，可以比常规的其它方法输出更接近原始图像(将被投影到传感器2上的现实世界1的光信号)的图像。

另外，在一维再积分方法中，如上所述，积分范围是任意的，因此，可以通过变化积分范围可以产生与输入图像的分辨率不同的分辨率(时间分辨率或空间分辨率)。也就是说，可以产生相对于输入图像具有任意幂次的分辨率以及整数值的图像。

另外，一维再积分方法可以使用比其它再积分方法更少的计算处理量而计算输出图像(像素值)。

接着，将参考图164到图170描述二维再积分方法。

二维再积分方法基于这样的条件，其中已经利用二维多项式模拟方法产生模拟函数f(x，y)。

也就是说，假设已经利用被投影到空间方向上的波形模拟了表示现实世界1中的光信号(图151)的图像函数F(x，y，t)，所述光信号具有由梯度G_F表示的空间方向中的连续性，即，利用作为n维多项式(n为任意整数)的模拟函数f(x，y)模拟在X-Y平面上的波形F(x，y)，如图164所示。

在图164中，图中分别为，水平方向表示作为空间方向中的一个方向的X方向，右上方向表示作为空间方向中的另一个方向的Y方向，以及垂直方向表示光水平。G_F表示作为空间方向中的连续性的梯度。

注意，在图164的实例中，取连续性方向为空间方向(X方向和Y方向)，从而取将要模拟的光信号的投影函数为函数F(x，y)，但是如下文所述，函数F(x，t)或函数F(y，t)可以是根据连续性方向的模拟目标。

在图164中的实例的情况下，在二维再积分方法中，如下面公式(120)计算输出像素值M。

$M=G_e\×{\∫}_{y_s}^{y_e}{\∫}_{x_s}^{x_e}f(x,y)\mathrm{dxdy}$ 公式(120)

注意，在公式(120)中，y_s表示在Y方向上的积分开始位置，以及y_e表示在Y方向上的积分结束位置。类似，x_s表示在X方向上的积分开始位置，以及x_e表示在X方向上的积分结束位置。另外，G_e表示预定增益。

在公式(120)中，积分范围可以任意设置，因此，通过适当地改变积分范围，可以产生相对于原始像素(从传感器2(图151)输入的图像的像素)具有任意幂次的空间分辨率的像素，而不会降级。

图165示出了采用二维再积分方法的图像产生单元103的结构实例。

如图165所示，在该实例中所示的图像产生单元103包括：条件设置单元3201、特征存储单元3202、积分分量计算单元3203、以及输出像素值计算单元3204。

条件设置单元3201基于从现实世界估计单元102提供的现实世界估计信息(在图165的实例中的模拟函数f(x，y)的特征)设置模拟函数f(x，y)的维数n。

条件设置单元3201还设置在再积分模拟函数f(x，y)的情况中(在计算输出像素值的情况中)的积分范围。注意，由条件设置单元3201设置的积分范围不需要为像素的水平或垂直宽度。例如，在空间方向(X方向或Y方向)上积分模拟函数f(x，y)，因此，只要已知相对于来自传感器2的输入图像的每个像素的空间尺寸的输出像素(将由图像产生单元103现在产生的像素)的相对尺寸(空间分辨率的幂数)，则可以确定具体积分范围。因此，条件设置单元3201可以设置例如空间分辨率幂数作为积分范围。

特征存储单元3202临时存储从现实世界估计单元102顺序提供的模拟函数f(x，y)的特征。然后，当特征存储单元3202存储了模拟函数f(x，y)的全部特征时，则特征存储单元3202产生包括模拟函数f(x，y)的全部特征的特征表，并将其提供给输出像素值计算单元3124。

现在，将详细描述模拟函数f(x，y)。

例如，假设传感器2(图151)已经检测出具有由上述图164所示的梯度G_F表示的空间方向连续性的现实世界1的光信号(由波形F(x，y)表示的光信号)，并将其输出作为输入图像(像素值)。

另外，例如，假设数据连续性检测单元101(图3)已经对输入图像的在X方向上的4个像素和在Y方向上的5个像素共20个像素(图中由虚线表示的20个方形)构成的输入图像的区域3221进行了其处理，并输出角度θ(在由对应于梯度G_F的梯度G_f表示的数据连续性方向与X方向之间的角度θ)作为数据连续性细线的一个，如图166所示。

注意，如在现实世界估计单元102所示，数据连续性检测单元101可以只输出关注像素上的角度θ，因此，数据连续性检测单元101的处理区域不限于输入图像中的上述区域3221。

另外，在输入图像的区域3221中，图中水平方向表示作为空间方向的一个方向的X方向，以及图中垂直方向表示作为空间方向的另一个方向的Y方向。

另外，在图166中，取为自左的第二个像素、同时为自底部的第三个像素的像素作为关注像素，并建立(x，y)坐标系，取关注像素的中心为原点(0，0)。将在X方向上相对于通过原点(0，0)并具有角度θ的直线(具有表示数据连续性方向的梯度G_f的直线)的相对距离(下文中，称为截面方向距离)描述为x’。

另外，在图166中，右侧的曲线图是表示作为n维(n为任意整数)多项式的模拟函数f(x’)，其为模拟一维波形(下文中称为X截面波形F(x’))的函数，在所述一维波形中，将变量为在三维空间中的位置x、y和z、以及时刻t的图像函数F(x，y，t)在X方向上投影到Y方向中的任意位置y上。在右侧曲线图中的轴线中，图中水平方向上的轴线表示截面方向距离，以及图中垂直方向上的轴线表示像素值。

在该情况下，如图166所示的模拟函数f(x’)是n维多项式，因而由下面公式(121)表示。

$f\left(x^{\′}\right)=w_0+w_1{x}^{\′}+w_2{x}^{\′}+\·\·\·+w_n{x}^{\′n}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{x}^{\′i}$ 公式(121)

另外，由于角度θ确定，因此具有角度θ并通过原点(0，0)的直线是唯一确定的，在Y方向上的任意位置y上，直线在X方向上的位置x₁由下面公式(122)表示。然而，在公式(122)中，s表示cotθ。

x₁＝s×y

                         公式(122)

也就是说，如图166所示，由坐标(x₁，y)表示对应于由梯度G_f表示的数据连续性的直线上的点。

利用公式(122)，将截面方向距离x’表示成如下面公式(123)。

x′＝x-x₁＝x-s×y           公式(123)

因此，利用公式(121)和公式(123)，将输入图像区域3221内的任意位置(x，y)上的模拟函数f(x，y)表示成下面的公式(124)。

$f(x,y)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i(x-s\×y)$ 公式(124)

注意，在公式(124)中，w_i表示模拟函数f(x，y)的特征。

现在，将返回图165进行描述，其中从现实世界估计单元102提供包括在公式(124)中的特征w_i，并将其存储到特征存储单元3202中。当特征存储单元3202存储了由公式(124)表示的全部特征w_i，则特征存储单元3202产生包括全部特征w_i的特征表，并将其提供给输出像素值计算单元3204。

当将公式(124)的模拟函数f(x，y)代入上述公式(120)右侧的模拟函数f(x，y)以展开(计算)公式(120)的右侧，则输出像素值M被表示为下面的公式(125)。

$M=G_e\×\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×\frac{\{{(x_e-s\×y_e)}^{i+2}-{(x_s-s\×y_e)}^{i+2}+{(x_s-s\×y_s)}^{i+2}\}}{s(i+1)(i+2)}$

$=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×k_i(x_s,x_e,y_s,y_e)$ 公式(125)

在公式(125)中，K_i(x_s，x_e，y_s，y_e)表示i维项的积分分量。也就是说，积分分量K_i(x_s，x_e，y_s，y_e)如下面公式(126)所示。

k_i(x_s，x_e，y_s，y_e)

$=G_e\×\frac{\{{(x_e-s\×y_e)}^{i+2}-{(x_e-s\×y_s)}^{i+2}{(x_s-s\×y_e)}^{i+2}+{(x_s-s\×y_s)}^{i+2}\}}{s(i+1)(i+2)}$

                                   公式(126)

积分分量计算单元3303计算积分分量K_i(x_s，x_e，y_s，y_e)。

尤其是，如公式(125)和公式(126)所示，只要已知积分范围在X方向上的开始位置x_s和在X方向上的结束位置x_e、积分范围在Y方向上的开始位置y_s和在Y方向上的结束位置y_e、i维项的增益G_e和i，则可以计算积分分量K_i(x_s，x_e，y_s，y_e)。

其中，利用由条件设置单元3201设置的空间分辨率幂数(积分范围)确定增益G_e。

利用由条件设置单元3201设置的维数n确定范围i。

变量s如上所述为cotθ，从而由从数据连续性检测单元101输出的角度θ确定。

另外，由现在将产生的输出像素的中心像素位置(x，y)和像素宽度确定每个分范围在X方向上的开始位置x_s和在X方向上的结束位置x_e、以及积分范围在Y方向上的开始位置y_s和在Y方向上的结束位置y_e。注意，当现实世界估计单元102产生模拟函数f(x)时，(x，y)表示距离关注像素的中心位置的相对位置。

另外，利用由条件设置单元3201设置的空间分辨率幂数(积分范围)确定现在将产生的输出像素的中心像素位置(x，y)和像素宽度。

因此，积分分量计算单元3203基于由条件设置单元3201设置的维数和空间分辨率幂数(积分范围)、以及从数据连续性检测单元101输出的数据连续性信息的角度θ而计算积分分量K_i(x_s，x_e，y_s，y_e)，并将计算结果提供给输出像素值计算单元3204作为积分分量表。

输出像素值计算单元3204利用从特征存储单元3202提供的特征表、以及从积分分量计算单元3203提供的积分分量表而计算上述公式(125)的右侧，并将计算结果输出作为输出像素值M。

接着，将参考图167中的流程图描述采用二维再积分方法利用图像产生单元103(图166)的图像产生处理(图40的步骤S103中的处理)。

例如，假设已经将如图164所示的由函数F(x，y)表示的光信号投影到传感器2中以变成输入图像，并且，现实世界估计单元102已经产生用于模拟函数F(x，y)的模拟函数f(x，y)，其中取上述如图168所示的像素3231作为在上述图40的步骤S102的处理中的关注像素。

注意，在图168中，取像素3231的像素值(输入像素值)为P，取像素3231的形状为边长为1的方形。另外，在空间方向中，取平行于像素3231的一边的方向为X方向，取垂直于X方向的方向为Y方向。另外，设置原点为像素3231的中心的空间方向(X方向和Y方向)中的坐标系(下文中称为关注像素坐标系)。

另外，假设在图168中，取像素3231为关注像素的数据连续性检测单元101在上述图40的步骤S101的处理中，已经输出角度θ作为对应于由梯度G_f表示的数据连续性的数据连续性信息。

下面返回图167描述，在该情况下，条件设置单元3201在步骤S3201中设置条件(维数和积分范围)。

例如，现在，假设设置维数为5，另外设置空间四倍密度(空间分辨率幂数，其导致像素的间距宽度在上、下、左、右边上变成1/2幂)作为积分范围。

也就是说，在该情况下，已经设置在X方向上的-0.5到0.5的范围、同时在Y方向上的-0.5到0.5的范围(图168的像素3231的范围上)上新产生像素3241到像素3244四个像素，如图169所示。注意，在图169中，示出了与图168相同的关注像素坐标系。

另外，在图169中，M(1)表示现在将产生的像素3241的像素值、M(2)表示现在将产生的像素3242的像素值、M(3)表示现在将产生的像素3243的像素值、以及M(4)表示现在将产生的像素3244的像素值。

现在返回图167描述，在步骤S3202中，特征存储单元3202获取从现实世界估计单元102提供的模拟函数f(x，y)的特征，并产生特征表。在该情况下，从现实世界估计单元102提供作为5维多项式的模拟函数f(x)的系数w₀到w₅，因此，产生(w₀，w₁，w₂，w₃，w₄，w₅)作为特征表。

在步骤S3203中，积分分量计算单元3203基于由条件设置单元3201设置的条件(维数和积分范围)、已经从数据连续性检测单元101提供的数据连续性信息(角度θ)而计算积分分量，并产生积分分量表。

尤其是，例如，假设各个现在将产生的像素3241到3244对应于数(下文称该数为模数)1到4，积分分量计算单元3203将上述公式(125)的积分分量K_i(x_s，x_e，y_s，y_e)计算为l的函数(然而，l表示模数)，如如下面公式(127)左侧所示的积分分量K_i(l)。

K_i(l)＝K_i(x_s，x_e，y_s，y_e)

                                  公式(127)

尤其是，在该情况下，计算如下面公式(128)所示的积分分量K_i(l)。

k_i(1)＝k_i(-0.5，0，0，0.5)

k_i(2)＝k_i(0，0.5，0，0.5)

k_i(3)＝k_i(-0.5，0，-0.5，0)

k_i(4)＝k_i(0，0.5，-0.5，0)

                                 公式(128)

注意，在公式(128)中，左侧表示积分分量K_i(l)，右侧表示积分分量K_i(x_s，x_e，y_s，y_e)。也就是说，在该情况下，l是1到4中的任意一个，i是0到5中的任意一个，因此计算6K_i(1)，6K_i(2)，6K_i(3)，以及6K_i(4)共24个K_i(l)。

更具体的是，首先，积分分量计算单元3203利用从数据连续性检测单元101提供的角度θ计算上述公式(122)的变量s(s＝cotθ)。

接着，积分分量计算单元3203利用计算的变量s计算公式(128)中四个公式每个右侧的关于i＝0到5的积分分量K_i(x_s，x_e，y_s，y_e)。注意，在该对积分分量K_i(x_s，x_e，y_s，y_e)的计算中，采用了上述公式(125)。

随后，积分分量计算单元3203根据公式(128)将计算的24个积分分量K_i(x_s，x_e，y_s，y_e)的每个转换成相应的积分分量K_i(l)，并产生包括被转换成24个积分分量K_i(l)(即，6K_i(1)、6K_i(2)、6K_i(3)以及6K_i(4))的积分分量表。

注意，步骤S3202中的处理和步骤S3203中的处理的顺序不限于图167中的实例，可以先执行步骤S3203中的处理，或者可以同时执行步骤S3202中的处理和步骤S3203中的处理。

接着，在步骤S3204中，输出像素值计算单元3204基于由特征存储单元3202在步骤S3202中的处理产生的特征表、以及由积分分量计算单元3203在步骤S3203的处理中产生的积分分量表分别计算输出像素值M(1)到M(4)。

尤其是，在该情况下，输出像素值计算单元3204通过计算对应于上述公式(125)的下面公式(129)到公式(132)的右侧而计算如图169所示的如下中的每个：像素3241的像素值M(1)(模数为1的像素)、像素3242的像素值M(2)(模数为2的像素)、像素3243的像素值M(3)(模数为3的像素)、以及像素3244的像素值M(4)(模数为4的像素)。

$M\left(1\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×k_i\left(1\right)$ 公式(129)

$M\left(2\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×k_i\left(2\right)$ 公式(130)

$M\left(3\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×k_i\left(3\right)$ 公式(131)

$M\left(4\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×k_i\left(4\right)$ 公式(132)

然而，在该情况下，公式(129)到公式(132)的每个n变为5。

在步骤S3205中，输出像素值计算单元3204确定是否已经完成对全部像素的处理。

在步骤S3205中，在确定仍未完成对全部像素的处理时，该处理返回步骤S3202，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S3202到S3204。

在已经完成对全部像素的处理的情况下(在步骤S3205中，在确定已经完成对全部像素的处理的情况下)，输出像素值计算单元3204在步骤S3206中输出图像。然后，图像产生处理结束。

从而，通过采用一维再积分方法可以生成比输出像素3231具有更高空间分辨率的四个像素，即像素3241到像素3244(图169)作为位于来自传感器2(图151)的输出图像的像素3231(图168)上的像素。另外，虽然图中没有示出，如上所述，除了像素3241到像素3244，图像产生单元103通过适当变化积分范围可以产生相对于输入像素3231具有任意幂数的空间分辨率的像素，而不会降级。

如上所述，在描述二维再积分方法中，已经采用了相对于空间方向(X方向和Y方向)对模拟函数f(x，y)进行二维积分的实例，但是可以将二维再积分方法用于时间-空间方向(X方向和t方向，或Y方向和t方向)。

也就是说，上述实例是这样的实例，其中现实世界1中的光信号(图151)具有由如图164所示的梯度G_F表示的空间方向中的连续性，以及因此，如上述公式(120)所示，采用如公式(120)所示的包括空间方向(X方向和Y方向)中的二维积分的公式。然而，关于二维积分的构思不仅可以被施加到空间方向，还可以被施加到时间和空间方向(X方向和t方向，或Y方向和t方向)。

换句话说，在作为二维再积分方法的假设的二维多项式模拟方法中，即使在这样的情况下，其中，表示光信号函数F(x，y，t)不仅具有空间方向中的连续性，还具有时间和空间方向中的连续性(然而，X方向和t方向，或Y方向和t方向)，这可以利用二维多项式模拟。

尤其是，例如，在存在在水平方向上以均匀速度水平移动的对象的情况下，对象的移动方向由如图170所示的X-t平面中的梯度V_F表示。换句话说，可以认为梯度V_F表示在X-t平面中的时间和空间方向上的连续性方向。因此，数据连续性检测单元101(图151)可以输出如图170所示的移动θ(严格地说，虽然图中没有示出，移动θ是由用对应于梯度V_F的梯度V_f表示的数据连续性方向与空间方向中的X方向产生的角度)作为数据连续性信息，其对应于表示在X-t平面中的时间和空间方向上的连续性的梯度V_F、以及角度θ(对应于表示在X-Y平面中空间方向中的连续性的梯度G_F的数据连续性信息)。

另外，采用二维多项式模拟方法的现实世界估计单元102(图151)通过用移动θ代替角度θ，可以以与上述方法相同的方法计算模拟函数f(x，t)的系数(特征)w_i。然而，在该情况下，将要使用的公式不是上述公式(124)，而是下面的公式(133)。

$f(x,y)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i(x-s\×t)$ 公式(133)

注意，在公式(133)中，s为cotθ(然而，θ是移动)。

因此，采用二维再积分方法的图像产生单元103(图151)通过将上述公式(133)的f(x，t)代入下面公式(134)的右侧并计算可以计算像素值M。

$M=G_e\×{\∫}_{t_s}^{t_e}{\∫}_{x_s}^{x_e}f(x,t)\mathrm{dxdt}$ 公式(134)

注意，在公式(134)中，t_s表示在t方向上的积分开始位置，以及t_e表示在t方向上的积分结束位置。类似，x_s表示在X方向上的积分开始位置，以及x_e表示在X方向上的积分结束位置。另外，G_e表示预定增益。

可选的是，可以以与上述函数f(x，t)相同的方法处理模拟函数f(y，t)，其关注空间方向Y而不是空间方向X。

另外，在公式(133)中，通过将t方向看作常量，可以获得不在时间方向上积分的数据，即没有由于移动模糊的数据，即，通过省略在t方向上的积分而进行积分。换句话说，该方法可以看作一种二维再积分方法，其中在二维多项式的一个特定维度为常量的条件下进行再积分，或者实际上，可以看作一种一维再积分方法，其中在X方向上进行一维再积分。

另外，在公式(134)中，可以任意设置积分范围，因此，在二维再积分方法中，通过适当地变化积分范围，可以产生相对于原始像素(来自传感器2(图151)的输入图像的像素)具有任意幂数的分辨率的像素，而不会降级。

也就是说，在二维再积分方法中，通过适当地变化在时间方向t上的积分范围可以产生时间分辨率。另外，通过适当地变化在空间方向X(或空间方向Y)上的积分范围可以产生空间分辨率。另外，通过适当地变化在时间方向t上、和在空间方向X上每个的积分范围可以同时产生时间分辨率和空间分辨率。

注意，如上所述，即使在一维再积分方法中，可以进行产生时间分辨率和空间分辨率中的任意一种，但是在一维再积分方法中，理论上不能进行同时产生时间分辨率和空间分辨率，只有通过进行二维或更多维积分下才有可能。也就是说，只有通过采用二维再积分和下述的三维再积分方法，才可以同时产生时间分辨率和空间分辨率。

另外，二维再积分方法考虑二维积分效应而不是一维积分效应，因此，可以产生更接近现实世界1中的光信号(图151)的图像。

换句话说，在二维再积分方法中，例如，151(图3)中的数据连续性检测单元101检测由多个像素构成的输入图像的数据的连续性(例如，由图166中的梯度G_f表示的数据连续性)，所述像素具有这样的像素值，其上由每个具有空间-时间积分效应的传感器2的多个检测元件投影了现实世界1的光信号，并且所述由检测元件投影的像素值丢失了现实世界1的光信号的部分连续性(例如由图164中的梯度G_F表示的连续性)。

随后，例如，在这样的假设下，对应于输入图像的时间-空间方向的二维方向(例如图164中的空间方向X和空间方向Y)中的至少一个位置的像素的像素值是通过在至少二维方向上的积分效应而获取的像素值，图151(图3)中的现实世界估计单元102响应由连续性检测单元检测的数据连续性通过利用作为多项式的模拟函数f(x，y)模拟表示现实世界1的光信号的光信号函数F(尤其是，图164中的函数F(x，y))而估计光信号函数F。

具体说，例如，在这样的条件下，对应于沿二维方向离对应于由连续性检测单元101检测的数据连续性(例如，对应于图166中的梯度G_f的直线(箭头))的直线的距离(例如，图166中的截面方向距离x’)的像素的像素值是通过至少在二维方向上的积分效应而获得的像素值，则现实世界估计单元102通过利用作为多项式的第二函数模拟表示现实世界的光信号的第一函数而估计第一函数。

在二维再积分方法中，基于这样的假设，例如，图151(图3)中的图像产生单元103(图165中的结构)(例如通过计算上述公式(120)的右侧)产生对应于图151中的像素(例如，输出图像(像素值M))的像素值。尤其是，例如图169中像素3241到像素3244)，所述像素通过积分由现实世界估计单元102估计的函数F(x，y)，即在二维方向中的希望增量上的模拟函数f(x，y)，而具有希望的尺寸。

因此，在二维再积分方法中，不仅可以产生时间分辨率和空间分辨率中的一个，还可以同时产生时间分辨率和空间分辨率。另外，在二维再积分方法中，可以比一维再积分方法产生更接近现实世界1(图151)的光信号的图像。

接着，将参考图171和图172描述三维再积分方法。

在三维再积分方法中，假设已经利用三维函数模拟方法产生模拟函数f(x，y，t)。

在该情况下，在三维再积分方法中，输出像素值M被计算为如下公式(135)。

$M=G_e\×{\∫}_{t_s}^{t_e}{\∫}_{y_s}^{y_e}{\∫}_{x_s}^{x_e}f(x,y,t)\mathrm{dxdydt}$ 公式(135)

注意，在公式(135)中，t_s表示在t方向上的积分开始位置，以及t_e表示在t方向上的积分结束位置。类似，y_s表示在Y方向上的积分开始位置，以及y_e表示在Y方向上的积分结束位置。另外，x_s表示在X方向上的积分开始位置，以及x_e表示在X方向上的积分结束位置。另外，G_e表示预定增益。

在公式(135)中，积分范围可以任意设置，因此，在三维再积分方法中，通过适当地改变积分范围，可以产生相对于原始像素(从传感器2(图151)输入的图像的像素)具有任意幂次的时间空间分辨率的像素，而不会降级。也就是说，当减小空间方向上的积分范围，可以不受约束地减小像素间距。另一方面，当增大空间方向上的积分范围，可以不受约束地增大像素间距。另外，当减小时间方向上的积分范围，可以基于实际波形产生时间分辨率。

图171示出了采用三维再积分方法的图像产生单元103的结构实例。

如图171所示，在该图像产生单元103的实例中包括：条件设置单元3301、特征存储单元3302、积分分量计算单元3303、以及输出像素值计算单元3304。

条件设置单元3301基于从现实世界估计单元102提供的现实世界估计信息(在图171的实例中的模拟函数f(x，y，t)的特征)设置模拟函数f(x，y，t)的维数n。

条件设置单元3301设置在再积分模拟函数f(x，y，t)的情况中(在计算输出像素值的情况中)的积分范围。注意，由条件设置单元3301设置的积分范围不需要为像素的宽度(水平或垂直宽度)或快门时间自身。例如，只要已知相对于来自传感器2(图151)的输入图像的每个像素的空间尺寸的输出像素(将由图像产生单元103现在产生的像素)的相对尺寸(空间分辨率的幂数)，则可以确定空间方向中的具体积分范围。类似，只要已知相对于传感器2(图151)的快门时间的输出像素的相对时间(时间分辨率的幂数)，则可以确定时间方向中的具体积分范围。因此，条件设置单元3301可以设置例如空间分辨率幂数和时间分辨率幂数作为积分范围。

特征存储单元3302临时存储从现实世界估计单元102顺序提供的模拟函数f(x，y，t)的特征。然后，当特征存储单元3302存储了模拟函数f(x，y，t)的全部特征时，则特征存储单元3302产生包括模拟函数f(x，y，t)的全部特征的特征表，并将其提供给输出像素值计算单元3304。

另外，当展开上述公式(135)右侧的模拟函数f(x，y)，则输出像素值M被表示为下面的公式(136)。

$M=\underset{j=0}{\overset{n}{\mathrm{\Σ}}}{w}_i\×k_i(x_s,x_e,y_s{,y}_e,t_s,t_e)$ 公式(136)

在公式(136)中，K_i(x_s，x_e，y_s，y_e，t_s，t_e)表示i维项的积分分量。然而，分别为，x_s表示在X方向上的积分范围开始位置，以及x_e表示在X方向上的积分范围结束位置；y_s表示在Y方向上的积分范围开始位置，以及y_e表示在Y方向上的积分范围结束位置；t_s表示在t方向上的积分范围开始位置，以及t_e表示在t方向上的积分范围结束位置。

积分分量计算单元3303计算积分分量K_i(x_s，x_e，y_s，y_e，t_s，t_e)。

尤其是，积分分量计算单元3303基于由条件设置单元3301设置的维数和积分范围(空间分辨率和时间分辨率)、从数据连续性检测单元101输出的数据连续性信息的角度或移动θ计算积分分量S_i(x_s，x_e，y_s，y_e，t_s，t_e)，并将计算结果提供输出像素值计算单元3304作为积分分量表。

输出像素值计算单元3304利用从特征存储单元3302提供的特征表、以及从积分分量计算单元3303提供的积分分量表而计算上述公式(136)的右侧，并将计算结果输出作为输出像素值M。

接着，将参考图172中的流程图描述采用三维再积分方法利用图像产生单元103(图171)的图像产生处理(图40的步骤S103中的处理)。

例如，假设现实世界估计单元102(图151)已经产生模拟函数f(x，y，t)，所述函数以输入图像的预定像素作为在上述图40的步骤S102的处理中的关注像素，而模拟现实世界1中的光信号(图151)。

另外，假设数据连续性检测单元101(图151)已经输出角度θ或移动θ作为数据连续性信息，以与现实世界估计单元102相同的像素作为关注像素。

在该情况下，条件设置单元3301在图172的步骤S3301中设置条件(维数和积分范围)。

在步骤S3302中，特征存储单元3302获取从现实世界估计单元102提供的模拟函数f(x，y，t)的特征，并产生特征表。

在步骤S3303中，积分分量计算单元3123基于由条件设置单元3301设置的条件(维数和积分范围)、从数据连续性检测单元101提供的数据连续性信息(角度θ或移动θ)而计算积分分量，并产生积分分量表。

注意，步骤S3302中的处理和步骤S3303中的处理的顺序不限于图172中的实例，可以先执行步骤S3303中的处理，或者可以同时执行步骤S3302中的处理和步骤S3303中的处理。

接着，在步骤S3304中，输出像素值计算单元3304基于由特征存储单元3302在步骤S3202中的处理产生的特征表、以及由积分分量计算单元3303在步骤S3303的处理中产生的积分分量表计算每个输出像素值。

在步骤S3305中，输出像素值计算单元3304确定是否已经完成对全部像素的处理。

在步骤S3305中，在确定仍未完成对全部像素的处理时，该处理返回步骤S3302，其中重复进行后面的处理。也就是说，随后取未变成关注像素的像素作为关注像素，并重复进行步骤S3302到S3304。

在已经完成对全部像素的处理的情况下(在步骤S3305中，在确定已经完成对全部像素的处理的情况下)，输出像素值计算单元3304在步骤S3306中输出图像。然后，图像产生处理结束。

从而，在上述公式(135)中，积分范围可以任意设置，因此，在三维再积分方法中，通过适当地改变积分范围，可以产生相对于原始像素(从传感器2(图151)输入的图像的像素)具有任意幂次的空间分辨率的像素，而不会降级。

也就是说，在三维再积分方法中，通过适当地变化在时间方向上的积分范围可以产生时间分辨率。另外，通过适当地变化在空间方向上的积分范围可以产生空间分辨率。另外，通过适当地变化在时间方向上、和在空间方向上每个的积分范围可以同时产生时间分辨率和空间分辨率。

尤其是，在三维再积分方法中，当从三维降级到二维或一维时不需要模拟，从而允许高精度处理。另外，可以处理在倾斜方向上的移动，而不降级到二维。另外，不降级到二维允许在每个维度上的处理。例如，在二维再积分方法中，在在空间方向(X方向和Y方向)中降级的情况下，不能进行在作为时间方向的t方向上的处理。另一方面，在三维再积分方法中，可以进行在时间-空间方向中的任何处理。

注意，如上所述，在一维再积分方法中，可以进行产生时间分辨率和空间分辨率中的任意一种，但是在一维再积分方法中，理论上不能进行同时产生时间分辨率和空间分辨率，只有通过进行二维或更多维积分下才有可能。也就是说，只有通过采用上述二维再积分和三维再积分方法，才可以同时产生时间分辨率和空间分辨率。

另外，三维再积分方法考虑三维积分效应而不是一维积分效应和二维再积分效应，因此，可以产生更接近现实世界1中的光信号(图151)的图像。

换句话说，在三维再积分方法中，在这样的条件下，对应于由多个像素构成的输入图像的时间-空间方向的至少一维方向中的一个位置的像素的像素值是通过在至少一维方向上的积分效应而获取的像素值，所述像素值上由每个具有时间-空间积分效应的传感器2的多个检测单元投影了现实世界1中的光信号，并且所述由检测元件投影的像素值丢失了现实世界1中的光信号的部分连续性，则图151(图3)中的现实世界估计单元102通过利用预定模拟函数f模拟表示现实世界1的光信号的光信号函数F而估计光信号函数F。

另外，例如，在图151(图3)的数据连续性检测单元101检测输入图像的连续性的情况下，在这样的条件下，对应于对应由数据连续性检测单元101检测的数据连续性的图像数据在时间-空间方向中的至少一维方向中的位置上的像素的像素值是通过至少在一维方向上的积分效应而获得的像素值，则现实世界估计单元102通过利用模拟函数f模拟光信号函数F而估计光信号函数F。

具体说，例如，在这样的条件下，对应于沿一维方向离对应于由连续性检测单元101检测的数据连续性的直线的距离的像素的像素值是通过至少在一维方向上的积分效应而获得的像素值，则现实世界估计单元102通过利用利用模拟函数模拟光信号函数F而估计光信号函数。

在三维再积分方法中，例如，图151(图3)中的图像产生单元103(图171中的结构)(例如通过计算上述公式(135)的右侧)产生对应于这样的像素的像素值，所述像素通过积分由现实世界估计单元102估计的函数F，即在一维方向中的希望增量上的模拟函数f，而具有希望的尺寸。

因此，在三维再积分方法中，可以常规图像产生方法、或上述一维再积分方法或二维再积分方法产生更接近现实世界1的光信号(图151)的图像。

接着，将参考173描述图像产生单元103，在这样的情况下，从现实世界估计单元102输入的现实世界估计信息是近似表示每个参考像素的像素值的模拟函数f(x)上的每个像素的导数值或梯度的信息，则所述图像产生单元103基于每个像素的导数值或梯度新产生像素。

注意，在描述图173和图177中的图像产生单元103中，在获得近似表示每个参考像素的像素值的模拟函数f(x)后，这里提到的“导数值”表示在预定位置上利用从其模拟函数f(x)获得的一维微分方程f(x)，(在模拟函数在帧方向中的情况下，从其模拟函数f(t)获得的一维微分方程f(t)’)而获得的值。另外，这里提到的术语“梯度”表示从周边像素的像素值直接获得的模拟函数f(x)的预定位置上的梯度，而没有获得上述模拟函数f(x)(f(t))。然而，导数值表示在模拟函数f(x)的预定位置上的梯度，因此，两种情况都表示在模拟函数f(x)的预定位置上的梯度。因此，对于作为从现实世界估计单元102输入的现实世界估计信息的导数值和梯度，它们是统一的，并被称为模拟函数f(x)或f(t)上的梯度。

梯度获取单元3401关于近似表示从现实世界估计单元102输入的参考像素的像素值的模拟函数f(x)，获取每个像素的梯度信息、相应像素的像素值、以及在连续性方向上的连续性，并将其输出给外推/内插单元3402。

外推/内插单元3402利用基于从梯度获取单元3401输入的模拟函数f(x)上的每个像素的梯度、相应像素的像素值、以及在连续性方向上的连续性的外推/内插，而产生比输入图像具有特定幂数的更高密度的像素，并输出像素作为输出图像。

接着，将参考图174的流程图描述图173中的图像产生单元103的图像产生处理。

在步骤S3401中，梯度获取单元3401获取关于从现实世界估计单元102输入的模拟函数f(x)上的梯度(导数值)、每个像素的位置和像素值、以及在连续性方向上的梯度的信息作为现实世界估计信息。

这里，例如，在产生由具有在空间方向X和空间方向Y上的二倍密度(共4倍)的像素构成的图像作为输入图像的情况下，从现实世界估计单元102输入如图175所示的像素Pin的关于如下的信息：梯度f(Xin)’(在像素Pin中心位置上的梯度)、f(Xin-Cx(-0.25))’(当从像素Pin产生Y方向上的二倍密度的像素，在像素Pa的中心位置上的梯度)、f(Xin-Cx(0.25))’(当从像素Pin产生Y方向上的二倍密度的像素，在像素Pb的中心位置上的梯度)、像素Pin的位置和像素值、以及在连续性方向上的梯度G_f。

在步骤S3402中，梯度获取单元3401从输入的现实世界估计信息选择相应的关注像素的信息，并将其输出给外推/内插单元3402。

在步骤S3403中，外推/内插单元3402获得来自输入像素的位置信息的平移量、以及在连续性方向上的梯度G_f。

这里，将平移量Cx(ty)定义为Cx(ty)＝ty/G_f，其中G_f表示作为连续性的梯度。该平移量Cx(ty)表示在模拟函数f(x)的空间方向Y＝ty上的位置相对于空间方向X的平移宽度，所述模拟函数f(x)被定义为位于空间方向Y＝0的位置上。因此，例如，在将在空间方向Y＝0的位置上的模拟函数定义为f(x)的情况下，在空间方向Y＝ty上，该模拟函数f(x)变成对于空间方向X平移Cx(ty)的函数，从而该模拟函数被定义为f(x-Cx(ty))＜＝f(x-ty/G_f)。

例如，在如图175所示的像素Pin的情况中，当将图中一个像素(图中像素尺寸在水平方向和垂直方向上都为1)分成在垂直方向上的两个像素时(当在垂直方向上产生二倍密度像素时)，外推/内插单元3402获得将要获得的像素Pa和Pb的平移量。也就是说，在该情况下，从像素Pin看，在空间方向Y上对像素Pa和Pb分别平移-0.25和0.25，从而像素Pa和Pb的平移量分别变成Cx(-0.25)和Cx(0.25)。注意，在图260中，像素Pin为其基本重心位置为(Xin、Yin)的方形，而像素Pa和Pb是其基本重心位置分别为(Xin、Yin+0.25)和(Xin、Yin-00.25)的、在图中水平方向上的矩形。

在步骤S3404中，外推/内插单元3402基于在步骤S3403的处理中获得的平移量Cx、被获取作为现实世界估计信息的像素Pin的模拟函数f(x)上的关注像素、以及像素Pin的像素值，通过下面公式(137)和公式(138)利用外推/内插获得像素Pa和Pb的像素值。

Pa＝Pin-f(xin)’×Cx(0.25)

                                公式(137)

Pb＝Pin-f(xin)’×Cx(-0.25)

                                公式(138)

在上述公式(137)和公式(138)中，Pa、Pb和Pin分别表示像素Pa、Pb和Pin的像素值。

也就是说，如图176所示，通过将关注像素Pin中的梯度f(Xin)’乘以在X方向的移动距离，即平移量，而设置像素值的变化量，并且基于关注像素的像素值设置新产生的像素的像素值。

在步骤S3405中，外推/内插单元3402确定是否已经获得具有预定分辨率的像素。例如，在预定分辨率为相对于输入图像中的像素具有在垂直方向上的二倍密度的像素的情况下，外推/内插单元3402确定通过上述处理已经获得具有预定分辨率的像素，但是，例如，在希望输入图像中的像素为相对于输入图像中的像素具有四倍密度(在水平方向上的二倍×在垂直方向上的二倍)的像素的情况下，则还没有获得通过上述处理的具有预定密度的像素。因此，在希望四倍密度的图像的情况下，外推/内插单元3402确定仍未获得具有预定分辨率的像素，并且该处理返回步骤S3403。

在步骤S3403中，外推/内插单元3402在第二处理中，分别获得将要获得的像素P01、P02、P03和P04(相对于关注像素Pin具有四倍密度的像素)从将要产生的像素的中心位置的平移量。也就是说，在该情况下，像素P01和P02是将要从像素Pa获得的像素，从而分别获得从像素Pa的平移量。这里，像素P01和P02分别被相对于空间方向X从像素Pa平移0.25和-0.25，因此，每个其值变成其平移量(由于所述像素被相对于空间方向X平移)。类似，像素P03和P04分别被相对于空间方向X从像素Pb平移-0.25和0.25，因此，每个其值变成其平移量。注意，在图175中，像素P01、P02、P03和P04是其重心位置为图中四个叉形标记的位置，并且，像素Pin的每边的长度为1，因此，像素P01、P02、P03和P04每边的长度分别为0.5。

在步骤S3404中，外推/内插单元3402基于在步骤S3403中获得的平移量Cx、在被获取作为现实世界估计信息的像素Pa和Pb的模拟函数f(x)的预定位置上的梯度f(Xin-Cx(-0.25))’和f(Xin-Cx(0.25))’、以及在上述处理中获得的像素Pa和Pb的像素值，通过公式(139)到公式(142)利用外推/内插获得像素P01、P02、P03和P04的像素值，并将其存储在未示出的存储器中。

P01＝Pa+f(Xin-Cx(0.25))’×(-0.25)

                                      公式(139)

P02＝Pa+f(Xin-Cx(0.25))’×(0.25)

                                      公式(140)

P03＝Pb+f(Xin-Cx(-0.25))’×(-0.25)

                                      公式(141)

P04＝Pb+f(Xin-Cx(-0.25))’×(0.25)

                                      公式(142)

在上述公式(139)到公式(142)中，P01到P04分别表示像素P01到P04的像素值。

在步骤S3405中，外推/内插单元3402确定是否已获得具有预定分辨率的像素，在该情况下，已经获得希望的四倍密度像素，因此，外推/内插单元3402确定已经获得具有预定分辨率的像素，处理进到步骤S3406。

在步骤S3406中，梯度获取单元3401确定是否已经完成对全部像素的处理，在确定仍未完成对全部像素的处理的情况下，该处理返回到步骤S3402，其中重复进行后面的步骤。

在步骤S3406中，在梯度获取单元3401确定已经完成对全部像素的处理的情况下，外推/内插单元3402在步骤S3407中输出由存储在未示出的存储器中的产生的像素构成的图像。

也就是说，如图176所示，根据在空间方向X上距离关注像素的距离，利用外推/内插获得新像素的像素值，所述关注像素的梯度利用模拟函数f(x)上的梯度f(x)’获得。

注意，在上述实例中，已经描述了在以计算四倍密度像素作为实例时的梯度(导数值)，但是在可以获得在更多位置上的梯度信息作为现实世界估计信息的情况下，利用与上述相同的方法可以计算比上述实例具有更大的空间方向中的密度的像素。

另外，对于上述实例，已经描述了获得二倍密度的像素值的实例，但是模拟函数f(x)是连续函数，因此，在即使关于具有不同于二倍密度的像素值仍可以获得需要的梯度(导数值)信息的情况下，可以产生由更高密度像素构成的图像。

根据上述描述，基于被提供作为空间方向中的现实世界估计信息的、用于模拟输入图像的每个像素的像素值的模拟函数f(x)的梯度(或导数值)f(x)’信息，可以产生比输入图像具有更高分辨率的图像的像素。

接着，将参考图177描述图像产生单元103，其基于在从现实世界估计单元102输入的现实世界估计信息是每个像素的导数值或梯度信息的情况下，从作为表示参考像素的模拟像素值的帧方向(时间方向)上的函数的f(t)获得每个像素的导数值或梯度信息，而产生新像素值以输出图像。

梯度获取单元3411获取从现实世界估计单元102输入的每个像素位置上的，从表示参考像素的模拟像素值的f(t)获取的梯度信息、相应的像素值以及作为连续性的移动，并将这样获得的信息输出给外推单元3412。

外推单元3412基于从梯度获取单元3411输入的每个像素的从模拟函数f(t)获得梯度、相应的像素值以及作为连续性的移动利用外推产生比输入图像更高的预定阶数的高密度像素，并将这样产生的图像输出作为输出图像。

接着，将参考图178的流程图描述利用如图177所示的图像产生单元103的图像产生处理。

在步骤S3421中，梯度获取单元3411获取从现实世界估计单元102输入的每个像素的关于如下的信息：从模拟函数f(t)获得的梯度(导数值)、位置、像素值、以及作为连续性的移动，并将其作为现实世界估计信息。

例如，在从在空间方向和帧方向上都具有二倍像素密度(即，共为四倍像素密度)的输入图像产生图像的情况下，从现实世界估计单元102接收的关于如图179所示的像素Pin的输入信息包括：梯度f(Tin)’(在像素Pin中心上的梯度)、f(Tin-Ct(0.25))’(在从像素Pin产生Y方向上的二倍密度的像素的步骤中，在像素Pat的中心上的梯度)、f(Tin-Ct(-0.25))’(在从像素Pin产生Y方向上的二倍密度的像素的步骤中，在像素Pbt的中心上的梯度)、像素Pin的位置、像素值、以及作为连续性的移动(移动矢量)。

在步骤S3422中，梯度获取单元3411从输入的现实世界估计信息选择关于关注像素的信息，并将其这样获取的信息输出给外推单元3412。

在步骤S3423中，外推单元3412基于这样输入的位置信息计算关于像素和连续性方向上的梯度的平移量。

这里，将作为连续性的移动(在具有帧方向和空间方向的平面上的梯度)作为V_f，通过公式Ct(ty)＝ty/V_f获得平移量Ct(ty)。该平移量Ct(ty)表示在空间方向Y＝ty的位置上计算的，模拟函数f(t)在帧方向T上的平移量。注意，所述模拟函数f(t)被定义为位于空间方向Y＝0的位置上，例如，在空间方向Y＝ty上，该模拟函数f(t)在时间方向T上平移Ct(ty)，从而该模拟函数在Y＝ty上被定义为f(t-Ct(ty))＜＝f(t-ty/V_f)。

例如，考虑如图179所示的像素Pin。在将图中一个像素(假设图中像素尺寸在帧方向和空间方向上都为1)分成在空间方向上的两个像素的情况下(当在空间方向上产生二倍像素密度图像的情况下)，外推单元3412计算用于获得像素Pat和Pbt的平移量。也就是说，在空间方向Y上对像素Pat和Pbt分别从像素Pin平移0.25和-0.25。从而用于获得像素Pat和Pbt的像素值的平移量分别为Ct(0.25)和Ct(-0.25)。注意，在图179中，像素Pin为其基本重心位置约为(Xin、Yin)的方形。另一方面，像素Pat和Pbt是其基本重心位置分别约为(Xin、Yin+0.25)和(Xin、Yin-00.25)的、其长边在图中水平方向上的矩形。

在步骤S3424中，外推单元3412基于在步骤S3423中获得的平移量、被获取作为现实世界估计信息并提供像素Pin的像素值的模拟函数f(t)上的关注像素、以及像素Pin的像素值，通过下面公式(143)和公式(144)利用外推计算像素Pat和Pbt的像素值。

pat＝Pin-f(Tin)’×Ct(0.25)

                                  公式(143)

pbt＝Pin-f(Xin)’×Ct(-0.25)

                                  公式(144)

在上述公式(143)和公式(144)中，Pat、Pbt和Pin分别表示像素Pat、Pbt和Pin的像素值。

也就是说，如图180所示，通过将关注像素Pin中的梯度f(Xin)’乘以在X方向的距离，即平移量，而计算像素值的变化量。然后，基于关注像素的像素值利用这样计算的变化确定将产生的新像素的像素值。

在步骤S3425中，外推单元3412确定这样产生的像素是否提供要求的分辨率。例如，在用户要求相比于输入图像为在空间方向上的二倍像素密度的分辨率的情况下，外推单元3412确定已经获得要求的分辨率。但是，在用户要求相比于输入图像为四倍像素密度(在帧方向上的二倍像素密度×在空间方向上的二倍像素密度)的分辨率的情况下，则上述处理没有提供要求的像素密度。因此，在用户要求四倍像素密度的分辨率的情况下，外推单元3412确定仍未获得要求的分辨率，并且流程返回到步骤S3423。

在用于第二处理的步骤S3423中，外推单元3412分别计算从作为基础的像素的平移量，以获得像素P01t、P02t、P03t和P04t(相对于关注像素Pin具有四倍像素密度)的中心。也就是说，在该情况下，像素P01t和P02t从像素Pat获得，从而计算从像素Pat的平移量以获得这些像素。这里，分别将像素P01t和P02t在帧方向T上从像素Pat平移-0.25和0.25，因此，将其之间没有转换的距离用作平移量。同样，分别将像素P03t和P04t在帧方向T上从像素Pbt平移-0.25和0.25，因此，将其之间没有转换的距离用作平移量。注意，在图179中，每个像素P01t、P02t、P03t和P04t为方形，其重心位置由图中四个叉形标记的相应的一个表示，并且，由于像素Pin的每边的长度为1，因此，像素P01t、P02t、P03t和P04t每边的长度为约0.5。

在步骤S3424中，外推单元3412基于在步骤S3423中获得的平移量Ct、在被获取作为现实世界估计信息的、在像素Pat和Pbt的相应位置上的模拟函数f(t)的梯度f(Tin-Ct(0.25))’和f(Tin-Ct(0.25))’、以及在上述处理中获得的像素Pat和Pbt的像素值，通过下面公式(145)到公式(148)利用外推获得像素P01t、P02t、P03t和P04t的像素值。将这样获得的像素P01t、P02t、P03t和P04t的像素值存储在未示出的存储器中。

P01t＝Pat+f(Tin-Ct(0.25))′×(-0.25)

                                           公式(145)

P02t＝Pat+f(Tin-Ct(0.25))′×(0.25)

                                           公式(146)

P03t＝Pbt+f(Tin-Ct(-0.25))′×(-0.25)

                                           公式(147)

P04t＝Pbt+f(Tin-Ct(-0.25))′×(0.25)

                                           公式(148)

在上述公式(139)到公式(142)中，P01t到P04t分别表示像素P01t到P04t的像素值。

在步骤S3425中，外推单元3412确定是否已获得达到要求分辨率的像素密度。在该情况下，已经获得要求的四倍密度像素，因此，外推单元3412确定已经获得达到要求分辨率的像素密度，然后流程进到步骤S3426。

在步骤S3426中，梯度获取单元3411确定是否已经完成对全部像素的处理。在梯度获取单元3411确定仍未完成对全部像素的处理的情况下，该流程返回到步骤S3422，并重复后面的处理。

在步骤S3426中，在梯度获取单元3411确定已经完成对全部像素的处理的情况下，外推单元3412在步骤S3427中输出由存储在未示出的存储器中的产生的像素构成的图像。

也就是说，如图180所示，利用模拟函数f(t)上的梯度f(t)’获得所述关注像素的梯度，并根据在帧方向T上距离关注像素的帧数计算新像素的像素值。

尽管在上述实例中，已经描述了在计算四倍密度像素时的梯度(导数值)的实例，但是在可以获得在更多位置上的梯度信息作为现实世界估计信息的情况下，利用与上述相同的技术还可以计算在帧方向中的像素。

尽管已经描述了获得二倍像素密度的图像的设置，但是还可以这样设置，其中利用模拟函数f(t)是连续函数性质，基于需要的梯度(导数值)信息获得更高像素密度的图像。

根据上述描述，上述处理基于关于被提供作为现实世界估计信息的、作为用于提供输入图像的每个像素的像素值的模拟值的模拟函数f(t)的梯度(或导数值)的f(t)’的信息，可以产生在帧方向上比输入图像具有更高分辨率的像素图像。

在上述本实施例中，从由多个像素形成的图像数据检测数据连续性，所述像素具有通过多个检测元件的作用而投影现实世界中的光信号所获得的像素值；由于利用每个具有时间空间积分效应得多个检测元件得投影，丢失了现实世界中的光信号的部分连续性。然后采用在时间空间方向的一维方向上从图像数据中的关注像素平移的多个像素的梯度作为对应于现实世界光信号的函数。随后，利用匹配相应像素的中心的中心、以及在上述采用的像素上的梯度，对于上述在预定方向上从关注像素的中心平移的多个像素的每个计算直线。然后，采用上述获得的关注像素中的直线两端的值作为比由关注像素形成的输入图像具有更高像素密度的图像的像素值。这允许产生在时间空间方向中比输入图像具有更高分辨率的图像。

接着，将参考图181到图206描述根据本实施例的图像产生单元103(参考图3)的另一设置。

图181示出了根据本实施例的图像产生单元103的结构实例。

图181所示的图像产生单元103包括：类型分类适应单元3501，用于进行常规类型分类适应处理；类型分类适应校正单元3502，用于进行对类型分类适应处理(下面将具体描述)的结果的校正；以及相加单元3503，用于相加从类型分类适应单元3501输出的图像和从类型分类适应处理校正单元3502输出的图像，并将相加的图像作为输出图像输出给外部电路。

注意，下文中，将从类型分类适应处理单元3501输出的图像称为“预测图像”。另一方面，将从类型分类适应处理校正单元3502输出的图像称为“校正图像”或“减法预测图像”。注意，下面将描述“预测图像”和“减法预测图像”的概念。

另外，在本实施例中，例如，假设进行类型分类适应处理用于提高输入图像的空间分辨率。也就是说，进行类型分类适应处理用于将具有标准分辨率的输入图像转换成具有高分辨率的预测图像。

注意，下文中相应地将具有标准分辨率的图像称为“SD(标准精度)图像”。另外，相应地将构成SD图像的像素称为“SD像素”。

另一方面，下文中相应地将高分辨率图像称为“HD(高精度)图像”。另外，将构成HD图像的像素相应地称为“HD”像素。

下面，将描述根据本实施例的类型分类适应处理的具体实例。

首先，获得包括关注像素和其周围像素的每个SD像素(例如将被称为“类型分块”的SD像素)的特征，用于计算对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素。然后，基于上述获得的特征(确定了类型分块的类型代码)，从预备类型中选择类型分块的类型。

然后，基于上述确定的类型代码、和包括关注像素和其周围的像素的SD像素(下文中将该SD像素称为“预测分块”。注意，类型分块也可以用作预测分块)，利用形成从预备的多个系数组(每个系数组对应于特定类型代码设置)中选择的系数组的系数进行积-和计算，从而获得对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素。

因此，利用根据本实施例的配置，在类型分类适应处理单元3501对输入图像(SD图像)进行常规类型分类适应处理以产生预测图像(HD图像)。另外，利用从类型分类适应处理校正单元3502输出的校正图像(通过相加预测图像和校正图像)在相加单元3503中校正上述获得的预测图像，从而获得输出图像(HD图像)。

也就是说，可以将根据本实施例的配置认为是用于基于关于连续性的连续性进行处理的图像处理装置(图3)的图像产生单元103的配置。另一方面，还可以将根据本实施例的配置认为是这样的图像处理装置的配置，关于分类类型适应处理，相比于由传感器2和类型分类适应处理单元3501的常规图像处理装置，所述装置还包括数据连续性检测单元101、现实世界估计单元102、类型分类适应校正单元3502、以及相加单元3503。

因此，下文中，相对于上述再积分装置，将根据本实施例的该配置称为“类型分类处理校正装置”。

下面将详细描述利用类型分类处理校正装置的图像产生单元103。

在图181中，当将现实世界1的信号(光强分布)输入传感器2中时，从传感器2输出输入图像。将输入图像输入图像产生单元103的类型分类适应处理单元3501以及数据连续性检测单元101。

类型分类适应处理单元3501对输入图像进行常规类型分类适应处理，以产生预测图像，并将预测图像输出给相加单元3503。

如上所述，在类型分类适应处理单元3501中，采用从传感器2输入的输入图像(图像数据)作为将要被处理的目标图像以及参考图像。也就是说，虽然由于上述积分效应，来自传感器2的输入图像不同于(变形)现实世界1的信号，但是类型分类适应处理单元3501利用不同于现实世界1的信号的输入图像作为合适的参考图像进行处理。

从而，在利用基于输入图像(SD图像)的类型分类适应处理产生HD图像的情况下，在SD图像中已经从传感器2输出的输入图像在输入阶段丢失了原始细节，则，这样的HD图像可能具有这样的问题，即不能完全再现原始细节。

为了解决上述问题，在类型分类处理校正装置中，图像产生单元103的类型分类适应处理校正单元3502利用将被输入传感器2的用于估计原始图像(具有原始连续性的现实世界1的信号)的信息(现实世界估计信息)作为将被处理的目标图像以及参考图像，代替来自传感器2的输入图像，从而产生用于校正从类型分类适应处理单元3501输出的预测图像的校正图像。

通过数据连续性检测单元101和现实世界估计单元102的作用产生现实世界估计信息。

也就是说，数据连续性检测单元101检测包括在从传感器2输出的输入图像中的数据连续性(对应于包括在现实世界1的信号中的连续性的数据连续性，其将被输入传感器2)，并将检测结果作为数据连续性信息输出给现实世界估计单元102。

注意，尽管图181示出了其中采用角度作为数据连续性信息的设置，但是数据连续性信息不限于角度，而可以采用各种信息作为数据连续性信息。

现实世界估计单元102基于上述输出的角度(数据连续性信息)产生现实世界估计信息，并将上述产生的现实世界估计信息输出给图像产生单元103的类型分类适应校正单元3502。

注意，尽管图181中示出了其中采用特征量图像(下文将对其进行详细描述)作为现实世界估计信息的设置，但是数据连续性信息不限于特征量图像，而是如上述可以采用各种信息。

类型分类适应处理校正单元3502基于上述输入的特征量图像(现实世界估计信息)产生校正图像，并将校正图像示出给相加单元3503。

相加单元3503相加从类型分类适应处理单元3501输出的预测图像和从类型分类适应处理校正单元3502输出的校正图像，并将相加的图像作为输出图像输出给外部电路。

上述输出图像比预测图像具有根高精度地接近现实世界1的信号(图像)。也就是说，类型分类适应处理校正装置使得用户可以解决上述问题。

另外，在具有如图181所示的结构的信号处理装置(图像处理装置)4中，可以将该处理应用于一帧的整个面积上。也就是说，尽管利用下文的混合技术(例如下文参考图207所述的设置)的信号处理装置等需要识别像素区域以产生输出图像，有利的是，如图181所示的信号处理装置4不需要识别所述像素区域。

接着，下面将详细描述图像产生单元103的类型分类适应处理单元3501。

图182示出了类型分类适应处理单元3501的结构实例。

在图182中，将从传感器2输入的输入图像(SD图像)提供给区域选取单元3511和区域选取单元3515。区域选取单元3511选取类型分块(位于包括关注像素(SD像素)的预定位置上的SD像素)，并将该类型分块输出给图形检测单元3512。图形检测单元3512基于上述输入的类型分块检测输入图像的图形。

类型代码确定单元3513基于由图形检测单元3512检测的图形确定类型代码，并将类型代码输出给系数存储器3514和区域选取单元3515。系数存储器3514存储通过学习预备的每个类型代码的系数，读取对应于从类型代码确定单元3513输入的类型代码的系数，并将系数输出给预定计算单元3516。

注意，下面将参考如图184所示的类型分类适应处理学习单元的方框图，描述用于获得存储在系数存储器3514中的系数的学习处理。

另外，存储在系数存储器3514中的系数如下所述用于产生预测图像(HD图像)。因此，将存储在系数存储器3514中的系数称为“预测系数”，以区分上述系数与其它种系数。

区域选取单元3515基于从类型代码确定单元3513输入的类型代码，选取用于从传感器2输入的输入图像(SD图像)预测和产生预测图像(HD图像)所需的预定分块(位于包括关注像素的预定位置上的SD像素)，并将预测分块输出给预测计算单元3516。

预测计算单元3516利用从区域选取单元3515输入的预测分块和从系数存储器3514输入的预测系数进行积和计算，产生对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素，并将HD像素输出给相加单元3503。

尤其是，系数存储器3514将对应于从类型代码确定单元3513提供的类型代码的预测系数输出给预测计算单元3516。预测计算单元3516利用从区域选取单元3515提供的、并从输入图像的预定像素的像素值选取的预测分块、以及从系数存储器3517提供的预测系数执行由下面公式215表示的积-和计算，从而获得(预测和估计)预测图像(HD图像)的HD像素。

$q^{\′}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{d}_i\×c_i$ 公式(149)

在公式(149)中，q’表示预测图像(HD图像)的HD像素。每个c_i(i表示1到n的整数)表示相应的预测分块(SD像素)。另外，每个d_i表示相应的预测系数。

如上所述，类型分类处理单元3501基于SD图像(输入图像)预测和估计相应的HD图像，因此，在该情况下，将从类型分类适应处理单元3501输出的HD图像称为“预测图像”。

图183示出了用于确定存储在类型分类适应单元3501的系数存储器3514中的预测系数(公式(149)中的d_i)的学习装置(用于获得预测系数的计算装置)。

注意，在类型分类适应处理校正技术中，除系数存储器3514外，系数存储器(校正系数存储器3554，其将在下文中参考图191而被描述)被包括在类型分类适应处理校正单元3502中。因此，如图183所示，根据类型分类适应处理技术的学习装置3504包括学习单元3561(下文中将其称为“类型分类适应处理校正学习单元3561”)，用于确定存储在类型分类适应处理校正单元3502的校正系数存储器3554中的系数，以及学习单元3521(其在下文中被称为“类型分类适应处理学习单元3521”)用于确定存储在类型分类适应处理单元3501系数存储器3514中的预测系数(公式(149)中的d_i)。

因此，当下文中将用于类型分类适应处理学习单元3521中的老师图像称为“第一老师图像”，则下文中将用于类型分类适应处理校正学习单元3561中的老师图像称为“第二老师图像”。同样，当下文中将用于类型分类适应处理学习单元3521中的学生图像称为“第一学生图像”，则下文中将用于类型分类适应处理校正学习单元3561中的学生图像称为“第二学生图像”。

注意，下面将描述类型分类适应处理校正学习单元3561。

图184示出了类型分类适应处理单元3521的具体结构实例。

在图184中，将特定图像输入类型分类适应处理校正处理单元3561(图183)、以及下降转换器单元3531和正规方程产生单元3536中作为第一老师图像(HD图像)。

下降转换器单元3531基于输入的第一老师图像(HD图像)产生比第一老师图像具有更低分辨率的第一学生图像(SD图像)(将第一老师图像转换成较低分辨率的第一学生图像)，并将第一学生图像输出给区域选取单元3532和3535、和类型分类适应处理校正学习单元3561(图183)。

如上所述，类型分类适应处理学习单元3521包括下降转换器单元3531，因此，第一老师图像(HD图像)不需要具有比来自上述传感器2(图181)的输入图像更高的分辨率。原因在于，在该情况下，将经过下降转换处理(用于减少图像分辨率的处理)的第一老师图像用作第一学生图像即SD图像。也就是说，对应于第一学生图像的第一老师图像用作HD图像。因此，可以将来自传感器2的输入图像不经过任何转换地用作第一老师图像。

区域选取单元3532从上述提供的第一学生图像(SD图像)中选取用于类型分类所需要的类型分块(SD像素)，并将类型分块输出给图形检测单元3533。图形检测单元3533检测上述输入的类型分块的图形，并将检测结果输出给类型代码确定单元3534。类型代码确定单元3534确定对应于输入图形的类型代码，并将类型代码输出给区域选取单元3535和正规方程产生单元3536。

区域选取单元3535基于从类型代码确定单元3534输入的类型代码自从下降转换器单元3531中输入的第一学生图像(SD图像)中选取预测分块(SD像素)，并且，将预测分块输出给正规方程产生单元3536和预测计算单元3558。

注意，区域选取单元3532、图形检测单元3533、类型代码确定单元3534，以及区域选取单元3535具有基本相同的结构，并且，与如图182所示的类型分类适应处理单元3501的区域选取单元3511、图形检测单元3512、类型代码确定单元3513、以及区域选取单元3515相同地作用。

正规方程产生单元3536基于从区域选取单元3535输入的第一学生图像(SD图像)的预测分块(SD像素)，以及从类型代码确定单元3545输入的全部类型代码的每个类型代码的第一老师图像(HD图像)的HD像素而产生正规方程，并将正规方程提供给系数确定单元3537。当从正规方程产生单元3536接收特定类型代码的正规方程时，系数确定单元3537利用正规方程计算预测系数。然后，系数确定单元3537将计算的预测系数提供给预测计算单元3538，并将预测系数存储在相关于类型代码的系数存储器3514中。

下面，将详细描述正规方程产生单元3536和系数确定单元3537。

在上述公式(149)中，每个预测系数d_i在学习处理之前是未确定的系数。学习处理通过输入每个类型代码的多个老师图像(HD图像)的HD像素而进行。假设，对应于特定类型代码存在m个HD像素。将每个m个HD像素表示为q_k(k表示1到m的整数)。则从公式(149)得到下面的公式(150)。

$q_k=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{d}_i\×c_{\mathrm{ik}}+e_k$ 公式(150)

也就是说，公式(150)表示，通过计算公式(150)的右侧可以预测和估计HD像素q_k。注意，在公式(150)中，e_k表示误差。也就是说，作为预测图像(HD图像)的HD像素q_k’不完全匹配实际HD像素q_k，并包括特定误差e_k，所述预测图像是计算右侧的结果。

因此，例如，通过学习处理，将获得表示误差e_k的平方和的最小值的预测系数d_i。

尤其是，预备用于学习处理中的HD像素q_k的个数应该大于n(即m大于n)。在该情况下，利用最小二乘法确定预测系数d_i作为唯一解。

也就是说，利用最小二乘法的用于获得公式(150)右侧的预测系数d_i的正规方程由下面公式(151)所示。

                                  公式(151)

因此，产生并求解由公式(151)表示的正规方程，从而确定预测系数d_i作为唯一解。

尤其是，假设，公式(151)中表示正规方程的矩阵被定义为下面公式(152)到(154)。在该情况下，正规方程由下面公式(155)所示。

公式(152)

$D_{\mathrm{MAT}}=\left[\begin{array}{c}{d}_1\\ d_2\\ \·\\ \·\\ \·\\ d_n\end{array}\right]$ 公式(153)

$Q_{\mathrm{MAT}}=\left[\begin{array}{c}\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{c}_{1k}\×q_k\\ \underset{k=1}{\overset{m}{\mathrm{\Σ}}}{c}_{2k}\×q_k\\ \·\\ \·\\ \·\\ \underset{k=1}{\overset{m}{\mathrm{\Σ}}}{c}_{\mathrm{nk}}\×q_k\end{array}\right]$ 公式(154)

C_MATD_MAT＝Q_MAT

                             公式(155)

如公式(153)所示，矩阵W_MAT的每个分量为将要获得的预测系数d_i。在本实施例中，如果确定了公式(155)左侧的矩阵C_MAT和右侧的矩阵Q_MAT，可以利用矩阵计算获得矩阵D_MAT(即预测系数d_i)。

尤其是，如公式(152)所示，由于已知预测分块c_ik，因此可以计算矩阵C_MAT的各个分量。在本实施例中，正规方程产生单元3536利用从区域选取单元3535提供的预测分块c_ik计算矩阵C_MAT的每个分量。

另外，在本实施例，预测分块c_ik和HD像素q_k是已知的。因此可以计算如公式(154)所示的矩阵Q_MAT的各个分量。注意，预测分块c_ik与矩阵C_MAT中相同，另外，HD像素q_k是对应于预测分块c_ik中包括的关注像素(第一学生图像的SD像素)的第一老师图像的HD像素。从而，正规方程产生单元3536基于从区域选取单元3535提供的预测分块c_ik和第一老师图像而计算矩阵Q_MAT的每个分量。

如上所述，正规方程产生单元3536计算矩阵C_MAT和矩阵Q_MAT的每个分量，并将相关于类型代码的计算结果提供给系数确定单元3537。

系数确定单元3537基于对应于提供的特定类型代码的正规方程，计算作为上述公式(155)中的每个矩阵D_MAT的分量的预测系数d_i。

尤其是，可以将上述公式(155)转换为下面的公式(156)。

$D_{\mathrm{MAT}}=C_{\mathrm{MAT}}^{-1}{Q}_{\mathrm{MAT}}$ 公式(156)

在公式(156)中，左侧矩阵D_MAT的各个分量是将要获得的预测系数d_i。另一方面，从正规方程产生单元3536提供矩阵C_MAT和矩阵Q_MAT的各个分量。在本实施例中，当从正规方程产生单元3536接收对应于当前类型代码的矩阵C_MAT和矩阵Q_MAT的各个分量，系数确定单元3537执行由公式(156)的右侧表示的矩阵计算，从而计算矩阵D_MAT。然后，系数确定单元3537将计算结果(预测系数d_i)提供给预测计算单元3538，并将关于类型代码的计算结果存储在系数存储器3514中。

预测计算单元3538利用从区域选取单元3535输入的预测分块和由系数确定单元3537确定的预测系数执行积-和计算，从而产生对应于第一学生图像(SD图像)的关注像素(SD像素)的预测图像(作为第一老师图像的预测图像)的HD像素。将上述产生的HD像素作为学习预测图像输出给类型分类适应处理校正学习单元3561(图183)。

尤其是，在预测计算单元3538中，将从预测选取单元3535提供的第一学生图像中的特定像素位置周围的像素值中选取的预测分块用作c_i(i表示1到n的整数)。另外，将从系数确定单元3537提供的每个预测系数用作d_i。预测计算单元3538利用上述采用c_i和d_i执行由上述公式(149)表示的积-和计算，从而获得学习预测图像(HD图像)的HD像素q’(即，从而预测和估计第一老师图像)。

现在，将参考图185到图190描述上述常规类型分类适应处理(类型分类适应处理单元3501)的问题，即其中，当基于其中在输入阶段丢失了原始细节的从传感器2输出的输入图像(SD图像)，通过如图266所示的类型分类适应处理单元3501产生HD图像(现实世界1的信号的预测图像)的情况下，不能完全再现原始细节。

图185示出了类型分类适应单元3501的处理结果的实例。

在图185中，HD图像3541包括具有相对于图中垂直方向为顺时针约5度的梯度。另一方面，从HD图像3541产生SD图像3542，使得将HD图像3541的每个2×2个像素(HD像素)块的平均值用作其相应的单个像素(SD像素)。也就是说，SD图像3542是HD图像3541的“下降转换的”(减小的分辨率)的图像。

换句话说，可以假设HD图像3541是在该模拟中将被从传感器2(图181)输出的图像(现实世界1的信号(图181))。在该情况下，可以假设SD图像3542是对应于HD图像3541的图像，其从传感器2获得，所述传感器在该模拟中具有空间方向上的特定积分性质。也就是说，可以假设在该模拟中SD图像是从传感器2输入的图像。

在该模拟中，将SD图像输入类型分类适应处理单元3501(图181)。从类型分类适应处理单元3501输出的预测图像是预测图像3534。也就是说，预测图像3534是通过常规类型分类适应处理产生的HD图像(与原始HD图像3541具有相同的分辨率的图像)。注意，利用由类型分类适应处理学习单元3561(图184)以HD图像3541作为第一老师图像和以SD图像3542作为第一学生图像进行的学习/计算处理而获得用于类型分类适应处理单元3501的预测计算中的预测系数(存储在系数存储器3514(图182)中的预测系数)。

比较HD图像3541、SD图像3542以及预测图像3543，确定了预测图像3543比SD图像3542更接近HD图像3541。

比较结果表示，类型分类适应处理3501基于其中已经丢失HD图像3541的原始细节的SD图像3542，利用常规类型分类适应处理产生具有再现的原始细节的预测图像3543。

然而，比较预测图像3543和HD图像3541，不能限定地说预测图像3543完全再现了HD图像3541。

为了研究该预测图像3543相对于HD图像3541的不完全再现，本申请人通过利用相加单元3546相加HD图像3541和预测图像3543的反图像而形成了相加图像，即通过从HD图像3541中减去预测图像3543而获得的减法图像(在像素值之差较大的情况下，减法图像的像素由接近白色的密度形成。另一方面，在像素值之差较小的情况下，减法图像的像素由接近黑色的密度形成。)。

同样，本申请人通过利用相加单元3546相加HD图像3541和SD图像3542的反图像而形成了相加图像，即通过从HD图像3541中减去SD图像3542而获得的减法图像(在像素值之差较大的情况下，减法图像的像素由接近白色的密度形成。另一方面，在像素值之差较小的情况下，减法图像的像素由接近黑色的密度形成。)。

然后，比较减法图像3544和减法图像3545，本申请人获得如下所述的研究结果。

也就是说，表现HD图像3541和SD图像3542之间的像素值的较大差的区域(即，在减法图像3545中由接近白色的密度形成的区域)通常匹配表现HD图像3541和预测图像3543之间的像素值的较大差的区域(即，减法图像3544中由接近白色的密度形成的区域)。

换句话说，预测图像3543中表现相对于HD图像3541的不充分再现的区域通常匹配表现HD图像3541和SD图像3542之间的像素值的较大差的区域(即在减法图像3545中由接近白色的密度形成的区域)。

然后，为了解决研究结果的原因，本申请人还进行了如下研究。

也就是说，首先，本申请人研究在表现HD图像3541和预测图像3543之间的像素值的较小差的区域(即在减法图像3544中由接近黑色的密度形成的区域)中的再现结果。在上述区域中，获得用于该研究的信息为：HD图像3541的实际值；SD图像3542的实际像素值；对应于HD图像3541的实际波形(现实世界1中的信号)。图186和图187中示出了研究结果。

图186示出了研究目标区域的实例。注意，在图186中，由X方向表示的水平方向是一个空间方向，由Y方向表示的垂直方向是另一个空间方向。

也就是说，本申请人研究了图186中所示的减法图像3544的区域3544-1的再现结果，所述区域是表现HD图像3541和预测图像3543之间的像素值的较小差的区域实例。

图187的图表示出了：HD图像3541的实际像素值；SD图像3542的实际像素值，其对应于图186所示的区域3544-1中在X方向上的一组6个HD像素的左侧4个像素；以及实际波形(现实世界1的信号)。

在图187中，垂直轴表示像素值，水平轴表示平行于空间方向X的x轴。注意，这样定义x轴，其中以自图中减法图像3544中的六个HD像素的左边的第三HD像素的左端位置为原点。以上述获得的原点为基础定义每个坐标值。注意，以减法图像3544的HD像素的像素宽度为0.5而定义X轴坐标值。也就是说，减法图像3544是HD图像，因此，图中以0.5的宽度L_t(下文中将称为“HD像素宽度”L_t)画出HD图像的每个像素。另一方面，在该情况下，以为HD像素宽度L_t两倍的像素宽度，即以1的像素宽度L_s(下文中将称为“SD像素宽度”L_s)画出SD图像3542的每个像素。

另外，在图187中，实线表示HD图像3541的像素值，点线表示SD图像3542的像素值，以及虚线表示沿X方向的现实世界1的信号波形。注意，实际上难于画出现实世界1的实际波形。因此，如图187所示的虚线表示利用上述线性多项式模拟技术(如图181所示的根据第一实施例的现实世界估计单元102)模拟沿X方向的波形的模拟函数f(x)。

然后，本申请人以与上述关于表现其之间的像素值的小差的区域的研究同样的方法，研究了在表现HD图像3541和预测图像3543之间的像素值的较大差的区域(即在减法图像3544中由接近白色的密度形成的区域)中的再现结果。在上述区域中，同样获得用于该研究的信息为：HD图像3541的实际值；SD图像3542的实际像素值；对应于HD图像3541的实际波形(现实世界1中的信号)。图188和图189中示出了研究结果。

图188示出了研究目标区域的实例。注意，在图188中，由X方向表示的水平方向是一个空间方向，由Y方向表示的垂直方向是另一个空间方向。

也就是说，本申请人研究了图188中所示的减法图像3544的区域3544-2的再现结果，所述区域是表现HD图像3541和预测图像3543之间的像素值的较大差的区域实例。

图189的图表示出了：HD图像3541的实际像素值；SD图像3542的实际像素值，其对应于图188所示的区域3544-2中在X方向上的一组6个HD像素的左侧4个像素；以及实际波形(现实世界1的信号)。

在图189中，垂直轴表示像素值，水平轴表示平行于空间方向X的x轴。注意，这样定义x轴，其中以自图中减法图像3544中的六个HD像素的左边的第三HD像素的左端位置为原点。以上述获得的原点为基础定义每个坐标值。注意，以1的SD像素宽度L_s定义X轴坐标值。

在图189中，实线表示HD图像3541的像素值，点线表示SD图像3542的像素值，以及虚线表示沿X方向的现实世界1的信号波形。注意，如图187所示的虚线表示以与图272所示的虚线相同的方法模拟沿X方向的波形的模拟函数f(x)。

比较图187和图189所示的图表，从图中所示的模拟函数f(x)显然可以看出，图中每个区域包括线对象。

然而，存在如下的差异。也就是说，在图187中线对象在约0到1的x的区域上延伸，而在图189中，线对象在约-0.5到0.5的x的区域上延伸。也就是说，在图187中，线对象的大部分被包括在位于SD图像3542中的0到1的x的区域上的单个SD像素内，另一方面，在图189中，线对象的部分被包括在位于SD图像3542中0到1的x的区域上的单个SD像素中(线对象与背景的边缘也被包括在其中)。

因此，在如图187所示的情况下，在延伸于HD图像3541的0到1.0的x的区域上的两个HD像素(由实线表示)之间的像素值之差较小。相应的SD像素的像素值(图中由点线表示)是两个HD像素的像素值的平均值。因此，可以容易理解，SD图像3542的SD像素与HD图像3541的两个HD像素之间的像素值之差较小。

在该状态下(如图187所示的状态)，考虑利用常规类型分类适应处理的用于产生延伸在0到1.0的x的区域上的两个HD像素(预测图像3543的像素)的再现处理，其中以延伸在0到1.0的x的区域上的单个SD像素作为关注像素。在该情况下，如图186所示，产生的预测图像3543的HD像素以充分高的精度模拟HD图像3541的HD像素。也就是说，在区域3544-1中，在预测图像3543和HD图像3541之间的像素值之差较小，因此，形成的减法图像具有接近黑色的密度，如图186所示。

另一方面，在如图189所示的情况下，在延伸于HD图像3541的0到1.0的x的区域上的两个HD像素(由实线表示)之间的像素值之差较大。相应的SD像素的像素值(图中由点线表示)是两个HD像素的像素值的平均值。因此，可以容易理解，SD图像3542的SD像素与HD图像3541的两个HD像素之间的像素值之差比如图187所示的相应差较大。

在该状态下(如图189所示的状态)，考虑利用常规类型分类适应处理的用于产生延伸在0到1.0的x的区域上的两个HD像素(预测图像3543的像素)的再现处理，其中以延伸在0到1.0的x的区域上的单个SD像素作为关注像素。在该情况下，如图188所示，产生的预测图像3543的HD像素以较差的精度模拟HD图像3541的HD像素。也就是说，在区域3544-2中，在预测图像3543和HD图像3541之间的像素值之差较大，因此，形成的减法图像具有接近白色的密度，如图188所示。

比较如图187所示和如图189所示的用于模拟现实世界1的信号的模拟函数f(x)(图中由虚线表示)，可以如下理解。也就是说，模拟函数f(x)在图187中0到1的x的区域上的变化较小，而模拟函数f(x)在图189中0到1的x的区域上的变化较大。

因此，存在如图187所示的SD图像3542中的SD像素，其在0到1的x的范围上延伸，在其上模拟函数f(x)的变化较小(即，现实世界1的信号的变化较小)。

从该角度上，上述的研究结果还可以如下文所述。也就是说，在基于延伸在其上模拟函数f(x)的变化较小(即现实世界1的信号的变化较小)的区域上的SD像素再现HD像素的情况下，所述区域如延伸在如图187所示的0到1.0的x的区域上，利用常规类型分类适应处理，产生的HD像素以充分高的精度模拟现实世界1的信号(在该情况下，直线对象的图像)。

另一方面，存在如图189所示的SD图像3542中的SD像素，其在0到1的x的范围上延伸，在其上模拟函数f(x)的变化较大(即，现实世界1的信号的变化较大)。

从该角度上，上述的研究结果还可以如下文所述。也就是说，在基于延伸在其上模拟函数f(x)的变化较大(即现实世界1的信号的变化较大)的区域上的SD像素再现HD像素的情况下，所述区域如延伸在如图189所示的0到1.0的x的区域上，利用常规类型分类适应处理，产生的HD像素以较差的精度模拟现实世界1的信号(在该情况下，直线对象的图像)。

上述研究结果的结论为如图190所示的情况，利用基于像素之间的关系的常规信号处理(例如，类型分类适应处理)，难于再现延伸在对应于单个像素的区域上的细节。

也就是说，图190描述了本申请人获得的研究结果。

在图190中，图中水平方向表示为空间方向的X方向，沿其上排列有传感器2(图181)的检测元件。另一方面，图中垂直方向表示光量水平或像素值。点线表示现实世界1的信号(图181)的X截面波形F(x)。实现表示在传感器2接收上述表示的现实世界1的信号(图像)的情况下从传感器2输出的像素值P。另外，传感器2的检测元件的宽度(在X方向上的长度)由L_c表示。X截面波形F(x)相对于作为传感器2的检测元件的宽度L_c的传感器2的像素宽度L_c的变化由ΔP表示。

这里，上述SD图像3542(图185)是用于模拟从传感器2输入的图像(图181)的图像。在该模拟下，以SD图像3542的SD像素宽度(图187和图189)为传感器2的像素宽度L_c(检测元件的宽度)，可以进行估计。

尽管已经描述了对表现为细线的现实世界1的信号(模拟函数f(x))的研究，对于现实世界1中的信号水平可以有多种变化。

因此，基于研究结果可以估计在如图190所示的条件下的再现结果。估计的再现结果如下所述。

也就是说，如图190所示，在利用常规类型分类适应处理再现HD像素(例如，从图181中的类型分类适应处理单元3501输出的预测图像的像素)的情况下，其中以其上现实世界1的信号的变化ΔP(在X截面波形F(x)上的变化)较大的SD像素(从传感器2输出的像素)作为关注像素，则产生的HD像素以较差的精度模拟现实世界1中的信号(如图190所示的X截面波形F(x))。

尤其是，在例如类型分类适应处理的常规方法中，基于从传感器2输出的多个像素之间的关系进行图像处理。

也就是说，如图190所示，考虑位于对应于单个像素的区域上的在X截面波形F(x)上表现快速变化ΔP，即现实世界1中的信号的快速变化的信号。对该信号积分(严格地说，时间空间积分)，并只输出单个像素值P(在单个信号上的信号由统一像素值P表示)。

在常规方法中，以像素值同时为参考和目标而进行图像处理。换句话说，在常规方法中，不考虑单个像素上的现实世界1的信号(X截面波形F(x))的变化，即不考虑延伸在单个像素上的细节，而进行图像处理。

只要图像处理是以像素增量进行的，则任何图像处理(即使类型分类适应处理)难于高精度地再现现实世界1的信号在单个像素上的变化。尤其是，现实世界1的信号的大的变化ΔP将导致其中的显著错误。

换句话说，上述类型分类适应处理的问题，即，利用类型分类适应处理对原始细节的不充分再现的原因如下，所述问题通常发生在其中在从传感器2输出图像的阶段已经丢失细节的输入图像(SD图像)的情况中。所述原因在于，类型分类适应处理在像素增量上进行(具有单个像素值的单个像素)，而不考虑现实世界1的信号在单个信号上的变化，如图181所示。

注意，所有包括类型分类适应处理的常规图像处理方法都具体相同的问题，问题的原因是完全相同的。

如上所述，常规图像处理方法具有同样的问题和同样的问题的原因。

另一方面，数据连续性检测单元101和现实世界估计单元102(图3)的组合使得可以利用现实世界1的连续性基于来自传感器2的输入图像(即，其中已经丢失了现实世界1的信号变化的图像)而估计现实世界1的信号。也就是说，现实世界估计单元102具有输出现实世界估计信息的功能，其允许估计现实世界1的信号。

因此，可以基于现实世界估计信息估计现实世界1的信号在单个像素上的变化。

在本说明书中，本申请人已经提出了例如图181所示的类型分类适应处理校正方法，其基于这样的机制，其中，利用基于现实世界估计信息产生的预定校正图像(其表示由于现实世界1的信号在单个像素上的变化而导致的预测图像的估计误差)校正由常规类型分类适应处理产生的预测图像(其表示不考虑现实世界1的信号在单个像素上的变化而预测的现实世界1中的图像)，从而解决上述问题。

也就是说，在图181中，数据连续性检测单元101和现实世界估计单元102产生现实世界估计信息。然后，类型分类适应处理校正单元3502基于上述产生的现实世界估计信息产生具有预定格式的校正图像。接着，相加单元3503利用从类型分类适应处理校正单元3502输出的校正图像校正从类型适应处理单元3501输出的预测图像(尤其是，相加预测图像和校正图像，并输出相加的图像作为输出图像)。

注意，已经详细描述了用于进行类型适应处理校正方法的包括在图像产生单元103中的类型分类适应处理单元3501。另外，相加单元3503的种类不受特别限制，只要相加单元3503具有相加预测图像和校正图像的功能。相加单元3503的实例包括各种加法器、相加程序等。

因此，下面将详细描述未描述过的类型分类适应处理校正单元3502。

首先描述类型分类适应处理校正单元3502的机制。

如上所述，在图185中，设HD图像3541为将从传感器2(图181)输入的原始图像(现实世界1中的信号)。另外，设SD图像3542为来自传感器2的输入图像。在该情况下，可以设预测图像3543为从类型分类适应处理单元3501输出的预测图像(通过预测原始图像(HD图像3541)而获得的图像)。

另一方面，通过从HD图像3541中减去预测图像3543的图像为减法图像3544。

因此，通过如下作用再现HD图像3541：类型分类适应处理校正单元3502产生减法图像3544，并输出减法图像3544作为校正图像；以及加法单元3503相加从类型分类适应处理单元3501输出的预测图像3543和从类型分类适应处理校正单元3502输出的减法图像3544(校正图像)。

也就是说，类型分类适应处理校正单元3502适当地预测减法图像(与从类型分类适应处理单元3501输出的预测图像具有相同的分辨率)，其为表示现实世界1中的信号(将被输入传感器2的原始图像)的图像与从类型分类适应处理单元3501输出的预测图像之差，并输出上述预测的减法图像(下文将称为“减法预测图像”)作为校正图像，从而几乎完全地再现现实世界1中的信号(原始图像)。

另一方面，如上所述，在如下之间存在关系：现实世界1中的信号(将被输入传感器2的原始图像)与从类型分类适应处理单元3501输出的预测图像之差(误差)；以及现实世界1中的信号在输入图像的单个像素上的变化。另外，现实世界估计单元102估计现实世界1中信号，从而允许估计每个像素的特征，所述特征表示现实世界1中的信号在输入图像的单个像素上的变化。

在这样的结构中，类型分类适应处理校正单元3502接收输入像素的每个像素的特征，并基于其产生减法预测图像(预测减法图像)。

尤其是，例如，类型分类适应处理校正单元3502才能够现实世界估计单元102接收图像(下文称为“特征量图像”)作为其中特征由每个像素值表示的现实世界估计信息。

注意，特征量图像与来自传感器2的输入图像具有相同的分辨率。另一方面，校正图像(减法预测图像)与从类型分类适应处理单元3501输出的预测图像具有相同的分辨率。

在该结构中，类型分类数据处理校正单元3502基于特征量图像，利用常规类型分类适应处理，以特征量图像为SD图像并以校正图像(减法预测图像)为HD图像，预测和计算减法图像，从而获得合适的减法预测图像作为预测计算的结果。

上述为类型分类适应处理校正单元3502的设置。

图191示出了在所述机制上工作的类型分类适应处理校正单元3502的结构实例。

在图191中，将从现实世界估计单元102输入的特征量图像(SD图像)提供给区域选取单元3551和3555。区域选取单元3551从提供的特征量图像选取用于类型分类所需的类型分块(包括关注像素的位于预定区域上的一组SD像素)，并将选取的类型分块输出给图形检测单元3552。图形检测单元3552基于上述输入的类型分块检测特征量图像的图形。

类型代码确定单元3553基于上述由图形检测单元3553检测的图形确定类型代码，并将确定的类型代码输出给校正系数存储器3554和区域选取单元3555。校正系数存储器3554存储通过学习获得的每个类型代码的系数。校正系数存储器3554读出对应于从类型代码确定单元3553输入的类型代码，并将类型代码输出给校正计算单元3556。

注意，下面将参考图192所示的类型分类适应处理校正学习单元的方框图描述用于计算存储在校正系数存储器3554中的系数的学习处理。

另一方面，存储在校正系数存储器3554中的系数，即预测系数如下文所述预测减法图像(用于产生作为HD图像的减法预测图像)。然而，上述术语“预测系数”表示存储在类型分类适应处理单元3501的系数存储器3514(图182)中的系数。因此，存储在校正系数存储器3554中的预测系数在下文中将称为“校正系数”，以区分该系数与系数存储器3514中的预测系数。

区域选取单元3555基于从类型代码确定单元3553输入的类型代码，从自现实世界估计单元102输入的特征量图像(SD图像)选取用于预测减法图像(HD图像)(即用于产生作为HD图像的减法预测图像)所需的、对应于类型代码的预测分块(包括关注像素的位于预定区域上的一组SD像素)，并将选取的类型分块输出给校正计算单元3556。校正计算单元3556利用从区域选取单元3555输入的预测分块和从校正系数存储器3554输入的校正系数执行积-和计算，从而产生对应于特征量图像(SD图像)的关注像素(SD像素)的减法预测图像(HD图像)的HD像素。

尤其是，校正系数存储器3554将对应于从类型代码确定单元3553提供的类型代码的校正系数输出给校正计算单元3556。校正计算单元3556利用从区域选取单元3555提供的输入图像中的像素的预定位置上的像素值选取的预测分块(SD像素)和从校正系数存储器3554输入的校正系数执行由下面公式(157)表示的积-和计算，从而获得减法预测图像(HD图像)的HD像素(即，预测和估计减法图像)。

$u^{\′}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{g}_i\×a_i$ 公式(157)

在公式(157)中，u’表示减法预测图像(HD图像)的HD像素。每个a_i(i为1到n的整数)表示相应的预测分块(SD像素)。另一方面，每个g_i表示相应的校正系数。

因此，当如图266所示的类型分类适应处理单元3501输出由上述公式(149)表示的HD像素q’，类型分类适应处理校正单元3502输出由公式(157)表示的减法预测图像的HD像素u’。然后，相加单元3503求预测图像的HD像素q’和减法预测图像的HD像素u’的和(下文中表示为“o’”)，并将该和输出给外部电路作为输出图像的HD像素。

也就是说，最后从图像产生单元103输出的输出图像的HD像素o’由下面公式(158)表示。

$o^{\′}=q^{\′}+u^{\′}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{d}_i\×c_i+\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{g}_i\×a_i$ 公式(158)

图192示出了用于确定存储在类型分类适应处理校正单元3502的校正系数存储器3554中的校正系数(用于上述公式(156)中的g_i)的学习单元、即上述如图183所示的学习装置3504的类型分类适应处理校正学习单元3561的详细结构实例。

在上述图183中，当完成学习处理，类型分类适应处理学习单元3521输出基于第一学生图像利用通过计算获得的预测系数预测第一老师图像而获得的学习预测图像，并将用于学习处理的第一老师图像(HD图像)和第一学生图像(SD图像)输出给类型分类适应处理校正学习单元3561。

返回图192，在这些图像中，将第一学生图像输入数据连续性检测单元3572。

另一方面，在这些图像中，将第一学生图像和学习预测图像输入给相加单元3571。注意，在输入相加单元3571前将学习预测图像取反。

相加单元3571相加输入的第一老师图像和取反的输入学习预测图像，即产生第一老师图像和学习预测图像的减法图像，并将产生的减法图像输出给正规方程产生单元3578作为用于类型分类适应处理校正学习单元3561中的老师图像(其将被称为“第二老师图像”以区分该图像与第一老师图像)。

数据连续性检测单元3572检测包含在输入的第一学生图像中的数据连续性，并将检测结果输出给现实世界估计单元3573作为数据连续性信息。

现实世界估计单元3573基于上述输入的数据连续性信息产生特征量图像，并将产生的图像输出给区域选取单元3574和3577作为用于类型分类适应处理校正学习单元3561中的学生图像(该学生图像将被称为“第二学生图像”，以区分该学生图像与上述第一学生图像)。

区域选取单元3574从上述提供的第二学生图像(SD图像)选取用于类型分类所需的SD像素(类型分块)，并将选取的类型分块输出给类型检测单元3575。图形检测单元3575检测输入的类型分块的图形，并将检测结果输出给类型代码确定单元3576。类型代码确定单元3576确定对应于输入图形的类型代码，并将确定的类型代码输出给区域选取单元3577和正规方程产生单元3578。

区域选取单元3577基于从类型代码确定单元3576输入的类型代码从自现实世界估计单元3573输入的第二学生图像(SD图像)选取预测分块(SD像素)，并将选取的预测分块输出给正规方程产生单元3578。

注意，区域选取单元3574、图形检测单元3575、类型代码确定单元3576，以及区域选取单元3577具有基本相同的结构，并且，分别与如图191所示的类型分类适应处理校正单元3502的区域选取单元3551、图形检测单元3552、类型代码确定单元3553、以及区域选取单元3555相同地作用。另外，上述数据连续性检测单元3572和现实世界估计单元3773具有基本相同的结构，并且分别与如图181所示的数据连续性检测单元101和现实世界估计单元102相同地作用。

正规方程产生单元3578基于从区域选取单元3577输入的第二学生图像(SD图像)的预测分块(SD像素)，以及从类型代码确定单元3576输入的每个类型代码的第二老师图像(HD图像)的HD像素而产生正规方程，并将正规方程提供给系数确定单元3579。当从正规方程产生单元3578接收相应类型代码的正规方程时，校正系数确定单元3579利用正规方程计算校正系数，其相关于类型代码，并被存储在校正系数存储器3554中。

下面，将详细描述正规方程产生单元3578和校正系数确定单元3579。

在上述公式(157)中，所有校正系数g_i在学习之前是未确定。在本实施例中，学习处理通过输入每个类型代码的多个老师图像(HD图像)的HD像素而进行。假设，对应于特定类型代码存在m个HD像素，并将每个m个HD像素表示为u_k(k表示1到m的整数)。在该情况下，从上述公式(157)得到下面的公式(159)。

$u_k=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{g}_i\×a_{\mathrm{ik}}+e_k$ 公式(159)

也就是说，公式(159)表示，通过计算公式(159)的右侧可以预测和估计对应于特定类型代码的HD像素。注意，在公式(159)中，e_k表示误差。也就是说，作为该公式右侧的计算结果的减法预测图像(HD图像)的HD像素u_k’不完全匹配实际减法图像的HD像素u_k，而是包括特定误差e_k。

在公式(156)中，例如，校正系数a_i通过学习使得误差e_k的平方和表现最小值而获得。

在本实施例中，预备m(m＞n)个HD像素u_k用于学习处理。在该情况下，利用最小二乘法可以计算校正系数a_i作为唯一解。

也就是说，利用最小二乘法计算公式(159)右侧中的校正系数a_i的正规方程由下面公式(160)表示。

                                  公式(160)

当公式(160)中的矩阵为下面公式(161)到公式(163)，则正规方程由下面公式(164)表示。

                                  公式(161)

$G_{\mathrm{MAT}}=\left[\begin{array}{c}{g}_1\\ g_2\\ \·\\ \·\\ \·\\ g_n\end{array}\right]$ 公式(162)

$U_{\mathrm{MAT}}=\left[\begin{array}{c}\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{a}_{1k}\×u_k\\ \underset{k=1}{\overset{m}{\mathrm{\Σ}}}{a}_{2k}\×u_k\\ \·\\ \·\\ \·\\ \underset{k=1}{\overset{m}{\mathrm{\Σ}}}{a}_{\mathrm{nk}}\×u_k\end{array}\right]$ 公式(163)

A_MATG_MAT＝U_MAT

                           公式(164)

如公式(162)所示，矩阵G_MAT的每个分量为将要获得的校正系数g_i。在本实施例中，在公式(164)中，如果确定了其左侧的矩阵A_MAT和右侧的矩阵U_MAT，可以利用矩阵求解方法计算矩阵G_MAT(即校正系数g_i)。

尤其是，在本实施例中，由于已知预测分块a_ik，因此可以获得由公式(161)表示的矩阵A_MAT的各个分量。区域选取单元3577选取每个预测分块a_ik，并且正规方程产生单元3578利用从区域选取单元3577提供的预测分块a_ik计算矩阵A_MAT的每个分量。

另一方面，在本实施例，预测分块a_ik和HD像素u_k是已知的，因此可以计算如公式(163)所示的矩阵u_MAT的各个分量。注意，预测分块a_ik与矩阵A_MAT中相同。另外，减法图像的HD像素u_k匹配从相加单元3571输出的第二老师图像的相应HD像素。在本实施例中，正规方程产生单元3578利用从区域选取单元3577提供的预测分块a_ik和第二老师图像(第一老师图像和学习预测图像的减法图像)而计算矩阵U_MAT的每个分量。

如上所述，正规方程产生单元3578计算每个类型代码的矩阵A_MAT和矩阵U_MAT的每个分量，并将相关于类型代码的计算结果提供给系数确定单元3579。

校正系数确定单元3579基于对应于提供的类型代码的正规方程，计算作为由上述公式(164)表示的每个矩阵G_MAT的分量的校正系数g_i。

尤其是，可以将由上述公式(164)表示的正规方程转换为下面的公式(165)。

$G_{\mathrm{MAT}}=A_{\mathrm{MAT}}^{-1}{U}_{\mathrm{MAT}}$ 公式(165)

在公式(165)中，其左侧矩阵G_MAT的各个分量是将要获得的校正系数g_i。注意，从正规方程产生单元3578提供矩阵A_MAT和矩阵U_MAT的各个分量。在本实施例中，当从正规方程产生单元3578接收对应于特定类型代码的矩阵A_MAT的分量和矩阵U_MAT的分量，校正系数确定单元3579通过执行由公式(165)的右侧表示的矩阵计算而计算矩阵G_MAT，并将相关于类型代码的计算结果(校正系数g_i)存储在校正系数存储器3554中。

上文详细描述了类型分类适应处理校正单元3502和类型分类适应处理校正学习单元3561，其中后者是学习单元，并且是类型分类适应处理校正单元3502的子单元。

注意，在本发明中采用的特征量图像不特别限制，只要通过类型分类适应处理校正单元3502基于其产生校正图像(减法预测图像)。换句话说，用于本发明的特征量图像中的每个像素的像素值，即特征不特别限制，只要所述特征表示现实世界1中的信号(图181)在单个像素(传感器2(图181)的像素)上的变化。

例如，可以采用“像素内梯度”作为特征。

注意，“像素内梯度”是这里新定义的术语。下面将描述像素内梯度。

如上所述，通过以三维空间中的位置x，y和z以及时间t为变量的函数F(x，y，t)表示作为图181中的图像的现实世界1的信号。

现在，假设其为图像的现实世界1中的信号具有在特定空间方向上的连续性。在该情况下，考虑通过沿空间方向X方向、Y方向和Z方向中的特定方向(例如X方向)投影函数F(x，y，t)获得的一维波形(将通过沿X方向投影函数F(x，y，t)获得的波形称为“X截面波形F(x)”)。在该情况下，可以理解，在沿连续性方向的附近可以获得类似上述一维波形F(x)的波形。

基于上述内容，在本发明中，现实世界估计单元102基于数据连续性信息(例如角度)利用n(n表示特定整数)阶多项式模拟函数f(x)模拟X截面波形F(x)，所述数据连续性信息反映了现实世界1中的信号的连续性，并从例如数据连续性检测单元101输出。

图193示出了由下面公式(166)表示的f₄(x)(其为5多项式函数)，和由下面公式(167)表示的f₅(x)(其为一阶多项式函数)，作为该多项式模拟函数f(x)的实例。

f₄(X)＝w₀+w₁x+w₂x²+w₃x³+w₄x⁴+w₅x⁵

                                       公式(166)

f₅(X)＝w₀’+w₁’x

                                       公式(167)

注意，公式(166)中W₀到W₅的每个和公式(167)中W₀’到W₁’表示通过现实世界估计单元102计算的函数的相应阶数的系数。

另一方面，在图193中，将图中水平方向上的x轴定义为以关注像素的左端作为原点(x＝0)，并表示沿空间方向X距离关注像素的相对位置。注意，将x轴定义为以传感器2的检测元件的宽度L_c为1。另一方面，图中垂直方向上的轴线表示像素值。

如图193所示，一维模拟函数f₅(x)(由公式(166)表示的模拟函数f₅(x))利用线性模拟模拟关注像素周围的X截面波形F(x)。在该说明书中，将线性模拟函数的梯度称为“像素内梯度”。也就是说，像素内梯度由公式(167)中x的系数w₁’表示。

快变像素内梯度反映了关注像素附近的X截面波形F(x)中的较大变化。另一方面，渐变梯度反映了关注像素附近的X截面波形F(x)中的较小变化。

如上所述，像素内梯度适当地反映了现实世界1的信号在单个像素(传感器2的像素)上的变化。因此，可以采用像素内梯度作为特征。

例如，图194示出了利用像素内梯度为特征产生的实际特征量图像。

也就是说，图194左边的图像与上述图185所示的SD图像3542相同。另一方面，图194右边的图像是如下述产生的特征量图像3591。也就是说，获得特征左边SD图像3542的每个像素的像素内梯度。然后，以对应于像素内梯度的值为像素值产生图中右边的图像。注意，特征量图像3591具有下面的特征。也就是说，在像素内梯度为0(即线性模拟函数平行于X方向)的情况下，产生具有对应于黑色的密度的图像。另一方面，在像素内梯度为90°(即线性模拟函数平行于Y方向)的情况下，产生具有对应于白色的密度的图像。

SD图像3542中的区域3542-1对应上述图187所示的减法图像3544中的区域3544-1(其在参考图186的上述中用作其中现实世界1的信号在单个像素上的变化较小的区域实例)。特征量图像3591中的区域3591-1对应SD图像3542中的区域3542-1。

另一方面，SD图像3542中的区域3542-2对应上述图188所示的减法图像3544中的区域3544-2(其在参考图189的上述中用作其中现实世界1的信号在单个像素上的变化较大的区域实例)。特征量图像3591中的区域3591-2对应SD图像3542中的区域3542-2。

比较SD图像3542的区域3542-1和特征量图像3591的区域3591-1，可以理解，其中现实世界1的信号的变化较小的区域对应具有接近黑色的密度的特征量图像3591的区域(对应于具有渐变像素内梯度的区域)。

另一方面，比较SD图像3542的区域3542-2和特征量图像3591的区域3591-2，可以理解，其中现实世界1的信号的变化较大的区域对应具有接近白色的密度的特征量图像3591的区域(对应于具有快变像素内梯度的区域)。

如上所述，利用对应于像素内梯度的值作为像素值产生的特征量图像适当地反映了现实世界1的信号在单个像素上的变化程度。

接着，将描述像素内梯度的具体计算方法。

也就是说，以关注像素附近的像素内梯度为“grad”，则像素内梯度grad由下面公式(168)表示。

$\mathrm{grad}=\frac{P_n-P_c}{{x^{\′}}_n}$ 公式(168)

在公式(168)中，P_n表示关注像素的像素值。另外，P_C表示中心像素的像素值。

尤其是，如图195所示，考虑具有特定数据连续性的来自传感器2的输入图像中的5×5的像素(图中5×5＝25个像素的区域)的区域3601(其在下文中称为“连续性区域3601”)。在连续性区域3601的情况下，中心像素是位于连续性区域3601的中心的像素3602。因此，P_C是中心像素3602的像素值。另外，在像素3603是关注像素的情况下，则P_n是关注像素3603的像素值。

另外，在公式(168)中，x_n’表示在关注像素中心的截面方向距离。注意，以中心像素(在如图195所示的情况中为像素3602)为空间方向中的原点(0，0)，将“截面方向距离”定义为在关注像素中心和平行于数据连续性方向、并经过原点的直线(在如图195所示情况中为直线3604)之间沿X方向上的相对距离。

图196示出了图195中的连续性区域3601内的每个像素的截面方向距离。也就是说，在图196中，在连续性区域3601(图中5×5＝25个像素的方形区域)中的每个像素内标记的值表示相应像素上的截面方向距离。例如，在关注像素3603上的截面方向距离x_n’为-2β。

注意，将X轴和Y轴定义为在X方向和Y方向上的像素宽度都为1。另外，将X方向定义为以正方向对应于图中的右方向。另外，在该情况下，β表示在Y方向上相邻于中心像素3602(图中在其下方相邻)的像素3605上的截面方向距离。在本实施例中，数据连续性检测单元101提供如图196所示的角度θ(直线方向3604的方向和X方向之间的角度θ)作为数据连续性信息，因此，利用下面的公式(169)可以容易地获得值β。

$\mathrm{\β}=\frac{1}{\tan \mathrm{\θ}}$ 公式(169)

如上所述，基于中心像素(例如图196中的像素3602)和关注像素(例如图196中的像素3603)的两个输入像素值和角度θ，可以利用简单的计算获得像素内梯度。在本实施例中，现实世界估计单元102以对应于像素内梯度的值为像素值产生特征量图像，从而较大地减少了处理量。

注意，在需要更高精度像素内梯度的设置中，现实世界估计单元102可以通过最小二乘法利用包括关注像素的其附近的像素计算像素内梯度。尤其是，假设包括关注像素并在其周围的m(m表示2或更大的整数)个像素由指数i表示(i表示1到m的整数)。现实世界估计单元102将输入像素值P_i和相应的截面方向距离x_i’代入下面公式(170)的右侧，从而计算关注像素上的像素内梯度grad。也就是说，在公式(170)中，利用与上述相同具有单个变量的最小二乘法计算像素内梯度。

$\mathrm{grad}=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_i^{\′2}\×P_i}{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left({x^{\′}}_i\right)}^2}$ 公式(170)

接着，将参考图197描述由利用类型分类适应处理校正方法的图像产生单元103(图181)进行的用于产生图像的处理(如图40所示的步骤S103中的处理)。

在图181中，当接收到作为图像的现实世界1中的信号，传感器2输出输入图像。将输入图像输入图像产生单元103的类型分类适应处理单元3501，以及将其输入数据连续性检测单元101。

然后，在图197所示的步骤S3501中，类型分类适应处理单元3501对输入图像(SD图像)进行类型分类适应处理，以产生预测图像(HD图像)，并将产生的预测图像输出给相加单元3503。

注意，下文中将该由类型分类适应处理单元3501进行的步骤S3501称为“输入图像类型分类适应处理”。下面将参考图198中的流程图描述在该情况下的“输入图像类型分类适应处理”。

数据连续性检测单元101在与步骤S3501中的处理几乎同时地检测包括在输入图像中的数据连续性，并将检测结果(在该情况中为角度)输出给现实世界估计单元102作为数据连续性信息(如图40所示的步骤S101中的处理)。

现实世界估计单元102基于输入图像(数据连续性信息)产生现实世界估计信息(特征量图像，其在该情况下为SD图像)，并将现实世界估计信息提供给类型分类适应处理校正单元3502(图40所示的步骤S102中的处理)。

然后，在步骤S3502中，类型分类适应处理校正单元3502对上述提供的特征量图像(SD图像)进行类型分类适应处理，从而产生减法预测图像(HD图像)(即，从而因此并计算实际图像(现实世界1中的信号)与从类型分类适应处理单元3501输出的预测图像之间的减法图像(HD图像))，并将减法预测图像输出给相加单元3503作为校正图像。

注意，下文中将该由类型分类适应处理校正单元3502进行的步骤S3502中的处理称为“类型分类适应处理校正处理”。下面将参考图199中的流程图详细描述在该情况下的“类型分类适应处理校正处理”。

然后，在步骤S3503中，相加单元3503进行如下求和：通过类型分类适应处理单元3501利用步骤S3501中的处理产生的预测图像(HD图像)的关注像素(HD像素)；以及通过类型分类适应处理校正单元3502利用步骤S3502中的处理产生的校正图像(HD图像)的相应像素(HD像素)，从而产生输入图像(HD图像)的像素(HD像素)。

在步骤S3504中，相加单元3503确定是否已经对全部像素进行处理。

在步骤S3504中确定仍未对全部像素进行处理的情况下，流程返回步骤S3501，并重复后面的处理。也就是说，对未经过处理的每个剩余像素依次进行步骤S3501到S3503的处理。

在完成对全部像素的处理时(当在步骤S3504中确定已经对全部像素进行处理的情况下)，在步骤S3505中，相加单元3504将输出图像(HD图像)输出给外部电路，从而结束用于产生图像的处理。

接着，将参考附图依次详细描述“输入图像类型分类适应处理(步骤S3501中的处理)”和“类型分类适应校正处理(步骤S3502中的处理)”。

首先，参考图198中的流程图详细描述由类型分类适应处理单元3501(图182)执行的“输入图像类型分类适应处理”。

当将输入图像(SD图像)输入类型分类适应处理单元3501，在步骤S3521中，区域选取单元3511和3515分别接收所述输入图像。

在步骤S3522中，区域选取单元3511从输入图像选取关注像素(SD像素)，并选取位于距离关注像素的预定相对位置上的(一个或多个)像素(SD像素)作为类型分块，并将选取的类型分块提供给图形检测单元3512。

在步骤S3523中，图形检测单元3512检测上述提供的类型分块的图形，并将检测图形提供给类型代码确定单元3512。

在步骤S3524中，类型代码确定单元3513从预备的多种代码中确定适于上述提供的类型代码的图形的类型代码，并将确定的类型代码提供给区域选取单元3515。

在步骤S3525中，系数存储器3514从通过学习处理预备的多个预测系数(组)中，检测用于随后处理中的对应于提供到类型代码的预测系数(组)，并将选择的预测系数提供给预测计算单元3516。

注意，下面将参考图203中的流程图描述学习处理。

在步骤S3536，区域选取单元3515从输入图像选取关注像素(SD像素)，并选取位于距离关注像素的预定相对位置(其被设置在与类型分块相同的位置上)上的(一个或多个)像素(SD像素)作为预测分块，并将选取的预测分块提供给预测计算单元3516。

在步骤S3527中，预测计算单元3516利用从系数存储器3514提供的预测系数对从预测选取单元3515提供的预测分块进行计算处理以产生预测图像(HD图像)，并将产生的预测图像输出给相加单元3503。

尤其是，预测计算单元3516如下进行计算处理。也就是说，以从区域选取单元3515提供的预测分块的每个像素为c_i(i表示1到n的整数)，并以从系数存储器3514提供的每个预测系数为d_i，则预测计算单元3516进行由上述公式(215)右侧表示的计算，从而计算对应于关注像素(SD像素)的HD像素q’。然后，预测计算单元3516将计算的HD像素q’输出给相加单元3503作为形成预测图像(HD图像)的像素，从而输入图像类型分类适应处理结束。

接着，将参考图199的流程图详细描述由类型分类适应处理校正单元3502(图191)执行的“类型分类适应处理校正处理”。

当将特征量图像(SD图像)输入类型分类适应处理校正单元3502作为来自现实世界估计单元102的现实世界估计信息，在步骤S3541中，区域选取单元3551和3555分别接收所述特征量图像。

在步骤S3542中，区域选取单元3551选取关注像素(SD像素)，并选取位于距离关注像素的预定相对位置上的(一个或多个)像素(SD像素)作为类型分块，并将选取的类型分块提供给图形检测单元3552。

尤其是，在该情况下，假设区域选取单元3551选取例如如图200所示的类型分块(一组像素)3621。也就是说，图200示出了类型分块的布置实例。

在图200中，图中水平轴表示作为一个空间方向的X方向，而图中垂直轴表示作为另一个空间方向的Y方向。注意，关注像素由像素3621-2表示。

在该情况下，在图200所示的实例中，被选取为类型分块的像素共为如下5个像素：关注像素3621-2；沿Y方向相邻于关注像素3621-2的像素3621-0和3621-4；以及沿X方向相邻于关注像素3621-2的像素3621-1和像素3621-3，其构成像素组3621。

显然，用于本实施例的类型分块的布置并不限于如图200所示的实例，而是可以采用各种布置，只要所述布置包括关注像素3624-2。

返回图199，在步骤S3543，图形检测单元3552对这样提供的类型分块的图形进行检测，并提供检测到的图形到类型代码确定单元3553。

具体地说，在这种情况下，图形检测单元3552对形成图200所示的类型分块的5个像素3621-0到3621-4的每一个，检测属于该像素值的类型，即特征值(例如像素内梯度)，并将检测结果以例如单数据组的形式输出为图形。

这里，假设检测到例如如图201所示的图形。也就是说，图201示出了类型分块图形的实例。

在图201中，图中水平轴表示类型分块，图中垂直轴表示像素内梯度。另一方面，假设预备的类型共有类型3631、类型3632和类型3633三种类型。

在该情况下，图201示出了这样的图形，其中类型分块3621-1属于类型3631，类型分块3621-2属于类型3633，类型分块3621-3属于类型3631，以及类型分块3621-4属于类型3632。

如上所述，5个类型分块3621-0到3621-4中的每个属于三种类型3631到3633中的一种。因此，在该情况下，存在包括如图201所示图形的共273(＝35)种图形。

返回图199，在步骤S3544，类型代码确定单元3553从预备的多个类型代码中确定对应于上述提供的类型分块的图形的类型代码，并将确定的类型代码提供给校正系数存储器3554和区域选取单元3555。在该情况下，存在273个图形，因此，存在273(或更多的)预备类型代码。

在步骤S3545中，校正系数存储器3554从利用学习处理在上述确定的多组校正系数组中对应于上述提供的类型代码选择将用于后面的处理中的校正系数(组)，并将选择的校正系数提供给校正计算单元3556。注意，将预备的每个校正系数组相关于一种预备的类型代码存储在校正系数存储器3554中。因此，在该情况下，校正系数组数匹配预备的类型代码数(即273或更多)。

注意，下面将参考图203中的流程图描述学习处理。

在步骤S3546中，区域选取单元3555从输入图像选取关注像素(SD像素)、和位于距离关注像素的预定相对位置(不依赖于类型分块的位置确定的一个或多个位置。然而，预测分块的位置可以匹配类型分块的位置)上的像素(SD像素)作为预测分块，并将选取的预测分块提供给校正计算单元3556。

尤其是，在该情况下，假设选取如图202所示的预测分块(组)3641。也就是说，图202示出了预测分块的布置的实例。

在图202中，图中水平轴表示作为一个空间方向的X方向，而图中垂直轴表示作为另一个空间方向的Y方向。注意，关注像素由像素3641-1表示。即，像素3641-1是对应于类型分块3621-2(图200)的像素。

在该情况下，被选取为预测分块(组)的像素为以关注像素3641-1为中心的5×5个像素3041(由共25个像素形成一组像素)。

显然，用于本实施例的预测分块的布置并不限于如图202所示的实例，而是可以采用各种其中包括关注像素3641-1布置。

返回图199，在步骤S3547中，校正计算单元3556利用从校正系数存储器3554提供的预测系数对从区域选取单元3555提供的预测分块进行计算，从而产生减法预测图像(HD图像)。然后，校正计算单元3556将减法预测图像输出给相加单元3503作为校正图像。

尤其是，以从区域选取单元3555提供的类型分块为a_i(i表示1到n的整数)，并以从校正系数存储器3554提供的每个校正系数为g_i，则校正计算单元3556进行由上述公式(157)右侧表示的计算，从而计算对应于关注像素(SD像素)的HD像素u’。然后，校正计算单元3556将计算的HD像素输出给相加单元3503作为校正图像(HD图像)的像素，从而类型分类适应校正处理结束。

接着，将参考图203的流程图描述通过学习装置(图183)进行的学习处理，即用于产生用于类型分类适应处理单元3501(图182)中的预测系数的学习处理、和用于产生用于类型分类适应处理校正单元3502(图191)中的校正系数的学习处理。

在步骤S3561中，类型分类适应处理学习单元3521产生用于类型分类适应处理单元3501中的预测系数。

也就是说，类型分类适应处理学习单元3521接收特定图像作为第一老师图像(HD图像)，并基于第一老师图像产生具有降低的分辨率的学生图像(SD图像)。

然后，类型分类适应处理学习单元3521利用类型分类适应处理基于第一学生图像(SD图像)产生允许对第一老师图像(HD图像)的适当预测的预测系数，并将产生的预测系数存储在类型分类适应处理单元3501的系数存储器3514(图182)中。

注意，下文中将该由类型分类适应处理学习单元3521执行的步骤S3561中的处理称为“类型分类处理学习处理”。下面将参考图204详细描述在该情况下的“类型分类适应处理学习单元”。

当产生用于类型分类适应处理单元3501中的预测系数，在步骤S3562，类型分类适应处理校正学习单元3561产生用于类型分类适应处理校正单元3502中的校正系数。

也就是说，类型分类适应处理校正学习单元2561从类型分类适应处理学习单元3521接收第一老师图像、第一学生图像以及学习预测图像(利用由类型分类适应处理学习单元3521产生的预测系数预测第一老师图像获得的图像)。

接着，类型分类适应处理校正学习单元3561产生第一老师图像和学习预测图像之间的减法图像，用作第二老师图像，并基于第一学生图像输出特征量图像，作为第二学生图像。

然后，类型分类适应处理校正学习单元3561利用类型分类适应处理基于第二学生图像(SD图像)产生允许对第二老师图像(HD图像)的适当预测的预测系数，并将产生的预测系数存储在类型分类适应处理校正单元3502的校正系数存储器3554中作为校正系数，从而结束学习处理。

注意，下文中将该通过类型分类适应处理校正学习单元3561执行的步骤S3562中的处理称为“类型适应处理校正学习处理”。下面将参考图205的流程图详细描述在该情况下的“类型分类适应处理校正学习处理”。

接着，将参考附图依次描述“类型分类适应处理学习处理(步骤S3561中的处理)”和“类型分类适应处理校正学习处理(步骤S3562中的处理)”。

首先，参考图204中的流程图详细描述由类型分类适应处理学习单元3521(图184)执行的“类型分类适应处理学习处理”。

在步骤S3581中，下降转换器单元3531和正规方程产生单元3536各接收特定图像作为第一老师图像(HD图像)。注意，还将第一老师图像如上所述输入类型分类适应处理校正学习单元3561。

在步骤S3582中，下降转换器单元3531对输入的第一老师图像进行“下降转换”处理(将图像转换成下降分辨率的图像)，从而产生第一学生图像(SD图像)。然后，下降转换单元3531将产生的第一学生图像提供给类型分类适应处理校正学习单元3561、以及区域选取单元3532和3535。

在步骤S3583中，区域选取单元3532从上述提供的第一学生图像选取类型分块，并将选取的类型分块输出给图形检测单元3533。尽管严格地说，在向/从步骤S3583所示的处理和上述步骤S3522(图198)所示的处理之间的块输入/输出信息中存在差异(下文中将该差异简称为“输入/输出差异”)，但是步骤S3583中的处理与上述步骤S3522中的处理基本相同。

在步骤S3584中，图形检测单元3533从上述提供的类型分块中检测用于确定类型代码的图形，并将检测的图形提供给类型代码确定单元3534。注意，除了输入/输出，步骤S3584所示的处理与上述步骤S3523(图198)所示的处理基本相同。

在步骤S3585中，类型代码确定单元3524基于上述提供的类型分块的图形确定类型代码，并将确定的类型代码提供给区域选取单元3535和正规方程产生单元3536。注意，除了输入/输出以外，步骤S3585中的处理与上述步骤S3524(图198)中的处理基本相同。

在步骤S3586中，区域选取单元对应于提供的类型代码从第一学生图像中选取预测分块，并将选取的预测分块提供给正规方程产生单元3536和预测计算单元3538。注意，除了输入/输出以外，步骤S3586中的处理与上述步骤S3526(图198)中的处理基本相同。

在步骤S3587中，正规方程产生单元3536基于从区域选取单元3535提供的预测分块(SD像素)和第一老师图像(HD图像)的HD像素的相应HD像素而产生由上述公式(151)表示的正规方程(即公式(155))，并将产生的正规方程与从类型代码确定单元3534提供的类型代码一起提供给系数确定单元3537。

在步骤S3588中，系数确定单元3537求解上述提供的正规方程，从而确定预测系数。也就是说，系数确定单元3537计算上述公式(156)的右侧，从而计算预测系数。然后，系数确定单元3537将确定的预测系数提供给预测计算单元3538，并将上述提供的关于类型代码的预测系数存储在系数存储器3514中。

在步骤S3589中，预测计算单元3538利用从系数确定单元3537提供的预测系数对从区域选取单元3535提供的预测分块进行计算，从而产生学习预测图像(HD像素)。

尤其是，以从区域选取单元3535提供的每个预测分块为c_i(i表示1到n的整数)，并以从系数确定单元3537提供的每个预测系数为d_i，则预测计算单元3538计算上述公式(149)的右侧，从而计算HD像素q’，其被用作学习预测图像的像素，并且预测第一老师图像的相应HD像素q。

在步骤S3590中，确定是否已经对全部像素进行处理。在确定仍未对全部像素进行处理的情况下，该流程返回步骤S3583。也就是说，重复步骤S3533到步骤S3590的处理直到完成对全部像素的处理。

然后，在步骤S3590中，在确定已经进行对全部像素的处理的情况下，预测计算单元3538将学习预测图像(由HD像素q’构成的HD图像，每个像素q’从步骤S3589中对于其的处理产生)输出给类型分类适应处理校正学习单元3561，从而类型分类适应处理学习处理结束。

如上所述，在该实例中，在完成对全部像素的处理后，将作为预测第一老师图像的HD图像的学习预测图像输入类型分类适应处理校正学习单元3561。也就是说，将形成图像的全部HD像素(预测像素)同时输出。

然而，本发明不限于上述其中同时输出形成图像的全部像素的设置。而是，可以这样设置，其中在每次由步骤S3589中的处理产生HD像素(预测像素)时将产生的HD像素输出给类型分类适应处理校正学习单元3561。在该设置下，省略步骤S3591中的处理。

接着，将参考图205详细描述由类型分类适应处理校正学习单元3561(图192)执行的“类型分类适应处理校正学习处理”。

当从类型分类适应处理学习单元3521接收第一老师图像(HD图像)和学习预测图像(HD图像)时，在步骤S3601，相加单元3571从第一老师图像减去学习预测图像，从而产生减法图像(HD图像)。然后，相加单元3571将产生的减法图像提供给正规方程产生单元3578作为第二老师图像。

当从类型分类适应处理学习单元3521接收第一学生图像(SD图像)，在步骤S3602中，数据连续性检测单元3572和现实世界估计单元3573基于输入的第一学生图像(SD图像)产生特征量图像，并将产生的特征量图像提供给区域选取单元3574和3577作为第二学生图像。

也就是说，数据连续性检测单元3572检测包含在第一学生图像中的数据连续性，并将检测结果(在该情况下为角度)输出给现实世界估计单元3573作为数据连续性信息。注意，除了输入/输出以外，由数据连续性检测单元3572进行的步骤S3602所示的处理与上述图40所示的步骤S101中的处理基本相同。

现实世界估计单元3573基于上述输入的角度(数据连续性信息)产生现实世界估计信息(在该情况下为作为SD图像的特征量图像)，并将产生的现实世界估计信息提供给区域选取单元3574和3577作为第二学生图像。注意，除了输入/输出以外，由现实世界估计单元3573进行的步骤S3602所示的处理与上述图40所示的步骤S102中的处理基本相同。

注意，本发明不限于其中以图205所示的次序进行步骤S3601中的处理和步骤S3602中的处理的设置。也就是说，可以这样设置，其中在步骤S3601的处理前进行步骤S3602中的处理。另外，可以同时进行步骤S3601中的处理和步骤S3602中的处理。

在步骤S3603中，区域选取单元3574从上述提供的第二学生图像(特征量图像)选取类型分块，并将选取的类型分块输出给图形检测单元3575。注意，除了输入/输出以外，步骤S3603中所示的处理与上述(图199)步骤S3542中所示的处理基本相同。也就是说，在该情况下，选举具有如图200所示的布置的一组像素3621作为类型分块。

在步骤S3604中，图形检测单元3575从上述提供的类型分块中检测图形以确定类型代码，并将检测的图形提供给类型代码确定单元3576。注意，除了输入/输出以外，步骤S3604中所示的处理与上述(图199)步骤S3543中所示的处理基本相同。也就是说，在该情况下，图形检测单元3575在完成学习处理时检测至少273个图形。

在步骤S3605中，类型代码确定单元3576基于上述提供的类型分块的图形确定类型分块，并将类型分块提供给区域选取单元3577和正规方程产生单元3578。注意，除了输入/输出以外，步骤S3605中所示的处理与上述(图199)步骤S3544中所示的处理基本相同。也就是说，在该情况下，类型代码确定单元3576在完成学习处理时确定至少273各类型代码。

在步骤S3606，区域选取单元3577对应于上述提供的类型代码从第二学生图像(特征量图像)选取预测分块，并将选取的预测分块提供给正规方程产生单元3578。注意，除了输入/输出以外，步骤S3606中所示的处理与上述(图199)步骤S3546中所示的处理基本相同。也就是说，在该情况下，选取具有如图202所示的布置的一组像素作为预测分块。

在步骤S3607中，正规方程产生单元3578基于从区域选取单元3577、和第二老师图像(第一老师图像和学习预测图像之间的减法图像，其为HD图像)产生由上述公式(160)表示的正规方程(即公式(164))，并将产生的正规方程与从类型代码确定单元3576提供的类型代码一起提供给校正系数确定单元3579。

在步骤S3608中，校正系数确定单元3579通过求解上述提供的正规方程确定校正系数，即通过计算上述公式(165)的右侧计算校正系数，并将相关于提供的类型代码的计算的校正系数存储在校正系数存储器3554中。

在步骤S3609，确定是否已经对全部像素进行处理。在确定仍未对全部像素进行处理的情况下，该流程返回步骤S3603。也就是说，重复步骤S3603到步骤S3609的处理直到完成对全部像素的处理。

另一方面，在步骤S3609中，在确定已经进行对全部像素的处理的情况下，类型分类适应处理校正学习处理结束。

如上所述，在类型分类适应校正处理方法中，通过相加从类型分类适应处理单元3501输出的预测图像和从类型分类适应处理校正单元3502输出的校正图像(减法预测图像)而产生相加图像，并输出产生的相加图像。

例如，假设将上述图185所示的HD图像3541转换成下降分辨率图像，即，获得具有下降的分辨率的SD图像3542，则将上述获得的SD图像3542用作输入图像。在该情况下，类型分类适应处理单元3501输出如图206所示的预测图像3543。然后，通过相加预测图像3543和从类型分类适应处理校正单元3502输出的校正图像(未示出)而产生图像(例如，利用校正图像校正预测图像3543)，从而产生如图186所示的输出图像3651。

比较输出图像3651、预测图像3543、以及作为原始图像的HD图像3541(图185)，确定了输出图像3651比预测图像3543更接近HD图像3541。

如上所述，相比于其它包括类型分类适应处理的技术，类型分类适应处理校正方法允许输出更接近原始图像(将被输入传感器2的现实世界1的信号)的图像。

换句话说，在类型分类适应处理校正方法中，例如，图181中的数据连续性检测单元101检测由多个像素形成的输入图像(图181)中包含的数据连续性，所述像素具有通过由传感器(例如图181中所示的传感器2)的多个检测元件投影如图181所示的现实世界1中的光信号而获得的像素值，其中由于由每个具有实际空间积分效应的多个检测元件将现实世界1中的光信号投影为像素值，因此丢失了现实世界中的光信号的部分连续性。

例如，现实世界估计单元102对应于检测的数据连续性检测包含在表示现实世界1的光信号(例如，对应于如图181所示的特征量图像的像素的特征)的光信号函数F(x)(图190)中的现实世界特征，从而估计现实世界1中的光信号。

尤其是，例如，表示沿至少一维方向离表示上述提供的数据连续性的直线(例如图195中的直线3604)的距离(例如图195中所示的截面方向距离X_n’)的像素值，表示影响相应像素的至少一维积分效应，现实世界估计单元102利用例如如图193所示的模拟函数f₅(x)模拟光信号函数F(x)，并检测其为相应像素(例如如图195所示的像素3603)附近的模拟函数f₅(x)的梯度的像素内梯度(例如，在上述公式(168)中的grad，和公式(167)中的x的系数w₁’)作为现实世界特征，从而估计现实世界1中的光信号。

然后，例如，如图181所示的图像产生单元103基于由现实世界估计装置检测的现实世界特征预测并产生比输入图像具有更高质量的输出图像(图181)。

尤其是，在图像产生单元103中，例如，图181中的类型分类适应处理单元3501基于输入图像中关注像素附近的多个像素的像素值预测关注像素(例如，如图181所示的预测图像的像素，和上述公式(158)中的q’)的像素值，在所述输入图像中，已经丢失了作为现实世界中的光信号的部分连续性。

另一方面，例如，如图181所示的类型分类适应处理校正单元3502基于从如图181所示的现实世界估计单元102提供的特征量图像(现实世界估计信息)预测校正项(例如如图181所示的校正图像(减法预测图像)的像素，以及公式(158)中的u’)，用于校正由类型分类适应处理单元3501预测的预测图像的关注像素的像素值。

然后，例如，如图181所示的相加单元3503利用由类型分类适应处理单元3501预测的校正项(例如，由公式(158)表示的计算)校正由类型分类适应处理单元3501预测的预测图像的关注像素的像素值。

另外，用于类型分类适应处理校正方法中的分量实例包括：如图183所示的类型分类适应处理学习单元3521，用于通过学习确定存储在如图182所示的系数存储器3514中的预测系数；以及如图183所示的学习装置3504，其被包括在如图183所示的类型分类适应处理校正学习单元3561中，用于通过学习确定存储在如图191所示的校正系数存储器3554中的校正系数。

尤其是，例如，如图184所示的类型分类适应处理学习单元3521包括：下降转换器单元3521，用于对学习图像数据进行下降转换处理；系数确定单元3537，用于以学习图像数据为第一老师图像、以受到下降转换器单元3531的下降转换处理的学习图像数据为第一学生图像，通过学习第一老师图像与第一学生图像之间的关系而产生预测系数；以及区域选取单元3532到正规方程产生单元3536。

类型分类适应处理学习单元3521还包括预测计算单元5358，其利用由例如系数确定单元5357产生(确定)的预测系数，产生学习预测图像作为用于从第一学生图像预测第一老师图像的图像数据。

另一方面，例如，如图192所示的类型分类适应处理校正学习单元3561包括：数据连续性检测单元3572和现实世界估计单元3573，用于检测第一学生图像中的数据连续性、基于上述检测的数据连续性检测对应于第一学生图像的每个像素的现实世界特征，以及利用对应于检测的现实世界特征的值作为像素值产生特征量图像(尤其是，例如如图194所示的特征量图像3591)，其被用作第二学生图像(例如图192中的第二学生图像)；相加单元3571，用于产生第一学生图像和学习预测图像之间的图像数据(减法图像)，其被用作第二老师图像；校正系数确定单元3579，用于通过学习第二老师图像和第二学生图像之间的关系而产生校正系数；以及区域选取单元3574到正规方程产生单元3578。

从而，类型分类适应处理校正方法允许比包括类型分类适应处理的其它方法输出更接近原始图像(将被输入传感器2的现实世界1中的信号)的图像。

注意，类型分类适应处理和简单的内插处理的差异如下。也就是说，不同于简单的内插，类型分类适应处理允许再现包含在HD图像中的在SD图像中已经丢失的分量。也就是说，只要参考上述公式(149和(157)，类型分类适应处理看上去与利用所谓的内插过滤器的内插处理相同。然而，在类型分类适应处理中，通过基于老师数据和学生数据(第一老师图像和第一学生图像，或第二老师图像和第二学生图像)的学习获得对应于内插过滤器的系数的预测系数d_i和校正系数g_i，从而再现包含在HD图像中的分量。因此，上述类型分类适应处理可以说是具有改善图像质量(改善分辨率)的功能的处理。

尽管描述了具有改善空间分辨率的功能的设置，由于类型分类适应处理采用通过利用合适种类的老师数据和学生数据进行学习而获得各种系数，因此允许各种用于改善S/N(信噪比)、改善模糊等的处理。

也就是说，在类型分类适应处理中，可以例如以具有高S/N的图像为老师数据、并以基于老师图像产生的具有降低S/N(或降低分辨率)的图像为学生数据而获得系数，从而改善S/N(或改善模糊)。

尽管描述了具有如图3所示的结构的图像处理装置作为根据本发明的设置，但是根据本发明的设置不限于如图3所示的设置，而可以采用各种修改。也就是说，如图1所示的信号处理装置4的设置不限于如图3所示的设置，而是可以进行各种修改。

例如，具有如图3所示结构的信号处理装置基于包含在作为图像的现实世界1中的信号中的数据连续性进行信号处理。从而，相比于由其它信号处理装置进行的信号处理，具有如图3所示结构的信号处理装置可以对其中可以获得现实世界1中的信号的连续性的区域进行高精度的信号处理，从而输出更接近现实世界1中的信号的图像数据。

然而，具有如图3所示的结构的信号处理装置基于连续性执行信号处理，因此对于其中不能获得现实世界1的信号连续性的区域，不能以与对于其中存在连续性的区域的处理相同地精度执行信号处理，导致了相对于现实世界1中的信号包含误差的输出图像数据。

因此，可以这样设置，在如图3所示的信号处理装置的结构上，还包括用于不利用连续性进行信号处理的另一装置(或程序)。在这样的设置中，具有如图3所示的信号处理装置对其中可以获得现实世界1中的信号的连续性的区域执行信号处理。另一方面，添加的装置(或程序等)对其中不能获得现实世界1的信号的连续性的区域进行信号处理。注意，下文中将该设置称为“混合方法”。

下面将参考图207到图220描述5个具体混合方法(下文中将其称为“第一混合方法”到“第五混合方法”)。

注意，使用该混合方法的信号处理装置的每个功能既可以通过硬件实现也可以通过软件实现。也就是说，图207到图209、图213、图215、图217以及图219所示的方框图可以被认为是硬件方框图或软件方框图。

图207示出了采用第一混合方法的信号处理装置的结构实例。

在图207所示的信号处理装置中，当接收作为数据3的实例(图1)的图像数据，基于输入的图像数据(输入图像)进行下文所述的图像处理，从而产生图像，并输出产生的图像(输出图像)。也就是说，图207示出了作为图像处理装置的图像处理装置4(图1)的结构。

将输入图像处理装置4的输入图像(作为数据3的实例的图像数据)提供给数据连续性检测单元4101、现实世界估计单元4102以及图像产生单元4104。

数据连续性检测单元4101从输入图像检测数据连续性，并将表示检测的连续性的连续性信息提供给现实世界估计单元4102和图像生成单元4103。

如上所述，数据连续性检测单元4101与图3所示的数据连续性检测单元101具有基本相同的结构和功能。因此，数据连续性检测单元4101可以具有上述各种结构。

注意，数据连续性检测单元4101还具有产生用于指定关注像素的区域(下文中将其称为“区域指定信息”)的信息的功能，并将产生的信息提供给区域检测单元4111。

这里所用的区域指定信息不受特别限制，而可以这样设置，其中在产生数据连续性信息后产生新信息，或者可以这样设置，其中在产生数据连续性信息的同时产生该信息。

尤其是，可以采用例如估计误差作为区域指定信息。也就是说，例如，在数据连续性检测单元4101利用最小二乘法计算作为数据连续性的角度的同时获得估计误差。可以采用估计误差作为区域指定信息。

现实世界估计单元4102基于输入图像和从数据连续性检测单元4102提供的数据连续性信息估计现实世界1中的信号(图1)。也就是说，现实世界估计单元4102在已经获取输入图像的阶段估计作为现实世界1的信号的图像，所述图像将被输入传感器2(图1)。现实世界估计单元4102将用于表示对现实世界1的信号的估计结果的现实世界估计信息提供给图像产生单元4103。

如上所述，现实世界估计单元4102与图3所示的现实世界估计单元102具有基本相同的结构和功能。因此，现实世界估计单元4102可以具有各种上述结构。

图像产生单元4103基于从现实世界估计单元4102提供的表示现实世界1的估计信号的现实世界估计信息产生类似现实世界1中的信号的信号，并将产生的信号提供给选择器4112。可选的是，图像产生单元4103产生更接近现实世界1的信号的信号，其中基于：从数据连续性检测单元4101通过的用于表示现实世界1中的估计信号的数据连续性信息；以及从现实世界估计单元4102提供的现实世界估计信息，并将产生的信号提供给选择器4112。

也就是说，图像产生单元4103基于现实世界估计信息产生类似于现实世界1中的图像的图像，并将产生的图像提供给选择器4112。可选的是，图像产生单元4103基于数据连续性信息和现实世界估计信息产生更接近现实世界1中的图像的图像，并将产生的图像提供给选择器4112。

如上所述，图像产生单元4103与图3所示的图像产生单元103具有基本相同的结构和功能。因此，图像生成单元4103可以具有各种上述结构。

图像产生单元4104对输入图像进行预定图像处理以产生图像，并将产生的图像提供给选择器4112。

注意，由图像产生单元4104执行的图像处理不特别限制，只要采用除在数据连续性检测单元4101、现实世界估计单元4102以及图像产生单元4103中采用的图像处理以外的图像处理。

例如，图像产生单元4104可以进行常规类型分类适应处理。图208示出了用于进行类型分类适应处理的图像产生单元4104的结构实例。注意，下面将参考图208详细描述用于执行类型分类处理的图像产生单元4104。另外，下面将同时参考图208描述类型分类适应处理。

连续性区域检测单元4105包括区域检测单元4111和选择器4112。

区域检测单元4111基于从数据连续性检测单元4101提供的区域指定信息检测被提供给选择器4112的图像(关注像素)属于连续性区域还是非连续性区域，并将检测结果提供给选择器4112。

注意，由区域检测单元4111执行的区域检测处理不特别限制。例如，可以提供上述估计误差作为区域指定信息。在该情况下，可以这样设置，其中，在上述提供的估计误差小于预定阈值的情况下，区域检测单元4111确定输入图像的关注像素属于连续性区域，在上述提供的估计误差大于预定阈值的情况下，确定输入图像的关注像素属于非连续性区域。

选择器4112基于从区域检测单元4111提供的检测结果检测从图像产生单元4103提供的图像和从图像产生单元4104提供的图像中选择一个，并将选择的图像向外输出作为输出图像。

也就是说，在区域检测单元4111确定关注像素属于连续性区域的情况下，选择器4112选择从图像产生单元4103提供的图像(由图像生成单元4103产生的、对应于输入图像的关注像素的像素)作为输出图像。

另一方面，在区域检测单元4111确定关注像素属于非连续性区域的情况下，选择器4112选择从图像产生单元4104提供的图像(由图像生成单元4104产生的、对应于输入图像的关注像素的像素)作为输出图像。

注意，选择器4112可以输出像素增量的输出图像(即，可以输出每个选择像素的输出图像)，或者可以这样设置，其中存储经过处理的像素直到完成对全部像素的处理，并在完成对全部像素的处理时同时输出全部像素(一次输出整个图像)。

接着，将参考图208描述用于执行作为图像处理的实例的类型分类适应处理的图像产生单元4104。

在图208中，假设由图像产生单元4104执行的类型分类适应处理是用于例如改善输入图像的空间分辨率。也就是说，假设类型分类适应处理是用于将具有标准分辨率的输入图像转换成具有高分辨率的作为图像的预测图像的处理。

注意，下文中将具有标准分辨率的图像适当地称为“SD(标准精度)图像”，并将构成SD图像的像素适当地称为“SD像素”。

另一方面，下文中将具有高分辨率的图像适当地称为“HD(高精度)图像”，并将构成HD图像的像素适当地称为“HD像素”。

尤其是，由图像产生单元4104执行的类型分类适应处理如下所述。

也就是说，为了获得对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素，首先，获得由关注像素和其周围像素形成的SD像素(下文中还将该SD像素称为“类型分块”)的特征，基于其特征，通过选择相关于特征的预备类型中的一种识别每个类型分块的类型(即，识别类型分块组的类型代码)。

然后，利用如下计算积-和：基于识别的类型代码从预备的多个系数组(每个系数组对应特定类型代码)中选择的一种的系数；由关注像素和其周围的SD像素形成的SD像素(下文中将该输入图像的SD像素称为“预测分块”，注意，预测分块可以匹配类型分块)，从而获得对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素。

尤其是，在图1中，当将现实世界1中的信号(光强分布)输出给传感器2，传感器2输出输入图像。

在图208中，将输入图像(SD图像)提供给图像产生单元4104的区域选取单元4121和4125。区域选取单元4125从上述提供的输入图像选取用于类型分类所需的类型分块(位于包括关注像素(SD像素)的预定区域上的SD像素)，并将选取的类型分块输出给图形检测单元4122。图形检测单元4122基于上述输入的类型分块检测输入图像的图形。

类型代码确定单元4123基于由图形检测单元4122检测的图形确定类型代码，并将确定的类型代码输出给系数存储器4124和区域选取单元4125。系数存储器4124存储通过学习获得的每个类型代码的系数。系数存储器4124读出对应于从类型代码确定单元4123输入的类型代码的系数，并将上述读出的系数输出给预测计算单元4126。

注意，下面将参考图209所示的学习装置的方框图描述用于获得存储在系数存储器4124中的系数的学习处理。

注意，存储在系数存储器4124中的系数用于产生下述预测图像(HD图像)。因此，下文中将存储在系数存储器4124中的系数称为“预测系数”。

区域选取单元4125基于从类型代码确定单元4123输入的类型代码相应于类型代码，从自传感器2输入的输入图像(SD图像)选取用于预测和产生预测图像(HD图像)所需的预测分块(位于包括关注像素的预定区域上的SD像素)，并将选取的预测分块输出给预测计算单元4126。

预测计算单元4126利用从区域选取单元4125输入的预测分块和从系数存储器4124输入的预测系数执行积-和计算，从而产生对应于输入图像(SD图像)的关注像素(SD像素)的预测图像(HD图像)的HD像素。然后，预测计算单元4126将产生的HD像素输出给选择器4112。

尤其是，系数存储器4124将对应于从类型代码确定单元4123提供的类型代码的预测系数输出给预测计算单元4126。预测计算单元4126利用从区域选取单元4125提供的、并从预定像素区域中的像素值选取的预测分块、以及从系数存储器4124提供的预测系数执行由下面公式(171)表示的积-和计算，从而获得(预测和估计)对应于预测图像(HD图像)的HD像素。

$q^{\′}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{d}_i\×c_i$ 公式(171)

在公式(171)中，q’表示预测图像(HD图像)的HD像素。每个c_i(i表示1到n的整数)表示相应的预测分块(SD像素)。另外，每个d_i表示相应的预测系数。

如上所述，图像产生单元4104基于SD图像(输入图像)预测和估计相应的HD图像，因此，在该情况下，将从图像产生单元4104输出的HD图像称为“预测图像”。

图209示出了用于确定存储在图像产生单元4104的系数存储器4124中的预测系数(公式(171)种的d_i)的学习装置(用于计算预测系数的装置)。

在图209中，将特定图像输入下降转换器单元4141和正规方程产生单元4146中作为老师图像(HD图像)。

下降转换器单元4146基于这样输入的老师图像(HD图像)产生比输入的老师图像具有更低分辨率的学生图像(SD图像)(即，对老师图像进行下降转换处理，从而获得学生图像)，并将产生的学生图像输出给区域选取单元4142和4145。

如上所述，学习装置4131包括下降转换器单元4141，因此，不需要制备出如相应于来自传感器2(图1)的输入图像的老师图像(HD图像)那样的高分辨率图像。原因在于，可以将通过对老师图像进行下降转换处理而获得的学生图像(具有下降的分辨率)用作SD图像。在该情况下，对应于学生图像的老师图像可以用作HD图像。因此，可以将来自传感器2的输入图像不经过任何转换地用作老师图像。

区域选取单元4142从自下降转换器单元4141中提供的学生图像(SD图像)中选取用于类型分类所需的类型分块(SD像素)，并且，将选取的类型分块输出给图形检测单元4143。图形检测单元4143检测上述输入的类型分块的图形，并将检测结果输出给类型代码确定单元4144。类型代码确定单元4144确定对应于输入图形的类型代码，并将类型代码分别输出给区域选取单元4145和正规方程产生单元4146。

区域选取单元4145基于从类型代码确定单元4144输入的类型代码从自下降转换器单元4141中输入的学生图像(SD图像)中选取预测分块(SD像素)，并且，将选取的预测分块输出给正规方程产生单元4146

注意，上述区域选取单元4142、图形检测单元4143、类型代码确定单元4144，以及区域选取单元4145具有基本相同的结构，并且，与如图208所示的图像产生单元4104的区域选取单元3121、图形检测单元3122、类型代码确定单元3123、以及区域选取单元3125相同地作用。

正规方程产生单元4146基于从区域选取单元4145输入的学生图像(SD图像)的预测分块(SD像素)，以及每个类型代码的老师图像(HD图像)的HD像素而产生从类型代码确定单元4144输入的每个类型代码的正规方程，并将产生的正规方程提供给系数确定单元4147。

当从正规方程产生单元4146接收对应于特定类型代码的正规方程时，系数确定单元4147利用正规方程计算预测系数，并将计算的预测系数存储在相关于类型代码的系数存储器4142中。

现在，将详细描述正规方程产生单元4146和系数确定单元4147。

在上述公式(171)中，每个预测系数d_i在学习处理之前是未确定的系数。学习处理通过输入每个类型代码的多个老师图像(HD图像)的HD像素而进行。假设，对应于特定类型代码存在m个HD像素。在该情况下，将m个HD像素表示为q_k(k表示1到m的整数)。则从公式(171)得到下面的公式(172)。

$q_k=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{d}_i\×c_{\mathrm{ik}}+e_k$ 公式(172)

也就是说，公式(172)表示，通过执行由公式(172)右侧表示的计算可以预测和估计HD像素q_k。注意，在公式(172)中，e_k表示误差。也就是说，预测图像(HD图像)的HD像素q_k’不完全匹配实际HD像素q_k，并包括特定误差e_k，所述预测图像是计算右侧的计算结果。

在本实施例中，通过学习处理使得公式(238)所示的误差e_k的平方和表现最小值而获得预测系数d_i，从而获得用于预测实际HD像素q_k的最优预测系数d_i。

尤其是，在本实施例中，基于例如通过学习收集的m个HD像素q_k(其中m大于n)，通过利用最小二乘法的学习处理确定最优预测系数d_i作为唯一解。

也就是说，利用最小二乘法的用于获得公式(172)右侧的预测系数d_i的正规方程由下面公式(173)所示。

                                 公式(173)

也就是说，在本实施例中，产生并求解由公式(173)表示的正规方程，从而确定预测系数d_i作为唯一解。

尤其是，将形成由公式(173)表示的正规方程的分量矩阵定义为下面公式(174)到(176)，则正规方程由下面公式(177)表示。

公式(174)

$D_{\mathrm{MAT}}=\left[\begin{array}{c}{d}_1\\ d_2\\ \·\\ \·\\ \·\\ d_n\end{array}\right]$ 公式(175)

$Q_{\mathrm{MAT}}=\left[\begin{array}{c}\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{c}_{1k}\×q_k\\ \underset{k=1}{\overset{m}{\mathrm{\Σ}}}{c}_{2k}\×q_k\\ \·\\ \·\\ \·\\ \underset{k=1}{\overset{m}{\mathrm{\Σ}}}{c}_{\mathrm{nk}}\×q_k\end{array}\right]$ 公式(176)

C_MATD_MAT＝Q_MAT

                                   公式(177)

从式(175)可以理解，矩阵D_MAT的每个分量为将要获得的预测系数d_i。在本实施例中，如果确定了公式(177)左侧的矩阵C_MAT和右侧的矩阵Q_MAT，可以利用矩阵求解方法计算矩阵D_MAT(即预测系数d_i)。

尤其是，从式(174)可以理解，只要已知预测分块c_ik，则可以计算矩阵C_MAT的各个分量。区域选取单元4145选取预测分块c_ik。在本实施例中，正规方程产生单元4146利用从区域选取单元4145提供的预测分块c_ik可以计算矩阵C_MAT的每个分量。

另外，如可以从公式(176)所理解的，只要已知预测分块c_ik和HD像素q_k，则可以计算矩阵Q_MAT的各个分量。注意，预测分块c_ik与矩阵C_MAT中相同，HD像素q_k是对应于预测分块c_ik中包括的关注像素(学生图像的SD像素)的老师图像的HD像素。在本实施例中，正规方程产生单元4146利用从区域选取单元4145提供的预测分块c_ik和老师图像而可以计算矩阵Q_MAT的每个分量。

如上所述，正规方程产生单元4146对于每个类型代码计算矩阵C_MAT和矩阵Q_MAT的每个分量，并将相关于类型代码的计算结果提供给系数确定单元4147。

系数确定单元4147基于对应于提供的特定类型代码的正规方程，计算每个作为由上述公式(177)表示的矩阵D_MAT的分量的预测系数d_i。

尤其是，可以将由上述公式(177)表示的正规方程转换为下面的公式(178)。

$D_{\mathrm{MAT}}=C_{\mathrm{MAT}}^{-1}{Q}_{\mathrm{MAT}}$ 公式(178)

在公式(178)中，左侧矩阵D_MAT的各个分量是将要获得的预测系数d_i。注意，从正规方程产生单元4146提供矩阵C_MAT和矩阵Q_MAT的各个分量。在本实施例中，当从正规方程产生单元4146接收对应于特定类型代码的矩阵C_MAT和矩阵Q_MAT的各个分量，系数确定单元4147计算由公式(178)的右侧表示的矩阵计算，从而计算矩阵D_MAT，并将关于类型代码的计算结果(预测系数d_i)存储在系数存储器4124中。

注意，类型分类适应处理和简单的内插处理的差异如下。也就是说，例如，不同于简单的内插，类型分类适应处理允许再现包含在HD图像中的在SD图像中已经丢失的分量。也就是说，只要参考上述公式(171)，类型分类适应处理看上去与利用所谓的内插过滤器的内插处理相同。然而，在类型分类适应处理中，通过基于老师数据和学生数据的学习获得对应于内插过滤器的系数的预测系数d_i，从而再现包含在HD图像中的分量。因此，上述类型分类适应处理可以说是具有改善图像质量(改善分辨率)的功能的处理。

尽管描述了具有改善空间分辨率的功能的设置，由于类型分类适应处理采用通过利用合适种类的老师数据和学生数据进行学习而获得各种系数，因此允许用于各种改善S/N(信噪比)、改善模糊等的处理。

也就是说，在类型分类适应处理中，可以例如以具有高S/N的图像为老师数据、并以基于老师图像产生的具有降低S/N(或降低分辨率)的图像为学生数据而获得系数，从而改善S/N(或改善模糊)。

上面描述了用于执行类型分类适应处理的图像产生单元4104和学习装置4131的结构。

注意，尽管图像产生单元4104可以具有用于执行不同于上述的类型分类适应处理的图像处理的结构，但是为了便于描述，将描述与上述图208所示的结构相同的图像产生单元4104。也就是说，假设图像产生单元4104执行类型分类适应处理以产生具有比输入图像更高的空间分辨率的图像，并将产生的图像提供给选择器4112。

接着，将参考图210描述由采用第一混合方法的信号处理装置(图207)进行的信号处理。

假设，在本实施例中，数据连续性检测单元4101利用最小二乘法计算角度(如下之间的角度：图像关注像素附近的连续性方向(其为一个空间方向)，所述图像表示现实世界1中的信号(图1)；以及作为另一空间方向的X方向(该方向平行于传感器2的检测元件的特定边))，并输出计算的角度作为数据连续性信息。

另外，数据连续性检测单元4101输出在计算角度时伴随计算结果计算的估计误差(利用最小二乘法的误差)，其被用作区域指定信息。

在图1中，当将现实世界1中的作为图像的信号输入给传感器2时，从传感器2输出输入图像。

如图207所示，将输入图像输入图像产生单元4104、以及数据连续性检测单元4101和现实世界估计单元4102。

然后，在如图210所示的步骤S4101中，图像产生单元4014以输入图像(SD图像)的特定像素为关注像素执行上述类型分类适应处理，从而产生预测图像(HD图像)的HD像素(对应于关注像素的HD像素)。然后，图像产生单元4104将产生的HD像素提供给选择器4112。

注意，为了区分从图像产生单元4104输出的像素和从图像产生单元4103输出的像素，下文中，将从图像产生单元4104输出的像素称为“第一像素”，而将从图像产生单元4103输出的像素称为“第二像素”。

另外，下文中，将该由图像产生单元4104执行的处理(在该情况下为步骤S4101中的处理)称为“执行类型分类适应处理”。下面将参考图211的流程图详细描述“执行类型分类适应处理”的实例。

另一方面，在步骤S4102中，数据连续性检测单元4101检测对应于连续性方向的角度，并计算其估计误差。将检测的角度分别提供给现实世界估计单元4102和图像产生单元4103作为数据连续性信息。另一方面，将计算的估计误差提供给区域检测单元4111作为区域指定信息。

在步骤S4103中，现实世界估计单元4102基于由数据连续性检测单元4101检测的角度和输入图像估计现实世界1中的信号。

注意，由现实世界估计单元4102执行的估计处理不特定限制于上面的描述，而是可以采用上述的各种技术。假设现实世界估计单元4102利用预定函数f(下文中将其称为“模拟函数f”)模拟表示现实世界1中的信号的函数F(下文中将其称为“光信号函数F”)，从而估计现实世界1中的信号(光信号F)。

另外，例如，假设现实世界估计单元4102将模拟函数f的特征(系数)提供给图像产生单元4103作为现实世界估计信息。

在步骤S4104中，图像产生单元4103基于由现实世界估计单元4102估计的现实世界1中的信号，对应于通过由图像产生单元4104进行的类型分类适应处理而产生的第一像素(HD像素)，产生第二像素(HD像素)，并将产生的第二像素提供给选择器4112。

在该结构中，例如，从现实世界估计单元4102提供模拟函数f的特征(系数)。然后，图像产生单元4103基于上述提供的模拟函数f的特征计算模拟函数f在预定积分范围上的积分，从而产生第二像素(HD像素)。

注意，这样确定积分范围，使得产生的第二像素与从图像产生单元4104输出的第一像素(HD像素)具有相同的尺寸(相同的分辨率)。也就是说，将积分范围确定为沿空间方向上具有与将产生的第二像素的宽度相同的宽度的范围。

注意，根据本发明的步骤次序不限于如图295所示的设置，其中依次进行步骤S4101中的“执行类型分类适应处理”和步骤S4102到步骤S4104的一组处理，而是可以这样设置，其中在步骤S4101中的“执行类型分类适应处理”之前执行骤S4102到步骤S4104的一组处理。另外，可以这样设置，其中同时执行步骤S4101中的“执行类型分类适应处理”和步骤S4102到步骤S4104的一组处理。

在步骤S4105中，区域检测单元4111基于通过由数据连续性检测单元4101进行步骤S4102中的处理计算的估计误差(区域指定信息)，检测通过由图像产生单元4103进行步骤S4101中的处理产生的第二像素(HD像素)的区域。

这里，第二像素是对应于输入图像的SD像素的HD像素，所示SD像素由数据连续性检测单元4101用作关注像素。因此，关注像素(输入图像的SD像素)与第二像素(HD像素)之间的区域类型(连续性区域或非连续性区域)相同。

注意，从数据连续性检测单元4101输出的区域指定信息是在利用最小二乘法计算关注像素附近的角度时的估计误差。

在该结构中，区域检测单元4111比较关于从数据连续性检测单元4101提供的关注像素(输入图像的SD像素)的估计误差与预定阈值。作为比较的结果，在估计误差小于阈值的情况下，区域检测单元4111检测第二像素属于连续性区域。另一方面，在估计误差等于或大于阈值的情况下，区域检测单元4111检测第二像素属于非连续性区域。然后，将检测结果提供给选择器4112。

当从区域检测单元4111接收检测结果，选择器4112在步骤S4106中确定检测的区域是否属于连续性区域。

在步骤S4106中，在确定检测的区域属于连续性区域的情况下，在步骤S4107中，选择器4112向外输出从图像产生单元4103提供的第二像素作为输出图像。

另一方面，在步骤S4106中，在确定检测的区域不属于连续性区域的情况下(即属于非连续性区域)，在步骤S4108中，选择器4112向外输出从图像产生单元4104提供的第一像素作为输出图像。

接着，在步骤S4109中，确定是否对全部像素进行处理。在确定仍未对全部像素进行处理的情况下，该处理返回步骤S4101。也就是说，重复步骤S4101到步骤S4109的处理，直到完成对全部像素的处理。

另一方面，在步骤S4109中，在确定已经对全部像素进行处理的情况下，该处理结束。

如上所述，在如图295中的流程图所示的设置中，在每次产生第一像素(HD像素)和第二像素(HD像素)时，将从第一像素和第二像素中选择的输出图像以增量输出作为像素的输出图像。

然而，如上所述，本发明不限于这样的设置，其中将输出数据以像素增量输出，而可以这样设置，其中以图像形式输出输出数据，即在每次完成对全部像素的处理时同时输出形成图像的像素。注意，在这样的设置中，步骤S4107和步骤S4108各包括增加的处理，用于临时存储选择器4112中的像素(第一像素和第二像素)，而不是在每次产生像素时输出像素，并且在步骤S4109的处理后同时输出全部像素。

接着，将参考图211中的流程图详细描述由具有如图208所示结构的图像产生单元4104执行的“用于执行类型分类处理的处理”(例如上述图210的步骤S4101中的处理)。

当从传感器2将输入图像(SD图像)输入图像产生单元4104，在步骤S4121，区域选取单元4121和区域选取单元4125都输入输入图像。

在步骤S4122中，区域选取单元4121从输入图像选取关注像素(SD像素)和位于每个相对于关注像素为预定相对位置的(一个或多个)位置上的像素(SD像素)作为类型分块，并将其提供给图形检测单元4122。

在步骤S4133中，图形检测单元4122检测提供的类型分块的图形，并将其提供给类型代码确定单元4123。

在步骤S4124中，类型代码确定单元4123从多个预定的类型代码确定匹配提供的类型分块的图形的类型代码，并将其分别提供给系数存储器4124和区域选取单元4125。

在步骤S4125，系数存储器4124基于提供的类型代码，从通过预先学习处理确定的多个预测系数(组)读出将使用的预测系数(组)，并将其提供给预测计算单元4126。

注意，下面将参考图297中的流程图描述学习处理。

在步骤S4126中，区域选取单元4125从对应于向其提供的类型代码的输入图像选取关注像素(SD像素)，和位于每个相对于预设的关注像素为相对位置的位置(一个或多个位置，独立于类型分块的位置设置的位置，然而，可以是与类型分块相同的位置)上的像素(SD像素)作为预测分块，并将其提供给预测计算单元4126。

在步骤S4127中，预测计算单元4116利用从系数存储器4124提供的预测系数计算从预测选取单元4125提供的预测分块，并产生向外(在图207的实例中为选择器4112)输出的预测图像(第一像素)。

尤其是，预测计算单元4126以从区域选取单元4125提供的每个预测分块为c_i(i表示1到n的整数)，并以从系数存储器4124提供的每个预测系数为d_i，则进行由上述公式(171)右侧的计算，从而计算位于关注像素(SD像素)上的HD像素q’，并将其向外输出作为预测图像(HD图像)的预定像素(第一像素)。然后，该处理结束。

接着，将参考图212中的流程图描述由学习装置4131(图209)进行的关于图像产生单元4104的学习处理(用于产生将由图像产生单元4104通过学习使用的预测系数的处理)。

在步骤S4141中，下降转换器单元4141和正规方程产生单元4146各向其输入预定图像作为老师图像(HD图像)。

在步骤S4142中，下降转换器单元4141对输入的老师图像进行“下降转换”处理(分辨率下降)，从而产生学生图像(SD图像)，将其分别提供给区域选取单元4142和4145。

在步骤S4143中，区域选取单元4142从上述提供的学生图像选取类型分块，并将其输出给图形检测单元4143。注意，步骤S4143中的处理与上述步骤S4122(图211)中的处理基本相同。

在步骤S4144中，图形检测单元4143从上述提供的类型分块中检测用于确定类型代码的图形，并将其提供给类型代码确定单元4144。注意，步骤S4144所示的处理与上述步骤S4123(图296)所示的处理基本相同。

在步骤S4145中，类型代码确定单元4144基于上述提供的类型分块的图形确定类型代码，并将其提供给区域选取单元4145和正规方程产生单元4146。注意，步骤S4145中的处理与上述步骤S4124(图211)中的处理基本相同。

在步骤S4146中，区域选取单元4145对应于向其提供的类型代码从学生图像中选取预测分块，并将其提供给正规方程产生单元4146。注意，步骤S4146中的处理与上述步骤S4126(图211)中的处理基本相同。

在步骤S4147中，正规方程产生单元4146基于从区域选取单元4145提供的预测分块(SD像素)和老师图像(HD图像)的预测HD像素而产生由上述公式(173)表示的正规方程(即公式(177))，并将产生的正规方程与从类型代码确定单元4144提供的类型代码相关联，并将其提供给系数确定单元4147。

在步骤S4148中，系数确定单元3537求解上述提供的正规方程，从而确定预测系数，即，通过计算上述公式(178)的右侧而计算预测系数，并将其相关于向其提供的类型代码存储在系数存储器4124中。

接着，在步骤S4149中，确定是否已经对全部像素进行处理。在确定仍未对全部像素进行处理的情况下，该处理返回步骤S4143。也就是说，重复步骤S4143到步骤S4149的处理直到完成对全部像素的处理。

然后，当在步骤S4149中确定已经进行对全部像素的处理的情况下，该处理结束。

接着，将参考图213到图214描述第二混合方法。

图213示出了采用第二混合方法的信号处理装置的结构实例。

在图213中，对应于采用第一混合方法的信号处理装置(图207)的部分由相应的标号表示。

在图207的结构实例中(第一混合方法)，从数据连续性检测单元4101输出区域识别信息，并输入给区域检测单元4111，但是在图213所示的结构实例中(第二混合方法)，从现实世界估计单元4102输出区域识别信息，并输入给区域检测单元4111。

该区域识别信息不特别限制，而是可以是在现实世界估计单元4102估计现实世界1的信号(图1)后新产生的信息，或者可以是伴随模拟现实世界1中的信号产生的信息。

尤其是，例如，可以使用估计误差作为区域识别信息。

现在，将描述估计误差。

如上所述，从数据连续性检测单元4101输出的估计误差(图207中的区域识别信息)是在例如从数据连续性检测单元4101输出的连续性检测信息是角度，并且利用最小二乘法计算所述角度的情况下，伴随最小二乘计算的进行而计算的估计误差。

相反，从现实世界估计单元4102输出的估计误差(图213中的区域识别信息)为例如映射误差。

也就是说，由现实世界估计单元4102估计现实世界1的信号，使得从估计的现实世界1的信号可以产生任意大小的像素(可以计算像素值)。这里，将通过这样产生新像素称为映射。

因此，在估计现实世界1的信号后，现实世界估计单元4102输入图像的关注像素(在估计现实世界1的情况下用作关注像素的像素)所在的位置上从估计的现实世界1的信号产生(映射)新的像素。也就是说，现实世界估计单元4102从估计的现实世界1的信号进行对下＝输入图像中的关注像素的像素值的预测计算。

现实世界估计单元4102然后计算新映射像素的像素值(被预测的输入图像的关注像素的像素值)与实际输入图像的关注像素的像素值之差。将该差称为映射误差。

通过计算映射误差(估计误差)，现实世界估计单元4102从而可以将计算的映射误差(估计误差)提供给区域选取单元4111作为区域识别信息。

尽管如上所述，由区域检测单元4111进行的用于区域检测的处理不特别限制，但是在例如对区域检测单元4111提供上述映射误差(估计误差)作为区域识别信息的现实世界估计单元4102的情况下，在提供的映射误差(估计误差)小于预定阈值的情况下，输入图像的关注像素被检测为连续性区域，另一方面，在提供的映射误差(估计误差)大于预定阈值的情况下，输入图像的关注像素被检测为非连续性区域。

其它结构与图207所示基本相同。也就是说，采用第二混合方法的信号处理装置(图213)还包括：数据连续性检测单元4101、现实世界估计单元4102、图像产生单元4103、图像产生单元4104、以及连续性区域检测单元4105(区域检测单元4111和选择器4112)，其与采用第一混合方法的信号处理装置(图207)具有基本相同的结构和功能。

图214是描述具有图213所示结构的信号处理装置的处理(第二混合方法的信号处理)的流程图。

第二混合方法的信号处理类似于第一混合方法的信号处理(图210的流程图所示的处理)。因此，这里，将适当地省略对相关于第一混合方法的处理的说明，而将参考图214中的流程图描述不同于根据第一混合方法的处理的根据第二混合方法的处理。

注意，这里，在第一混合方法的情况中，假设数据连续性检测单元4101利用最小二乘法计算角度(位于现实世界1(图1)的信号的关注像素上的连续性方向(空间方向)与作为空间方向中的一个方向的X方向(平行于传感器2(图1)的检测元件的预定一边的方向)之间的角度)，并输出计算的角度作为数据连续性信息。

然而，尽管在上述第一混合方法中，数据连续性检测单元4101将区域识别信息(例如估计误差)提供给区域检测单元4111，但是在第二混合方法中，现实世界估计单元4102将区域识别信息(例如估计误差(映射误差))提供给区域检测单元4111。

因此，在第二混合方法中，执行步骤S4162的处理作为数据连续性检测单元4101的处理。该处理相当于在第一混合方法中在图210中步骤S4102的处理。也就是说，数据连续性检测单元4101基于输入图像检测对应于连续性方向的角度，并将检测的角度作为数据连续性信息分别提供给现实世界估计单元4102和图像产生单元4103。

另外，在第二混合方法中，执行步骤S4163的处理作为现实世界估计单元4102的处理。该处理相当于在第一混合方法中在图210中步骤S4103的处理。也就是说，在步骤S4162的处理中，现实世界估计单元4102基于由数据连续性检测单元4101检测的角度估计现实世界1(图1)中的信号，并计算估计的现实世界1的信号的估计误差，即映射误差，并将其作为区域识别信息提供给区域检测单元4111。

其它处理与第一混合方法的处理(在图210的流程图中示出的处理的相应处理)基本相同，因此省略对其的描述。

接着，将参考图215和图216描述第三混合方法。

图215示出了采用第三混合方法的信号处理装置的结构实例。

在图215中，对应于采用第一混合方法的信号处理装置(图207)的部分由相应的标号表示。

在图207的结构实例中(第一混合方法)，将连续性区域检测单元4105设置在图像产生单元4103和图像产生单元4104的后面，而在图215所示的结构实例中(第三混合方法)，将对应的连续性区域检测单元4161设置在数据连续性检测单元4101的下端、和现实世界估计单元4102和图像产生单元4104的上端。

由于布置位置中的该差异，因此第一混合方法中的连续性区域检测单元4105与第三混合方法中的连续性区域检测单元4161之间存在一些差异。下面将主要关于该差异描述连续性检测单元4161。

连续性区域检测单元4161包括区域检测单元4171和执行命令产生单元4172。其中，区域检测单元4171与连续性区域检测单元4105的区域检测单元4111(图207)具有基本相同的结构和功能。另一方面，执行命令产生单元4172的功能与连续性区域检测单元4105的选择器4112(图207)的功能有一些不同。

也就是说，如上所述，选择器4112基于来自区域检测单元4111的检测结果选择来自图像产生单元4103的图像和来自图像产生单元4104的图像中的一个，并输出选择的图像作为输出图像。这样，选择器4112输入来自图像产生单元4103的图像和来自图像产生单元4104的图像以及来自区域检测单元4111的检测结果，并输出输出图像。

另一方面，根据第三混合方法的执行命令产生单元4172基于区域检测单元4171的检测结果，选择是由图像产生单元4103还是由图像产生单元4104执行用于产生位于输入图像的关注像素(已经被数据连续性检测单元4101取为关注像素的像素)上的新像素。

也就是说，在区域检测单元4171将检测结果提供给执行命令产生单元4172，以提供输入图像的关注像素是连续性区域的结果时，执行命令产生单元4172选择图像产生单元4103，并向现实世界估计单元4102提供命令以开始处理(下文中，将这样的命令称为执行命令)。现实世界估计单元4102然后开始其处理，产生现实世界估计信息，并将其提供给图像产生单元4103。图像产生单元4103基于提供的现实世界估计信息(按需要从数据连续性检测单元4101另外提供的数据连续性信息)产生新的图像，并将其向外输出作为输出图像。

相反，在区域检测单元4171将检测结果提供给执行命令产生单元4172，以提供输入图像的关注像素是非连续性区域的结果时，执行命令产生单元4172选择图像产生单元4104，并向图像产生单元4104提供执行命令。图像产生单元4104然后开始其处理，对输入图像进行预定图像处理(在该情况下为类型分类适应处理)，产生新的图像，并将其向外输出作为输出图像。

从而，根据第三混合方法的执行命令产生单元4172向区域检测单元4171输入检测结果，并输出执行命令。也就是说，执行命令产生单元4172不输入或输出图像。

注意，除连续性区域检测单元4161以外的结构与图207中的结构基本相同。也就是说，采用第三混合方法的信号处理装置(图215中的信号处理装置)还包括：数据连续性检测单元4101、现实世界估计单元4102、图像产生单元4103以及图像产生单元4104，其与采用第一混合方法的信号处理装置(图207)具有基本相同的结构和功能。

然而，在第三混合方法中，现实世界估计单元4102和图像产生单元4104只有在从执行命令产生单元4172输入执行命令时才执行其处理。

现在，在图215所示的实例中，图像的输出单元在其像素单元中。因此，虽然没有示出，例如，还可以在图像产生单元4103和图像产生单元4104的下面提供图像合成单元，以使输出单元为一帧的整个图像(以一次输出全部像素)。

该图像合成单元相加(合成)从图像产生单元4103和图像产生单元4104输出的像素值，并取相加值为相应像素的像素值。在该情况下，图像产生单元4103和图像产生单元4104中没有接收到执行命令的一个不执行其处理，并连续对图像合成单元提供预定不变的值(例如0)。

图像合成单元对全部像素重复执行该处理，并当完成对全部像素的处理时，一次向外输出全部像素(作为一帧图像数据)。

接着，将参考图216的流程图描述采用第三混合方法的信号处理装置的信号处理(图215)。

注意，这里，与第一混合方法的情况相同，假设数据连续性检测单元4101使用最小二乘法计算角度(位于现实世界1(图1)的信号的关注像素上的连续性方向(空间方向)与作为空间方向中的一个方向的X方向(平行于传感器2(图1)的检测元件的预定一边的方向)之间的角度)，并输出计算的角度作为数据连续性信息。

假设数据连续性检测单元4101将计算的估计误差(最小二乘的误差)与计算的角度一起输出作为区域识别信息。

在图1中，当将现实世界1的信号投影到传感器2上时，传感器2输出输入图像。

在图215中，将输入图像输入图像产生单元4104，另外还输入数据连续性检测单元4101和现实世界估计单元4102。

现在，在图216的步骤S4181中，数据连续性检测单元4101基于输入图像检测对应于连续性方向的角度，并还计算其估计误差。将检测的角度分别提供给现实世界估计单元4102和图像产生单元4103作为数据连续性信息。另外，将计算的估计误差提供给区域检测单元4171作为区域识别信息。

注意，步骤S4181中的处理与上述步骤S4102(图210)中的处理基本相同。

另外，如上所述，此时(除非从执行命令产生单元4172提供了执行命令)，现实世界估计单元4101和图像产生单元4103都不执行其处理。

在步骤S4182中，区域检测单元4172基于由数据连续性检测单元4102计算的估计误差(提供的区域识别信息)检测输入图像中的关注像素(在数据连续性检测单元4102检测角度的情况下被取为关注像素的像素)的区域，并将其检测结果提供给执行命令产生单元4172。注意，步骤S4182中的处理与上述步骤S4105(图210)中的处理基本相同。

当将区域检测单元4171的检测结果提供给执行命令产生单元4172，在步骤S4183中，执行命令产生单元4172确定检测区域是否是连续性区域。注意，步骤S4183中的处理与上述步骤S4106(图210)中的处理基本相同。

在步骤S4183中，在确定检测区域不是连续性区域的情况下，执行命令产生单元4172将执行命令提供给图像产生单元4104。图像产生单元4104然后执行步骤S4184中“用于执行类型分类适应处理的处理”，以产生第一像素(关注像素(输入图像的SD像素)上的HD像素)，并在步骤S4185中向外输出通过类型分类适应处理产生的第一像素作为输出图像。

注意，步骤S4184中的处理与上述步骤S4101(图210)中的处理基本相同。也就是说，图211中的流程图是描述步骤S4184中的处理细节的流程图。

相反，在步骤S4183中，在确定检测区域是连续性区域的情况下，执行命令产生单元4172将执行命令提供给现实世界估计单元4102，然后，在步骤S4186中，现实世界估计单元4102基于由数据连续性检测单元4101检测的角度和输入图像估计现实世界1的信号。注意，步骤S4186中的处理与上述步骤S4103(图210)中的处理基本相同。

在步骤S4187中，图像产生单元4103基于由现实世界估计单元4102估计的现实世界1的信号，产生检测区域(即，输入图像中的关注像素(SD像素))中的第二像素(HD像素)，并在步骤S4188中输出第二像素作为输出图像。注意，步骤S4187中的处理与上述步骤S4104(图210)中的处理基本相同。

当将第一像素或第二像素输出作为输出图像(在步骤S4185或步骤S4188的处理后面)时，在步骤S4189中，确定是否完成对全部像素的处理，在确定仍未完成对全部像素的处理的情况下，该处理返回步骤S4181。也就是说，重复步骤S4181到S4189的处理直到完成对全部像素的处理。

然后，在步骤S4189中，在确定已经完成对全部像素的处理的情况下，该处理结束。

这样，在图301的流程图的实例中，在每次产生第一像素(HD像素)和第二像素(HD像素)时，以像素增量输出第一像素或第二像素作为输出图像。

然而，如上所述，如下的设置允许在完成对全部像素的处理后一次输出全部像素作为输出图像，在所述设置中，在具有图300所示的结构的信号处理装置的最后部分(在图像产生单元4103和图像产生单元4104的下面)还提供了图像合成单元(未示出)。在该情况下，在步骤S4185和步骤S4188的处理中将像素(第一像素或第二像素)输出给图像合成单元而不是向外输出。然后，在步骤S4189的处理前，增加这样的处理，其中图像合成单元合成从图像产生单元4103提供的像素的像素值和从图像产生单元4104提供的像素的像素值，并在用于产生输出图像的像素的步骤S4189的处理后，增加这样的处理，其中图像合成单元输出全部像素。

接着，将参考图217到图218描述第四混合方法。

图217示出了采用第四混合方法的信号处理装置的结构实例。

在图217中，对应于采用第三混合方法的信号处理装置(图215)的部分由相应的标号表示。

在图215的结构实例中(第三混合方法)，从数据连续性检测单元4101将区域识别信息输入给区域检测单元4171，但是在图217所示的结构实例中(第四混合方法)，从现实世界估计单元4102输出区域识别信息并输入区域检测单元4171。

其它结构与图215中基本相同。也就是说，采用第四混合方法的信号处理装置(图217中的信号处理装置)还包括：数据连续性检测单元4101、现实世界估计单元4102、图像产生单元4103、图像产生单元4104、以及连续性区域检测单元4161(区域检测单元4171和执行命令产生单元4172)，其与采用第三混合方法的信号处理装置(图215)具有基本相同的结构和功能。

另外，虽然图中没有示出，如同第三混合方法，可以这样设置，其中将例如图像合成单元设置在图像产生单元4103和图像产生单元4104的下面，以一次输出全部像素。

图218是描述具有图217所示结构的信号处理装置的信号处理(根据第四混合方法的信号处理)的流程图。

根据第四混合方法的信号处理类似于根据第三混合方法的信号处理(图216中的流程图所示的处理)。因此，将适当地省略相关于第三混合方法的处理的描述，并将参考图218主要描述不同于根据第三混合方法的处理的根据第四混合方法的处理。

注意，这里，如同第三混合方法中的情况，假设数据连续性检测单元4101使用最小二乘法计算角度(位于现实世界1(图1)的信号的关注像素上的连续性方向(空间方向)与作为空间方向中的一个方向的X方向(平行于传感器2(图1)的检测元件的预定一边的方向)之间的角度)，并输出计算的角度作为数据连续性信息。

然而，尽管如上述在第三混合方法中，数据连续性检测单元4101将区域识别信息(例如估计误差)提供给区域检测单元4171，但是在第四混合方法中，现实世界估计单元4102将区域识别信息(例如估计误差(映射误差))提供给区域检测单元4171。

因此，在第四混合方法中，执行步骤S4201的处理作为数据连续性检测单元4101的处理。该处理相当于在第三混合方法中图216中数据连续性检测单元4101的处理。也就是说，数据连续性检测单元4101基于输入图像检测对应于连续性方向的角度，并将检测的角度作为数据连续性信息分别提供给现实世界估计单元4102和图像产生单元4103。

另外，在第四混合方法中，执行步骤S4202的处理作为现实世界估计单元4102在步骤S4202中的处理。该处理相当于在第三混合方法中，在图210的步骤S4182中的处理。也就是说，现实世界估计单元4102基于由数据连续性检测单元4102检测的角度估计现实世界1(图1)的信号，并计算估计的现实世界1的信号的估计误差，即映射误差，以及将其作为区域识别信息提供给区域检测单元4171。

其它处理与第三混合方法的处理(如图216所示的处理的相应处理)基本相同，因此省略对其的描述。

接着，将参考图219和图220描述第五混合方法。

图219示出了采用第五混合方法的信号处理装置的结构实例。

在图219中，对应于采用第三和第四混合方法的信号处理装置(图215和图217)的部分由相应的标号表示。

在图215所示的结构实例中(第三混合方法)，将一个连续性区域检测单元4161设置在数据连续性检测单元4101的下端和现实世界估计单元4102和图像产生单元4104的上端。

同样，在图302所示的结构实例中(第四混合方法)，将一个连续性区域检测单元4161设置在现实世界估计单元4102的下端和图像产生单元4103和图像产生单元4104的上端。

相反，在图219所示的结构实例中(第五混合方法)，如第三混合方法，将连续性区域检测单元4181设置在数据连续性检测单元4101的下端和现实世界估计单元4102和图像产生单元4104的上端。另外，如同第四混合方法，将连续性区域检测单元4182设置在现实世界估计单元4102的下端和图像产生单元4103和图像产生单元4104的上端。

连续性区域检测单元4181和4182都与连续性区域检测单元4161(图215或图217)具有基本相同的结构和功能。也就是说，区域检测单元4191和区域检测单元4201都与区域检测单元4171具有基本相同的结构和功能。

换句话说，第五混合方法是第三混合方法和第四混合方法的组合。

也就是说，在第三混合方法和第四混合方法中，基于一个区域识别信息(在第三混合方法的情况中，来自数据连续性检测单元4101的区域识别信息，以及在第四混合方法的情况中，来自现实世界估计单元4102的区域识别信息)确定输入图像的关注像素是连续性区域还是非连续性区域。因此，第三混合方法和第四混合方法可能将为非连续性区域的区域检测为连续性区域。

因此，在第五混合方法中，在基于来自数据连续性检测单元4101的区域识别信息(在第五混合方法中将其称为第一区域识别信息)检测输入图像的关注像素是连续性区域还是非连续性区域之后，另外基于来自现实世界估计单元4102的区域识别信息(在第五混合方法中将其称为第二区域识别信息)检测输入图像的关注像素是连续性区域还是非连续性区域。

这样，在第五混合方法中，进行两次区域检测处理，从而对连续性区域的检测精确度提高并优于第三混合方法和第四混合方法的精确度。另外，在第一混合方法和第二混合方法中，如同在第三混合方法和第四混合方法中，只提供一个连续性区域检测单元4105(图207或图213)。因此，对连续性区域的检测精确度相比于第一混合方法和第二混合方法也提高了。从而，可以实现输出比第一到第四混合方法都接近现实世界1(图1)的信号的图像数据。

然而，不变的是，即使第一到第四混合方法使用采用本发明的图像产生第一4104，其进行常规图像处理；以及用于利用数据连续性产生图像的装置或程序等(即，数据连续性检测单元4101、现实世界估计单元4102、以及图像产生单元4103)。

因此，第一到第四混合方法可以输出比任何常规信号处理装置更接近现实世界1(图1)的信号的图像数据、或进行根据本发明具有图3所示结构的信号处理。

另一方面，从处理速度方面看，第一到第四混合方法中只需要一次区域检测处理，因此这优于第五混合方法，其中进行两次区域检测处理。

因此，用户(或制造商)等可以选择性地使用满足输入图像所需质量、以及需要的处理时间(直到输出输出图像的时间)的混合方法。

注意，图219中的其它结构与图215或图217中的结构基本相同。也就是说，采用第五混合方法的信号处理装置(图219)还包括：数据连续性检测单元4101、现实世界估计单元4102、图像产生单元4103以及图像产生单元4104，其与采用第三或第四混合方法的信号处理装置(图215或图217)具有基本相同的结构和功能。

然而，在第五混合方法中，现实世界估计单元4102只有在从执行命令产生单元4192输入执行命令时才执行其处理，图像产生单元4103只有在从执行命令产生单元4202输入执行命令时才执行其处理，以及图像产生单元4104只有在从执行命令产生单元4192或执行命令产生单元4202输入执行命令时才执行其处理。

另外，在第五混合方法中，虽然图中没有示出，如同第三或第四混合方法，可以这样设置，其中将例如图像合成单元设置在图像产生单元4103和图像产生单元4104的下端以一次输出全部像素。

接着将参考图220的流程图描述采用第五混合方法(219)的信号处理装置的信号处理。

注意，这里，如同第三和第四混合方法，假设数据连续性检测单元4101使用最小二乘法计算角度(位于现实世界1(图1)的信号的关注像素上的连续性方向(空间方向)与作为空间方向中的一个方向的X方向(平行于传感器2(图1)的检测元件的预定一边的方向)之间的角度)，并输出计算的角度作为数据连续性信息。

这里假设，如同第三混合方法，数据连续性检测单元4101将计算的估计误差(最小二乘误差)与计算的角度一起输出作为第一区域识别信息。

另外假设，如同第四混合方法，现实世界估计单元4102输出映射误差(估计误差)作为第二区域识别信息。

在图1中，当将现实世界1的信号投影到传感器2上，传感器2输出输入图像。

在图219中，将该输入图像输入图像产生单元4104，并且还输入数据连续性检测单元4101、现实世界估计单元4102、图像产生单元4103以及图像产生单元4104。

现在，在图220的步骤S4221中，数据连续性检测单元4101基于输入图像检测对应于连续性方向的角度，并计算其估计误差。将检测的角度分别提供给现实世界估计单元4102和图像产生单元4103作为数据连续性信息。另外，将计算的估计误差提供给区域检测单元4191作为区域识别信息。

注意，步骤S4121中的处理与上述步骤S4182(图216)中的处理基本相同。

另外，如上所述，此时(除非从执行命令产生单元4192提供了执行命令)，现实世界估计单元4102和图像产生单元4104都不执行其处理。

在步骤S4222中，区域检测单元4191基于由数据连续性检测单元4101计算的估计误差(提供的第一区域识别信息)检测输入图像中的关注像素(在数据连续性检测单元4101检测角度的情况下被取为关注像素的像素)的区域，并将其检测结果提供给执行命令产生单元4192。注意，步骤S4222中的处理与上述步骤S4182(图216)中的处理基本相同。

当将区域检测单元4181的检测结果提供给执行命令产生单元4192，在步骤S4223中，执行命令产生单元4192确定检测区域是否是连续性区域。注意，步骤S4223中的处理与上述步骤S4183(图216)中的处理基本相同。

在步骤S4223中，在确定检测区域不是连续性区域(为非连续性区域)的情况下，执行命令产生单元4192将执行命令提供给图像产生单元4104。图像产生单元4104然后执行步骤S4224中“用于执行类型分类适应处理的处理”，以产生第一像素(关注像素(输入图像的SD像素)上的HD像素)，并在步骤S4225中向外输出通过类型分类适应处理产生的第一像素作为输出图像。

注意，步骤S4224中的处理与上述步骤S4184(图216)中的处理基本相同。也就是说，图211中的流程图是描述步骤S4184中的处理细节的流程图。步骤S4225中的处理与上述步骤S4185(图216)中的处理基本相同。

相反，在步骤S4223中，在确定检测区域是连续性区域的情况下，执行命令产生单元4192将执行命令提供给现实世界估计单元4102，然后，在步骤S4226中，现实世界估计单元4102基于由数据连续性检测单元4101检测的角度和在步骤S4221中的输入图像估计现实世界1的信号，并还计算其估计误差(映射误差)。将估计的现实世界1的信号提供给图像产生单元4103作为现实世界估计信息。另外，将计算的估计误差提供给区域检测单元4201作为第二区域识别信息。

注意，步骤S4226中的处理与上述步骤S4202(图218)中的处理基本相同。

另外，如上所述，此时(除非从执行命令产生单元4192或从执行命令产生单元4202提供了执行命令)，图像产生单元4103和图像产生单元4104都不执行其处理。

在步骤S4227中，区域检测单元4201基于由数据连续性检测单元4101计算的估计误差(提供的第二区域识别信息)检测输入图像中的关注像素(在数据连续性检测单元4101检测角度的情况下被取为关注像素的像素)的区域，并将其检测结果提供给执行命令产生单元4202。注意，步骤S4227中的处理与上述步骤S4203(图218)中的处理基本相同。

当将区域检测单元4201的检测结果提供给执行命令产生单元4202时，在步骤S4228中，执行命令产生单元4202确定检测区域是否是连续性区域。注意，步骤S4228中的处理与上述步骤S4204(图303)中的处理基本相同。

在步骤S4228中，在确定检测区域不是连续性区域(为非连续性区域)的情况下，执行命令产生单元4202将执行命令提供给图像产生单元4104。图像产生单元4104然后执行步骤S4224中“用于执行类型分类适应处理的处理”，以产生第一像素(关注像素(输入图像的SD像素)上的HD像素)，并在步骤S4225中向外输出通过类型分类适应处理产生的第一像素作为输出图像。

注意，步骤S4224中的处理与上述步骤S4205(图218)中的处理基本相同。另外，步骤S4225中的处理与上述步骤S4206(图218)中的处理基本相同。

相反，在步骤S4228中，在确定检测区域是连续性区域的情况下，执行命令产生单元4202将执行命令提供给图像产生单元4103。在步骤S4229中，图像产生单元4103基于由现实世界估计单元4102估计的现实世界1的信号(如果需要，以及来自数据连续性检测单元4101的数据连续性信号)，产生由区域检测单元4201检测的区域(即输入图像中的关注像素(SD像素))上的第二像素(HD像素)。然后，在步骤S4203中，图像产生单元4103向外输出产生的第二像素作为输出图像。

注意，步骤S4229和步骤S4230中的处理与上述步骤S4207和S4208(图218)中的处理基本相同。

当将第一像素和第二像素输出作为输出图像(在步骤S4225或步骤S4230的处理后)，在步骤S4231中，确定是否完成对全部像素的处理，在仍未完成对全部像素的处理的情况下，该处理返回步骤S4221。也就是说，重复步骤S4221到S4231的处理直到完成对全部像素的处理。

然后，在步骤S4231，在确定已经完成对全部像素的处理的情况下，该处理结束。

上文参考图207到图220描述了混合方法作为根据本发明的信号处理装置4(图1)的实施例的实例。

如上所述，在混合方法中，还在具有如图3所示结构的根据本发明的信号处理装置中添加了其它装置(或程序等)，其不利用连续性进行处理。

换句话说，在混合方法中，将具有如图3所示结构的根据本发明的信号处理装置(或程序等)添加到常规信号处理装置(或程序等)中。

也就是说，在混合方法中，例如如图207或图213所示的连续性区域检测单元4105检测图像数据中具有图像数据的数据连续性的数据区域(例如，在图210的步骤S4106中、或图214的步骤S4166所述的连续性区域)，在所述图像数据中，已经投影了现实世界1的光信号，并已经丢失了现实世界1的光信号的部分连续性(例如，图207或图213中的输入图像)。

另外，如图207和图213所示的现实世界估计单元4102基于图像数据的数据连续性，通过模拟现实世界1的光信号的丢失的连续性而估计光信号，所述图像数据已经丢失了现实世界1的光信号的部分连续性。

另外，如图207和图213所示的数据连续性检测单元4101检测图像数据中的图像数据的数据连续性相对于参考轴角度(例如，在图210的步骤S4102和图214的步骤S4162中所述的角度)，在所述图像数据中已经投影了现实世界1的光信号，并且丢失了现实世界1的光信号的部分连续性。在该情况下，例如，图207和图213所示的连续性区域检测单元4105基于角度检测图像数据中具有数据连续性的区域，以及现实世界估计单元4102通过对所述区域估计已经丢失的现实世界1的光信号的连续性而估计光信号。

然而，在图207中，连续性区域检测单元4105基于在具有随角度变化的连续性的模型与输入图像之间的误差，检测输入图像中具有数据连续性的区域(也就是说，估计误差是图中的区域识别信息，其通过图210的步骤S4102的处理计算)。

相反，在图213中，将连续性区域检测单元4105设置在现实世界估计单元4102的下端，并基于在对应于由现实世界估计单元4102计算的输入图像表示现实世界1的光信号的现实世界模型与输入图像之间的误差(即通过在图210的步骤S4163中的处理计算的现实世界信号的估计误差(映射误差)，其例如为图中的区域识别信息)，选择性地输出(例如，图213中的选择器4112执行图214中的步骤S4166到S4168的处理)由现实世界估计单元4102估计的现实世界模型，即，从图像产生单元4103输出图像。

尽管上面描述了图207和图213的实例，但是图215、图217以及图219也是同样的。

因此，在混合方法中，对应于具有图3所示结构的信号处理装置的装置(或程序等)对现实世界1的信号中存在连续性的部分(具有数据连续性的图像数据的区域)执行信号处理，而常规信号处理装置(或程序等)可以对现实世界1的信号中不存在显著连续性的部分执行信号处理。从而，可以实现比常规信号处理装置和具有图3所示结构的根据本发明的信号处理都输出更接近现实世界(图1)的信号的图像数据。

接着，将参考图221和图222描述从数据连续性检测单元101直接产生图像的实例。

图221所示的数据连续性检测单元101是图165中所示的数据连续性检测单元101加上图像产生单元4501。图像产生单元4501获取从现实世界估计单元802输出的现实世界模拟函数f(x)的系数作为现实世界估计信息，并通过基于该系数再积分每个像素而产生并输出图像。

接着，将参考图222中的流程图描述图221中的数据连续性检测处理。注意，图222的流程图中的步骤S4501到S4504和步骤S4506到S4511的处理与图166的步骤S801到S810中的处理相同，因此省略对其的描述。

在步骤S4504中，图像产生单元4501基于从现实世界估计单元802输入的系数再积分每个像素，并产生和输出图像。

由于上述处理，数据连续性检测单元101不仅可以输出区域信息还可以输出用于区域确定的图像(由基于现实世界估计信息产生的像素)。

从而，在图221所示的数据连续性检测单元101中，提供了图像产生单元4501。也就是说，图221中的数据连续性检测单元101可以基于输入图像的数据连续性产生输出图像。因此，可以将具有如图306所示结构的装置解释为图1所示的信号处理装置(图像处理装置)的另一实施例，而不是数据连续性检测单元101的一个实施例。

另外，在应用上述混合方法的信号处理装置中，可以将具有如图221所示结构的装置(即，与图221中的数据连续性检测单元101具有相同功能和结构的信号处理装置)应用为信号处理单元，用于对现实世界1的信号中存在连续性的部分进行信号处理。

尤其是，例如，在应用图207中采用第一混合方法的信号处理装置的情况下，对现实世界1的信号中存在连续性的部分进行信号处理的单元是数据连续性检测单元4101、现实世界估计单元4102以及图像产生单元4103。尽管图中没有示出，可以采用具有图221所示结构的信号处理装置(图像处理装置)代替上述数据连续性检测单元4101、现实世界估计单元4102以及图像产生单元4103。在该情况下，图221中的比较单元804将其输出作为区域识别信息提供给区域检测单元4111，并且图像产生单元4501将输出图像(第二像素)提供给选择器4112。

注意，传感器2可以是例如固态成像装置的传感器，例如BBD(戽链式装置)、CID(电荷注入装置)、或CPD(电荷填充装置)等。

用于存储用于实施根据本发明的信号处理的程序存储介质不限于封装介质，所述封装介质单独地分布在计算机中以给用户提供程序，例如磁盘51(包括软盘、光盘52(包括CD-ROM(紧凑盘-只读存储器))、DVD多功能数码光盘)、磁光盘53(包括MD(迷你盘)(注册商标))、半导体存储器54等，如图2所示，其中已经记录了程序；但是还可以由其中记录程序的ROM22构成，或包括在单元28中的硬盘等，将这些预先设置入计算机而提供给用户。

注意，可以按需要通过电缆或无线通信介质，如局域网、互联网、数字卫星传播等、通过例如路由器、调制解调器等将用于执行上述一组处理的程序装入计算机。

应注意，在本说明书中，描述记录在记录介质中的程序的步骤包括以上述次序为时间顺序实施的处理，显然，这不限于时间顺序处理，还可以包括平行或单独执行的处理。

工业应用性

如上所述，根据本发明可以获得准确和高精度的处理结果。

另外，根据本发明，可以获得相对于现实世界的事件的更准确和更高精度的处理结果。

Claims (6)

1.一种图像处理装置，包括：

非连续部分检测装置，用于检测图像数据的多个像素的像素值的非连续部分，所述图像数据通过将现实世界光信号投影到每个具有空间时间积分效应的多个检测元件上获取，在所述图像数据中已经丢失了现实世界光信号的部分连续性；

峰值检测装置，用于从所述非连续部分检测所述像素值的变化的峰值；

单调增/减区域检测装置，用于检测其中所述像素值从所述峰值单调增加或减小的单调增/减区域；

连续性检测装置，用于从由所述单调增/减区域检测装置检测的所述单调增/减区域检测关于其在图像数据中存在另一个与其相邻的单调增/减区域的单调增/减区域作为所述图像数据的具有连续性的连续性区域；

方向检测装置，用于检测所述连续性区域的连续性方向；以及

现实世界估计装置，用于通过基于由所述连续性检测装置检测的所述连续性区域和由所述连续性检测装置检测的所述连续性区域的所述连续性的方向，估计所述现实世界光信号的连续性而估计所述现实世界的光信号。

2.根据权利要求1的图像处理装置，其中所述方向检测装置基于设置在由所述连续性检测装置检测的所述单调增/减区域的第一单调增/减区域中的多个第一像素的像素值的变化、和设置在相邻于所述第一单调增/减区域的第二单调增/减区域中的相邻于所述多个第一像素的多个第二像素的像素值的变化，检测所述连续性区域中所述连续性的方向。

3.根据权利要求2的图像处理装置，其中在设置在所述第一单调增/减区域中的所述多个第一像素的像素值的增大与设置在所述第二单调增/减区域中的所述多个第二像素的像素值的减小匹配的情况下，所述方向检测装置检测由所述第一单调增/减区域和所述第二单调增/减区域确定的方向作为所述连续性区域的所述连续性的方向。

4.根据权利要求1的图像处理装置，其中所述非连续部分检测装置获得对应于所述图像数据的多个像素的像素值的回归面，检测由具有所述像素值的所述像素构成的区域作为所述非连续部分，在所述区域中到所述回归面的距离等于或大于阈值，并计算从所述非连续部分中的所述像素的所述像素值减去由所述回归面模拟的值的差值；

其中所述峰值检测装置基于所述差值检测所述峰值；

其中所述单调增/减检测装置基于所述差值检测所述单调增/减区域；以及

其中所述方向检测装置基于所述差值检测所述连续性区域中的所述连续性的方向。

5.一种图像处理方法，包括：

非连续部分检测步骤，用于检测图像数据的多个像素的像素值的非连续部分，所述图像数据通过将现实世界光信号投影到每个具有空间时间积分效应的多个检测元件上获取，在所述图像数据中已经丢失了现实世界光信号的部分连续性；

峰值检测步骤，用于从所述非连续部分检测所述像素值的变化的峰值；

单调增/减区域检测步骤，用于检测其中所述像素值从所述峰值单调增加或减小的单调增/减区域；

连续性检测步骤，用于从在所述单调增/减区域检测步骤中检测的所述单调增/减区域检测关于其在所述图像数据中存在另一个与其相邻的单调增/减区域的单调增/减区域作为所述图像数据的具有连续性的连续性区域；

方向检测步骤，用于检测所述连续性区域的连续性方向；以及

现实世界估计步骤，用于通过基于在所述连续性检测步骤中检测的所述连续性区域和在所述连续性检测步骤中检测的所述连续性区域的所述连续性的方向，估计所述现实世界光信号的连续性而估计所述现实世界的光信号。

6.一种计算机可读程序，包括：

非连续部分检测步骤，用于检测图像数据的多个像素的像素值的非连续部分，所述图像数据通过将现实世界光信号投影到每个具有空间时间积分效应的多个检测元件上获取，在所述图像数据中已经丢失了现实世界光信号的部分连续性；

峰值检测步骤，用于从所述非连续部分检测所述像素值的变化的峰值；

单调增/减区域检测步骤，用于检测其中所述像素值从所述峰值单调增加或减小的单调增/减区域；

连续性检测步骤，用于从在所述单调增/减区域检测步骤中检测的所述单调增/减区域检测关于其在所述图像数据中存在另一个与其相邻的单调增/减区域的单调增/减区域作为所述图像数据的具有连续性的连续性区域；

方向检测步骤，用于检测所述连续性区域的连续性方向；以及

现实世界估计步骤，用于通过基于在所述连续性检测步骤中检测的所述连续性区域和在所述连续性检测步骤中检测的所述连续性区域的所述连续性的方向，估计所述现实世界光信号的连续性而估计所述现实世界的光信号。

Images