CN1754384A - 图像处理装置和方法、学习装置和方法、记录介质以及程序 - Google Patents

Abstract

当将输入图像转换成具有高于输入图像数据的质量的高质量图像数据时，使用数据连续性以获得精确的处理结果。类型分块选取单元(902)和预测分块选取单元(906)对应于由数据连续性检测单元(901)检测的关注图像，根据输入图像的多个周边像素的数据连续性，选取类型分块和预测分块。图像合成单元(909)根据由像素值预测单元(907)利用类型分块和预测分块预测的第一关注像素的第一预测值、在时间上或空间上相邻于第一关注像素的第二关注像素的第二预测值、以及位于在时间方向或空间方向上包围至少第一关注像素和第二关注像素的位置上的输入图像的相应像素的像素值之间的关系，选择性地输出第一预测值和第二预测值，其中通过积分特征单元(908)检测第一和第二关注像素。

Description

图像处理装置和方法、学习装置 和方法、记录介质以及程序

技术领域

本发明涉及图像处理装置和方法、学习装置和方法、记录介质以及程序，尤其涉及用于产生具有更高分辨率的图像的图像处理装置和方法、学习装置和方法、记录介质以及程序。

背景技术

本申请人在先前提出过类型分类适应处理作为用于改善图像的图像质量等、以及用于进行例如其它图像转换等的图像处理。

类型分类适应处理由类型分类处理和适应处理构成，其中通过类型分类处理根据图像数据的特性分类图像数据，适应处理开始对每种类型进行，适应处理为如下所述的技术。

也就是说，在适应处理中，例如，通过利用预定分块系数(下文中还适当地称为预测系数)的映射(映射)将低图像质量或标准图像质量图像(下文中适当地称为SD(标准清晰度)图像)转换为高质量图像(下文中适当地称为HD(高清晰度)图像)。

现在，采用线性组合模型作为利用该分块系数的映射方法，通过下面的线性公式(线性组合)获得构成HD图像的像素的(像素值)y(下文中适当地称作HD像素)，所述公式利用从构成SD图像的像素中选取的多个SD像素(下文中适当地称为SD像素)作为用于预测HD像素的预测分块并利用分块系数。

$y=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}_n$ 公式(1)

其中，在公式(1)中，x_n表示SD图像的第n个像素的像素值，其构成关于HD像素y的预测分块，以及w_n表示第n个分块系数，其将乘以第n个SD像素(的像素值)。注意，在公式(1)中，预测分块由N个SD像素x₁、x₂、...x_N构成。

现在可以通过二次或更高阶的公式代替公式(1)所示的线性公式来获得HD像素的像素值y。

现在，设y_k表示第k个采样中HD像素的像素值的实际值，y_k’表示通过公式(1)获得的实际值y_k的预测值，其预测误差e_k被表示为如下的公式。

e_k＝y_k-y_k′                                   公式(2)

根据公式(1)获得公式(2)中的预测值y_k’，从而根据公式(1)将y_k’代入公式(2)，获得下面的公式。

$e_k=y_k-\left(\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}_{n,k}\right)$ 公式(3)

其中，在公式(3)中，X_n，k表示构成第k个采样中的HD像素的预测分块的第n个SD像素。

尽管其中在公式(3)中的预测误差e_k为0的分块系数w_n是用于预测HD像素的最优解，但是获得用于所有HD像素的这种分块系数w_n通常较困难。

因此，作为表示最优分块系数w_n的规则，例如采用最小二乘法，这表示通过最小化例如由下面公式表示的平方误差的和E可以获得最优分块系数w_n作为统计误差。

$E=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e_k}^2$ 公式(4)

其中，在公式(4)中，K表示由HD像素y_k和构成关于该HD像素y_k的预测分块的SD像素X_1，k、X_2，k、...X_N，k构成的采样组数。

使公式(4)中的平方误差的和E最小(最小值)的分块系数W_n为使得和E对分块系数w_n的偏微分为0。因此，满足下面的公式。

$\frac{\∂E}{\∂w_n}=e_1\frac{\∂e_1}{\∂w_n}+e_2\frac{\∂e_2}{\∂w_n}+\·\·\·+e_k\frac{\∂e_{k2}}{\∂w_n}=0(n=\mathrm{1,2},\·\·\·,N)$ 公式(5)

现在，将上述公式(3)对分块系数w_n偏微分获得下面的公式。

$\frac{\∂e_k}{\∂w_1}=-x_{1,k},\frac{{\∂e}_k}{\∂w_2}=-x_{2,k},\·\·\·,\frac{\∂e_k}{\∂w_N}=-x_{N,k},(k=1,2,\·\·\·,K)$

公式(6)

公式(5)和(6)获得下面的公式。

$\underset{k=1}{\overset{k}{\mathrm{\Σ}}}{e}_k{x}_{1,k}=0,\underset{k=1}{\overset{k}{\mathrm{\Σ}}}{e}_k{x}_{2,k}=0,\·\·\·\underset{k=1}{\overset{k}{\mathrm{\Σ}}}{e}_k{x}_{N,k}=0$

公式(7)

将e_k的公式(3)代入公式(7)可以将公式(7)表示为下面的正规方程形式的公式(8)。

公式(8)

预备特定组数的HD像素y_k和SD像素x_n，k，可以形成与将获得的分块系数w_n的个数一样多的公式(8)的正规方程。因此，解公式(8)(注意，为了求解公式(8)，公式(8)中左侧关于分块系数w_n的矩阵必须是规则的)可以获得最优分块系数w_n。注意，例如扫描法(Gauss-Jordan消元)可以用于求解公式(8)。

如上所述，适应处理包括：取多个HD像素y₁、y₂...y_k作为老师数据以用作用于学习分块系数的老师，并取构成关于每个HD像素k的预测分块的SD像素X_1，k、X_2，k...X_N，K作为学生数据以用作用于学习分块系数的学生，并求解公式(8)，从而进行用于获得最优分块系数w_n的学习，并再利用分块系数w_n根据公式(1)进行将SD图像到HD图像的映射(转换)。

下文中，还将分块系数称为预测系数。

注意，适应处理不同于简单的内插处理等的地方在于，例如，不是再现包括在SD图像中的分量，而是再现包括在HD图像中的分量。也就是说，在适应处理中，通过只看公式(1)，其看上去与利用所谓的内插过滤器的内插处理相同，但是相当于内插过滤器的分块系数的分块系数w_n是通过利用作为老师数据的HD图像和作为学生数据的SD图像的学习获得的，因此可以再现包括在HD图像中的分量。从而，适应处理可以说成是处理，其如同所说的那样象图像产生(分辨率成像)那样起效果。

现在，根据采用的老师数据y和现实世界x的组合类型，可以在分块系数w_n学习中获得进行各种转换的分块系数w_n。

也就是说，例如，在取HD图像为老师数据y并取其中在该HD图像上增加噪音或斑点的SD图像作为学生数据x的情况下，可以获得用于将图像转换为除去其噪音和斑点的图像的分块系数w_n。另外，例如，在取HD图像为老师数据y并取其中降低所述HD图像的分辨率的SD图像作为学生数据x的情况下，可以获得用于将图像转换为具有提高的分辨率的图像的分块系数w_n。另外，例如，在取图像作为老师数据y并取通过对图像的DCT(离散余弦变换)转换而获得的DCT系数作为学生数据x的情况下，可以获得用于将DCT系数转换为图像的分块系数w_n。

接着，将描述用于进行类型分类适应处理的常规图像处理装置的结构。

图1是示出常规图像处理装置的结构的方框图，其通过类型分类适应处理从作为SD图像的输入图像产生作为HD图像的输出图像。

在具有图1所示结构的图像处理装置中，将输入图像提供给类型分块选取单元11和预测分块选取单元15。

类型分块选取单元11从输入图像选取对应于关注的像素(下文中称为关注像素)的预定像素的类型分块，并将选取的类型分块与输入图像一起提供给特征检测单元12。特征检测单元12从由类型分块选取单元11提供的输入图像检测对应于关注像素的图像特征，并将检测的特征与类型分块一起提供给类型分类单元13。注意，图像的特征表示移动或帧内的像素值变化。

类型分类单元13基于从特征检测单元12提供的类型分块和特征进行对关注像素的分类，并将表示分类结果的类型代码提供给系数存储器14和预测分块选取单元15。

系数存储器14基于从类型分类单元13提供的类型代码将对应于关注像素的类型的分块系数提供给像素值计算单元16。

预测分块选取单元15基于从类型分类单元13提供的类型代码从输入图像选取对应于关注像素的预定预测分块。预测分块选取单元15将选取的预测分块提供给像素值计算单元16。

像素值预测单元16通过公式(1)所示的计算从由预测分块选取单元15提供的预测分块和由系数存储器14提供的分块系数预测HD图像中的关注像素的像素值。像素值预测单元16利用类型分类适应处理，输出由通过顺序取HD图像中的所有像素作为关注像素而预测的像素值构成的HD图像。

图2是示出利用常规图像处理装置产生图像的处理流程图，所述装置从作为SD图像的输入图像产生作为HD图像的输出图像。

在步骤S11，类型分块选取单元11从作为SD图像的输入图像选取对应于选择的关注像素的类型分块。在步骤S12中，特征检测单元12从输入图像检测对应于关注像素的特征。

在步骤S13，类型分类单元13基于通过步骤S11的处理选取的类型分块和通过步骤S12的处理检测的特征，分类关注像素的类型。

在步骤S14，预测分块选取单元15对应于通过步骤S13的处理的类型分类的结果，从输入图像选取对应于关注像素的预测分块。子阿步骤S15，系数存储器14对应于步骤S13的处理的类型分类的结果，从预先存储的预测系数读出对应于分类的类型的预测系数。

在步骤S16，像素预测单元16基于在步骤S14的处理中选取的预测分块和在步骤S15的处理中读出的预测系数，通过适应处理预测对应于关注像素的像素值。

在步骤S17中，图像处理装置确定是否完成对全部像素的预测，在确定仍未完成对全部像素的预测的情况下，流程返回步骤S11，以下一个像素作为关注像素，并重复类型分类和适应处理。

当在步骤S17中确定已经完成对全部像素的预测的情况下，该处理结束。

图3是示出常规图像处理装置的结构的方框图，其产生用于类型分类适应处理中的预测系数，以从作为SD图像的输入图像产生作为HD图像的输入图像。

被输入图3所示的图像处理装置的输入图像是作为HD图像的老师图像，并被提供给学生图像产生单元31和老师像素选取单元38。将老师图像中包括的像素(的像素值)用作老师数据。

学生图像产生单元31通过稀疏来自作为HD图像的输入老师图像的像素，而产生对应于老师图像的作为SD图像的学生图像，并将产生的学生图像提供给图像存储器32。

图像存储器32存储从学生图像产生单元31提供的作为SD图像的学生图像，并将存储的学生图像提供给类型分块选取单元33和预测分块选取单元36。

类型分块选取单元33顺序选择关注像素，从学生图像选取对应于选择的关注像素的类型分块，并将选取的类型分块与学生图像一起提供给特征检测单元34。特征检测单元从学生图像检测对应于关注像素的特征，并将检测的特征与类型分块一起提供给类型分类单元35。

类型分类单元35基于从特征检测单元34提供的类型分块和特征分类关注像素的类型，并将表示分类的类型的类型代码提供给预测分块选取单元36和学习存储器39。

预测分块选取单元36基于从类型分类单元35提供的类型代码，选取对应于来自从图像存储器32提供的学生图像的分类的类型的预测分块，并将选取的预测分块提供给补充计算单元37。

老师像素选取单元38选取老师数据，即老师图像的关注像素，并将选取的老师数据提供给补充计算单元37。

补充计算单元37将作为HD像素的老师数据和作为SD像素的预测分块补充给公式(8)中的正规方程，并将补充有老师数据和预测分块的正规方程提供给学习存储器39。

学习存储器39基于从类型分类单元35提供的类型代码，存储从补充计算单元37提供的每个类型的正规方程。学习存储器39将被补充老师数据和预测分块、并为每个类型存储的正规方程提供给正规方程计算单元40。

正规方程计算单元40通过扫描法求解从学习存储器39提供的正规方程，并获得每个类型的预测系数。正规方程计算单元40将每个类型的预测系数提供给系数存储器41。

系数存储器41存储从正规方程计算单元40提供的每个类型的预测系数。

图4是示出常规图像处理装置的学习处理的流程图，所述装置产生用于类型分类适应处理的预测系数，以从作为SD图像的输入图像产生作为HD图像的输出图像。

在步骤S31，学生图像产生单元31从作为老师图像的输入图像产生学生图像。在步骤S32，类型分块选取单元333顺序选择关注像素，并从学生图像选取对应于选择的关注像素的类型分块。

在步骤S33，特征检测单元34从学生图像检测对应于关注像素的特征。在步骤S34，类型分类单元35基于通过步骤S32的处理选取的类型分块和通过步骤S33的处理检测的特征分类关注像素的类型。

在步骤S35，预测分块选取单元36基于通过步骤S34的处理分类的类型从学生图像选取对应于关注像素的预测分块。

在步骤S36，老师像素选取单元38从作为老师图像的输入图像选取关注像素，即选取老师像素(老师数据)。

在步骤S37，补充计算单元37进行计算，以将在步骤S35的处理中选取的预测分块和在步骤S36的处理中选取的老师像素(老师数据)补充入正规方程。

在步骤S38，图像处理装置确定是否完成对老师图像中的全部像素的补充处理，在确定仍未完成对全部像素的补充处理的情况下，流程返回步骤S32，并重复以下处理，将未被取为关注像素的像素取为关注像素，选取预测分块和老师像素，并将其补充给正规方程。

当在步骤S38中确定已经完成对老师图像中的全部像素的补充处理的情况下，流程进到步骤S39，其中正规方程计算单元40计算已经被补充预测分块和老师像素的正规方程，从而获得预测系数。

在步骤S40，图像处理装置确定是否对全部类型计算预测系数，在确定仍未对全部类型计算预测系数的情况下，流程返回步骤S39，并重复进行用于计算正规方程以获得预测系数的处理。

当在步骤S40中确定已经对全部类型计算预测系数的情况下，该处理结束。

另外，日本未审查的专利申请公开号9-74543不仅公开了基于输入图像的水平分布图形对输入图像的类型分类，还公开了基于输入图像的移动分类输入图像的类型，以产生类型代码。

然而，上述中没有考虑图像数据的连续性的图像处理。

发明内容

考虑到上述的当前情况作出了本发明，且本发明的一个目的是使用数据连续性以能够获得具有更高准确度和精确度的处理结果。

根据本发明的图像处理装置包括：图像数据连续性检测装置，用于对对应于所述高质量图像数据中的第一关注像素的所述输入图像数据中的多个第一周边像素，检测对应于所述现实世界光信号的连续性的第一图像数据连续性，并用于对对应于所述高质量图像数据中的第二关注像素的所述输入图像数据中的多个第二周边像素，检测对应于所述现实世界光信号的连续性的第二图像数据连续性，所述第二关注像素在时间上或空间上相邻于所述第一关注像素；第一选取装置，用于基于由所述图像数据连续性检测装置检测的所述第一图像数据连续性选取对应于所述第一关注像素的所述输入图像数据中的多个第三周边像素，并基于由所述图像数据连续性检测装置检测的所述第二图像数据连续性选取对应于所述第二关注像素的所述输入图像数据中的多个第四周边像素；第二选取装置，用于基于由所述图像数据连续性检测装置检测的所述第一图像数据连续性选取对应于所述第一关注像素的所述输入图像数据中的多个第五周边像素，并基于由所述图像数据连续性检测装置检测的所述第二图像数据连续性选取对应于所述第二关注像素的所述输入图像数据中的多个第六周边像素；第一特征检测装置，用于检测由所述第一选取装置选取的所述多个第三周边像素的第一特征，并检测由所述第一选取装置选取的所述多个第四周边像素的第二特征；第一预测装置，用于基于由所述第一特征检测装置检测的所述第一特征从由所述第二选取装置选取的所述多个第五周边像素预测所述第一关注像素，并基于由所述第一特征检测装置检测的所述第二特征从由所述第二选取装置选取的所述多个第六周边像素预测所述第二关注像素，并输出所述第一关注像素的第一预测值和所述第二关注像素的第二预测值；以及选择性输出装置，用于检测由所述第一预测装置预测的所述第一关注像素的所述第一预测值、由所述第一预测装置预测的所述第二关注像素的所述第二预测值、以及位于在时间方向或空间方向上至少包围所述第一关注像素和所述第二关注像素的位置上的所述输入图像中的相应像素的像素值之间的关系，并且根据检测结果选择性地输出从所述第一预测装置输出的所述第一关注像素的所述第一预测值和所述第二关注像素的所述第二预测值。

该图像处理装置还可以包括：第三选取装置，用于选取对应于所述高质量图像数据中的所述第一关注像素的所述输入图像数据中的多个第七周边像素，并选取对应于所述高质量图像数据中的所述第二关注像素的所述输入图像数据中的多个第八周边像素；第四选取装置，用于选取对应于所述第一关注像素的所述输入图像数据中的多个第九周边像素，并选取对应于所述第二关注像素的所述输入图像数据中的多个第十周边像素；第二特征检测装置，用于检测由所述第三选取装置选取的所述多个第七周边像素的第三特征，并检测由所述第三选取装置选取的所述多个第八周边像素的第四特征；第二预测装置，用于基于由所述第二特征检测装置检测的所述第三特征从由所述第四选取装置选取的所述多个第九周边像素预测所述第一关注像素，并基于由所述第二特征检测装置检测的所述第四特征从由所述第四选取装置选取的所述多个第十周边像素预测所述第二关注像素，并输出所述第一关注像素的第三预测值和所述第二关注像素的第四预测值；其中，所述选择性输出装置检测由所述第一预测装置预测的所述第一关注像素的所述第一预测值、由所述第一预测装置预测的所述第二关注像素的所述第二预测值、以及所述输入图像中的相应像素的像素值之间的关系，并且根据检测结果选择性地输出由所述第一预测值和所述第二预测值构成的第一组或由所述第三预测值和所述第四预测值构成的第二组。

在通过从所述相应像素的像素值减去所述第一关注像素的所述第一预测值和所述第二关注像素的所述第二预测值获得的绝对值小于预定阈值的情况下，所述选择性输出装置可以选择性地输出由所述第一预测值和所述第二预测值构成的所述第一组预测值。

根据本发明的图像处理方法包括：图像数据连续性检测步骤，用于对对应于所述高质量图像数据中的第一关注像素的所述输入图像数据中的多个第一周边像素，检测对应于所述现实世界光信号的连续性的第一图像数据连续性，并用于对对应于所述高质量图像数据中的第二关注像素的所述输入图像数据中的多个第二周边像素，检测对应于所述现实世界光信号的连续性的第二图像数据连续性，所述第二关注像素在时间上或空间上相邻于所述第一关注像素；第一选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述第一图像数据连续性选取对应于所述第一关注像素的所述输入图像数据中的多个第三周边像素，并基于在所述图像数据连续性检测步骤中检测的所述第二图像数据连续性选取对应于所述第二关注像素的所述输入图像数据中的多个第四周边像素；第二选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述第一图像数据连续性选取对应于所述第一关注像素的所述输入图像数据中的多个第五周边像素，并基于在所述图像数据连续性检测步骤中检测的所述第二图像数据连续性选取对应于所述第二关注像素的所述输入图像数据中的多个第六周边像素；特征检测步骤，用于检测在所述第一选取步骤中选取的所述多个第三周边像素的第一特征，并检测在所述第一选取步骤中选取的所述多个第四周边像素的第二特征；预测步骤，用于基于在所述特征检测步骤中检测的所述第一特征从在所述第二选取步骤中选取的所述多个第五周边像素预测所述第一关注像素，并基于在所述特征检测步骤中检测的所述第二特征从在所述第二选取步骤中选取的所述多个第六周边像素预测所述第二关注像素，并输出所述第一关注像素的第一预测值和所述第二关注像素的第二预测值；以及选择性输出步骤，用于检测在所述预测步骤中预测的所述第一关注像素的所述第一预测值、在所述预测步骤中预测的所述第二关注像素的所述第二预测值、以及位于在时间方向或空间方向上至少包围所述第一关注像素和所述第二关注像素的位置上的所述输入图像中的相应像素的像素值之间的关系，并且根据检测结果选择性地输出所述第一关注像素的所述第一预测值和所述第二关注像素的所述第二预测值。

根据本发明的存储在第一记录介质中的程序包括：图像数据连续性检测步骤，用于对对应于所述高质量图像数据中的第一关注像素的所述输入图像数据中的多个第一周边像素，检测对应于所述现实世界光信号的连续性的第一图像数据连续性，并用于对对应于所述高质量图像数据中的第二关注像素的所述输入图像数据中的多个第二周边像素，检测对应于所述现实世界光信号的连续性的第二图像数据连续性，所述第二关注像素在时间上或空间上相邻于所述第一关注像素；第一选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述第一图像数据连续性选取对应于所述第一关注像素的所述输入图像数据中的多个第三周边像素，并基于在所述图像数据连续性检测步骤中检测的所述第二图像数据连续性选取对应于所述第二关注像素的所述输入图像数据中的多个第四周边像素；第二选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述第一图像数据连续性选取对应于所述第一关注像素的所述输入图像数据中的多个第五周边像素，并基于在所述图像数据连续性检测步骤中检测的所述第二图像数据连续性选取对应于所述第二关注像素的所述输入图像数据中的多个第六周边像素；第一特征检测步骤，用于检测在所述第一选取步骤中选取的所述多个第三周边像素的第一特征，并检测在所述第一选取步骤中选取的所述多个第四周边像素的第二特征；预测步骤，用于基于在所述特征检测步骤中检测的所述第一特征从在所述第二选取步骤中选取的所述多个第五周边像素预测所述第一关注像素，并基于在所述特征检测步骤中检测的所述第二特征从在所述第二选取步骤中选取的所述多个第六周边像素预测所述第二关注像素，并输出所述第一关注像素的第一预测值和所述第二关注像素的第二预测值；以及选择性输出步骤，用于检测在所述预测步骤中预测的所述第一关注像素的所述第一预测值、在所述预测步骤中预测的所述第二关注像素的所述第二预测值、以及位于在时间方向或空间方向上至少包围所述第一关注像素和所述第二关注像素的位置上的所述输入图像中的相应像素的像素值之间的关系，并且根据检测结果选择性地输出所述第一关注像素的所述第一预测值和所述第二关注像素的所述第二预测值。

根据本发明的第一程序使计算机执行：图像数据连续性检测步骤，用于对对应于所述高质量图像数据中的第一关注像素的所述输入图像数据中的多个第一周边像素，检测对应于所述现实世界光信号的连续性的第一图像数据连续性，并用于对对应于所述高质量图像数据中的第二关注像素的所述输入图像数据中的多个第二周边像素，检测对应于所述现实世界光信号的连续性的第二图像数据连续性，所述第二关注像素在时间上或空间上相邻于所述第一关注像素；第一选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述第一图像数据连续性选取对应于所述第一关注像素的所述输入图像数据中的多个第三周边像素，并基于在所述图像数据连续性检测步骤中检测的所述第二图像数据连续性选取对应于所述第二关注像素的所述输入图像数据中的多个第四周边像素；第二选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述第一图像数据连续性选取对应于所述第一关注像素的所述输入图像数据中的多个第五周边像素，并基于在所述图像数据连续性检测步骤中检测的所述第二图像数据连续性选取对应于所述第二关注像素的所述输入图像数据中的多个第六周边像素；特征检测步骤，用于检测在所述第一选取步骤中选取的所述多个第三周边像素的第一特征，并检测在所述第一选取步骤中选取的所述多个第四周边像素的第二特征；预测步骤，用于基于在所述特征检测步骤中检测的所述第一特征从在所述第二选取步骤中选取的所述多个第五周边像素预测所述第一关注像素，并基于在所述特征检测步骤中检测的所述第二特征从在所述第二选取步骤中选取的所述多个第六周边像素预测所述第二关注像素，并输出所述第一关注像素的第一预测值和所述第二关注像素的第二预测值；以及选择性输出步骤，用于检测在所述预测步骤中预测的所述第一关注像素的所述第一预测值、在所述预测步骤中预测的所述第二关注像素的所述第二预测值、以及位于在时间方向或空间方向上至少包围所述第一关注像素和所述第二关注像素的位置上的所述输入图像中的相应像素的像素值之间的关系，并且根据检测结果选择性地输出所述第一关注像素的所述第一预测值和所述第二关注像素的所述第二预测值。

根据本发明的学习装置包括：图像数据连续性检测装置，用于对对应于所述高质量图像数据中的关注像素的所述输入图像数据中的多个第一周边像素，检测对应于所述现实世界光信号的连续性的图像数据连续性；第一选取装置，用于基于由所述图像数据连续性检测装置检测的所述图像数据连续性选取对应于所述高质量图像数据中的所述关注像素的所述输入图像数据中的多个第二周边像素；第二选取装置，用于基于由所述图像数据连续性检测装置检测的所述图像数据连续性选取对应于所述关注像素的所述输入图像数据中的多个第三周边像素；特征检测装置，用于检测由所述第一选取装置选取的所述多个第二周边像素的特征；用于学习所述预测装置的学习装置，用于对由所述特征检测装置检测的每个所述特征，从由所述第二选取装置选取的所述多个第三周边像素预测所述关注像素。

根据本发明的学习方法包括：图像数据连续性检测步骤，用于对对应于所述高质量图像数据中的关注像素的所述输入图像数据中的多个第一周边像素，检测对应于所述现实世界光信号的连续性的图像数据连续性；第一选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述图像数据连续性选取对应于所述高质量图像数据中的所述关注像素的所述输入图像数据中的多个第二周边像素；第二选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述图像数据连续性选取对应于所述关注像素的所述输入图像数据中的多个第三周边像素；特征检测步骤，用于检测在所述第一选取步骤中选取的所述多个第二周边像素的特征；用于学习所述预测装置的学习步骤，用于对在所述特征检测步骤中检测的每个所述特征，从在所述第二选取步骤中选取的所述多个第三周边像素预测所述关注像素。

根据本发明的存储在第二记录介质中的程序包括：图像数据连续性检测步骤，用于对对应于所述高质量图像数据中的关注像素的所述输入图像数据中的多个第一周边像素，检测对应于所述现实世界光信号的连续性的图像数据连续性；第一选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述图像数据连续性选取对应于所述高质量数据中的所述关注像素的所述输入图像数据中的多个第二周边像素；第二选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述图像数据连续性选取对应于所述关注像素的所述输入图像数据中的多个第三周边像素；特征检测步骤，用于检测在所述第一选取步骤中选取的所述多个第二周边像素的特征；用于学习所述预测装置的学习步骤，用于对在所述特征检测步骤中检测的每个所述特征，从在所述第二选取步骤中选取的所述多个第三周边像素预测所述关注像素。

根据本发明的第二程序使计算机执行：图像数据连续性检测步骤，用于对对应于所述高质量图像数据中的关注像素的所述输入图像数据中的多个第一周边像素，检测对应于所述现实世界光信号的连续性的图像数据连续性；第一选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述图像数据连续性选取对应于所述高质量数据中的所述关注像素的所述输入图像数据中的多个第二周边像素；第二选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述图像数据连续性选取对应于所述关注像素的所述输入图像数据中的多个第三周边像素；特征检测步骤，用于检测在所述第一选取步骤中选取的所述多个第二周边像素的特征；用于学习所述预测装置的学习步骤，用于对在所述特征检测步骤中检测的每个所述特征，从在所述第二选取步骤中选取的所述多个第三周边像素预测所述关注像素。

图像处理装置可以是单独的装置，或者可以是进行图像处理的块。

学习装置可以是单独的装置，或者可以是进行学习处理的块。

对对应于所述高质量图像数据中的第一关注像素的所述输入图像数据中的多个第一周边像素，检测对应于所述现实世界光信号的连续性的第一图像数据连续性，对对应于所述高质量图像数据中的第二关注像素的所述输入图像数据中的多个第二周边像素，检测对应于所述现实世界光信号的连续性的第二图像数据连续性，所述第二关注像素在时间上或空间上相邻于所述第一关注像素；基于检测的所述第一图像数据连续性选取对应于所述第一关注像素的所述输入图像数据中的多个第三周边像素，并基于检测的所述第二图像数据连续性选取对应于所述第二关注像素的所述输入图像数据中的多个第四周边像素；基于检测的所述第一图像数据连续性选取对应于所述第一关注像素的所述输入图像数据中的多个第五周边像素，并基于检测的所述第二图像数据连续性选取对应于所述第二关注像素的所述输入图像数据中的多个第六周边像素；检测选取的所述多个第三周边像素的第一特征，并检测选取的所述多个第四周边像素的第二特征；基于检测的所述第一特征从选取的所述多个第五周边像素预测所述第一关注像素，并基于检测的所述第二特征从选取的所述多个第六周边像素预测所述第二关注像素，并输出所述第一关注像素的第一预测值和所述第二关注像素的第二预测值；检测预测的所述第一关注像素的所述第一预测值、预测的所述第二关注像素的所述第二预测值、以及位于在时间方向或空间方向上至少包围所述第一关注像素和所述第二关注像素的位置上的所述输入图像数据中的相应像素的像素值之间的关系，并且根据检测结果选择性地输出所述第一关注像素的所述第一预测值和所述第二关注像素的所述第二预测值。

对对应于所述高质量图像数据中的关注像素的所述输入图像数据中的多个第一周边像素，检测对应于所述现实世界光信号的连续性的图像数据连续性；基于检测的所述图像数据连续性选取对应于所述高质量图像数据中的所述关注像素的所述输入图像数据中的多个第二周边像素；基于检测的所述图像数据连续性选取对应于所述关注像素的所述输入图像数据中的多个第三周边像素；检测选取的所述多个第二周边像素的特征；以及对每个特征学习预测装置，该预测装置用于从选取的所述多个第三周边像素预测所述关注像素。

附图说明

图1是示出常规图像处理装置的结构的方框图；

图2是示出常规图像产生处理的流程图；

图3是示出用于产生预测系数的常规图像处理装置的结构的方框图；

图4是示出常规学习处理的流程图；

图5是示出根据本发明的图像处理装置的实施例的结构的方框图；

图6是示出用于产生具有更高分辨率的输出图像的图像产生处理的流程图；

图7示出了图像传感器上的像素布置的实例；

图8示出了作为CCD的检测装置的操作；

图9示出了被投影到对应于像素D到F的检测元件上的光与像素值之间的关系；

图10示出了通过时间、被投影到对应于一个像素的检测元件上的光以及像素值之间的关系；

图11示出了现实世界中线形对象的图像实例；

图12示出了通过实际图像拍摄获得的图像数据的像素值的实例；

图13是图像数据的示意图；

图14示出了具有不同于背景颜色的单色的线形的现实世界1的图像的实例；

图15示出了通过实际图像拍摄获得的图像数据的像素值的实例；

图16是图像数据的示意图；

图17是示出连续性分量选取单元的结构的方框图；

图18示出了具有数据连续性的输入图像上的活度；

图19示出了用于检测活度的块；

图20示出了相对于活度的数据连续性的角度；

图21是示出数据连续性检测单元的详细结构的方框图；

图22示出了一组像素；

图23示出了像素组的位置与数据连续性角度的关系；

图24是示出用于检测数据连续性的处理的流程图；

图25示出了在检测在时间方向和空间方向上的数据连续性的角度时选取的一组像素；

图26是示出数据连续性检测单元的另一详细结构的方框图；

图27示出了由对应于设置直线的角度范围的个数的像素构成的一组像素；

图28示出了设置直线的角度范围；

图29示出了设置直线的角度范围、像素组数、以及每个像素组的像素个数；

图30示出了像素组数和每个像素组的像素个数；

图31示出了像素组数和每个像素组的像素个数；

图32示出了像素组数和每个像素组的像素个数；

图33示出了像素组数和每个像素组的像素个数；

图34示出了像素组数和每个像素组的像素个数；

图35示出了像素组数和每个像素组的像素个数；

图36示出了像素组数和每个像素组的像素个数；

图37示出了像素组数和每个像素组的像素个数；

图38是示出用于检测数据连续性的处理的流程图；

图39是示出数据连续性检测单元的另一详细结构的方框图；

图40是示出数据连续性检测单元的再一详细结构的方框图；

图41示出了块的实例；

图42示出了用于计算关注块和参考块之间的像素值之差的绝对值的处理；

图43示出了关注像素附近的像素的位置与具有角度θ的直线之间在空间方向X上的距离；

图44示出了平移量γ和角度θ之间的关系；

图45示出了相对于平移量γ，关注像素附近的像素的位置与经过关注像素并具有角度θ的直线之间在空间方向X上的距离；

图46示出了这样的参考块，其中相对于经过关注像素并具有角度θ的直线在空间方向X轴上的距离最小；

图47示出了用于平分将要检测的数据连续性的角度的范围的处理；

图48是示出用于检测数据连续性的处理的流程图；

图49示出了在检测空间方向和时间方向中的数据连续性的角度时选取的块；

图50是示出数据连续性检测单元的结构的方框图，所述单元执行基于输入图像的分量信号检测数据连续性的处理；

图51是示出数据连续性检测单元的结构的方框图，所述单元执行基于输入图像的分量信号检测数据连续性的处理；

图52是示出数据连续性检测单元的另一结构的方框图；

图53示出了输入图像中以参考轴为参考的数据连续性的角度；

图54示出了输入图像中以参考轴为参考的数据连续性的角度；

图55示出了输入图像中以参考轴为参考的数据连续性的角度；

图56示出了像素值相对于空间方向中的像素的位置的变化与输入图像中的回归线之间的关系；

图57示出了回归线A与表示空间方向X的轴之间的角度，所述轴例如为参考轴；

图58示出了区域的实例；

图59是示出用于利用具有图52所示结构的数据连续性检测单元检测数据连续性的处理的流程图；

图60是示出采用本发明的用于检测细线或二值边缘的角度作为数据连续性信息的数据连续性检测单元的结构；

图61示出了对数据连续性信息的检测方法；

图62示出了对数据连续性信息的检测方法；

图63示出了图60中数据连续性检测单元的另一详细结构；

图64示出了水平/垂直确定处理；

图65示出了水平/垂直确定处理；

图66A示出了现实世界中的细线与由传感器成像的细线之间的关系；

图66B示出了现实世界中的细线与由传感器成像的细线之间的关系；

图66C示出了现实世界中的细线与由传感器成像的细线之间的关系；

图67A示出了现实世界中的细线与背景之间的关系；

图67B示出了现实世界中的细线与背景之间的关系；

图68A示出了由传感器成像的图像中的细线与背景之间的关系；

图68B示出了由传感器成像的图像中的细线与背景之间的关系；

图69A示出了由传感器成像的图像中的细线与背景之间的关系的实例；

图69B示出了由传感器成像的图像中的细线与背景之间的关系的实例；

图70A示出了现实世界的图像中的细线与背景之间的关系；

图70B示出了现实世界的图像中的细线与背景之间的关系；

图71A示出了由传感器成像的图像中的细线与背景之间的关系；

图71B示出了由传感器成像的图像中的细线与背景之间的关系；

图72A示出了由传感器成像的图像中的细线与背景之间的关系的实例；

图72B示出了由传感器成像的图像中的细线与背景之间的关系的实例；

图73示出了获得细线角度的模型；

图74示出了获得细线角度的模型；

图75A示出了对应于关注像素的动态范围块中的像素的最大值和最小值；

图75B示出了对应于关注像素的动态范围块中的像素的最大值和最小值；

图76A示出了如何获得细线角度；

图76B示出了如何获得细线角度；

图76C示出了如何获得细线角度；

图77示出了如何获得细线角度；

图78示出了动态范围块的选取块；

图79示出了最小二乘法求解；

图80示出了最小二乘法求解；

图81A示出了二值边缘；

图81B示出了二值边缘；

图81C示出了二值边缘；

图82A示出了由传感器成像的图像的二值边缘；

图82B示出了由传感器成像的图像的二值边缘；

图83A示出了由传感器成像的图像的二值边缘的实例；

图83B示出了由传感器成像的图像的二值边缘的实例；

图84A示出了由传感器成像的图像的二值边缘；

图84B示出了由传感器成像的图像的二值边缘；

图85示出了用于获得二值边缘的角度的模型；

图86A示出了用于获得二值边缘的角度的方法；

图86B示出了用于获得二值边缘的角度的方法；

图86C示出了用于获得二值边缘的角度的方法；

图87示出了用于获得二值边缘的角度的方法；

图88是示出用于检测细线或二值边缘沿数据连续性的角度的处理的流程图；

图89是示出数据选取处理的流程图；

图90是示出对正规方程的补充处理的流程图；

图91A示出了通过利用本发明获得细线的梯度与利用相关值获得的细线角度间的比较；

图91B示出了通过利用本发明获得细线的梯度与利用相关值获得的细线角度间的比较；

图92A示出了通过利用本发明获得二值边缘的梯度与利用相关值获得的细线角度间的比较；

图92B示出了通过利用本发明获得二值边缘的梯度与利用相关值获得的细线角度间的比较；

图93是示出应用本发明的用于检测混合比值作为数据连续性信息的数据连续性检测单元的结构的方框图；

图94A示出了如何获得混合比值；

图94B示出了如何获得混合比值；

图94C示出了如何获得混合比值；

图95是示出检测沿数据连续性的混合比值的流程图；

图96是示出对正规方程的补充处理的流程图；

图97A示出了细线的混合比值分布的实例；

图97B示出了细线的混合比值分布的实例；

图98A示出了二值边缘的混合比值分布的实例；

图98B示出了二值边缘的混合比值分布的实例；

图99示出了对混合比值的线性模拟；

图100A示出了用于获得对象的移动作为数据连续性信息的方法；

图100B示出了用于获得对象的移动作为数据连续性信息的方法；

图101A示出了用于获得对象的移动作为数据连续性信息的方法；

图101B示出了用于获得对象的移动作为数据连续性信息的方法；

图102A示出了用于获得根据对象的移动的混合比值作为数据连续性信息的方法；

图102B示出了用于获得根据对象的移动的混合比值作为数据连续性信息的方法；

图102C示出了用于获得根据对象的移动的混合比值作为数据连续性信息的方法；

图103示出在获得根据对象的移动的混合比值作为数据连续性信息时对混合比值的线性模拟；

图104示出了在常规类型分块选取处理；

图105示出了利用根据本发明的图像处理装置的类型分块选取处理；

图106示出了基于数据连续性对选为类型分块的像素的位置的确定；

图107示出了基于数据连续性对选为类型分块的像素的位置的确定；

图108示出了利用根据本发明的图像处理装置的类型分块选取处理；

图109示出了输入图像的实例；

图110示出了输入图像的原始图像；

图111示出了通过常规类型分类适应处理产生的图像；

图112示出了被产生为相应像素和中心像素总是相同的图像；

图113示出了由根据本发明的图像处理装置产生的图像；

图114示出了输入图像的实例；

图115示出了输入图像的原始图像；

图116示出了通过常规类型分类适应处理产生的图像；

图117示出了被产生为相应像素和中心像素总是相同的图像；

图118示出了由根据本发明的图像处理装置产生的图像；

图119为示出根据本发明的学习装置的实施例的结构的方框图；

图120是示出学习处理的流程图；

图121是示出根据本发明的学习装置的实施例的另一结构的方框图；

图122示出了关注像素；

图123示出了提供给图像传感器的像素布置和对应于水平二倍密度图像的像素的区域；

图124示出了对应于被投影到区域a到r上的光的像素的像素值；

图125示出了包括来自像素值预测单元的预测值的输出图像的实例，其中公式(53)中的关系不成立；

图126示出了用来自像素值预测单元的预测值替换其中公式(53)的关系不成立的来自像素值预测单元的预测值的输出图像的实例；

图127是示出图像产生处理的流程图；

图128示出了在产生时间二倍密度图像的情况下的关注像素；

图129示出了关注像素y⁽¹⁾、关注像素y⁽²⁾、以及在时间方向上包围关注像素y⁽¹⁾和关注像素y⁽²⁾的相应像素x⁽⁵⁾之间的关系；

图130是示出学习装置的实施例的结构的方框图；

图131是示出学习处理的流程图；

图132是示出个人计算机的结构实例的方框图。

具体实施方式

图5是示出根据本发明的图像处理装置的实施例的结构的方框图。具有图5所示的结构的图像处理装置获取输入图像，产生并输出分辨率在屏幕的水平方向和在垂直方向上分别是输入的输入图像的两倍的图像。

在图5所示的图像处理装置中，例如，输入作为输入图像的实例的SD图像，从输入SD图像检测数据连续性，并基于检测的数据连续性在SD图像上进行类型分类适应处理，从而产生HD图像。下面将描述数据连续性。

也就是说，该图像处理装置包括数据连续性检测单元101、类型分块选取单元102、特征检测单元103、类型分类单元104、系数存储器105、预测分块选取单元106、以及像素值预测单元107。

将输入图像处理装置的、经过空间分辨率产生的输入图像提供给数据连续性检测单元101、类型分块选取单元102、特征检测单元103、以及预测分块选取单元106。

数据连续性检测单元101从输入图像检测数据连续性，并将表示检测的连续性的数据连续性信息提供给类型分块选取单元102和预测分块选取单元106。数据连续性信息包括例如具有数据连续性的像素区域的方向(时间方向和空间方向角度或梯度)(下文中还称为数据连续性方向)。下文将描述数据连续性检测单元101的详细结构。

类型分块选取单元102顺序取将通过类型分类适应处理获得的HD图像的HD像素中的一个作为关注像素。类型分块选取单元102基于由数据连续性检测单元101检测的数据连续性，选取对应于关注像素的输入图像的多个周边像素，并取选取的输入图像的多个周边像素作为类型分块。也就是说，类型分块选取单元102基于由数据连续性检测单元101检测的数据连续性，从输入图像选取将被用于对关注像素的类型分类的类型分块，并将选取的类型分块输出给特征检测单元103。

例如，类型分块选取单元102基于数据连续性取位于在时间或空间上接近从输入图像选取的关注像素的位置的多个像素作为类型分块，并将其输出给特征检测单元103。

注意，数据连续性检测单元101、类型分块选取单元102、以及预测分块选取单元106都具有未示出的在其内部上端的帧存储器，以例如在帧(或半帧)增量上临时存储输入图像处理装置的SD图像。在本实施例中，数据连续性检测单元101、类型分块选取单元102、以及预测分块选取单元106通过带切换可以在内置帧存储器中存储多帧输入图像，从而，即使在输入图像处理装置的输入图像为移动图像的情况下也可以进行实时处理。

在该情况下，由于将帧存储器提供给数据连续性检测单元101、类型分块选取单元102以及预测分块选取单元106中的每个，从而数据连续性检测单元101、类型分块选取单元102以及预测分块选取单元106中的每个可以立即读出要求的帧，并因此可以以更高的速度进行处理。

另外，可以这样设置图像处理装置，其中在输入端提供单帧存储器，通过带切换存储多帧输入图像，并将存储的输入图像提供给数据连续性检测单元101、类型分块选取单元102、以及预测分块选取单元106。在该情况下，单帧存储器已经足够，并可以使图像处理装置具有更简单的结构。

例如，类型分块选取单元102基于由数据连续性检测单元101检测的数据连续性，从输入图像选取最接近关注像素位置的水平×垂直上的3×3像素，从而获取关于关注像素的类型分块。

从而，类型分块选取单元102将选取的分块提供给特征检测单元103。

特征检测单元103检测类型分块或输入图像的特征，并将检测的特征提供给类型分类单元104。

例如，特征检测单元103基于类型分块或输入图像检测输入图像的像素的移动矢量，并将检测的移动矢量提供给类型分类单元104作为特征。另外，例如，特征检测单元103基于输入图像的类型分块检测类型分块或输入图像的多个像素的像素值的空间或时间变化(活度)，并将检测的像素值变化提供给类型分类单元104作为特征。

另外，例如，特征检测单元103基于类型分块或输入图像检测类型分块或输入图像的多个像素的像素值的时间变化的梯度，并将检测的像素值的时间变化的梯度提供给类型分类单元104作为特征。

注意，可以使用像素值的Laplacian、Sobel、散射等作为特征。

特征检测单元103将类型分块与特征分离地提供给类型分类单元104。

类型分类单元104基于来自特征检测单元103的特征或类型分块将关注像素分类到一个或多个类型中的一个类型，并将对应于关注像素的结果类型代码提供给系数存储器105和预测分块选取单元106。例如，类型分类单元104对来自类型分块选取单元102的类型分块进行1位ADRC(适应动态范围编码)，并取结果ADRC代码作为类型代码。

注意，在K位ADRC处理中，检测出构成类型分块的输入图像的像素值的最大值MAX和最小值MIN，取DR＝MAX-MIN作为局部动态范围，并基于该动态范围DR将构成类型分块的像素值重新量子化为K位。也就是说，从构成类型分块的每个像素值中减去最小值MIN，并用减法值除以DR/2^K(量子化)。因此，在对类型分块进行1位ADRC处理的情况下，将构成类型分块的每个像素值形成位1位。在该情况下，将通过以预定次序排列如上述获得的构成类型分块的每个像素值的1位值获得的位串输出作为ADRC代码。

注意，然而，例如还可以通过取构成类型分块的像素值作为矢量分量、并进行对矢量的矢量量子化等，来进行类型分类。另外，可以对类型分类进行单类型类型分类。在该情况下，类型分类单元104输出与提供给其的类型分块无关的固定类型代码。

另外，例如，类型分类单元104取来自特征检测单元103的特征作为没有变化的类型代码。另外，例如，类型分类单元104对来自特征检测单元103的多个特征进行正交转换，并取获得的值作为类型代码。

例如，类型分类单元104组合(合成)基于类型分块的类型代码和基于特征的类型分块，从而产生最终的类型代码，并将最终的类型代码提供给系数存储器105和预测分块选取单元106。

注意，可以这样设置，其中取基于类型分块的类型代码和基于特征的类型代码之间的一个作为最终类型代码。

系数存储器105存储通过学习老师数据和学生数据之间的关系获得的一个或多个类型的每个的分块系数，所述老师数据是作为用作用于学习的老师的输出图像的实例的HD图像的HD像素，所述学生数据是作为用作用于学习的学生的输入图像的实例的SD图像的SD像素。当从类型分类单元104提供关注像素的类型代码，系数存储器105读出存储在对应于类型代码的地址中的分块系数，从而获得关注像素的类型的分块系数，并将其提供给像素值预测单元107。下面将描述对存储在系数存储器105中的分块系数的学习方法。

预测分块选取单元106基于由数据连续性检测单元101检测的数据连续性，从输入图像选取对应于关注像素的多个周边像素，并取输入图像的选取的多个周边像素作为预测分块。也就是说，预测分块选取单元106基于由数据连续性检测单元101检测的数据连续性和从类型分类单元104提供的类型代码，从输入图像选取预测分块，用于在像素值预测单元107中获得关注像素(的预测值)，并将选取的预测分块提供给像素值预测单元107。

例如，预测分块选取单元106基于数据连续性从输入图像选取位于在空间上或在时间上接近关注像素的位置的多个像素，以将其作为预测分块，并将其提供给像素值预测单元107。例如，预测分块选取单元106基于由数据连续性检测单元101检测的数据连续性，从输入图像选取最接近关注像素的位置的水平×垂直上的3×3像素，从而取得关于关注像素的预测分块。

注意，将被取为类型分块的像素值和将被取为预测分块的像素值可以相同或不同。也就是说，类型分块和预测分块可以各自单独地构成(产生)。另外，各个类型的被取为预测分块的像素值可以不同或相同。

注意，类型分块和预测分块的结构不限于3×3像素值。

像素值预测单元107利用从系数存储器105提供的关注像素类型的分块系数w₁、w₂...、以及来自预测分块选取单元106的预测分块(构成其的像素值)x₁、x₂...，进行如公式(1)所示的和积算法操作，从而预测关注像素y(的像素值)，并将其取为HD图像的像素值。像素值预测单元107输出通过这样计算的像素值构成的HD图像作为输出图像。

如上所述，具有图5所示结构的图像处理装置可以产生对应于输入的输入图像具有更高分辨率的输出图像，并输出产生的输出图像。

接着，将参考图6的流程图描述图5中的图像处理装置所进行的用于产生比输入图像具有更高分辨率的输出图像的图像产生处理。

在步骤S101，数据连续性检测单元101进行连续性检测处理。数据连续性检测单元101检测包括在输入图像中的数据连续性，并将表示检测的数据连续性的数据连续性信息提供给类型分块选取单元102和预测分块选取单元106。例如，数据连续性检测单元101从输入图像检测数据连续性方向。

现在，将详述数据连续性、数据连续性检测单元101的结构、以及数据连续性选取处理。

首先，将描述作为由传感器投影的数据的输入图像。

由传感器2获取现实世界中具有例如空间、时间、质量等维度的事件(现象)，并将其形成为数据。现实世界中的事件指光(图像)、声音、气压、温度、质量、湿度、亮度/暗度或动作等。现实世界中的事件被分布在空间-时间方向上。例如，现实世界的图像是现实世界的光强在空间-时间方向上的分布。

注意传感器，对于现实世界中的具有空间、时间和质量的维度的事件，由传感器将在现实世界中可以由传感器获取的事件转换成数据。可以说由传感器获取表示现实世界中的事件的信息。

也就是说，传感器将表示现实世界中的事件的信息转换成数据。可以说成，由传感器获取作为表示具有例如空间、时间和质量的维度的现实世界中的事件(现象)的信息的信号，并将其形成为数据。

下面，将现实世界中的例如光(图像)、声音、气压、温度、质量、湿度、亮度/暗度或气味等的事件的分布称为现实世界的信号，其作为表示事件的信息。另外，作为表示现实世界的事件的信息的信号还可以简单地称为现实世界的信号。在本说明书中，将信号理解为包括现象和事件，并且还包括这样的事物，其没有传输方面的目的。

从传感器输出的数据(检测到的信号)是通过将表示现实世界的事件的信息投影到维度比现实世界低的空间-时间上而获得的信息。例如，作为移动图像的图像数据的数据，是通过将现实世界的三维空间方向和时间方向上的图像投影到二维空间方向和时间方向的时空上而获得的信息。另外，在数据是例如数字数据的情况中，根据样品增量完成数据。在数据是模拟数据的情况中，或者根据动态范围压缩数据的信息，或者通过限幅器等删除信息的一部分。

从而，通过将示为表示具有预定维数的现实世界中的事件的信息的信号投影到数据上(检测的信号)，则减少了表示现实世界中的事件的信息的一部分。也就是说，传感器输出的数据减少了表示现实世界中的事件的信息的一部分。

然而，即使由于投影减少了表示现实世界中的事件的信息的一部分，数据包括用于估计作为表示现实世界中的事件(现象)的信息的信号的有用信息。

对于本发明，将在数据中包括的具有连续性的信息用作作为现实世界的信息的用于估计信号的有用信息。连续性是新定义的概念。

关注现实世界，现实世界中的事件包括在预定维度方向上不变的特征。例如，现实世界中的对象(有形对象)或者具有在空间方向或时间方向上连续的形状、图形或颜色，或者具有重复模式的形状、图形或颜色。

因此，表示现实世界中的事件的信息包括在预定维数方向上不变的特征。

对于更具体的实例，例如线、细绳或粗绳的线形对象具有在长度方向上即空间方向上的不变的特征，也就是，在长度方向中的任意位置上的横截面形状是相同的。在长度方向上的任意位置上的横截面相同的在空间方向中的不变的特征，来自于线形对象为长形的特征。

因此，线性对象的图像具有在长度方向即空间方向上不变的特征，即在长度方向中的任意位置上的横截面形状是相同的。

另外，在空间方向上展开的作为有形对象的单个对象，可以说具有这样的不变的特征，其无论在其什么部分的空间方向上的颜色相同。

同样，在空间方向上展开的作为有形对象的单个对象的图像可以说具有这样的不变的特征，其无论在其什么部分的空间方向上的颜色相同。

这样，现实世界(真实世界)中事件具有在预定维度方向上不变的特征，因此现实世界的信号具有在预定维度方向上不变的特征。

在本说明书中，该在预定维度方向上不变的特征被称为连续性。现实世界(真实世界)的信号的连续性表示在预定维度方向上不变的特征，所述维度方向被表示现实世界(真实世界)的事件的信号所具有。

在现实世界(真实世界)中存在无数这样的连续性。

下面，关注数据，通过作为表示由传感器投影的具有预定维的现实世界的事件的信息的信号而获得数据，其包括对应于在真是世界中的信号的连续性的连续性。可以说，数据包括其中现实世界信号的连续性被投影的连续性。

然而，如上所述，在从传感器输出的数据中，已经丢失了现实世界的部分信息，因此丢失了在现实世界(真实世界)的信号中包含的部分连续性。

换句话说，数据包括现实世界(真实世界)的信号连续性中的部分连续性作为数据连续性。数据连续性表示数据具有的在预定维度方向上不变的特征。

对于本发明，将数据具有的数据连续性用作用于估计作为表示现实世界的事件的信息的信号的重要数据。

现在，在本发明中，利用长度(空间)、时间和质量在空间方向上或时间方向上的连续性，所述长度、时间和质量是用为表示现实世界中的时间的信息的信号的维度。

接着，将参考图7到图10描述图像的空间时间积分。

图像传感器成像现实世界中的客体(主体)，并输出获得的图像数据作为在单帧的增量上成像的结果。也就是说，成像传感器获取作为现实世界的客体反射的光的现实世界的信号，并输出数据。

例如，图像传感器输出输出30帧/秒的图像数据。在该情况下，可以将图像传感器的曝光时间设置为1/30秒。曝光时间是图像传感器开始将入射光转换成电荷到结束将入射光转换成电荷的时间。下文中，还将曝光时间称为快门时间。

图7描述了在例如比如CCD(电荷耦合装置)或CMOS(互补金属氧化物半导体)传感器的图像传感器上的像素阵列的实例。在图7中，A至I表示各个像素。像素被设置在对应于由图像数据显示的图像的平面中。在对应于由图像数据显示的图像的平面上设置像素。在图像传感器上对应于单个像素设置单个检测元件。当图像传感器拍摄现实世界的图像时，一个检测元件对应于构成图像数据的一个像素输出一个像素值。例如，在检测元件的空间方向X(X坐标)中的位置对应于由图像数据显示的图像上的水平位置，以及在检测元件的空间方向Y(Y坐标)中的位置对应于由图像数据显示的图像上的垂直位置。

现实世界中的光强分布在三维空间方向和时间方向中展开，但是图像传感器在二维空间方向和时间方向中获取现实世界的光，并生成显示在二维空间方向和时间方向中的光强分布的数据。

如图8所示，例如是CCD的检测装置，在对应于快门时间的期间将投射到光敏面(光敏区域)(检测区域)上的光转换成电荷，并积累转换的电荷。所述光是现实世界的信息(信号)，其强度由三维空间位置和时刻决定。可以由函数F(x，y，z，t)表示现实世界的光强分布，其中在三维空间中的位置x、y、z，以及时刻t为变量。

在检测装置CCD中积累的电荷量近似正比于投射到具有二维空间范围的整个光敏面上的光强分布、以及光被投射到其上的时间量。检测装置将从投射到整个光敏面上的光转换的电荷加到在对应于快门时间的期间已经积累的电荷上。也就是说，检测装置积分投射到具有二维空间范围的整个光敏面上的光，并累加对应于在对应快门时间期间积分的光的变化量。还可以认为检测装置具有对空间(光敏面)和时间(快门时间)的积分效应。

通过未示出的电路将在检测装置中积累的电荷转换成电压值，再将电压值转换成例如数字数据的像素值，并输出为数据。因此，从图像传感器输出的各个像素值具有投影到一维空间的值，所述值是积分现实世界1的信息(信号)的部分的结果，所述现实世界具有关于快门时间的时间方向、和检测装置的光敏面的空间方向的时空范围。

也就是说，一个像素的象素值被表示为积分F(x，y，t)。F(x，y，t)是表示再检测装置的光敏面上的光强分布的函数。例如，像素值P由公式(9)表示。

$P={\∫}_{t_1}^{t_2}{\∫}_{y_1}^{y_2}{\∫}_{x_1}^{x_2}F(x,y,t)\mathrm{dx\; dy\; dt}$

公式(9)

在公式(9)中，x₁表示在检测装置的光敏面的左侧范围上的空间坐标(X坐标)。x₂表示在检测装置的光敏面的右侧范围上的空间坐标(X坐标)。在公式(9)中，y₁表示在检测装置的光敏面的上侧范围上的空间坐标(Y坐标)。y₂表示在检测装置的光敏面的下侧范围上的空间坐标(Y坐标)。另外，t₁表示开始将入射光转换成电荷的时刻。t₂表示结束将入射光转换成电荷的时刻。

注意实际上，从图像传感器输出的图像数据获得的像素值对于整个帧被校正。

图像数据的每个像素值是投射到图像传感器的每个检测元件的光敏面上的光的积分值，并且，在被投射到图像传感器上的光中，比检测元件的光敏面更微小的现实世界的光的波形被隐藏在成为积分值的像素值中。

下面，在本说明书中，将用预定维表示的作为参考的信号波形简单称为波形。

从而，在空间方向和时间方向中以像素增量积分现实世界的图像，从而在图像数据中减少了现实世界的图像的连续性的一部分，从而在图像数据中只剩下现实世界的图像连续性的另一部分。或者，可能有这样的情况，其中在图像数据中包括从现实世界的图像的连续性改变的连续性。

对于由具有积分效应的图像传感器拍摄的图像，将进一步描述在空间方向上的积分效应。

图9描述了到达对应于像素D至像素F的检测元件的入射光与像素值之间的关系。图9中的F(x)是表示现实世界1的光强分布的函数的实例，其中在空间(在检测装置上)X空间方向中的坐标x为变量。换句话说，F(x)是表示现实世界1的光强分布的函数的实例，其中空间坐标Y和时间方向不变。在图9中，L表示检测装置的光敏面的空间方向X中对应于像素D至像素F的长度。

将单个像素的像素值表示为积分F(x)。例如，像素E的像素值P由公式(10)表示。

$P={\∫}_{x_1}^{x_2}F\left(x\right)\mathrm{dx}$

公式(10)

在公式(10)中，x₁表示对应于像素E的在检测装置的光敏面的左侧边界上的空间方向X中的空间坐标。x₂表示对应于像素E的在检测装置的光敏面的右侧边界上的空间方向X中的空间坐标。

同样，对于由具有积分效应的图像传感器拍摄的图像，将进一步描述在时间方向上的积分效应。

图10描述了经过的时间、到达对应于单个像素的检测元件的入射光以及像素值之间的关系。图10中的F(t)是表示现实世界的光强分布的函数，其中时刻t为变量。换句话说，F(t)是表示现实世界1的光强分布的实例，其中空间方向Y和空间方向X不变。T_s表示快门时间。

帧#n-1是在时间上比帧#n靠前的帧，而帧#n+1是在时间上在帧#n后的帧。也就是说，以帧#n-1、帧#n和帧#n+1的顺序显示#n-1、帧#n和帧#n+1。

注意，在图10所示的实例中，快门时间t_s和帧间隔是相同的。

将单个像素的像素值表示为积分F(x)。例如，将例如帧n的像素的像素值由公式(11)表示。

$P={\∫}_{t_1}^{t_2}F\left(t\right)\mathrm{dx}$

公式(11)

在公式(11)中，t₁表示开始将入射光转换成电荷的时刻。t₂表示结束将入射光转换成电荷的时刻。

下文中，将由传感器在空间方向的积分效应简单称为空间积分效应，并将传感器在时间方向的积分效应简单称为时间积分效应。另外，将空间积分效应或时间积分效应简单称为积分效应。

下面，将描述由具有积分效应的图像传感器获取的数据中包括的数据连续性的实例。

图11示出了现实世界的线形对象(例如细线)，即光强分布的实例。在图11中，附图上侧的位置表示光强(水平)，图中右上侧的位置表示在空间方向X中的位置，所述空间方向X是图像的空间方向的一个方向，而图中右侧的位置表示在空间方向Y中的位置，所述空间方向Y是图像的空间方向的另一个方向。

现实世界的线形对象的图像包括预定连续性。也就是说，图11中所示的图像具有长度方向中的任意位置上的横截面的形状连续性(当在垂直于长度方向的方向上的位置变化时的变化水平)。

图12示出了通过对应于图11的图像的实际图像拍摄获得的图像数据的像素值的实例。

图13是图12所示的图像数据的模型图。

图13所示的模型图是利用图像传感器对线形对象的图像成像而获得的图像数据的模型图，所述线形对象的直径比每个像素的光敏面的长度L短，并在偏离图像传感器的像素阵列(像素的垂直或水平阵列)的方向上延伸。当获取图13的图像数据时被投射到图像传感器中的图像是如图11所示的现实世界1的线形对象的图像。

在图13中，图中的上侧位置表示像素值，图中上右侧的位置表示在空间方向X中的位置，空间方向X是图像的空间方向中的一个方向，以及图中右侧位置表示在空间方向Y中的位置，空间方向Y是图像的空间方向的另一个方向。图13中表示像素值的方向对应图11中的水平的方向，图13中空间方向X和空间方向Y与图11中的所示方向相同。

在利用图像传感器拍摄直径比每个像素的光敏面的长度L窄的线形对象的图像时，将线形对象在作为图像拍摄结果的图像数据中表示为多个弧形(半圆)，其具有预定长度，并在例如模型表示中以对角偏离的方式排列。所述弧形基本具有近似相同的形状。将一个弧形垂直地形成在一行像素上，或水平地形成在一行像素上。例如，将如图13所示的一个弧形垂直地形成在一行像素上。

从而，通过由例如图像传感器拍摄并获得图像数据，丢失了这样的连续性，其为现实世界的线形对象图像所具有的，在长度方向的任何位置上在空间方向Y上的横截面相同。也可以说，现实世界的线形对象的图像所具有的连续性已经变为这样的连续性，即垂直地或水平地在一行像素上形成的形状相同的弧形以预定间隔排列。

图14示出了对象在现实世界中的图像，即光强分布的实例，所述对象具有直边缘并与背景有单色差。在图14中，图中上侧位置表示光强(水平)，图中上右侧的位置表示空间方向X中的位置，空间方向X是图像空间方向的一个方向，以及图中右侧位置表示在空间方向Y中的位置，空间方向Y是图像空间方向的另一个方向。

具有直边缘并且与背景有单色差的现实世界的对象的图像包括预定连续性。也就是说，图14所示的图像的连续性为，在长度方向上的任意位置上的横截面(对于在垂直于长度方向的方向上的位置的变化，水平的变化)相同。

图15示出了由现实图像拍摄获得的图像数据的像素值的实例，其对应于如图14所示的图像。如图15所示，图像数据为阶形，因为图像数据由具有像素增量的像素值构成。

图16是示出如图15所示的图像数据的模型图。

图16所示的模型图是用图像传感器拍摄现实世界的对象的图像而获得的图像数据的模型图，所述对象具有直边缘并与背景具有单色差，所述模型图以偏离图像传感器的像素的阵列的方向延伸(像素的垂直或水平阵列)。在获取如图16所示的图像数据时被投射到图像传感器中的图像是现实世界的对象的图像，所述对象如图14所示具有直边缘并与背景有单色差。

在图16中，图中上侧位置表示像素值，图中上右侧的位置表示空间方向X中的位置，空间方向X是图像空间方向的一个方向，以及图中右侧位置表示在空间方向Y中的位置，空间方向Y是图像空间方向的另一个方向。图16中表示像素值的方向对应于图14中的水平方向，并且图16中的空间方向X和空间方向Y与图14中相同。

在用图像传感器拍摄现实世界的对象的图像的情况中，所述对象具有直边缘并与背景有单色差，在作为图像拍摄的结果获得的图像数据中将直边缘表示为多个爪形，其具有预定长度，并在例如模型表示中以对角偏离的方式排列。所述爪形具有近似相同的形状。将一个爪形垂直地在一行像素上形成，或水平地在一行像素上形成。例如，将如图16所示的一个爪形垂直地在一行像素上形成。

从而，具有直边缘并与背景有单色差的现实世界的对象的图像的连续性在用图像传感器成像而获得的图像数据中丢失，所示连续性例如为在边缘的长度方向中的任意位置上的横截面形状相同。也可以说，具有直边缘并与背景有单色差的现实世界的对象的图像所具有的连续性已经变为这样的连续性，即垂直地或水平地在一行像素上形成的形状相同的爪形以预定间隔排列。

数据连续性检测单元101检测例如作为输入图像的数据的该数据连续性。例如，数据连续性检测单元101通过检测空间方向中的角度(梯度)而检测数据的连续性，所述角度表示相同的弧形或爪形阵列。

另外，例如，数据连续性检测单元101通过检测空间和时间方向中的角度(移动)而检测数据的连续性，所述角度表示在空间和时间方向中相同形状的阵列。

下文中，将数据中传感器投影现实世界的对象的图像的部分还称为二值边缘，所述对象具有直边缘并与背景有单色差。

图17是示出数据连续性检测单元101的另一结构的方框图。

在具有图17所示的结构的数据连续性检测单元101中，检测关注像素的像素值，所述关注像素是在输入图像的空间方向中的关注像素，即在输入图像的空间方向中的活度，对于根据关注像素的每个角度和根据检测活度的参考轴，选取在垂直方向或在水平方向中的一行中的预定个数的像素构成的多组像素，检测选取的像素组的相关性，并根据相关性检测在输入图像中基于参考轴的数据连续性的角度。

数据连续性的角度表示由参考轴和预定维度方向所成的角度，在所示预定维度方向上，恒定特征在数据中重复出现。恒定特征重复出现表示这样的情况，其中，例如对于在数据中的位置变化的值的变化、即界面形状相同等。

参考轴可以是例如表示空间方向X(屏幕的水平方向)的轴、表示空间方向Y(屏幕的垂直方向)的轴等。

将输入图像提供给活度检测单元401和数据检测单元402。

活度检测单元401检测像素值对于输入图像的空间方向的变化，即在空间方向中的活度，并将表示检测结果的活度信息提供给数据检测单元402和连续性方向推导单元404。

例如，活度检测单元401像素值对于屏幕水平方向的变化和像素值对于平面垂直方向的变化，并比较检测的像素值在水平方向的变化与像素值在垂直方向的变化，从而检测像素值在水平方向中的变化是否大于像素值在垂直方向中的变化，或像素值在垂直方向中的变化是否大于像素值在水平方向中的变化。

活度检测单元401将活度信息提供给数据选择单元402和连续性方向推导单元404，所述活度信息是表示测像素值在水平方向中的变化大于像素值在垂直方向中的变化，或像素值在垂直方向中的变化大于像素值在水平方向中的变化的检测结果。

在其中像素值在水平方向中的变化大于像素值在垂直方向中的变化的情况中，例如如图18所示，在垂直方向的一行中形成弧形(半圆形)或爪形，并在垂直方向上重复多次形成弧形或爪形。也就是说，在这样的情况下，其中像素值在水平方向上的变化大于像素值在垂直方向上的变化，其中参考轴为表示空间方向X的轴，在输入图像中，数据连续性相对于参考轴的角度是45度到90度之间的任意值。

在其中像素值在垂直方向中的变化大于像素值在水平方向中的变化的情况中，例如在水平方向的一行中形成弧形(半圆形)或爪形，并在水平方向上重复多次形成弧形或爪形。也就是说，在这样的情况下，其中像素值在垂直方向上的变化大于像素值在水平方向上的变化，其中参考轴为表示空间方向X的轴，在输入图像中，数据连续性相对于参考轴的角度是0度到45度之间的任意值。

例如，活度检测单元401从输入图像选取由以关注像素为中心的3×3的9个像素构成的块，如图19所示。活度检测单元401计算垂直相邻的像素的像素值之差的和、以及水平相邻的像素的像素值之差的和。水平相邻的像素的像素值之差h_diff的和可以通过公式(12)获得。

h_diff＝∑(P_i+1，j-P_i，j)                  公式(12)

同样，垂直相邻的像素的像素值之差V_diff的和可以通过公式(13)获得。

V_diff＝∑(P_i，j+1-P_i，j)                  公式(13)

在公式(12)和公式(13)中，P表示像素值，i表示像素在水平方向中的位置，以及j表示像素在垂直方向中的位置。

可以这样设置，其中活度检测单元401比较计算的水平相邻的像素的像素值之差h_diff的和与垂直相邻的像素的像素值之差V_diff的和，从而确定在输入图像中数据连续性与参考轴所成的角度范围。也就是说，在该情况下，活度检测单元401确定由像素值对于在空间方向中的位置的变化表示的形状是否在水平方向上重复形成、或在垂直方向上重复形成。

例如，在一行水平行上形成的弧形在水平方向上的像素值的变化大于在垂直方向上的像素值的变化，在一行水平行上形成的弧形在垂直方向上的像素值的变化大于在水平方向上的像素值的变化，从而可以认为，数据连续性的方向，即恒定特征在预定维度方向上的变化小于数据连续性在正交的方向上的变化，所述恒定特征是作为数据3的输入图像所具有的特征。换句话说，在垂直于数据连续性方向的方向(下文中也称为非连续性方向)上的差大于在数据连续性方向上的差。

例如，如图20所示，活度检测单元401比较计算的水平相邻的像素的像素值之差h_diff的和与垂直相邻的像素的像素值之差V_diff的和，并在水平相邻的像素的像素值之差h_diff的和较大的情况下，确定数据连续性与参考轴的角度是从45度到135度之间的任意值，而在垂直相邻的像素的像素值之差V_diff的和较大的情况下，确定数据连续性与参考轴的角度是从0度到45度之间的任意值、或135度到180度之间的任意值。

例如，活度检测单元401将表示确定结果的活度信息提供给数据检测单元402和连续性方向推导单元404。

注意，活度检测单元401可以检测选取任意尺寸的块的活度，所述块例如由5×5的25个像素构成的块、由7×7的49个像素构成的块等。

数据检测单元402随后从输入图像的像素中选择关注像素，并根据来自活度检测单元401的活度信息，对于基于关注像素和参考轴的每个角度，选取由垂直方向上的一行预定个数的像素或水平方向上的一行预定个数的像素构成的多组像素。

例如，在其中活度信息指示在水平方向上的像素值的变化大于在垂直方向上的像素值的变化的情况下，这表示，数据连续性的角度是从45度到135之间的任意值，从而数据选择单元402对于根据关注像素和参考轴的在45度到135度范围中的每个预定角度，选取由在垂直方向的一行预定个数的像素构成的多组像素。

在活度信息指示在垂直方向上的像素值的变化大于在水平方向上的像素值的变化的情况下，这表示，数据连续性的角度是从0度到45中、或从135度到180度中的任意值，从而数据选择单元402对于根据关注像素和参考轴的从0度到45中、或从135度到180度中的任意值中的每个预定角度，选取由在水平方向的一行预定个数的像素构成的多组像素。

另外，例如，在活度信息指示数据连续性的角度是从45度到135度中的任意值的情况下，数据选择单元402对于根据关注像素和参考轴的在45度到135度范围中的每个预定角度，选取由在垂直方向的一行预定个数的像素构成的多组像素。

在活度信息指示数据连续性的角度是从0度到45中、或从135度到180度中的任意值的情况下，数据选择单元402对于根据关注像素和参考轴的在从0度到45中、或从135度到180度范围中的每个预定角度，选取由在水平方向的一行预定个数的像素构成的多组像素。

数据选择单元402将由选取的像素构成的多组提供到误差估计单元403。

误差估计单元403检测相对于多组选取像素的每个角度的像素组的相关性。

例如，对于对应于一个角度的、由在垂直方向中的一行预定个数的像素构成的多组像素，误差估计单元403检测在像素组的相应位置上的像素的像素值的相关性。对于对应于一个角度的、由在水平方向中的一行预定个数的像素构成的多组像素，误差估计单元403检测在像素组的相应位置上的像素的像素值的相关性。

误差估计单元403将表示检测的相关性的相关性信息提供到连续性方向推导单元404。误差估计单元403计算从数据检测单元402提供的包括关注像素的一组像素的像素值的和作为表示相关性的值，还计算在其它组的相应位置上的像素的像素值之差的绝对值，并将差的绝对值的和提供给连续性方向推导单元404作为相关性信息。

根据从误差估计单元403提供的相关性信息，连续性方向推导单元404检测输入图像中数据连续性与参考轴的角度，并输出表示角度的数据连续性信息，其中所述数据连续性对应于现实世界1的光信号的丢失连续性。例如，根据从误差估计单元403提供的相关性信息，连续性方向推导单元404检测对应于具有最大相关性的像素组的角度作为数据连续性的角度，并输出表示对应于检测出的具有最大相关性的像素组的角度的数据连续性信息。

下面将描述对在0度到90度范围(所谓的第一象限)中的数据连续性角度。

图21是示出图17中的数据连续性检测单元101的更具体的结构的方框图。

数据选择单元402包括像素选择单元411-1到像素选择单元411-L。误差估计单元403包括估计误差计算单元412-1到估计误差计算单元412-L。连续性方向推导单元404包括最小误差角度选择单元413。

首先，描述在由活度信息表示的数据连续性角度是从45度到135度中的任意值的情况下，像素选择单元411-1到像素选择单元411-L的处理。

像素选择单元411-1到像素选择单元411-L设置经过关注像素的具有彼此不同的预定角度的直线，其中以表示空间方向X的轴线为参考轴线。像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素中选择在关注像素上方的预定个数的像素、在关注像素下方的预定个数的像素以及关注像素作为一组。

例如，如图22所示，像素选择单元411-1到像素选择单元411-L选择以关注像素为中心的9个像素作为在包括关注像素的垂直行像素中的一组。

在图22中，一个格形方块(方格)表示一个像素。在图22中，中心的圆形表示关注象素。

像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素左侧的垂直行像素中选择位于最接近各自设置的直线的位置上的像素。在图22中，在关注像素左下方的圆形表示选出的像素的实例。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的垂直行像素的左侧的垂直行像素中选择在选择像素上方的预定个数的像素、在选择像素下方的预定个数的像素以及选择的像素作为一组像素。

例如，如图22所示，像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素左侧的垂直行像素中选择以最接近直线的位置上的像素为中心的9个像素作为一组像素。

像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素次左侧的垂直行像素中选择位于最接近各自设置的直线的位置上的像素。在图22中，次左的圆形表示选出的像素的实例。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的垂直行像素的第二左的垂直行像素中选择在关注像素上方的预定个数的像素、在关注像素下方的预定个数的像素以及选择的像素作为一组像素。

例如，如图22所示，像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素次左侧的垂直行像素中选择以最接近直线的位置上的像素为中心的9个像素作为一组像素。

像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素右侧的垂直行像素中选择位于最接近各自设置的直线的位置上的像素。在图22中，在关注像素右上方的圆形表示选出的像素的实例。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的垂直行像素的右侧的垂直行像素中选择在选择像素上方的预定个数的像素、在选择像素下方的预定个数的像素以及选择的像素作为一组像素。

例如，如图22所示，像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素右侧的垂直行像素中选择以最接近直线的位置上的像素为中心的9个像素作为一组像素。

像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素次右侧的垂直行像素中选择位于最接近各自设置的直线的位置上的像素。在图22中，次右的圆形表示选出的像素的实例。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的垂直行像素的第二右的垂直行像素中选择在关注像素上方的预定个数的像素、在关注像素下方的预定个数的像素以及选择的像素作为一组像素。

例如，如图22所示，像素选择单元411-1到像素选择单元411-L在包括关注像素的垂直行像素次右侧的垂直行像素中选择以最接近直线的位置上的像素为中心的9个像素作为一组像素。

从而，像素选择单元411-1到像素选择单元411-L选择五组像素。

像素选择单元411-1到像素选择单元411-L选择不同角度的(直线)的像素组。例如，像素选择单元411-1选择45度的像素组，像素选择单元411-2选择选择47.5度的像素组，以及像素选择单元411-3选择50度的像素组。像素选择单元411-1到像素选择单元411-L选择从52.5度到135度的每隔2.5度的角度的像素组。

注意，像素组的个数是可选的，例如为3或7，并且并不限制本发明。另外，被选择为一组的像素个数是可选的，例如为5或13，并且并不限制本发明。

注意，可以将像素选择单元411-1到像素选择单元411-L设置为从在垂直方向上的预定范围内的像素选择像素组。例如，像素选择单元411-1到像素选择单元411-L可以从在垂直方向上的121个像素(在关注像素上方的60个像素和下方的60个像素)中选择像素组。在该情况下，数据连续性检测单元101可以检测出达到88.09度的数据连续性与由空间方向X表示的轴线所成的角度。

像素选择单元411-1将选择的像素组提供给估计误差计算单元412-1，而像素选择单元411-2将选择的像素组提供给估计误差计算单元412-2。同样，像素选择单元411-3到像素选择单元411-L中的每个将选择的像素组提供给估计误差计算单元412-3到估计误差计算单元412-L中的每个。

估计误差计算单元412-1到估计误差计算单元412-L检测从像素选择单元411-1到像素选择单元411-L中的每个提供的在多组位置上的像素的像素值的相关性。例如，估计误差计算单元412-1到估计误差计算单元412-L计算包括关注像素的组的像素的像素值与从像素选择单元411-1到像素选择单元411-L中的一个提供的另一组的相应位置的像素的像素值之差的绝对值的和作为表示相关性的值。

尤其是，根据包括关注像素的组的像素的像素值与从像素选择单元411-1到像素选择单元411-L中的一个提供的由关注像素左侧的垂直行像素构成的组的像素的像素值，估计误差计算单元412-1到估计误差计算单元412-L计算最顶端的像素值之差，然后计算次顶端的像素值之差，等，以便按照从顶端像素开始的顺序计算像素值之差的绝对值，并再计算算出的差的绝对值的和。根据包括关注像素的组的像素的像素值与从像素选择单元411-1到像素选择单元411-L中的一个提供的由关注像素次左侧的垂直行像素构成的组的像素的像素值，估计误差计算单元412-1到估计误差计算单元412-L按照从顶端像素开始的顺序计算像素值之差的绝对值，并再计算算出的差的绝对值的和。

然后，根据包括关注像素的组的像素的像素值与从像素选择单元411-1到像素选择单元411-L中的一个提供的由关注像素右侧的垂直行像素构成的组的像素的像素值，估计误差计算单元412-1到估计误差计算单元412-L计算最顶端的像素值之差，然后计算次顶端的像素值之差，等，以便按照从顶端像素开始的顺序计算像素值之差的绝对值，并再计算算出的差的绝对值的和。根据包括关注像素的组的像素的像素值与从像素选择单元411-1到像素选择单元411-L中的一个提供的由关注像素次右侧的垂直行像素构成的组的像素的像素值，估计误差计算单元412-1到估计误差计算单元412-L按照从顶端像素开始的顺序计算像素值之差的绝对值，并再计算算出的差的绝对值的和。

估计误差计算单元412-1到估计误差计算单元412-L计算这样算出的全部像素值之差的绝对值的和的总和，从而计算像素值之差的绝对值的总和。

估计误差计算单元412-1到估计误差计算单元412-L将表示检测的相关性的信息提供给最小误差角度选择单元413。例如，估计误差计算单元412-1到估计误差计算单元412-L将计算的像素值之差的绝对值总和提供给最小误差角度选择单元413。

注意，估计误差计算单元412-1到估计误差计算单元412-L并不限于像素值之差的绝对值总和，还可以计算其它如相关值的值，如像素值的平方差的和、或根据像素值的相关性系数等。

最小误差角度选择单元413根据由估计误差计算单元412-1到估计误差计算单元412-L检测的不同角度的相关性，检测输入图像中数据连续性与参考轴的角度，所述连续性对应于作为丢弃的现实世界1的光信号的图像连续性。也就是说，根据由估计误差计算单元412-1到估计误差计算单元412-L检测的不同角度的相关性，最小误差角度选择单元413选择最大相关性，并取在其上检测出选择的相关性的角度作为数据连续性与参考轴的角度，从而在输入图像中检测出数据连续性与参考轴所成的角度。

例如，在从估计误差计算单元412-1到估计误差计算单元412-L提供的像素值之差的绝对值的总和中，最小误差角度选择单元413选择最小总和。对于从其计算出选择的总和的像素值，最小误差角度选择单元413参考(make reference to)属于在关注像素次左的一行垂直行像素中的、并位于离直线最近的位置上的像素、和属于在关注像素次右的一行垂直行像素中的、并位于离直线最近的位置上的像素。

如图22所示，最小误差角度选择单元413获得参考像素的位置在垂直方向上距离关注像素的位置的距离S。如图23所示，最小误差角度选择单元413根据公式(14)计算数据连续性与表示空间方向X的轴线所成的角度，所述轴线是作为图像数据的输入图像中的参考轴线，所述连续性对应于丢弃的现实世界1的光信号连续性。

θ＝tan^-1(s/2)                    公式(14)

下面，将描述在由活度信息表示的数据连续性角度是从0度到45度和135到180中的任意值的情况下，像素选择单元411-1到像素选择单元411-L的处理。

像素选择单元411-1到像素选择单元411-L设置经过关注像素的具有预定角度的直线，其中以表示空间方向X的轴线为参考轴线，并且，在包括关注像素的水平行像素中选择在关注像素左侧的预定个数的像素、在关注像素右侧的预定个数的像素以及关注像素作为一组。

像素选择单元411-1到像素选择单元411-L在包括关注像素的水平行像素上方的水平行像素中选择位于最接近各自设置的直线的位置上的像素。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的水平行像素的的水平行像素中选择在选择像素左侧的预定个数的像素、在选择像素右侧的预定个数的像素以及选择的像素作为一组像素。

像素选择单元411-1到像素选择单元411-L在包括关注像素的水平行像素次上侧的水平行像素中选择位于最接近各自设置的直线的位置上的像素。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的水平行像素的第二上方的垂直行像素中选择在关注像素左侧的预定个数的像素、在关注像素右侧的预定个数的像素以及选择的像素作为一组像素。

像素选择单元411-1到像素选择单元411-L在包括关注像素的水平行像素下方的水平行像素中选择位于最接近各自设置的直线的位置上的像素。。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的水平行像素的下方的水平行像素中选择在选择像素左侧的预定个数的像素、在选择像素右侧的预定个数的像素以及选择的像素作为一组像素。

像素选择单元411-1到像素选择单元411-L在包括关注像素的水平行像素次下方的水平行像素中选择位于最接近各自设置的直线的位置上的像素。像素选择单元411-1到像素选择单元411-L然后在包括关注像素的水平行像素的第二下方的垂直行像素中选择在关注像素左侧的预定个数的像素、在关注像素右侧的预定个数的像素以及选择的像素作为一组像素。

从而，像素选择单元411-1到像素选择单元411-L选择五组像素。

像素选择单元411-1到像素选择单元411-L选择不同角度的像素组。例如，像素选择单元411-1选择0度的像素组，像素选择单元411-2选择选择2.5度的像素组，以及像素选择单元411-3选择5度的像素组。像素选择单元411-1到像素选择单元411-L选择从7.5度到45度和从135度到180的每隔2.5度的角度的像素组。

像素选择单元411-1将选择的像素组提供给估计误差计算单元412-1，而像素选择单元411-2将选择的像素组提供给估计误差计算单元412-2。同样，像素选择单元411-3到像素选择单元411-L中的每个将选择的像素组提供给估计误差计算单元412-3到估计误差计算单元412-L中的每个。

估计误差计算单元412-1到估计误差计算单元412-L检测从像素选择单元411-1到像素选择单元411-L中的每个提供的在多组位置上的像素的像素值的相关性。估计误差计算单元412-1到估计误差计算单元412-L将表示检测的相关性的信息提供给最小误差角度选择单元413。

最小误差角度选择单元413根据由估计误差计算单元412-1到估计误差计算单元412-L检测的相关性，检测输入图像中数据连续性与参考轴的角度，所述连续性对应于作为丢弃的现实世界1的光信号的图像连续性。

接着，下面将参考图24的流程图描述对应于步骤S101中的处理的、利用具有如图17所示的结构的数据连续性检测单元101进行的数据连续性检测处理。

在步骤S401中，活度检测单元401和数据选择单元402选择关注像素，所述像素是输入图像中的关注像素。活度检测单元401和数据选择单元402选择同一个关注像素。例如，活度检测单元401和数据选择单元402以栅格扫描的顺序从输入图像中选择关注像素。

在步骤S402中，活度检测单元401检测关注像素的活度。例如，活度检测单元401根据在以关注像素为中心的预定个数的像素构成的块的垂直方向上对准的像素的像素值之差、以及在水平方向上对准的像素的像素值之差而检测活度。

活度检测单元401检测关注像素在空间方向中的活度，并将表示检测结果的活度信息提供给数据选择单元402和连续性方向推导单元404。

在步骤S403中，数据选择单元402从包括关注像素的一行像素中选择预定个数的以关注像素为中心的像素作为像素组。例如，数据选择单元402择预在关注像素的上方或左侧的预定个数的像素、以及在关注像素下方或右侧的预定个数的像素、以及关注像素，作为像素组，其中所述预定个数的像素属于包括关注像素的垂直或水平像素行。

在步骤S404中，数据选择单元402根据由在步骤S402中检测的活度，从对于在预定范围中的每个角度的预定个数的像素行中选择预定个数的每个像素作为像素组。例如，数据选择单元402设置具有在预定范围内的角度的、经过关注像素的直线，以表示空间方向X的轴线作为参考轴线，选择在水平方向或垂直方向上距离关注像素一行或两行、并且离直线最近的像素，并且选择在选择的像素上方或左侧的预定个数的像素、在选择的像素的下方或右侧的预定个数的像素、以及最接近直线的选择的像素作为像素组。数据检测单元402选择每个角度的像素组。

数据选择单元402将选择像素组提供给误差估计单元403。

在步骤S405，误差估计单元403计算以关注像素为中心的像素组与每个角度的被选像素组之间的相关性。例如，误差估计单元403对于每个角度计算包括关注像素的像素组的像素值与在其它组中的相应位置的像素的像素值之差的绝对值的和。

根据每个角度的选定像素组之间的相关性，可以检测数据连续性的角度。

误差估计单元403将表示算出的相关性的信息提供给连续性方向推导单元404。

在步骤S406中，根据在步骤S405中的处理计算的相关性，从具有最强相关性的像素的位置，连续性方向推导单元404检测基于作为图像数据的输入图像中的参考轴的数据连续性角度，所述连续性角度对应于现实世界1的光信号连续性。例如，连续性方向推导单元404选择像素值之差的绝对值的总和中的最小总和，并从被计算出选择的总和的像素组的位置检测数据连续性角度θ。

连续性方向推导单元404输出表示被检测出的数据连续性的角度的数据连续性信息。

在步骤S407中，数据选择单元402确定对所有像素的处理是否已经结束。并在确定对所有像素的处理仍未结束时，流程回到步骤S401，从仍未被取为关注像素的像素中选择关注像素，并重复上述处理。

在步骤S407中确定已经结束对所有像素的处理的情况下，该处理结束。

从而，数据连续性检测单元101可以检测基于图像数据中的参考轴的数据连续性角度，所述数据连续性角度对应于丢失的现实世界1的光信号连续性。

注意，可以这样设置，其中，具有图17中的结构的数据连续性检测单元101检测关注像素在输入图像的空间方向中的活度，所述关注像素是关注帧中的关注像素；根据检测的活度，对于基于关注像素和空间方向参考轴的每个角度和移动矢量，从关注帧和从在时间方向上在关注帧之前或之后的每个帧中选取由在垂直方向行或水平方向行中的预定个数的像素构成的多个像素组；检测选取的像素组的相关性；以及根据该相关性，检测在输入图像的时间方向和空间方向中的数据连续性的角度。

例如，如图25所示，根据检测的活度，对于基于关注像素和空间方向参考轴的每个角度和移动矢量，数据选择单元402从作为关注帧的帧#n、帧#n-1以及帧#n+1中选取由在垂直方向行或水平方向行中的预定个数的像素构成的多个像素组。

帧#n-1在时间方向上在帧#n之前，而帧#n+1在时间方向上在帧#n之后。也就是说，以帧#n-1、#n和#n+1的顺序显示帧#n-1、#n和#n+1。

误差估计单元403对于选取的多组像素检测每个单独角度和单独移动矢量的像素组的相关性。连续性方向推导单元404根据像素组的相关性检测输入图像中的时间方向和空间方向中的数据连续性角度，所述数据连续性角度对应于丢失的现实世界的光信号连续性，并输出表示角度的数据连续性信息。

图26是更详细地示出图17中所示的数据连续性检测单元101的另一结构的方框图。其中用相同的标号表示与图21中相同的部分，并省略对其的描述。

数据选择单元402包括像素选择单元421-1至像素选择单元421-L。误差根据单元403包括估计误差计算单元422-1至估计误差计算单元422-L。

利用图26中所示的数据连续性检测单元101，选取对应于角度范围的多组，其中像素组由对应于角度范围的多组像素构成，检测选取的像素组的相关性，并根据检测的相关性检测在输入图像中基于参考轴的数据连续性角度。

首先，描述在由活度信息表示的数据连续性角度是从45度到135度中的任意值的情况下，像素选择单元421-1到像素选择单元421-L的处理。

如图27左边所示，利用图21所示的数据连续性检测单元101，选取无关于设置直线角度的预定个像素的像素组，而如图27右边所示，利用如图26所示的数据连续性检测单元101，选取对应于设置直线的角度范围的多个像素的像素组。另外，利用如图26所示的数据连续性检测单元101，选取对应于设置直线的角度范围的多个像素组。

像素选择单元421-1到像素选择单元421-L设置在45度到135度的范围中、经过关注像素并具有彼此不同的预定角度的直线，其中以表示空间方向X的轴线为参考轴线。

像素选择单元421-1到像素选择单元421-L在包括关注像素的垂直行像素中选择在关注像素上方的对应于每个直线的角度范围的个数的像素、在关注像素下方的多个像素以及关注像素作为一组。

像素选择单元421-1到像素选择单元421-L在包括关注像素的垂直行像素左侧和右侧的、在水平方向上以关注像素为参考距离关注像素为预定距离的垂直行像素中选择位于最接近每个角度的设置直线的像素，并从对于选择像素的一行垂直行像素中，选择在选择像素上方的对应于设置直线的角度范围的个数的像素、在选择像素下方的对应于设置直线的角度范围的个数的像素以及选择的像素作为一组像素。

也就是说，像素选择单元421-1到像素选择单元421-L选择对应于设置直线的角度范围的个数的像素作为像素组。像素选择单元421-1到像素选择单元421-L选择对应于设置直线的角度范围的个数像素组。

例如，当用传感器成像细线的图像的情况下，所述细线与空间方向X成约45度的角度，并在检测元件的检测区域具有近似相同垂直的宽度，将细线的图像投影到数据上，使得在空间方向Y的一行上对准的三个像素上形成弧形作为细线图像。相反，当用传感器成像细线的图像的情况下，所述细线与空间方向X，并在检测元件的检测区域具有近似相同的宽度，将细线的图像投影到数据上，使得在空间方向Y的一行上对准的多个像素上形成弧形作为细线图像。

对于像素组中包括的相同个数的像素，在细线与空间方向X成约45度角度的情况下，像素组中的其上被投影细线图像的像素的个数更小了，这表示分辨率下降。另一方面，在细线与空间方向近似垂直的情况下，在其上投影细线图像的部分像素上进行的处理可能导致精度的降低。

因此，为了使其上被投影细线图像的像素的个数近似相等，像素选择单元421-1到像素选择单元421-L选择像素和像素组，使得在设置直线与空间方向X成接近45度角度的情况下减少在每个像素组中包括的像素个数、并增加像素组的组数，而在设置直线与空间方向X接近垂直的情况下增加每个像素组中的像素的个数，并现少像素组的组数。

例如，如图28和29所示，在设置直线的角度在大于等于45度并小于63.4度的情况下(该范围由图28和29中的A表示)，则像素选择单元421-1到像素选择单元421-L从关注像素的垂直行中选择以关注像素为中心的五个像素作为像素组，并且还从这样的像素中选择五个像素作为像素组，所述像素属于在关注像素的水平方向上五个像素范围内的左侧和右侧的行上。

也就是说，在设置直线的角度在大于等于45度但小于63.4度的情况下，像素选择单元421-1到像素选择单元421-L从输入图像选择每个由5个像素构成的11个像素组。在该情况下，被选作为最接近设置直线的像素的像素在垂直方向上离关注像素为5个像素到9个像素。

在图29中，行数表示在关注像素左侧或右侧的像素行数，从其上选择像素作为像素组。在图29中，一行中的像素数表示从关注像素的垂直行、或在关注像素的左侧或右侧的行中选作为像素组的像素个数。在图29中，像素的选择范围表示将被选择的像素在垂直方向中的位置，所述像素最接近经过关注像素的设置直线。

如图30所示，例如，在设置直线的角度为45度的情况下，像素选择单元421-1在关注像素的垂直行中选择5个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上五个像素范围内的像素的行中选取五个像素作为像素组。也就是说，像素选择单元421-1从输入图像选择11个每个由5个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有五个像素。

注意，在图30到图37中，由虚线表示的方形(由虚线分开的单个方格)表示单个像素，由实线表示的方形表示像素组。在图30到图37中，关注像素在空间方向X上的坐标为0，并且关注像素在空间方向Y上的坐标为0。

另外，在图30到图37中，阴影方形表示关注像素或最接近设置直线的像素。在图30到图37中，由深色线表示的方形表示选择的以关注像素为中心的像素组。

如图31所示，例如，在设置直线的角度为60.9度的情况下，像素选择单元421-2在关注像素的垂直行中选择5个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上五个像素范围内的像素的行中选取五个像素作为像素组。也就是说，像素选择单元421-2从输入图像选择11个每个由5个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有九个像素。

例如，如图28和29所示，在设置直线的角度为大于等于63.4度但小于71.6度(在图28和29中由B表示该范围)的情况下，像素选择单元421-1到像素选择单元421-L在关注像素的垂直行中选择7个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上4个像素范围内的像素的行中选取7个像素作为像素组。

也就是说，在设置直线的角度为大于等于63.4度但小于71.6度的情况下，像素选择单元421-1到像素选择单元421-L从输入图像选择9个每个由7个像素构成的像素组。在该情况下，被选为最接近设置直线的像素离关注像素最远的像素在垂直方向上离关注像素为8到11个像素。

如图32所示，例如，在设置直线的角度为63.4度的情况下，像素选择单元421-3在关注像素的垂直行中选择7个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上4个像素范围内的像素的行中选取7个像素作为像素组。也就是说，像素选择单元421-3从输入图像选择9个每个由7个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有8个像素。

如图33所示，例如，在设置直线的角度为70.0度的情况下，像素选择单元421-4在关注像素的垂直行中选择7个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上4个像素范围内的像素的行中选取7个像素作为像素组。也就是说，像素选择单元421-4从输入图像选择9个每个由7个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有11个像素。

例如，如图28和29所示，在设置直线的角度为大于等于71.6度但小于76度(在图28和29中由C表示该范围)的情况下，像素选择单元421-1到像素选择单元421-L在关注像素的垂直行中选择9个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上3个像素范围内的像素的行中选取9个像素作为像素组。

也就是说，在设置直线的角度为大于等于71.6度但小于76度的情况下，像素选择单元421-1到像素选择单元421-L从输入图像选择7个每个由9个像素构成的像素组。在该情况下，被选为最接近设置直线的像素离关注像素最远的像素在垂直方向上离关注像素为9到11个像素。

如图34所示，例如，在设置直线的角度为71.6度的情况下，像素选择单元421-5在关注像素的垂直行中选择9个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上3个像素范围内的像素的行中选取9个像素作为像素组。也就是说，像素选择单元421-5从输入图像选择7个每个由9个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有9个像素。

如图35所示，例如，在设置直线的角度为74.7度的情况下，像素选择单元421-6在关注像素的垂直行中选择9个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上3个像素范围内的像素的行中选取9个像素作为像素组。也就是说，像素选择单元421-6从输入图像选择7个每个由9个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有11个像素。

例如，如图28和29所示，在设置直线的角度为大于等于76度但小于87.7度(在图28和29中由D表示该范围)的情况下，像素选择单元421-1到像素选择单元421-L在关注像素的垂直行中选择11个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上2个像素范围内的像素的行中选取9个像素作为像素组。也就是说，在设置直线的角度为大于等于76度但小于87.7度的情况下，像素选择单元421-1到像素选择单元421-L从输入图像选择11个每个由5个像素构成的像素组。在该情况下，被选为最接近设置直线的像素离关注像素最远的像素在垂直方向上离关注像素为8到50个像素。

如图36所示，例如，在设置直线的角度为76度的情况下，像素选择单元421-7在关注像素的垂直行中选择11个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上2个像素范围内的像素的行中选取11个像素作为像素组。也就是说，像素选择单元421-7从输入图像选择5个每个由11个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有8个像素。

如图37所示，例如，在设置直线的角度为87.7度的情况下，像素选择单元421-8在关注像素的垂直行中选择11个以关注像素为中心的像素作为像素组，并且另外从在关注像素的左侧和右侧的水平方向上2个像素范围内的像素的行中选取11个像素作为像素组。也就是说，像素选择单元421-8从输入图像选择5个每个由11个像素构成的像素组。在该情况下，在被选为最接近设置直线的像素中，离关注像素最远的像素在垂直方向上离关注像素有50个像素。

从而，像素选择单元421-1到像素选择单元421-L每个选择对应于角度范围的预定个数的像素组，所示像素组由对应于角度范围的预定个数的像素构成。

像素选择单元421-1将选择的像素组提供给估计误差计算单元422-1，并且像素选择单元421-2将选择的像素组提供给估计误差计算单元422-2。同样，像素选择单元421-3到像素选择单元421-L将选择的像素组提供给估计误差计算单元422-3到估计误差计算单元422-L。

估计误差计算单元422-1到估计误差计算单元422-L检测从像素检测单元421-1到像素检测单元421-L中的每个提供的多组中在相应位置上的像素的像素值的相关性。例如，估计误差计算单元422-1到估计误差计算单元422-L计算从像素检测单元421-1到像素检测单元421-L中的每个提供包括关注像素的像素组的像素的像素值与在其它多组中的相应位置上的像素的像素值之差的绝对值的和，并用算出的和除以包括关注像素的像素组以外的像素组中包括的像素的个数。用算出的和除以包括关注像素的像素组以外的像素组中包括的像素的个数是为了归一化表示相关性的值，因为被选的像素个数根据设置的直线的角度而不同。

估计误差计算单元422-1到估计误差计算单元422-L将表示相关性的检测信息提供给最小误差角度选择单元413。例如，估计误差计算单元422-1到估计误差计算单元422-L将像素值之差的归一化的和提供给最小误差角度选择单元413。

接着，将描述在由活度信息表示的数据连续性的角度是在0度到45度和135度到180度中的任意值的情况下，像素选择单元421-1到像素选择单元421-L的处理。

像素选择单元421-1到像素选择单元421-L设置在0到45度或135度到180度的范围中、经过关注像素并具有彼此不同的预定角度的直线，其中以表示空间方向X的轴线为参考轴线。

像素选择单元421-1到像素选择单元421-L，在包括关注像素的水平行像素中选择在关注像素左侧的对应于设置直线的角度范围的个数的像素、在关注像素右侧的对应于设置直线的角度范围的个数的像素、以及选择像素作为一组。

像素选择单元421-1到像素选择单元421-L在距离包括关注像素的水平行像素上方和下方的、在垂直方向上以关注像素为参考并离关注像素为预定距离的水平行像素中选择位于最接近每个角度的设置直线的像素，并从选择像素的一行水平行像素中，选择在选择像素左侧的对应于设置直线的角度范围的个数的像素、在选择像素右侧的对应于设置直线的角度范围的个数的像素以及选择的像素作为一组像素。

也就是说，像素选择单元421-1到像素选择单元421-L选择对应于设置直线的角度范围的个数的像素作为像素组。像素选择单元421-1到像素选择单元421-L选择对应于设置直线的角度范围的个数像素组。

像素选择单元421-1将选择的像素组提供给估计误差计算单元422-1，并且像素选择单元421-2将选择的像素组提供给估计误差计算单元422-2。同样，像素选择单元421-3到像素选择单元421-L将选择的像素组提供给估计误差计算单元422-3到估计误差计算单元422-L。

估计误差计算单元422-1到估计误差计算单元422-L检测从像素检测单元421-1到像素检测单元421-L中的每个提供的多组中在相应位置上的像素的像素值的相关性。

估计误差计算单元422-1到估计误差计算单元422-L将表示相关性的检测信息提供给最小误差角度选择单元413。

接着，将参考图38中的流程图描述利用具有图26所示的结构的数据连续性检测单元101进行的对应于在步骤S101中的数据连续性检测的处理。

步骤S421和步骤S422的处理与步骤S401和步骤S402的处理相同，因此省略对其的描述。

在步骤S423中，对于对应于在步骤S422中检测的活度的范围中的每个角度，数据检测单元402从包括关注像素的像素行中选择以关注像素为中心的、对应于角度范围的预定多个像素作为像素组。例如，数据选择单元402从属于垂直行或水平行的像素的像素中选择由设置直线的角度范围确定的个数、在关注像素的上方或左侧、在关注像素的下方或右侧的像素以及关注像素作为像素组。

在步骤S424，对于根据在步骤S422的处理中检测的活度的范围中的每个预定角度，数据检测单元402从对应于角度范围的预定个数的像素行中选择对应于角度范围的预定个数的像素作为像素组。例如，数据选择单元402设置具有预定范围角度的、经过关注像素的直线，其中以表示空间方向X的轴线为参考轴线，选择最接近直线、同时在水平方向或垂直方向上距离关注像素为根据设置直线的角度范围的预定范围，并选择在像素的上方或左侧的对应于设置直线的角度范围的个数的像素、在像素的下方或右侧的对应于设置直线的角度范围的个数的像素、以及最接近选择直线的像素作为像素组。数据检测单元402选择每个角度的像素组。

数据选择单元402将选择的像素提供给误差估计单元403。

在步骤S425中，误差估计单元403计算以关注像素为中心的像素组与选择每个角度的像素组之间的相关性。例如，误差估计单元403计算包括关注像素的像素组的像素的像素值与在其它组的相应位置的像素的像素值之差的绝对值的和，并用像素值之差的绝对值的和除以所述其它组的像素的个数，从而计算相关性。

可以这样设置，其中根据每个角度的像素组之间的相关性检测数据连续性的角度。

误差估计单元403将表示计算的相关性的信息提供给连续性方向推导单元404。

步骤S426和步骤S427与步骤S406和步骤S407的处理相同，因此省略对其的描述。

从而，数据连续性检测单元101可以更精密并准确地检测基于图像数据中的参考轴线的数据连续性角度，其对应于丢失的现实世界1的光信号的连续性。利用具有图26所示的结构的数据连续性检测单元101，在数据连续性角度为约45度的情况下，可以尤其估计其上被投影了细线图像的更多像素的相关性，从而可以更精确地检测数据连续性的角度。

注意，可以这样设置，同样利用具有图26所示结果的数据连续性检测单元101，其中其中对于特定关注像素检测输入图像的空间方向中的活度，所述关注像素是关注帧中的关注像素，并从根据空间角度范围确定的在垂直行或水平行上的一定个数的像素组，选取对应于空间角度范围的个数的像素，根据检测的活度，对于基于关注像素和在空间方向中的参考轴线的每个角度和移动矢量，从关注帧和在时间方向上在关注帧之前和之后的帧中检测像素组的相关性，并根据相关性检测在输入图像中的时间方向和空间方向上的数据连续性角度。

图39是示出数据连续性检测单元101的另一结构的方框图。

利用具有图39所示的结构的数据连续性检测单元101，对于作为关注像素的像素，选取由以关注像素为中心的预定个数的像素构成的块、以及每个由围绕关注像素的预定个数的像素构成的多个块，检测以预定像素为中心的块与周围块的相关性，并且根据相关性，检测输入图像中基于参考轴的数据连续性角度。

数据检测单元441随后从输入图像中选择关注像素，选取由以关注像素为中心的预定个数的像素构成的块、以及由关注像素周围的预定个数的像素构成的多个块，并将选取的块提供给误差估计单元442。

例如，数据选择单元441对于基于关注像素和参考轴的每个预定角度范围，选取由以关注像素为中心的5×5个像素构成的块，以及由在关注像素周围的5×5个像素构成的两个块。

误差估计单元442检测从数据选择单元441提供的以关注像素为中心的块与在关注像素周围的块的相关性，并将表示检测的相关性的相关性信息提供给连续性方向推导单元443。

例如，误差估计单元442检测相对于每个角度的由以关注像素为中心的5×5个像素构成的块的像素值与对应于一个角度范围的由5×5个像素构成的两个块的像素值的相关性。

根据从误差估计单元442提供的相关性信息，从具有最大相关性的在关注像素周围的块的位置，连续性方向推导单元443检测输入图像中基于参考轴的数据连续性的角度，所述连续性的角度对应于丢失的现实世界的光信号的连续性，并输出表示角度的数据连续性信息。例如，连续性方向推导单元443根据从误差根据单元442提供的相关性信息，检测与由以关注像素为中心的5×5个像素构成的块具有最大相关性的、由关注像素周围的5×5个像素构成的两个块的角度范围，作为连续性数据的角度，并输出表示检测的角度的数据连续性信息。

图40为示出图39所示的数据连续性检测单元101的更详细结构的方框图。

数据选择单元441包括像素选择单元461-1到像素选择单元461-L。误差估计单元442包括估计误差计算单元462-1到估计误差计算单元462-L。连续性方向推导单元443包括最小误差角度选择单元463。

例如，数据选择单元441包括像素选择单元461-1到像素选择单元461-8。误差估计单元442包括估计误差计算单元462-1到估计误差计算单元462-8。

每个像素选择单元461-1到像素选择单元461-8选取由以关注像素为中心的预定个数的像素构成的块、以及由根据基于关注像素和参考轴的预定角度范围的预定个数的像素构成的两个块。

图41描述了由像素选择单元461-1到像素选择单元461-L选取的5×5个像素块的实例。图41的中心位置表示关注像素的位置。

注意，5×5像素块只是一个实例，但是在块中包括的像素的个数并不限制本发明。

例如，像素选择单元461-1选取以关注像素为中心的5×5像素块，并对应于0度到18.4度和161.6度到180度，选取以从关注像素向右平移5个像素的像素为中心的5×5像素块(图41中由A表示)、选取以从关注像素向左平移5个像素的像素为中心的5×5像素块(图41中由A’表示)。像素选择单元461-1将选取的三个5×5像素块提供给估计误差计算单元462-1。

像素选择单元461-2选取以关注像素为中心的5×5像素块，并对应于18.4度到33.7度的角度范围，选取以从关注像素向右平移10个像素、向上平移5个像素的像素为中心的5×5像素块(图41中由B表示)、选取以从关注像素向左平移10个像素、向下平移5个像素的像素为中心的5×5像素块(图41中由B’表示)。像素选择单元461-2将选取的三个5×5像素块提供给估计误差计算单元462-2。

像素选择单元461-3选取以关注像素为中心的5×5像素块，并对应于33.7度到56.3度的角度范围，选取以从关注像素向右平移5个像素、向上平移5个像素的像素为中心的5×5像素块(图41中由C表示)、选取以从关注像素向左平移5个像素、向下平移5个像素的像素为中心的5×5像素块(图41中由C’表示)。像素选择单元461-3将选取的三个5×5像素块提供给估计误差计算单元462-3。

像素选择单元461-4选取以关注像素为中心的5×5像素块，并对应于56.3度到71.6度的角度范围，选取以从关注像素向右平移5个像素、向上平移10个像素的像素为中心的5×5像素块(图41中由D表示)、选取以从关注像素向左平移5个像素、向下平移10个像素的像素为中心的5×5像素块(图41中由D’表示)。像素选择单元461-4将选取的三个5×5像素块提供给估计误差计算单元462-4。

像素选择单元461-5选取以关注像素为中心的5×5像素块，并对应于71.6度到108.4度的角度范围，选取以从关注像素向上平移5个像素的像素为中心的5×5像素块(图41中由E表示)、选取以从关注像素向下平移5个像素的像素为中心的5×5像素块(图41中由E’表示)。像素选择单元461-5将选取的三个5×5像素块提供给估计误差计算单元462-5。

像素选择单元461-6选取以关注像素为中心的5×5像素块，并对应于108.4度到123.7度的角度范围，选取以从关注像素向左平移5个像素、向上平移10个像素的像素为中心的5×5像素块(图41中由F表示)、选取以从关注像素向右平移5个像素、向下平移10个像素的像素为中心的5×5像素块(图41中由F’表示)。像素选择单元461-6将选取的三个5×5像素块提供给估计误差计算单元462-6。

像素选择单元461-7选取以关注像素为中心的5×5像素块，并对应于123.7度到146.3度的角度范围，选取以从关注像素向左平移5个像素、向上平移5个像素的像素为中心的5×5像素块(图41中由G表示)、选取以从关注像素向右平移5个像素、向下平移5个像素的像素为中心的5×5像素块(图41中由G’表示)。像素选择单元461-7将选取的三个5×5像素块提供给估计误差计算单元462-7。

像素选择单元461-8选取以关注像素为中心的5×5像素块，并对应于146.3度到161.6度的角度范围，选取以从关注像素向左平移10个像素、向上平移5个像素的像素为中心的5×5像素块(图41中由H表示)、选取以从关注像素向右平移10个像素、向下平移5个像素的像素为中心的5×5像素块(图41中由H’表示)。像素选择单元461-8将选取的三个5×5像素块提供给估计误差计算单元462-8。

下文中，将由以关注像素为中心的预定个数的像素构成的块称为关注块。

下文中，将由对应于基于关注像素和参考轴的预定角度范围的预定个数的像素称为参考块。

这样，例如，像素选择单元461-1到像素选择单元461-8从以关注像素为中心的25×25个像素中选取关注块和参考块。

估计误差计算单元462-1到估计误差计算单元462-L检测关注块与从像素选择单元461-1到像素选择单元461-L提供的两个参考块之间的相关性，并将表示检测的相关性的相关性信息提供给最小误差角度选择单元463。

例如，估计误差计算单元462-1对于由以关注像素为中心的5×5个像素构成的关注块、以及对应于0度到18.4度和161.6到180.8度获取的、以从关注像素向右平移5个像素的像素为中心的5×5像素参考块，计算关注像素中的像素的像素值与参考块中的像素的像素值之差的绝对值。

在该情况下，如图42所示，为了在计算像素值之差的绝对值中使用关注像素的像素值，以关注块的中心像素与参考块的中心像素重叠的位置作为参考，估计误差计算单元462-1计算在这样的情况下重叠的位置上的像素像素值之差的绝对值，在所述情况中，将关注块的位置对于参考块向左平移两个像素或向右平移两个像素，并向上平移两个像素或向下平移两个像素。这表示在关注块和参考块的25中位置中的相应位置上的像素的像素值之差的绝对值。换句话说，在计算像素值之差的绝对值的情况中，由相对移动的关注块和参考块构成的范围为9×9个像素。

在图42中，方块表示像素，A表示参考块，B表示关注块。在图42中，深色线表示关注像素。也就是说，图42示出了将关注块对于参考块向右平移两个像素并向上平移一个像素的情况。

另外，估计误差计算单元462-1对于由以关注像素为中心的5×5个像素构成的关注块、以及对应于0度到18.4度和161.6到180.8度获取的、以从关注像素向左平移5个像素的像素为中心的5×5像素参考块，计算关注像素中的像素的像素值与参考块中的像素的像素值之差的绝对值。

估计误差计算单元462-1然后获得已经计算的差的绝对值之和，并将差的绝对值之和提供给最小误差角度选择单元463作为表示相关性的相关性信息。

估计误差计算单元462-2对于由以关注像素为中心的5×5个像素构成的关注块、以及对应于18.4度到33.7度获取的两个5×5像素参考块，计算像素值之差的绝对值，并还计算已经算出的差的绝对值的和。估计误差计算单元462-2将算出的差的绝对值之和提供给最小误差角度选择对于463作为表示相关性的相关性信息。

同样，估计误差计算单元462-3到估计误差计算单元462-8对于5×5个像素构成的关注块、以及对应于预定角度范围获取的两个5×5像素参考块，计算像素值之差的绝对值，并还计算已经算出的差的绝对值的和。估计误差计算单元462-3到估计误差计算单元462-8每个将差的绝对值之和提供给最小误差角度选择对于463作为表示相关性的相关性信息。

最小误差角度选择单元463检测对应于在这样的参考块位置上两个参考块的角度作为数据连续性角度，在所示位置上，从估计误差计算单元462-1到估计误差计算单元462-8提供的作为相关性信息的像素值之差的绝对值的和被获得为表示最强相关性的最小值，并且，所述单元463输出表示检测的角度的输出数据连续性信息。

现在将描述参考块的位置和数据连续性的角度范围之间的关系。

在用n阶一维多项式近似用于模拟现实世界信号的模拟函数f(x)的情况中，可以将模拟函数f(x)表达为公式(15)。

f(x)＝w₀xⁿ+w₁x^n-1+...+w_n-1x+wⁿ

$=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{x}^{n-i}$

公式(15)

在由模拟函数f(x)模拟的现实世界的信号的波形具有与空间方向Y的特定梯度(角度)时，由通过将公式(15)中的x取为x+γy而获得的公式(16)表达用于模拟现实世界的信号的模拟函数f(x，y)。

f(x，y)＝w₀(x+γy)ⁿ+w₁(x+γy)^n-1+...w_n-1(x+γy)+w_n

$=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{w}_i{(x+\mathrm{\γy})}^{n-i}$

公式(16)

γ表示在空间方向X中的位置变化与在空间方向Y中的位置变化的比值。下文中，将γ称为平移量。

图43示出了，在关注像素的位置与角度为0度的直线之间在空间方向X上的距离为0，即直线经过关注像素的情况下，从关注像素的周围像素的位置到在空间方向X中具有角度θ的直线的距离。这里，像素的位置是像素的中心。另外，在所述位置在直线左侧的情况下，位置与直线之间的距离由负值表示，在所述位置在直线右侧的情况下，位置与直线之间的距离由正值表示。

例如，在关注像素右侧的相邻像素的位置，即其中在空间方向X上的坐标x增1，与具有角度θ的直线在空间方向X上的距离为1，以及，在关注像素左侧的相邻像素的位置，即其中在空间方向X上的坐标x减1，与具有角度θ的直线在空间方向X上的距离为-。在关注像素上方的相邻像素的位置，即其中在空间方向Y上的坐标y增1，与具有角度θ的直线在空间方向X上的距离为-γ，以及，在关注像素下方的相邻像素的位置，即其中在空间方向Y上的坐标y减1，与具有角度θ的直线在空间方向X上的距离为γ。

在角度θ大于45度但小于90度的情况下，平移量γ大于0但小于1，平移量γ和角度θ之间存在关系式γ＝1/tanθ。图44示出了平移量γ和角度θ之间的关系。

现在，注意关注像素附近的像素的位置与经过关注像素并具有角度θ的直线的在空间方向X上的距离相对于平移量γ的变化的变化。

图45示出了关注像素附近的像素的位置与经过关注像素并具有角度θ的直线的在空间方向X上相对于平移量γ的距离。在图45中，朝向右上方的单点虚线表示在其底部与关注像素相邻的像素的位置与直线在空间方向X上相对于平移量γ的距离。朝向左下方的单点虚线表示在其上部与关注像素相邻的像素的位置与直线在空间方向X上相对于平移量γ的距离。

在图45中，朝向右上方的两点虚线表示在关注像素的向下两个像素、向左一个像素的像素的位置与直线在空间方向X上相对于平移量γ的距离。朝向左下方的两点虚线表示在关注像素向上两个像素、向右一个像素的像素的位置与直线在空间方向X上相对于平移量γ的距离。

在图45中，朝向右上方的三点虚线表示在关注像素的向下一个像素、向左一个像素的像素的位置与直线在空间方向X上相对于平移量γ的距离。朝向左下方的两点虚线表示在关注像素向上一个像素、向右一个像素的像素的位置与直线在空间方向X上相对于平移量γ的距离。

从图45中可以找出对于平移量γ的具有最小距离的像素。

也就是说，在平移量γ为0到1/3的情况下，从在上部相邻于关注像素的像素和在下部相邻于关注像素的像素到直线的距离是最小的。也就是说，在角度θ是71.6度到90度的情况下，从在上部相邻于关注像素的像素和在下部相邻于关注像素的像素到直线的距离是最小的。

在平移量γ为1/3到2/3的情况下，从在关注像素上方两个像素、右侧一个像素的像素和在关注像素下方两个像素、左侧一个像素的像素到直线的距离是最小的。也就是说，在角度θ是56.3度到71.6度的情况下，从在关注像素上方两个像素、右侧一个像素的像素和在关注像素下方两个像素、左侧一个像素的像素到直线的距离是最小的。

在平移量γ为2/3到1的情况下，从在关注像素上方一个像素、右侧一个像素的像素和在关注像素下方一个像素、左侧一个像素的像素到直线的距离是最小的。也就是说，在角度θ是45度到56.3度的情况下，从在关注像素上方一个像素、右侧一个像素的像素和在关注像素下方一个像素、左侧一个像素的像素到直线的距离是最小的。

角度范围在0度到45度的直线与像素之间的关系也可以同样考虑。

可以用关注块和参考块代替图43中的像素，以考虑参考块和直线在空间方向X上的距离。

图46示出了这样的参考块，其与经过关注像素并具有角度θ的直线的在空间方向X上的距离最小。

图46中的A到H和A’到H’表示图41中的参考块A到H和A’到H’。

也就是说，在具有在0度到18.4度和161.6到180.8度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块A和A’之间的距离是最小的。因此，反之，在关注块与参考块A和A’之间的相关性最大的情况下，这意味着，在连接关注块和参考块A和A’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在0度到18.4度和161.6到180.8度的范围内。

在具有在18.4度到33.7度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块B和B’之间的距离是最小的。因此，反之，在关注块与参考块B和B’之间的相关性最大的情况下，这意味着，在连接关注块和参考块B和B’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在18.4度到33.7度的范围内。

在具有在33.7度到56.3度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块C和C’之间的距离是最小的。因此，反之，在关注块与参考块C和C’之间的相关性最大的情况下，这意味着，在连接关注块和参考块C和C’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在33.7度到56.3度的范围内。

在具有在56.3度到71.6度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块D和D’之间的距离是最小的。因此，反之，在关注块与参考块D和D’之间的相关性最大的情况下，这意味着，在连接关注块和参考块D和D’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在56.3度到71.6度的范围内。

在具有在71.6度到108.4度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块E和E’之间的距离是最小的。因此，反之，在关注块与参考块E和E’之间的相关性最大的情况下，这意味着，在连接关注块和参考块E和E’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在71.6度到108.4度的范围内。

在具有在108.4度到123.7度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块F和F’之间的距离是最小的。因此，反之，在关注块与参考块F和F’之间的相关性最大的情况下，这意味着，在连接关注块和参考块F和F’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在108.4度到123.7度的范围内。

在具有在123.7度到146.3度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块G和G’之间的距离是最小的。因此，反之，在关注块与参考块G和G’之间的相关性最大的情况下，这意味着，在连接关注块和参考块G和G’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在123.7度到146.3度的范围内。

在具有在146.3度到161.6度之间的任一角度θ、并经过关注像素以空间方向X轴作为参考的直线与每个参考块A到H和A’到H’之间的在空间方向X上的距离中，直线与参考块H和H’之间的距离是最小的。因此，反之，在关注块与参考块H和H’之间的相关性最大的情况下，这意味着，在连接关注块和参考块H和H’的方向上重复出现相同的特定特征，因此可以认为，数据连续性的角度在146.3度到161.6度的范围内。

这样，数据连续性检测单元101可以根据关注块与参考块之间的相关性检测数据连续性的角度。

注意，利用具有图39所示的结构的数据连续性检测单元101，可以这样设置，其中将数据连续性的角度范围输出为数据连续性信息，或这样设置，其中将表示数据连续性的角度范围的代表值输出为数据连续性信息。例如，可以将数据连续性的角度范围的中间值用作代表值。

另外，利用具有图39所示的结构的数据连续性检测单元101，通过使用关注块与参考块之间的最大相关性，允许减半对数据连续性的角度范围的检测，即，数据连续性的角度分辨率被两倍了。

例如，当关注块与参考块E和E’之间的相关性最大，最小误差角度选择单元463比较参考块D和D’与关注块的相关性与参考块F和F’与关注块的相关性，如图102所示。在参考块D和D’与关注块之间的相关性比参考块F和F’与关注块的相关性大的情况下，则最小误差角度选择单元463将71.6度到90度的范围设置为数据连续性的角度。或者，在该情况下，最小误差角度选择单元可以将81度设置为数据连续性角度的代表值。

在参考块F和F’与关注块之间的相关性比参考块D和D’与关注块的相关性大的情况下，则最小误差角度选择单元463将90度到108.4度的范围设置为数据连续性的角度。或者，在该情况下，最小误差角度选择单元可以将99度设置为数据连续性角度的代表值。

最小误差角度选择单元463利用相同的处理对于其它角度同样可以减半将要检测的数据连续性角度的范围。

参考图47所述的技术还称为简化16方向检测。

从而，具有图39所示的结构的数据连续性检测单元101利用简单的处理，可以在更窄的范围中检测数据连续性的角度。

接着，将参考图48中所示的流程图，描述利用具有图39所示的结构的数据连续性检测单元101对应于在步骤S101中的处理检测数据连续性的处理。

在步骤S441中，数据选择单元441从输入图像选择关注像素。例如，数据选择单元441以栅格扫描的顺序从输入图像中选择关注像素。

在步骤S442中，数据选择单元441选择由以关注像素为中心的预定个数的像素构成的关注块。例如，数据选择单元441选择由以关注像素为中心的5×5个像素构成的关注块。

在步骤S443中，数据选择单元441选择由在关注像素周围的预定位置的预定个数的像素构成的参考块。数据选择单元441对于每个基于关注像素和参考轴的预定角度范围，选择由以基于关注像素的尺寸的预定位置为中心的5×5个像素构成的参考块。

数据选择单元441将关注块和参考块提供给误差估计单元442。

在步骤S444，误差估计单元442对于每个基于关注像素和参考轴的预定角度范围，计算关注块和对应于角度范围的参考块之间的相关性。误差估计单元442将表示计算的相关性的相关性信息提供给连续性方向推导单元443。

在步骤S445中，连续性方向推导单元443从具有与关注块的最大相关性的参考块的位置，检测输入图像中基于参考轴的数据连续性的角度，其对应于丢失的现实世界1的信号的图像连续性。

连续性方向推导单元443将表示检测的数据连续性角度的数据连续性信息输出。

在步骤S446，数据选择单元441确定对所有像素的处理是否已经结束，在确定对所有像素的处理仍未结束的情况下，该流程返回步骤S441，从仍未被选的像素中选择关注的像素作为关注像素，并重复上述处理。

在步骤S446中，在确定对所有像素的处理已经结束的情况下，该处理结束。

从而，具有图39所示的结构的数据连续性检测单元101利用更容易的处理，可以检测图像数据中基于参考轴的数据连续性角度，其对应于丢失的现实世界1的光信号的连续性。另外，具有图39所示的结构的数据连续性检测单元101可以利用输入图像中较窄范围的像素的像素值检测数据连续性的角度，从而，即使在输入图像中存在噪音等情况下，仍可以更精确地检测数据连续性的角度。

注意，对于具有图39所示的结构的数据连续性检测单元101，可以这样设置，其中，对于关注帧中的关注像素，除了选取以关注像素为中心、并由关注帧中的预定个数的像素构成的块，还可以选取每个由以关注像素周围的预定个数的像素构成的多个块、从在时间方向上在关注帧之前或之后的帧中，以对应于关注像素的位置上的像素为中心、并由预定个数的像素构成的块、以及每个由以对应于关注像素的位置上的像素周围的预定个数的像素构成的多个块，并检测以关注像素为中心的块与在其周围的块子阿空间方向和时间方向上的相关性，从而基于相关性，在时间方向和空间方向上检测输入图像的数据连续性的角度。

例如，如图49所示，数据选择单元441依次选择关注帧#n中的关注像素、并从帧#n中选取以关注像素为中心、并由预定个数的像素构成的块、以及每个由以关注像素周围的预定个数的像素构成的多个块。另外，数据选择单元441从#n-1和帧#n+1中选取以对应于关注像素的位置上的像素为中心、并由预定个数的像素构成的块、以及每个由对应于关注像素的位置上的像素周围的预定个数的像素构成的多个块。数据选择单元441将选取的块提供给误差估计单元442。

误差估计单元442检测从数据选择单元441提供的以关注像素为中心的块与其周围的块在时间方向和空间方向上的相关性，并将表示检测的相关性的相关性信息提供给连续性方向推导单元443。根据从误差估计单元442提供的相关性信息，连续性方向推导单元443从具有最大相关性的块在空间方向或时间方向上的位置，检测输入图像的数据连续性在空间方向或时间方向上的角度，其对应于丢失的现实世界1的光信号连续性，并输出表示角度的数据连续性信息。

另外，数据连续性检测单元101可以根据输入图像的分量信号进行数据连续性检测处理。

图50是示出数据连续性检测单元101根据输入图像的分量信号进行数据连续性检测处理的结构的方框图。

每个数据连续性检测单元481-1到481-3具有与上述或下文描述的数据连续性检测单元101相同的结构，并且在输入图像的每个分量信号上执行上述或下文中的处理。

数据连续性检测单元481-1基于输入图像的第一分量信号检测数据连续性，并将表示从第一分量信号检测的数据的连续性的信息提供给确定单元482。例如，数据连续性检测单元481-1基于输入图像的亮信号检测数据连续性，并将表示从亮信号检测的数据的连续性的信息提供给确定单元482。

数据连续性检测单元481-2基于输入图像的第二分量信号检测数据连续性，并将表示从第二分量信号检测的数据的连续性的信息提供给确定单元482。例如，数据连续性检测单元481-2基于输入图像的作为颜色差异的信号的I信号检测数据连续性，并将表示从I信号检测的数据的连续性的信息提供给确定单元482。

数据连续性检测单元481-3基于输入图像的第三分量信号检测数据连续性，并将表示从第三分量信号检测的数据的连续性的信息提供给确定单元482。例如，数据连续性检测单元481-1基于输入图像的作为颜色差异信号的Q信号检测数据连续性，并将表示从Q信号检测的数据的连续性的信息提供给确定单元482。

确定单元482基于从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的表示数据连续性的信息，检测输入图像的最终数据连续性，并输出表示检测的数据连续性的数据连续性信息。

例如，确定单元482在从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中取最大数据连续性作为最终数据连续性。或者，确定单元482在从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中取最小数据连续性作为最终数据连续性。

另外，例如，确定单元482在从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中取平均数据连续性作为最终数据连续性。确定单元482可以被设置为在从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中取中点(中间值)作为最终数据连续性。

另外，例如，基于外部输入的信号，确定单元482在从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中取由外部输入信号指定的数据连续性作为最终数据连续性。确定单元482可以被设置为在从数据连续性检测单元481-1到481-3提供的从每个分量信号检测的数据连续性中取预定数据连续性作为最终数据连续性。

而且，确定单元482可以被设置为基于在从数据连续性检测单元481-1到481-3提供的检测分量信号的数据连续性的处理中获得的误差确定最终数据连续性。下面将描述可以在检测数据连续性的处理中获得的误差。

图51示出了用于基于输入图像的分量信号检测数据连续性的数据连续性检测单元101的另一结构。

分量处理单元491根据输入图像的分量信号产生一个信号，并将其提供给数据连续性检测单元492。例如，分量处理单元491累加在屏幕的相同位置上的信号的输入图像的每个分量信号的值，从而产生由分量信号的和构成的信号。

例如，分量处理单元491对于在屏幕上的相同位置上的像素，对输入图像的每个分量信号的像素值取平均，从而产生由分量信号的平均值构成的信号。

数据连续性检测单元492基于从分量处理单元491提供的信号输入，检测输入图像中的数据连续性，并输入表示检测的数据连续性的数据连续性信息。

数据连续性检测单元492具有与上述或下文所述的数据连续性检测单元101相同的结构，并在从分量处理单元491提供的信号上执行上述或下文描述的处理。

从而，数据连续性检测单元101通过基于分量信号检测输入图像的数据连续性二可以检测数据连续性，从而即使在输入图像中存在噪音等情况下，仍可以更精确地检测数据连续性。例如，数据连续性检测单元101通过基于分量信号检测输入图像的数据连续性，可以更精确地检测数据连续性角度(梯度)、混合比例、以及具有数据连续性的区域。

注意，分量信号不限于亮信号和颜色差异信号，而可以是其它格式的其它分量信号，例如RGB信号、YUV信号等。

如上所述，在其中投影现实世界的亮信号的设置中，检测数据连续性相对于参考轴的角度，所述连续性对应于现实世界的亮信号的连续性，并从具有现实世界的亮信号的部分丢失的连续性的图像数据中被丢失的部分，并通过基于检测的角度估计现实世界亮信号的已经丢失的连续性估计亮信号，从而可以获得更精确的处理结果。

另外，在这样的设置中，其中在图像数据中选取多组由每个角度的预定个数的像素构成的像素组，所述角度基于关注像素和参考轴，所述图像数据通过将现实世界的光信号投影到多个检测元件上获得，在所述图像中已经丢失了现实世界光信号的部分连续性，检测选取的每个角度的多组中对应位置上的像素的像素值的相关性，基于检测的相关性，检测对应于现实世界光信号的已经丢失的连续性的图像数据中的数据连续性基于参考轴的角度，以及基于检测的图像数据中基于参考轴的数据连续性的角度，通过模拟现实世界光信号的已丢失的连续性而模拟光信号，从而可以获得对现实世界事件的更精确的处理结果。

图52是示出数据连续性检测单元101的另一结构的方框图。

利用如图52所示的数据连续性检测单元101，投影现实世界的光信号，选择对应于关注像素的区域，关注像素是图像数据中的关注的像素，图像数据中已丢失了现实世界光信号的部分连续性，以及基于相关性值设置像素的分数，其中关注像素的像素值与属于被选区域的像素的像素值的相关性值等于或大于阈值，从而检测输入该区域的像素的分数，并基于检测的分数检测回归线，从而检测对应于现实世界光信号的丢失的连续性的图像数据的数据连续性。

帧存储器501将输入图像存储在增加的帧中，并将构成存储的帧的像素的像素值提供给像素获取单元502。帧存储器501可以将为移动图像的输入图像的帧的像素的像素值提供给像素获取单元502，通过将输入图像的当前帧存储在一页中，将存储在另一页中的在当前帧前一帧(过去)的帧的像素的像素值提供给像素获取单元502，并在输入图像的帧的切换时间点上切换页。

像素像素获取单元502基于从帧存储器501提供的像素的像素值选择作为关注的像素的关注像素，并选择由对应于关注像素的预定个数的像素构成的区域。例如，像素获取单元502选择由以关注像素为中心的5×5个像素构成的区域。

像素获取单元502选择的区域的尺寸不限制本发明。

像素获取单元502获取选择区域的像素的像素值，并将选择区域的像素的像素值提供给分数检测单元503。

基于从像素获取单元502提供的选择区域的像素的像素值，分数检测单元503通过基于相关性设置像素的分数，检测属于所述区域的像素的分数，其中关注像素的像素值与属于选择区域的像素的像素值的相关性值等于或大于阈值。下面将描述在分数检测单元503中基于相关性设置分数的处理的细节。

分数检测单元503将检测的分数提供给回归线计算单元504。

回归线计算单元504基于从分数检测单元503提供的分数计算回归线。例如，回归线计算单元504基于从分数检测单元503提供的分数计算回归线。另外，回归线计算单元504基于从分数检测单元503提供的分数计算为预定曲线的回归线。回归线计算单元504将表示计算的回归线和计算结果的参数提供给角度计算单元505。计算参数表示的计算结果包括下文描述的变分和共变分。

角度计算单元505基于由从回归线计算单元504提供的计算结果参数表示的回归线，检测作为图像数据的输入图像的数据的连续性，其对应于现实世界的光信号的已经丢失的连续性。例如，基于由从回归线计算单元504提供的计算结果参数表示的回归线，角度计算单元505检测输入图像的数据的连续性的基于参考轴的角度，其对应于现实世界的光信号的连续性。角度计算单元505输出表示输入图像中的数据连续性的基于参考轴的角度的数据连续性信息。

下面将参考图53到图55描述输入图像中的数据连续性的基于参考轴的角度。

在图53中，每个圆形表示单个像素，双圆形表示关注像素。圆形的颜色示意性地表示了像素的像素值，其中较亮色表示更大的像素值。例如，黑色表示30的像素值，而白色表示120的像素值。

在人观察由图53所示的像素构成的图像的情况下，看图像的人可以识别出直线在对角右上的方向上延伸。

一旦输入有图53所示的像素构成的图像，具有图52所示的结构的数据连续性检测单元101检测出直线在对角右上的方向上延伸。

图54示出了具有数值的图53所示的像素的像素值。每个圆形表示一个像素，圆形中的数值表示像素值。

例如，关注像素的像素值为120，在关注像素上方的像素的像素值为100，以及在关注像素下方的像素的像素值为100。另外，在关注像素左侧的像素的像素值为80，在关注像素的右侧的像素的像素值为80。同样，在关注像素左下的像素的像素值为100，以及在关注像素右上的像素的像素值为100。在关注像素左上的像素的像素值为30，以及在关注像素右下的像素的像素值为30。

具有图52所示结构的数据连续性检测单元101对图54所示的输入图像画出回归线A，如图55所示。

图56示出了输入图像中的像素值的变化与像素在空间方向中的位置的关系以及回归线A。在具有数据连续性的区域中的像素的像素值以例如峰形变化，如图56所示。

具有图52所示结构的数据连续性检测单元101通过最小二乘法画出回归线A，其中利用具有数据连续性的区域中的像素的像素值进行计量。由数据连续性检测单元101获得的回归线A表示在关注像素附近的数据连续性。

如图57所示，通过获得回归线A与表示例如作为参考轴的空间方向X的轴线之间的角度θ，而检测输入图像中的数据连续性基于参考轴的角度。

接着，将描述利用具有图52所示的结构的数据连续性检测单元101计算回归线的具体方法。

例如，根据从像素获取单元502提供的由以关注像素为中心、在空间方向X上的9个像素和×空间方向Y上的5个像素共45个像素构成的区域中的像素的像素值，分数检测单元503检测对应于属于该区域的像素的坐标的分数。

例如，分数检测单元503通过利用计算公式(17)计算分数，检测属于该区域的坐标(x_i，y_j)的分数L_i，j。

$L_{i,j}=\left\{\begin{array}{cc}\exp (0.050(255-|P_{\mathrm{0,0}}-P_{i,j}\left|\right)-1)& \left(\right|P_{\mathrm{0,0}}-P_{i,j}\left|\right)\≤\mathrm{Th})\\ 0& \left(\right|P_{\mathrm{0,0}}-P_{i,j}\left|\right)>\mathrm{Th})\end{array}\right.$

公式(17)

在公式(17)中，P_0，0表示关注像素的像素值，P_i，j表示在坐标(x_i，y_j)上的像素的像素值。Th表示阈值。

i表示在该区域中的空间方向X上的像素的序数，其中1≤i≤k。j表示在该区域中的空间方向Y上的像素的序数，其中1≤j≤l。

k表示在在该区域中的空间方向X上的像素的个数，以及l表示在该区域中的空间方向Y上的像素的个数。例如，在由空间方向X上为9个像素、在空间方向Y上为5个像素的总共45个像素构成的区域的情况下，K为9，而l为5。

图58示出了由像素获取单元502获取的区域的实例。在图113中，打点的方形每个表示一个像素。

例如，如图58所示，在由以关注像素为中心、在空间方向X上为9个像素、在空间方向Y上为5个像素的区域中，其中关注像素的坐标(x，y)为(0，0)，则在该区域左上的像素的坐标(x，y)为(-4，2)，该区域右上的像素的坐标(x，y)为(4，2)，该区域左下的像素的坐标(x，y)为(-4，-2)以及该区域右下的像素的坐标(x，y)为(4，-2)。

该区域左侧的像素在空间方向X上的序数i为1，而该区域右侧的像素在空间方向X上的序数i为9。该区域下侧的像素在空间方向Y上的序数j为1，而该区域上侧的像素在空间方向Y上的序数i为5。

也就是说，以关注像素的坐标(x₅，y₃)为(0，0)，在区域的左上的像素的坐标(x₁，y₅)为(-4，2)，该区域右上的像素的坐标(x₉，y₅)为(4，2)，该区域左下的像素的坐标(x₉，y₁)为(-4，-2)以及该区域右下的像素的坐标(x，y)为(4，-2)。

分数检测单元503利用公式(17)计算关注像素的像素值与属于该区域的像素的像素值之差的绝对值作为相关值，从而这不限于输入图像中已经被投影现实世界的细线图像的具有数据连续性的区域，而是，可以检测表示在具有双值边缘数据连续性的输入图像的区域中的像素值的空间变化特征的分数，其中已经投影具有直边缘、并且与背景有单色差的现实世界的对象的图像。

注意，分数检测单元503不限于像素的像素值之差的绝对值，而可以被设置为检测基于其它相关性值的分数，例如相关性系数等。

另外，在公式(17)中施加分量函数是为了放大对于像素值之差的分数差，并可以设置为其中施加其它函数。

阈值Th可以是可选值。例如，阈值Th可以是30。

这样，分数检测单元503基于相关性值，利用属于选择区域的像素的像素值设置具有相关性的像素的分数，从而检测属于该区域的像素的分数。

另外，分数检测单元503进行公式(18)的计算，从而计算分数，从而检测属于所述区域的坐标(x_i，y_j)的分数L_i，j。

$L_{i,j}=\left\{\begin{array}{cc}255-|P_{\mathrm{0,0}}-P_{i,j}|& \left(\right|P_{\mathrm{0,0}}-P_{i,j}\left|\right)\≤\mathrm{Th})\\ 0& \left(\right|P_{\mathrm{0,0}}-P_{i,j}\left|\right)>\mathrm{Th})\end{array}\right.$

公式(18)

当坐标(x_i，y_j)的分数为L_i，j(1≤i≤k，1≤j≤l)时，空间方向Y上的坐标x_i的分数L_i，j的和q_i由公式(19)表达，而空间方向X上的坐标y_j的分数L_i，j的和h_j由公式(20)表达。

$q_i=\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{L}_{i,j}$

公式(19)

$h_j=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{L}_{i,j}$

公式(20)

分数的和u由公式(21)表达。

$u=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{L}_{i,j}$

$=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{q}_i$

$=\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{h}_j$

公式(21)

在图58所示的实例中，关注像素的坐标的分数L_5，3为3，在关注像素上方的像素的坐标的分数L_5，4为1，在关注像素的右上的像素的坐标的分数L_6，4为4，在关注像素上方两个像素、右侧一个像素的像素的坐标L_6，5为2，在关注像素的上方两个像素、右侧两个像素的像素的坐标的分数L_7，5为3。另外，在关注像素的下方的像素的坐标的分数L_5，2为2，在关注像素左侧像素的坐标的分数L_4，3为1，在关注像素的左下像素的坐标的分数L_4，2为3，在关注像素的下方一个像素、左侧两个像素的像素的坐标的分数L_3，2为2，以及，在关注像素的下方两个像素、左侧两个像素的像素的坐标的分数L_3，1为4。在如图58所示的区域中的所有其它像素的分数为0，并且省略对图58中分数为0的像素的描述。

在如图58所示的区域中，由于其中i为1的所有分数L为0，空间方向Y上的分数的和q₁为0，以及由于其中i为2的所有分数L为0，q₂为0。由于L_3，2为2和L_3，1为4，因此q₃为6。同样，q₄为4、q₅为6、q₆为6、q₇为3、q₈为0、以及q₉为0。

在如图58所示的区域中，由于L_3，1为4，空间方向X上的分数的和h₁为4。以及由于L_3，2为2、L_4，2为3、以及L_5，2为2，因此h₂为7。同样，h₃为4，h₄为5、以及h₅为5。

在如图58所示的区域中，分数的和u为25。

在空间方向Y上的分数L_i，j的和q_i与坐标x_i相乘的结果的和T_x由公式(22)示出。

T_x＝q₁x₁+q₂x₂+...+q_kx_k

$=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{q}_i{x}_i$

公式(22)

在空间方向X上的分数L_i，j的和h_j与坐标y_j相乘的结果的和T_y由公式(23)示出。

T_y＝h₁y₁+h₂y₂+...h_ly_l

$=\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{h}_j{y}_j$

公式(23)

例如，在如图58所示的区域中，q₁为0，x₁为-4，所以q₁x₁为0，而q₂为0，x₂为-3，所以q₂x₂为0。同样，q₃为6，x₃为-2，所以q₃x₃为-12；q₄为4，x₄为-1，所以q₄x₄为-4；q₅为6，x₅为0，所以q₅x₅为0；q₆为6，x₆为1，所以q₆x₆为6；q₇为3，x₇为2，所以q₇x₇为6；q₈为0，x₈为3，所以q₈x₈为0；以及q₉为0，x₉为4，所以q₉x₉为0。因此，作为q₁x₁到q₉x₉的和的T_x为-4。

例如，在如图58所示的区域中，h₁为4，y₁为-2，所以h₁y₁为-8，而h₂为7，y₂为-1，所以h₂y₂为-7。同样，h₃为4，y₃为0，所以h₃y₃为0；h₄为5，y₄为1，所以h₄y₄为5；以及，h₅为5，y₅为2，所以h₅y₅为10。因此，作为h₁y₁到h₅y₅的和的T_y为0。

另外，Q_i被如下定义。

$Q_i=\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{L}_{i,j}{y}_j$

公式(24)

x的变分S_x由公式(25)表达。

$S_x=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{q}_i{x}_i^2-T_x^2/u$

公式(25)

y的变分S_y由公式(26)表达。

$S_y=\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{h}_j{y}_j^2-T_y^2/u$

公式(26)

共变分S_xy由公式(27)表达。

$S_{\mathrm{xy}}=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{L}_{i,j}{x}_i{y}_j-T_x{T}_y/u$

$=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{Q}_i{x}_i-T_x{T}_y/u$

公式(27)

考虑获得在公式(28)中所示的基本回归线。

y＝ax+b                                 公式(28)

通过最小二乘法可以如下获得的梯度a和截距b。

$a=\frac{u\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{L}_{i,j}{x}_i{y}_j-T_x{T}_y}{u\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{q}_i{x}_i^2-T_x^2}$

$=\frac{S_{\mathrm{xy}}}{S_x}$

公式(29)

$b=\frac{T_y\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{q}_i{x}_i^2-T_x\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{L}_{i,j}{x}_i{y}_j}{u\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{q}_i{x}_i^2-T_x^2}$

公式(30)

然而，应该注意，用于获得校正回归线的条件是，相对于回归线的分数L_i，j的分布为高斯分布。为了实现该另一方法，需要分数检测单元503将该区域的像素的像素值转换为分数L_i，j，使得分数L_i，j具有高斯分布。

回归线计算单元504进行公式(29)和公式(30)的计算以获得回归线。

角度计算单元505进行公式(31)的计算以将回归线的梯度转换为与作为参考轴的空间方向X上的轴线的角度θ。

θ＝tan^-1(a)                              公式(31)

现在，在回归线计算单元504计算为预定曲线的回归线的情况中，角度计算单元505在关注像素的位置上获得回归线对于参考轴的角度θ。

这里，在检测每个像素的数据连续性中不需要截距b。因此考虑获得如公式(32)所示的基本回归线。

y＝ax                                     公式(32)

在该情况下，回归线计算单元504可以通过最小二乘法获得如公式(33)的梯度。

$a=\frac{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{L}_{i,j}{x}_i{y}_j}{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{q}_i{x}_i^2}$

公式(33)

下面将参考如图59所示的流程描述对应于步骤S101中的处理的、利用具有如图52所示结构的数据连续性检测单元101检测数据连续性的处理。

在步骤S501中，像素获取单元502从仍未被选作为关注像素的像素中选择关注像素。例如，像素获取单元502以栅格扫描顺序选择关注像素。在步骤S502中，像素获取单元502获取在以关注像素为中心的区域中包括的像素的像素值，并将获取的像素的像素值提供给分数检测单元503。例如，像素获取单元502选择以关注像素为中心的9×5个像素构成区域，并获取在该区域中包括的像素的像素值。

在步骤S503，分数检测单元503将包括在所述区域中的像素的像素值转换为分数，从而检测分数。例如，分数检测单元503通过如公式(17)所示的计算将像素值转换为分数L_i，j。在该情况下，分数检测单元503将该区域的像素的像素值转换为分数L_i，j，使得分数L_i，j具有高斯分布。分数检测单元503将转换的分数提供给回归线计算单元504。

在步骤S504中，回归线计算单元504基于从分数检测单元503提供的分数获得回归线。例如，回归线计算单元504基于从分数检测单元503提供的分数获得回归线。尤其是，回归线计算单元504通过执行如公式(29)和公式(30)中所示的计算获得回归线。回归线计算单元504将表示作为计算结果的回归线的计算结果参数提供给角度计算单元505。

在步骤S505中，角度计算单元505计算回归线对于参考轴的角度，从而检测图像数据的数据连续性，其对应于现实世界的光信号的已经丢失的连续性。例如，角度计算单元505通过公式(31)的计算，将回归线的梯度转换为对于作为参考轴的空间方向X的θ。

注意，可以这样设置，其中角度计算单元505输出表示梯度a的数据连续性信息。

在步骤S506中，像素获取单元503确定对所有像素的处理是否已经结束，在确定对所有像素的处理仍未结束时，流程返回S501，从仍未被选作为关注像素的像素中选择关注像素，并重复上述处理。

在确定在步骤S506中对所有像素的处理已经结束的情况下，该处理结束。

这样，具有如图52所示的结构的数据连续性检测单元101可以检测图像数据中的数据连续性基于参考轴的角度，其对应于现实世界1的光信号的丢失连续性。

尤其是，具有图52所示的结构的数据连续性检测单元101基于在较窄区域中的像素的像素值，可以获得比像素更小的下＝角度。

如上所述，在其中投影现实世界的光信号的情况下，选择对应于关注像素的区域，所示关注像素是在图像数据中关注的像素，图像数据中已丢失现实世界信号的部分连续性，以及设置像素的基于相关性值的分数，其中关注像素的像素值与属于选择区域的像素的像素值的相关性值等于或大于阈值，从而检测属于该区域的像素的分数，并且基于检测的分数检测回归线，从而检测图像数据的数据连续性，其对应于现实世界信号的已丢失的连续性，随后通过基于图像数据的检测数据模拟丢失的现实世界光信号的连续性而模拟光信号，从而可以获得对现实世界中的事件的更精确的处理结果。

注意，利用具有图52所示结构的数据连续性检测单元101，可以这样设置，其中将在包括关注像素的关注帧的预定区域中的、在时间方向上在关注帧之前或之后的帧中的像素的像素值转换成分数，并基于分数获得回归平面，从而可以同时检测数据连续性在空间方向中的角度和时间方向的数据连续性的角度。

图60示出了另一种形式的数据连续性检测单元101的结构。

图60所示的数据连续性检测单元101包括数据选择单元701、数据补充单元702、以及连续性方向推导单元703。

数据选择单元701取输入图像的每个像素作为关注像素，选择对应于每个关注像素的像素的像素值数据，以及将其输出到数据补充单元702。

数据补充单元702基于从数据选择单元701输入的数据进行最小二乘法补充计算，并将补充计算结果输出给连续性方向推导单元703。由数据补充单元702进行的补充计算是关于在后述最小二乘法计算中使用的求和项的计算，可以认为其计算结果是图像数据的用于检测角度连续性的特征。

连续性方向推导单元703从由数据补充单元702输入的补充计算结果计算连续性方向，即数据连续性具有的相对于参考轴的角度(例如细线或二值边缘的梯度或方向)，并将其输出作为数据连续性信息。

接着，将参考图61概括描述数据连续性检测单元101在检测连续性(方向或角度)中的操作。图61对应于图62中的部分以相同的符号表示，并在下文适当地省略对其的描述。

如图61所示，通过光学系统141(例如由透镜、LPF(低通滤光器)等组成)将现实世界的信号(例如图像)成像到传感器(例如CCD(电荷耦合装置))或CMOS(互补金属氧化物半导体)的感光面上。传感器由具有积分特性的器件构成，例如CCD或CMOS。由于这样的结构，从由传感器输出的数据获得的图像与现实世界的图像不同(与现实世界的图像的差异发生)。

因此，如图62所示，数据连续性检测单元101使用模型705通过模拟表达并从模拟表达中提取数据连续性，而以模拟方式描述现实世界。模型705由例如N个变量表达。更精确的说，模型705模拟(描述)现实世界的信号。

为了预计模型705，数据连续性检测单元101从数据中选取M块数据706。随后，由数据的连续性约束模型705。

也就是说，模型705模拟现实世界的事件(表示事件的信息(信号))的连续性，所述现实世界具有的连续性(在预定维度方向上的不变特征)在由传感器获得数据时产生数据中的数据连续性。

现在，在数据706的个数M为N或更大时，所述N是模型705的变量个数N，可以从M块数据706预计由N个变量表示的模型705。

另外，通过预计模拟(描述)现实世界(的信号)的模型705，数据连续性检测单元101得出包含在信号中的数据连续性，所述信号是作为例如细线或二值边缘方向(梯度、或在取预定方向为轴的情况下与该轴的角度)的现实世界的信息，并将其输出作为数据连续性信息。

接着，将参考图63描述数据连续性检测单元101，其输出来自输入图像的细线的方向(角度)作为数据连续性信息。

数据选择单元701由水平/垂直确定单元711、以及数据获取单元712构成。水平/垂直确定单元711从关注像素与周围像素的像素值之差确定输入图像中的细线与水平方向的角度是接近水平方向还是接近垂直方向，并将确定结果输出给数据获取单元712和数据补充单元702。

更具体的说，例如，在该技术中，还可以使用其它技术。例如，可以使用简化的16方向检测。如图64所示，在关注像素与周围像素之差(像素之间的像素值之差)中，水平/垂直确定单元711获得在水平方向上的像素之差的和(活度)(hdiff)与在垂直方向上的像素之差的和(活度)(vdiff)之间的差，并确定是关注像素与在垂直方向上的相邻像素之间的差之和更大、还是关注像素与在水平方向上的相邻像素之间的差之和更大。现在，在图64中，每个栅格表示一个像素，并且在图形中心的像素是关注像素。另外，图中由虚线箭头表示的像素之差是在水平方向上的像素之差，并且其和由hdiff表示。同样，图中由实线箭头表示的像素之差是在垂直方向上的像素之差，并且其和由vdiff表示。

基于已经获得的在水平方向上的像素的像素值的差之后hdiff和在垂直方向上的像素的像素值的差之和vdiff，在(hidff-vdiff)为正的情况下，这表示在水平方向上的像素的像素值的变化(活度)大于在垂直方向的，从而在如图65所示的由θ(1度≤θ≤180度)表示与水平方向的角度的情况中，水平/垂直确定单元711确定像素属于45度≤θ≤135度的细线，即接近垂直方向的角度，相反，在(hidff-vdiff)为负的情况下，这表示在垂直方向上的像素的像素值的变化(活度)更大，从而水平/垂直确定单元711确定像素属于0度≤θ≤45度的细线，即接近水平方向的角度(在细线延伸的方向(角度)上的每个像素是表示细线的像素，因此在这些像素之间的变化(活度)应该更小)。

另外，水平/垂直确定单元711具有计数器(未示出)用于识别输入图像的各个像素，并且可以任何适当或需要的时间使用。

另外，尽管相关于图64中的实例进行了描述，其中在以关注像素为中心的3×3个像素范围中比较在垂直方向和水平方向上的像素之间的像素值之差的和，以确定细线是接近垂直方向还是接近水平方向，但是利用更多个数的像素可以以相同的技术确定细线的方向，例如，可以基于以关注像素为中心的5×5个像素、7×7个像素等，即更多个像素来进行确定。

基于从水平/垂直确定单元711输入的关于细线方向的确定结果，数据获取单元712读取(获取)在由多个排列在对应于关注像素的水平方向上的像素构成的块的增量上、或在由排列在对应于关注像素的垂直方向上的像素构成的块的增量的像素值，并且随同获取每个关注像素的多个对应像素的在对应于从水平/垂直确定单元711提供的确定结果的方向上的相邻像素之差，将在预定个数像素的块中包含的像素的像素值的最大和最小值数据输出给数据补充单元702。下文中，将由数据获取单元712获得的对应于关注像素的多个像素构成的块称为获取块(由多个像素组成，每个像素由栅格表示)，如图78所示，其在下文中被作为实例描述，用黑色方形表示的像素为在关注像素，获取的块是上方和下方的三个像素和左侧和右侧的一个像素，共15个像素。尤其是，在多个像素中，以相邻于由水平/垂直确定单元711确定的方向的像素i与像素(i+1)的像素值的数据差作为yi，在其中获取的对应于关注像素的块由n个像素构成的情况下，差值补充单元721对每个水平方向或垂直方向补充(y1)²+(y2)²+(y1)²+...和执行计算，并将其输出给连续性方向推导单元703。

数据补充单元702的差异补充单元721检测从数据选择单元701输入的数据差，基于从数据选择单元701的水平/垂直确定单元711输入的水平方向或垂直方向的确定结果，执行在下文的最小二乘法方案中需要的补充处理，并将补充结果输出给连续性方向推导单元703。尤其是，在多个像素中，将在由水平/垂直确定单元711确定的方向上的相邻像素I与像素(i+1)的像素值之差的数据取为yi，并且在对应于关注像素获取的块由n个像素构成的情况下，差补充单元721计算每个水平方向或垂直方向上的(y1)²+(y2)²+(y3)²+...的补充，并将其输出给连续性方向推导单元703。

一旦获得为在从数据选择单元701输入的对应于关注像素的获取块中包括的每个像素设置的块中包括的像素的像素值的最大值和最小值(下文中称为动态范围块(对于在下述图78中示出的获取的块中的像素，在象素pix12的上方和下方3个像素共7个像素的动态范围块，示出为由黑实线围绕的动态范围块B1))，最大最小值获取单元722从其差计算(检测)动态范围Dri(在对应于获取块中第i个像素的动态范围块中包括的像素的像素值的最大值和最小值之差)，并将其输出到差值补充单元723。

差值补充单元723检测从最大最小值获取单元722输入的动态范围Dri和从数据选择单元701输入的差值数据，基于动态范围Dri和已经检测的差值数据对从数据选择单元701的水平/垂直确定单元711输入的每个水平方向或垂直方向补充通过将动态范围Dri乘以差值数据yi而获得的值，并将计算结果输出给连续性方向推导单元703。也就是说，差值补充单元723输出的计算结果在每个水平方向或垂直方向上为y1×Dr1+y2×Dr2+y3×Dr3+...

连续性方向推导单元703的连续性方向计算单元731基于从数据补充单元702输入的在每个水平方向或垂直方向上的补充计算结果计算细线的角度(方向)，并将计算的角度输出作为连续性信息。

现在，将描述计算细线的方向(梯度或细线的角度)的方法。

放大如图66A所示的输入图像中由白线围绕的部分示出了，细线(白线在图中右上方向上对角地延伸)实际如图66B所示。也就是说，在现实世界中，图像如图66C所示，细线水平(图66C中的更亮的阴影部分)和背景水平两个水平形成了边界，而没有其它的水平。相反，由传感器拍摄的图像，即在像素增量上成像的图像，是其中如图66B所示的图像，存在在细线方向上的块的重复阵列，所述块由多个像素构成，其中由于积分效应使得背景水平和细线水平在空间上混合，其在垂直方向上排列使得其比值(混合比值)根据特定图形而变化。注意，在图66B中，每个方形栅格表示CCD的一个像素，可以认为其每边的长度为d_CCD。另外，被格形填充的栅格部分是像素值的最小值，等于背景水平，在其它阴影填充部分中，阴影密度越低，则具有的像素值更大(因此，没有阴影的白色栅格具有最大像素值)。

在如图67A所示细线存在于现实世界的背景上的情况下，可以将现实世界的图像显示为如图67B所示，其中将水平作为水平轴，并将对应于水平的部分的图像的面积作为垂直轴，示出了对应于图像中的背景的面积与对应于细线的部分的面积之间的在图像中的占用的面积的关系。

同样，如图68A所示，由传感器2拍摄的图像是这样的图像，其中存在在这样的方向上重复的阵列，在所述方向上，细线表现为多个块，所述块由具有混合的背景水平和细线水平的像素构成，其在垂直方向上排列在背景水平的像素中，使得其混合比值根据特定图形而变化，并且从而，如图68B所示，通过空间混合背景和细线获得由这样的像素构成的混合空间区域，所述像素的水平在背景水平区域(背景区域)和细线水平之间。现在，图68B中的垂直轴为像素个数，因为每个像素的面积是(d_CDD)²，从而可以说图68B中的像素水平与像素个数之间的关系与像素水平与面积分布之间的关系相同。

关于图69A中(31像素×31像素的图像)示出的实际图像中的由白线围绕的部分获得了相同的结果，如图69B所示。在图69B中，图69A中的背景部分(在图69A中表现为黑色的部分)具有多个低像素值水平的像素的分布(像素值为约20)，这些很少变化的部分构成了图像的背景区域。相反，图69B中像素值水平不低的部分，即像素值水平分布为约40到约60的像素是属于构成细线图像的空间混合区域的像素，并且，当每个像素值的像素个数不多时，其被分布在宽的像素值范围上。

现在，例如沿图70A中所示的箭头方向(Y座标方向)观察现实世界图像中的背景和细线中的每个的水平，其如图70B所示地变化。也就是说，从箭头开始到细线的背景区域具有较低的背景水平，细线区域具有高水平的细线水平，并且通过细线区域返回到背景区域使得返回到低水平的背景水平。因此，这形成了脉冲形的波形，其中只有细线区域为高水平。

相反，在由传感器拍摄的图像中，图71B中示出了对应于图70A中的箭头的图71A中X＝X1空间方向上的像素(在图71A中由黑点表示的像素)的像素值与这些像素的空间方向Y之间的关系。注意，在图71A中，沿右上延伸的两条白线之间表示现实世界图像中的细线。

也就是说，如图71B所示，对应于图71A中的中心像素的像素具有最大的像素值，从而像素的像素值当空间方向Y的位置从图的底部移向中心像素时增大，然后当通过中心位置后逐渐减小。从而，如图71B所示形成峰形波形。另外，对应于图71A中X＝X0和X2的空间方向的像素的像素值的变化也具有相同的形状，只是峰值位置根据细线的梯度在空间方向Y上移动了。

即使在例如如图72A所示的由传感器实际拍摄的图像的情况下，仍可以获得同样的结果，如图72B所示。也就是说，图72B示出了在图72A中的图像中由白线围出的范围中的细线附近的像素值在每个预定空间方向X(图中，X＝561、562、563)上的像素值变化对应于空间方向Y的变化。这样，由传感器2拍摄的图像也就有波形，其中X＝561是，峰值在Y＝730；X＝562时，峰值在Y＝705；以及X＝563时，峰值在Y＝685。

从而，表示现实世界图像的细线附件的水平变化的波形为脉冲波形，而表示由传感器拍摄的图像中的像素值变化的波形为峰形波形。

也就是说，换句话说，现实世界图像的水平为如图70B所示的波形，但是由于经过由传感器的拍摄在成像的图像的变化中发生了畸变，并且，因此可以说，这变成了与现实世界图像不同的波形(其中丢失了现实世界的信息)，如图71B所示。

因此，设置用于从由传感器获得的图像数据近似描述现实世界的模型(相当于图62中的模型705)，以从由传感器拍摄的图像获得现实世界图像的连续性信息。例如，在细线的情况中，如图73设置现实世界图像。也就是说，这样设置参数，将在图像左边的具有背景部分的水平设置为B1，将在图像右边的背景部分水平设置为B2，将细线部分的水平设置为L，将细线的混合比值设置为α，将细线的宽度设置为W，以及将细线与水平方向的角度设置为θ，将其形成为模型，建立近似表达现实世界的函数，通过获得参数而获得近似表达现实世界的模拟函数，并从模拟函数获得细线的角度(与参考轴的梯度或角度)。

此时，可以将左边和右边背景区域模拟为相同，从而被统一为B(＝B1＝B2)如图74所示。另外，细线的宽度为一个或更多个像素。当利用传感器拍摄这样设置的现实世界时，将拍摄的图像成像为如图75A所示。注意，在图75A中，向右上方延伸的两个白线之间的空间表示现实世界图像中的细线。

也就是说，在现实世界的细线位置上的像素的水平接近细线的水平，因此当在垂直方向(空间方向Y)上远离细线时像素值减小，并且在不接触细线区域的位置上的像素，即背景区域像素具有背景值的像素值。这里，位于细线区域和背景区域之间的像素的像素值具有这样的像素值，其中背景水平的像素值B与细线水平L的像素值L以混合比值α混合。

在通过这样取成像的图像中的每个像素作为关注像素的情况中，数据获取单元712选取对应于关注像素的获取块的像素，选取构成选取的获取块的每个像素的动态范围块，以及从构成动态范围块的像素选取具有最大像素值的像素和具有最小像素值的像素。也就是说，如图75A所示，在选取对应于获取块中的预定像素(对应在图中一个栅格中用黑实线描述的方格的像素pix4)的动态范围块(例如图中由黑实线围绕的7个像素pix1到7)中的像素的情况中，如图75A所示，对应于每个像素的现实世界的图像如图75B所示。

也就是说，如图75B所示，在像素pix1中，左边占约1/8的面积的部分是背景区域，而右边占约7/8的面积的部分是细线区域。在像素pix3中，左边占约7/8的面积的部分是细线区域，而右边占约1/8的面积的部分是背景区域。在像素pix4中，左边占约2/3的面积的部分是细线区域，而右边占约1/3的面积的部分是背景区域。在像素pix5中，左边占约1/3的面积的部分是细线区域，而右边占约2/3的面积的部分是背景部分。在像素pix6中，左边占1/8的面积的部分是细线区域，而右边占约7/8的面积的部分是背景区域。另外，在像素pix7中，整个区域是背景区域。

结果，图75B中所示的动态范围块中的像素pix1到pix7的像素值是这样的像素值，其中背景水平和细线水平以对应于细线区域和背景区域的比例的混合比值混合。也就是说，像素pix1的背景水平∶前景水平的混合比值为约1∶7，像素pix2的背景水平∶前景水平的混合比值为约0∶1，像素pix3的背景水平∶前景水平的混合比值为约1∶7，像素pix4的背景水平∶前景水平的混合比值为约1∶2，像素pix5的背景水平∶前景水平的混合比值为约2∶1，像素pix6的背景水平∶前景水平的混合比值为约7∶1，以及像素pix7的背景水平∶前景水平的混合比值为约1∶0。

因此，在选取的动态范围块中的像素pix1到pix7的像素值中，像素pix2的最大，其后是像素pix1和pix3，然后以像素pix4、5、6和7的像素值次序。因此，在如图136B所示的情况中，最大值是像素pix2的像素值，以及最小值是像素pix7的像素值。

另外，如图76A所示，可以说细线的方向是其中的像素连续具有最大像素值的方向，因此，其中排列具有最大值的像素的方向是细线的方向。

现在，表示细线方向的梯度G_f1是相对于空间方向X上的单位长度的在空间方向Y上的变化比(距离变化)，从而，在例如图76A中的图示情况下，图中相对于空间方向X上的一个像素的空间方向Y上的距离为梯度G_f1。

空间方向X0到X2上的空间方向Y上的像素值的变化使得每个空间方向X的峰形波形以预定间隔重复，如图76B所示。如上所述，细线的方向在由传感器2拍摄的图像中是其中连续为具有最大值的像素的方向，从而其上为空间方向X上的最大值的空间方向Y上的间隔S为细线的梯度G_f1。也就是说，如图76C所示，垂直方向上相对于水平方向上一个像素距离的变化量为G_f1。因此，当以对应于其梯度的水平方向作为参考轴，并将细线与其的角度表达为θ，如图76C所示，则可以将细线的梯度G_f1(对应于以水平方向作为参考轴的角度)表达为在下面公式(34)中示出的关系。

θ＝Tan^-1(G_f1)(＝Tan^-1(S))                 公式(34)

另外，在建立例如如图74所示的模型的情况中，还假设空间方向Y上的像素的像素值之间的关系使得如图76B所示的峰形波形由理想三角形形成(二等边三角波形，其中引导边沿或延伸边沿线性变化)，并且如图77所示，其中在预定关注像素的空间方向X上、在空间方向Y上存在的像素的像素值的最大值为Max＝L(这里，像素值对应于现实世界的细线的水平)，以及最小值为Min＝B(这里，像素值对应于现实世界的背景的水平)，如下面公式(35)所示的关系成立。

L-B＝G_f1×d_y                              公式(35)

这里，d_y表示空间方向Y上的像素之间的像素值之差。

也就是说，空间方向中的G_f1越大，细线越接近垂直，从而峰形波形为具有更大的底的等腰三角形的波形，相反，梯度S越小，波形的等腰三角形的底越小。因此，梯度G_f1越大，空间方向Y上的像素之间的像素值之差d_y越小，而梯度S越小，空间方向Y上的像素之间的像素值之差d_y越大。

因此，通过获得使上述公式(35)成立的梯度G_f1，使得可以获得细线相对于参考轴的角度θ。公式(35)是以G_f1为变量的单变量函数，因此这可以通过利用一组关注像素附近(垂直方向上)的像素之间的像素值之差d_y、以及最大值和最小值之差(L-B)获得，然而，如上所述，这使用了这样的近似表达，所述表达假设空间方向Y上的像素值的变化采用理想三角形，从而对对应于关注像素的选取块的每个像素选取动态范围块，并还从其最大值和最小值获得动态范围Dr，以及通过最小二乘法，利用空间方向Y上的像素之间的像素值之差d_v，对选取块中的每个像素，统计地获得。

现在，在开始描述通过最小二乘法的统计处理之前，首先详细描述选取块和动态范围块。

例如如图78所示，选取的块可以是在空间方向Y上在关注像素(图中其中用黑实线画出的方形的栅格的像素)上方和下方的三个像素、以及在空间方向X上在右侧和左侧的一个像素，共15个像素，或类似的等。另外，在该情况中，对于选取块中的每个像素之间的像素值之差d_y，例如将对应于像素pix11的差表达为d_y11，在空间方向X＝X0的情况下，获得在像素pix11和pix12、pix12和pix13、pix13和pix14、pix15和pix16、以及pix16和pix17之间的像素值之差d_y11到d_y16。这里，对于空间方向X＝X1和X2等以同样的方法获得像素之间的像素值之差。从而，存在18个像素之间的像素值之差d_y。

另外，关于选取块的像素，基于水平/垂直确定单元711的确定结果确定这样的情况，其中例如关于pix11，动态范围块的像素在垂直方向上，从而如图78所示，取像素pix11以及其垂直方向(空间方向Y)上的上方和下方各3个像素，从而动态范围块B1的范围为7个像素，获得在该动态范围块B1中的像素的像素值的最大值和最小值，并还将从最大值和最小值获得的动态范围取为动态范围Dr11。同样，从图78中以相同方式示出的动态范围块B2的7个像素获得关于选取块的像素pix12的动态范围Dr12。从而基于对选取块中的18个像素差d_yi和相应的动态范围Dri的组合，利用最小二乘法统计地获得梯度G_f1。

接着，将描述单变量最小二乘法。假设这里水平/垂直确定单元711的确定结果是垂直方向。

单变量最小二乘法是用于获得例如由预测值Dri_c构成的直线的梯度G_f1，所述直线到图79中全部由黑点表示的实际测量值的距离最小。从而，从基于在上述公式(35)中表示的关系的下述技术获得梯度S。

也就是说，以最大值和最小值之差作为动态范围Dr，可以将上述公式(35)描述为下面的公式(36)。

Dr＝G_f1×d_y                          公式(36)

从而，通过将选取块中的每个像素之间的差d_yi代入上述公式(36)可以获得动态范围Dri_c。因此，下面的公式(37)的关系满足每个像素。

Dri_c＝G_f1×d_yi                      公式(37)

这里，差d_yi是每个像素i在空间方向Y上的像素之间的像素值之差(例如，像素i与相邻上方或下方的像素的像素值之差)，以及Dri_c是当公式(70)关于像素i成立时获得的动态范围。

如上所述，这里使用的最小二乘法是用于获得梯度G_f1，其中选取块的像素i的动态范围Dri_c与作为利用参考图75A和图75B所述的方法获得的像素i的实际测量值的动态范围Dri_r的差方和Q对于图像中的所有像素最小。因此，通过下面的公式(38)可以获得差方和Q。

$Q=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\{{\mathrm{Dr}}_{i\_}r-{\mathrm{Dr}}_i\_c\}}^2$

$=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\{{\mathrm{Dr}}_i\_r-G_{\mathrm{fl}}{d}_{\_}{y}_i\}}^2$

公式(38)

公式(38)中示出的差方和是二次函数，其采用关于变量G_f1的如图141所示的下凸曲线，因此其上梯度G_f1最小的G_f1min是最小二乘法的解。

对公式(38)中的差方和Q的取对变量G_f1的微分，获得dQ/dG_f1，如公式(39)所示。

$\frac{\∂Q}{\∂G_{\mathrm{fl}}}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}2(-d\_y_i)({\mathrm{Dr}}_i\_r-G_{\mathrm{fl}}\×d\_y_i)$

公式(39)

对于公式(39)，采用图80中所示的差方和Q的最小值的G_f1min是0，从而通过扩展其中公式(39)为0的公式获得具有下面公式(40)的梯度G_f1。

$G_{f1}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{Dr}}_i\_r\×d\_y_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(d\_y_i)}^2}$

公式(40)

上述公式(40)就是所谓的单变量(梯度G_f1)的正规方程。

从而，通过将获得的梯度G_f1代入上述公式(34)，获得对应于细线的梯度G_f1的以水平方向为参考轴的细线角度θ。

现在，在上述描述中，已经描述了这样的情况，其中关注像素在细线上，细线在以水平方向为参考轴的45度≤θ＜135度的角度范围内，但是在这样的情况中，其中关注像素在细线上，细线接近水平方向，在以水平方向为参考轴的0度≤θ＜45度或135≤θ＜108度的角度范围内，像素i与在水平方向上的相邻像素之间的像素值之差为d_xi，并以同样的方法，在从多个像素获得对应于像素i的最大像素值或最小像素值时，从相对于像素i的水平方向上的多个像素中选择将要选取的动态范围块的像素。在该情况的处理中，只是简单地替换上述中水平方向和垂直方向之间的关系，因此省略对其的描述。

另外，类似地处理可以用于获得对应于二值边缘的梯度的角度。

也就是说，放大输入图像中例如图81A中由白线包围的部分，示出了图像的边缘部分(图中在黑色横幅上以白色书写的叉形符号的下部)(下文中，由两个值水平构成的图像的边缘部分还称为二值边缘)实际如图81B所示。也就是说，在现实世界，如图81C所示，图像具有由两种水平形成的边界，第一水平(横幅的场水平)和第二水平(符号水平(图81C中具有低浓度的阴影部分))，而不存在其它水平。相反，在由传感器拍摄的图像中，即如图81B所示，被拍摄到像素增量中的图像，其中排列第一水平像素的部分和其中排列第二水平的像素的部分在一个区域上相邻，在所述区域中，在这样的方向上存在重复的阵列，在所述方向上，边缘表现为由像素构成的块，所述像素是在空间上混合第一水平和第二水平所得，并排列在垂直方向上，从而其比值(混合比值)根据特定图形变化。

也就是说，如图82A所示，关于空间方向X＝X0、X1以及X2，空间方向Y上的像素值的各变化如图82B所示，像素值图的底部到接近二值边缘(图82A中朝向右上的直线)边界为预定最小像素值，但是像素值在二值边缘附近逐渐增大，并在图中穿过边缘的点P_E上，像素值到达预定最大值。尤其是，空间方向X的变化使得像素值在经过具有像素值的最小值的点P_S后像素值逐渐增大，并到达像素值为最大值的点P0，如图82B所示。相比于此，在空间方向X＝X1上的像素的像素值变化表现为在空间方向上偏移的波形，并在图中通过点P1增大到像素值的最大值，其中像素值从像素值的最小值逐渐增大的位置在空间方向Y的正向上具有方向偏移，如图82B所示。另外，在空间方向X＝X2上空间方向Y中的像素值的变化经过图中的P2点而减小，其在空间方向Y的正方向上继续平移，并从像素值的最大值变到最小值。

在实际图像中用白线包围的部分上还可以观察类似的趋势。也就是说，在图83A中的实际图像(31像素×31像素图像)中由白线包围的部分中，背景部分(图83A中显示为黑色的部分)分布由如图83B所示的具有低像素值的多个像素(像素值为约90)，这些具有较少变化的部分形成图像的背景区域。相反，图83B中像素值不低的部分，即像素值分布在约100到200的像素是属于符号区域和背景区域之间的空间混合区域的像素的分布，当每个像素值的像素个数较少时，该分布覆盖宽范围的像素值。另外，具有高像素值的符号区域中的多个像素(图83A中显示为白色的部分)分布在示为220的像素值附近。

因此，图84B示出了在图84A所示的图像边缘，对于预定空间方向X，在空间方向Y上的像素值的变化。

也就是说，图84B示出了关于图84A的图像中由白线围绕的范围的边缘附近的像素值，对于每个预定空间方向X(图中，X＝658、659、660)，像素值对应于空间方向Y的变化。可以看到，在由实际的传感器2等拍摄的图像中，当X＝658，像素值在Y＝374附近开始增大(图中由黑色圆形表示的分布)，并在Y＝382附近到达最大值。另外，当X＝659，像素值在Y＝378附近开始增大，其在空间方向Y的正向上被平移(图中由黑色三角形表示的分布)，并在Y＝386附近到达最大值。另外，当X＝660时，像素值在Y＝382附近开始增大，其在空间方向Y的正向上被进一步平移(图中由黑色方形表示的分布)，并在Y＝390附近到达最大值。

因此，为了从由传感器拍摄的图像中获得现实世界的图像的连续性信息，建立模型以从由传感器获取的图像数据近似描述现实世界。例如，在二值边缘的情况中，如图85设置现实世界图像。也就是说，这样设置参数，将在图像左边的符号部分水平设置为V1，将在图像右边的符号部分水平设置为V2，将在二值边缘附近的像素的混合比值设置为α，以及将边缘与水平方向的角度设置为θ，将其形成为模型，建立近似表达现实世界的函数，通过获得参数而获得近似表达现实世界的函数，并从模拟函数获得边缘的方向(与参考轴的梯度或角度)。

这里，表示边缘方向的梯度是相对于空间方向X上的单位长度的在空间方向Y上的变化比(距离变化)，从而，在例如图86A中的图示情况下，图中相对于空间方向X上的一个像素的空间方向Y上的距离为梯度。

空间方向X0到X2上的空间方向Y上的像素值的变化使得每个空间方向X的相同波形以预定间隔重复，如图86B所示。如上所述，边缘的方向在由传感器拍摄的图像中是其中在空间上连续发生类似的像素值变化(在该情况下，在预定空间方向Y上的像素值变化从最小值变化到最大值)，从而对于每个空间方向X，在像素值在空间方向Y上开始变化的位置、或空间方向Y上变化结束的位置上的间隔S为边缘的梯度G_fe。也就是说，如图86C所示，垂直方向上相对于水平方向上一个像素距离的变化量为G_fe。

这里，该关系与关于上述参考图76A到76C描述的细线的梯度G_f1的关系相同。因此，关系表达式相同。也就是说，在二值边缘情况下的关系式如图87所示，以背景区域的像素值为V1，以符号区域的像素值为V2，每个作为最小值和最大值。另外，以靠近边缘的像素的混合比值为α，以边缘梯度为G_fe，成立的关系式与上述公式(34)到(36)相同(其中用G_fe代替G_f1)。

因此，图63所示的数据连续性检测单元101可以利用相同的处理检测对应于细线的梯度的角度，以及对应于边缘的梯度的角度作为数据连续性信息。因此，下面，梯度将同指细线的梯度和二值边缘的梯度，并称为梯度G_f。另外，在上述公式(38)到(40)中的梯度G_f1可以是G_fe，因此，可以由G_f替换。

接着，将参考图88中的流程图描述检测数据连续性的处理。

在步骤S701，水平/垂直确定单元711起动计数器T，其识别输入图像的每个像素。

在步骤S702，水平/垂直确定单元711进行处理用于选取在下面步骤中需要的数据。

这里，将参考图89的流程图描述用于选取数据的处理。

在步骤S711中，如参考图64的描述，对于每个关注像素T，数据检测单元701的水平/垂直确定单元711计算关于在水平、垂直和对角方向上相邻9个像素的在水平方向上的像素的像素值的像素值之差的和(活度)(hdiff)与在垂直方向上的像素之差的和(活度)(vdiff)，并获得其差(hidff-vdiff)；在(hidff-vdiff)≥0并且关注像素T取水平方向为参考轴的情况下，确定像素接近靠近垂直方向的细线或二值边缘，其中与参考轴的角度θ为45度≤θ＜135度，并将表示使用的选取块对应于垂直方向的确定结果输出给数据获取单元712和数据补充单元702。

另一方面，在(hidff-vdiff)＜0并且关注像素取水平方向为参考轴的情况下，水平/垂直确定单元711确定像素接近靠近水平方向的细线或边缘，其中细线或二值边缘与参考轴的角度θ为0度≤θ＜45度或135度≤θ＜180度，并将表示使用的选取块对应于水平方向的确定结果输出给数据获取单元712和数据补充单元702。

也就是说，细线或二值边缘的梯度更接近垂直方向表示，例如如图70A所示，图中插入有箭头的细线部分更大，因此设置在垂直方向上具有增加个数的像素的选取块(设置垂直长的选取块)。同样，在细线的梯度更靠近水平方向的情况下，设置在水平方向上具有增加个数的像素的选取块(设置水平长的选取块)。这样，不需要增加不必的计算量而可以计算精确最大值和最小值。

在步骤S712中，数据获取单元712对应于从水平/垂直确定单元711输入的表示关注像素的水平方向或垂直方向的确定结果选取选取块的像素。也就是说，例如如图78所示，选取以关注像素为中心的(水平方向上的3个像素)×(垂直方向上的7个像素)共21个像素作为选取块并存储。

在步骤S713，数据获取单元712选取对应于如下方向的动态范围块的像素并将其存储，所述方向对应于对选取块中的每个像素的水平/垂直确定单元711的确定结果。也就是说，如上文参考图78的描述，在该情况下，对于例如选取块的像素pix11，水平/垂直确定单元711的确定结果表示垂直方向，从而数据获取单元712选取在垂直方向上的动态范围块B1，并以同样的方法选取像素pix12的动态范围块B2。并同样地选取其它选取块的动态范围块。

也就是说，利用该数据选取处理(选择将要处理的区域)，将用于计算关于特定关注像素T的正规方程所需的像素信息存储在数据获取单元712中。

这里，返回到图88中的流程。

在步骤S703，数据补充单元702进行处理，用于补充正规方程中每项所需的值(公式(74))。

这里，将参考图90的流程描述对正规方程的补充处理。

在步骤S721中，差值补充单元721根据数据选择单元701的水平/垂直确定单元711的确定结果，获得(选择)存储在数据获取单元712中的选取块的像素之间的像素值之差，并将其升高到第二阶(平方)并补充。也就是说，在水平/垂直确定单元711的确定结果是垂直方向的情况下，差值补充单元721获得垂直方向中的选取块的每个像素与相邻像素的像素值之差，并将其平方和补充。同样，在水平/垂直确定单元711的确定结果是水平方向的情况下，差值补充单元721获得水平方向中的选取块的每个像素与相邻像素的像素值之差，并将其平方和补充。从而，差值补充单元721产生各项的差方和作为上述公式(40)中的分母，并将其存储。

在步骤S722中，最大最小值获取单元722获得存储在数据获取单元712中的动态范围块中包括的像素的像素值的最大值和最小值，并在步骤S723中，从最大值和最小值获得(检测)动态范围，并将其输出给差值补充单元723。也就是说，在如图136B所示的由像素pix1到pix7构成的7像素动态范围块的情况下，检测出pix2的像素值为最大值，检测出pix7的像素值为最小值，以及获得其差作为动态范围。

在步骤S724中，差值保持单元723从存储在数据获取单元712中的选取块的像素，获得在对应于数据选择单元701的水平/垂直确定单元711的结果的方向上的相邻像素之间像素值之差，并补充由从最大最小值获取单元722输入的动态范围相乘的值。也就是说，差值补充单元721产生多项和作为上述公式(40)中的分子，并将其存储。

这里，返回到对图88中的流程的描述。

在步骤S704中，差值补充单元721确定像素之间的像素值之差(在对应于水平/垂直确定单元711的确定结果的方向上的相邻像素之间的像素值之差)是否被补充给选取块的所有像素，在确定例如像素之间的像素值之差没有对于选取块的所有像素补充时，流程返回步骤S702，并重复后面的处理。也就是说，重复步骤S702到步骤S704的处理直到确定像素之间的像素值之差已经对于选取块的所有像素补充。

当在步骤S704中确定像素之间的像素值之差已经被补充给选取块的所有像素的情况下，在步骤S705，差值补充单元721和723将存储在其中的补充结果输出给连续性方向推导单元703。

在步骤S706，连续性方向计算单元731利用最小二乘法求解上述给出的公式(40)中的正规方程，基于：从数据补充单元702的差值补充单元721输入的获取块中的像素的、在对应于水平/垂直确定单元711的确定结果的方向上的相邻像素之间的像素值的差方和；从差值补充单元723输入的获取块中像素的、在对应于水平/垂直确定单元711的确定结果的方向上的相邻像素之间的像素值之差；以及对应于获得的块的像素的动态范围的乘积的和，从而统计地计算并输出表示连续性方向的角度(表示细线或二值边缘的梯度的角度)，作为关注像素的数据连续性信息。

在步骤S707中，数据获取单元712确定是否已经对所有输入图像的像素进行处理，在确定仍未对输入图像的所有像素处理的情况下，即仍没有输出输入图像的所有像素的细线或二值边缘的角度信息，在步骤S708中对计数器加1，并且过程返回步骤S702。也就是说，重复步骤S702到步骤S708的处理，直到处理并变化输入图像的像素，并对输入图像的所有像素进行处理。可以根据例如栅格扫描等由计数器T改变像素，或根据其它规则顺序改变。

当在步骤S707中确定已经对输入图像的所有像素进行处理的情况下，在步骤S709，数据获取单元712确定是否存在下一个输入图像，在确定存在下一个输入图像的情况下，处理返回步骤S701，并重复下面的处理。

当在步骤S709中确定不存在下一个输入图像时，处理结束。

根据上述处理，检测出细线或二值边缘的角度作为连续性信息并输出。

通过该统计处理获得的细线或二值边缘的角度近似地匹配利用相关性获得的细线或二值边缘的角度。也就是说，对于如图91A所示的图像中由白线围绕的范围的图像，如图91B所示，通过利用相关性获得的表示细线梯度的角度(图中的黑色圆形)与通过利用图63中的数据连续性检测单元101进行统计处理获得的细线角度(图中的黑色三角形)对于细线的在水平方向上的预定坐标的在空间方向Y上的梯度的变化在细线附近的空间方向Y的坐标上近似符合。注意，在图91B中，在图中黑线之间的空间方向Y＝680到730之间是在细线上的坐标。

同样，对于如图92A所示的图像中由白线围绕的范围的图像，如图92B所示，通过利用相关性获得的表示二值边缘的梯度的角度(图中的黑色圆形)与通过利用图63中的数据连续性检测单元101进行统计处理获得的二值边缘的角度(图中的黑色三角形)对于二值边缘的在水平方向上的预定坐标的在空间方向Y上的梯度的变化在细线附近的空间方向Y的坐标上近似符合。注意，在图92B中，在图中空间方向Y＝(约)376到(约)388之间是在细线上的坐标。

因此，如图63所示的数据连续性检测单元101利用用于获得细线或二值边缘的每个像素附近的信息，不同于利用与由预定像素构成的块的相关性的方法，可以统计地获得表示细线或二值边缘的梯度的角度(以水平方向作为参考轴的角度)作为数据连续性，并且因此，不存在如在利用相关性的方法中的根据预定角度的切换，从而，可以利用相同的处理获得所有细线或二值边缘的梯度的角度，从而可以简化处理。

另外，尽管描述了数据连续性检测单元101的实例，所述单元输出细线或二值边缘与预定参考轴的角度作为连续性信息，但是可以考虑，根据后面的处理，以改善处理效率地方式输出角度。在该情况下，数据连续性检测单元101的连续性方向推导单元703和连续性方向计算单元731可以不变地输出通过最小二乘法获得的细线或二值边缘的梯度G_f作为连续性信息。

另外，尽管描述了获得对选取块中的每个像素计算的公式(40)中的Dri_r，但是设置充分大的动态范围块，即设置较多关注像素及较多的周围像素的动态范围，将在动态范围的全部次数中选择图像中的像素的像素值的最大值和最小值。因此，可以这样设置，其中对动态范围Dri_r进行计算，其中以获得的为固定值的动态范围Dri_r作为选取块或图像数据中的像素的从最大值到最小值的动态范围，而不计算选取块的每个像素。

也就是说，可以如下面的公式(41)进行设置，通过只补充像素之间的像素值之差以获得细线的角度(梯度G_f)。通过这样固定动态范围可以简化计算处理，并以更快的速度进行处理。

$G_f=\frac{\mathrm{Dr}\×\underset{i=1}{\overset{n}{\mathrm{\Σ}}}d\_y_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(d\_y_i)}^2}$

公式(41)

接着，将参考图93描述数据连续性检测单元检测像素的混合比值作为数据连续性信息。

注意，在如图93所示的数据连续性检测单元101中，对应于图63中数据连续性检测单元101的部分的部分以相同的标号表示，并省略对其的描述。

在如图93所示的数据连续性检测单元101中，与图63所示的数据连续性检测单元101不同之处在于，提供数据补充单元751和混合比值推导单元761代替数据补充单元702和连续性方向推导单元703。

数据补充单元751的最大最小值获取单元752执行与图63中最大最小值获取单元722相同的处理，并获得动态范围块中像素的像素值的最大值和最小值，获得最大值和最小值的差(动态范围)，以及将其输出给补充单元753和755，并将最大值输出给差值计算单元754。

补充单元753平方由最大最小值获取单元获得的值，对选取块的所有像素进行补充，获得其和，以及将其输出给混合比值推导单元761。

差值计算单元754获得数据获取单元712获取的块中的每个像素之间的差和对应于动态范围块的最大值，并将其输出给补充单元755。

补充单元755将从最大最小值获取单元752输入的获取块的每个像素的最大值和最小值之差(动态范围)与从差值计算单元754输入的获取块中的每个像素的像素值与对应的动态范围块的最大值的差相乘，获得其和，并将其输出给混合比值推导单元761。

混合比值推导单元761的混合比值计算单元762基于从数据补充单元的补充单元753和755输入的值，通过最小二乘法统计地获得关注像素的混合比值，并将其输出作为数据连续性信息。

接着，将描述混合比值推导方法。

如图94A所示，在图像上存在细线的情况下，由传感器2拍摄的图像如图94B所示。在该图像中，关注图94B中在空间方向X＝X1上由黑色实线围绕的关注像素。注意，图94B中在白线之间的区域表示对应于细线区域的位置。该像素的像素值M应该是对应于背景区域的水平的像素值B和对应于细线区域的水平的像素值L之间的中间色，更具体的是，该像素值P_s应该是根据背景区域和细线区域的面积比值的每个水平的混合水平。因此，像素值P_s可以由下面的公式(42)表达。

P_s＝α×B+(1-α)×L                公式(42)

这里，α是混合比值，尤其是，表示背景区域在关注像素中所占的面积比值。因此，可以说(1-α)表示细线区域所占的比值。这里，可以认为背景区域的像素是在背景中存在的对象的分量，从而可以称为背景对象分量。另外，可以认为细线区域的像素是在相对于背景对象的前景中存在的对象的分量，从而可以成为前景对象分量。

从而，可以通过扩展公式(42)由下面的公式(43)表达混合比值α。

α＝(P_s-L)/(B-L)                   公式(43)

另外，在这该情况下，假设像素值位于横跨第一像素值(像素值B)区域和第二像素值(像素值L)区域的位置上，因此，可以用像素值的最大值Max替换像素值L，可以用像素值的最小值替换像素值B。因此，可以将混合比值α表达为下面的公式(44)。

α＝(P_s-Max)/(Min-Max)             公式(44)

作为上述的结果，可以从关于关注像素的动态范围块的动态范围(等于(Min-Max))、以及关注像素与动态范围块中的像素的最小值之差获得混合比值α，但是，为了进一步改善精度，这里将通过最小二乘法统计地获得混合比值。

也就是说，扩展上述公式(44)得到下面的公式(45)。

(P_s-Max)＝α×(Min-Max)            公式(45)

在上述公式(36)的情况下，该公式(45)是单变量最小二乘方程。也就是说，在公式(36)中，通过最小二乘法获得梯度G_f，但是这里，获得混合比值α。因此，通过求解如公式(46)所示的正规方程可以统计地获得混合比值α。

$\mathrm{\α}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left(({\mathrm{Min}}_i-{\mathrm{Max}}_i)(P_{\mathrm{si}}-{\mathrm{Max}}_i)\right)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left(({\mathrm{Min}}_i-{\mathrm{Max}}_i)({\mathrm{Min}}_i-{\mathrm{Max}}_i)\right)}$

公式(46)

这里，I用于标识选取块的像素。因此，在公式(46)中，选取块中的像素个数为n。

接着，将参考图95描述利用混合比值作为数据连续性的用于检测数据连续性的处理。

在步骤S731中，水平/垂直确定单元711起动计数器U，其识别输入图像的像素。

在步骤S732中，水平/垂直确定单元711进行处理，以选取下面步骤所需的数据。注意，步骤S732的处理与参考图89所述的处理相同，因此省略对其的描述。

在步骤S733中，数据补充单元751进行处理，以补充用于计算正规方程(这里指公式(46))的每项所需的值。

这里，将参考图96中的流程图描述用于补充正规方程的处理。

在步骤S751中，最大最小值获取单元752获取存储在数据获取单元712中的动态范围块中包含的像素的像素值的最大值和最小值，并将其中的最小值输出给差值计算单元754。

在步骤S752，最大最小值获取单元752从最大值和最小值之差获取动态范围，并将其输出给差值补充单元753和755。

在步骤S753，补充单元753平方从最大最小值获取单元752输入的动态范围(Max-Min)也就是说，补充单元753通过补充产生等于上述公式(46)中分母的值。

在步骤S754，差值计算单元754获得从最大最小值获取单元752输入的动态范围块的最大值与在选取块中当前正被处理的像素的像素值之差，并将其输出给补充单元755。

在步骤S755中，补充单元755将从最大最小值获取单元752输入的动态范围乘以从差值计算单元754输入的正被处理的像素的像素值与动态范围块的像素的最大值之差，并补充。也就是说，补充单元755产生等于上述公式(46)的分子项的值。

如上所述，数据补充单元751通过补充计算上述公式(46)的各项。

这里，返回到对图95中的流程图的描述。

在步骤S734中，差值补充单元721确定是否结束对选取块的所有像素的补充，在确定例如对选取块的所有像素的补充仍未结束的情况下，该过程返回步骤S732，并重复随后的处理。也就是说，重复步骤S732到步骤S734的处理直到确定对选取块的所有像素的补充已经结束。

在步骤S734中，在确定对选取块的所有像素的补充已经结束的情况下，在步骤S735，补充单元753和755将存储在其中的补充结果输出给混合比值推导单元761。

在步骤S736，混合比值推导单元761的混合比值计算单元762通过最小二乘法统计地计算并输出关注像素的混合比值作为数据连续性信息，其中通过基于动态范围的平方和、以及从数据补充单元751的补充单元753和755输入的选取块的关注像素的像素值与动态块的最大值之差乘以动态范围的和，求解公式(46)所示的正规方程。

在步骤S737，数据获取单元712确定对输入图像中的所有像素的处理是否已经进行，在确定例如仍未进行对输入图像中的所有像素的处理的情况下，即在确定仍未输出输入图像的所有像素的混合比值的情况下，在步骤S738中，计数器加1，并且过程返回步骤S732。

也就是说，重复步骤S732到步骤S738的处理，直到改变输入图像中将要处理的像素，并对输入图像的所有像素计算混合值。可以例如根据栅格扫描等由计数器改变像素，或根据其它规则顺序改变。

当在步骤S737中确定已经对输入图像的所有像素进行处理时，在步骤S739中，数据获取单元712确定是否存在下一个输入图像，在确定存在下一个输入图像的情况下，该过程返回步骤S731，并重复后面的处理。

当在步骤S739中确定没有下一个输入图像的情况下，处理结束。

由于上述处理，检测出像素的混合比值作为连续性信息，并输出。

图97B示出了根据上述技术，关于图97A所示图像中的白线内的细线图像，在预定空间方向X(＝561、562、563)上的混合比值的变化。如图97B所示，在水平方向上连续的混合比值在空间方向Y上的变化分别是，在空间方向X＝563的情况下，混合比值在空间方向Y＝660附近开始上升，峰值为Y＝685附近，并下降到达Y＝710。另外，在空间方向X＝562的情况下，混合比值在空间方向Y＝680附近开始上升，峰值为Y＝705附近，并下降到达Y＝735。另外，在空间方向X＝561的情况下，混合比值在空间方向Y＝705附近开始上升，峰值为Y＝725附近，并下降到达Y＝755。

从而，如图97B所示，在连续空间方向X上的每个混合比值的变化与根据混合比值变化的像素值的变化相同(如图72B中示出的像素值的变化)，并且循环连续，因此可以理解，在细线附近的像素的混合比值被精确表示。

另外，同样，图98B示出了关于图98A所示图像中的白线内的二值边缘图像，在预定空间方向X(＝658、659、660)上的混合比值的变化。如图98B所示，在水平方向上连续的混合比值在空间方向Y上的变化分别是，在空间方向X＝660的情况下，混合比值在空间方向Y＝750附近开始上升，峰值为Y＝765附近。另外，在空间方向X＝659的情况下，混合比值在空间方向Y＝760附近开始上升，峰值为Y＝775附近。另外，在空间方向X＝658的情况下，混合比值在空间方向Y＝770附近开始上升，峰值为Y＝785附近。

从而，如图98B所示，二值边缘的每个混合比值的变化与根据混合比值变化的像素值的变化相同(如图84B中示出的像素值的变化)，并且循环连续，因此可以理解，在二值边缘附近的像素值的混合比值被精确表示。

根据上述，通过最小二乘法可以统计地获得每个像素的混合比值作为数据连续性信息。另外，可以基于该混合比值直接产生每个像素的像素值。

另外，如果设混合比值的变化具有连续性，并且，混合比值的变化是线性的，则如下面的公式(47)表示的关系成立。

α＝m×y+n                         公式(47)

这里，m表示当混合比值α相对于空间方向Y变化时的梯度，另外，当混合比值α线性变化时，n相当于截距。

也就是说，如图99所示，表示混合比值的直线是表示等于背景区域水平的像素值B与等于细线水平的像素L之间的边界的直线，在该情况下，当相对空间方向Y前进单位距离时，混合比值的变化量为梯度m。

因此，将公式(47)代入公式(42)获得下面的公式(48)。

M＝(m×y+n)×B+(1-(m×y+n))×L     公式(48)

另外，扩展公式(48)获得下面的公式(49)

M-L＝(y×B-y×L)×m+(B-L)×n       公式(49)

在公式(49)中，第一项m表示混合比值在空间方向中的梯度，第二项表示混合比值的截距。因此，可以这样设置，其中利用两个变量的最小二乘法产生正规方程以获得公式(49)中的m和n。

然而，混合比值α的梯度m是上述细线或二值边缘的梯度(上述梯度G_f)自身，因此可以这样设置，其中首先使用上述方法获得细线或二值边缘的梯度G_f，然后使用该梯度并将其代入公式(49)，从而形成关于截距项的单变量函数，并利用单变量最小二乘法获得与上述技术相同的结果。

尽管描述了用于检测细线或二值边缘在空间方向上的角度(梯度)或混合比值作为数据连续性信息的数据连续性检测单元101，但是可以这样设置，其中通过用例如时间方向(帧方向)T轴代替空间方向轴(空间方向X和Y)中的一个，获得对应于空间方向中的角度的物理量。也就是说，对应于通过用时间方向(帧方向)T轴代替空间方向轴(空间方向X和Y)中的一个而获得的角度的物理量是对象的移动矢量(移动矢量方向)。

尤其是，如图100A所示，当对象相关于空间方向Y在时间上在图中向上移动时，对象的移动轨迹在相当于图中细线的部分示出(相比于图70A)。因此，在时间方向T上的细线的梯度表示图100A中对象的移动方向(表示对象的移动的角度)(相当于移动矢量的方向)。因此，在现实世界中，在由图100A中的箭头表示的预定时刻的帧中，如图100B所示获得脉冲形波形，其中为对在象轨迹的部分是对象的水平(颜色)，以及其它部分是背景水平。

这样，利用传感器成像具有移动的对象的情况下，如图101A所示，从时刻T1到T3的帧的每个像素的像素值分布都采用在空间方向Y上的峰形分布，如图101B所示。可以认为该关系与参考图71A和图71B所述的在空间方向X和Y上的关系相同。因此，在对象在帧方向T上具有移动时，可以以与利用上述细线的梯度或二值边缘的角度(梯度)信息相同的方法，获得对象的移动矢量的方向作为数据连续性信息。注意，在图101B中，帧方向T(时间方向T)中的每个栅格是构成一帧的图像的快门时间。

另外，同样，如图102A所示，对于每个帧方向T，存在对象在空间方向Y上的移动的情况下，如图102B所示，可以获得对应于对象在对应预定时刻的帧上相对于空间方向Y的移动的每个像素值。这里，图102B中由黑实线包围的像素的像素值是其中背景水平和对象水平在帧方向上以混合比值β混合的像素值，其对应于例如如图102C所示的对象的移动。

该关系与参考图94A、图94B以及图94C所述的关系相同。

另外，如图103所示，由在帧方向(时间方向)上的混合比值β可以虚线近似对象的水平O和背景的水平B。该关系与参考图99所述的在空间方向上的混合比值的线性近似关系相同。

因此，利用与在空间方向中的混合比值α的情况下相同的技术可以获得在时间(帧)方向上的混合比值β作为数据连续性信息。

另外，可以这样设置，其中选择帧方向或一维空间方向，获得数据连续性角度或移动矢量方向，以及同样地选择性地获得混合比值α和β。

根据上述，投影现实世界的光信号，选择对应于图像数据中的关注像素的区域，所述图像中已丢失了现实世界光信号的部分连续性，检测选择的区域中的用于检测对应于丢失的现实世界光信号的连续性的图像数据连续性相对于参考轴的角度的特征，基于检测的特征统计地检测角度，以及基于检测的图像数据的连续性相对于参考轴的角度通过模拟丢失的现实世界光信号的连续性而模拟光信号，从而获得连续性的角度(移动矢量的方向)或(时间-空间)混合比值。

从而，数据连续性检测单元101检测输入图像中对应于关注像素的多个周边像素的对应于现实世界光信号的连续性的数据连续性。

返回图6，在步骤S101中，由数据连续性检测单元101检测的数据连续性或者是包括在输入图像中的现实世界中的图像的部分连续性，或者是从已经改变的现实世界信号的连续性推导出的连续性。

例如，数据连续性检测单元101通过检测表示相同形状的阵列的空间方向中的角度(梯度)，而检测数据连续性。

注意，可以将数据连续性信息用作表示数据特征的特征。

在步骤S102中，类型分块选取单元102选择关注像素，其为将被产生的HD图像中的HD关注像素。类型分块选取单元102基于由数据连续性检测单元101检测的数据连续性，从输入图像选取对应于关注像素的多个周边像素，并取在输入图像中选取的多个周边像素作为类型分块。将类型分块提供给特征检测单元103，并且过程进到步骤S103。例如，类型分块选取单元102基于由数据连续性检测单元检测的数据连续性，从输入图像选取在空间上或时间上接近关注像素的位置的多个像素值作为类型分块，并产生类型分块。

下面将参考图104到图108描述类型分块选取单元102基于数据连续性选取对应于关注像素的输入图像中的多个周边像素的处理。

图104示出了在常规类型分类适应处理中选取类型分块的处理，其中基于移动矢量v产生在时间方向上具有更高分辨率的图像帧。

在图104中，水平方向表示图像的空间方向，垂直方向表示时间方向。帧#1是帧#0后的帧，即，在时间上在帧#0后的帧。关注帧在帧#0和帧#1之间。

在图4中，黑色圆形表示关注像素，白色圆形表示将选取的周边像素。

在常规类型分类适应处理中，检测对应于关注像素的移动矢量v，并定位移动矢量v使其通过关注像素，并使其开始点位于帧#0上，以及其结束点位于帧#1上。从而选取位于上述设置的移动矢量v的开始点上的像素x⁽²⁾，和位于移动矢量v的结束点上的像素x⁽⁵⁾作为类型分块。

另外，在常规类型分类适应处理中，在帧#0中选取相邻于像素x⁽²⁾的像素x⁽¹⁾和像素x⁽³⁾作为类型分块，另外，在帧#1中选取相邻于像素x⁽⁵⁾的像素x⁽⁴⁾和像素x⁽⁶⁾作为类型分块。

图105示出了利用根据本发明的图像处理装置基于数据连续性方向C选取类型分块的处理。

在下面的描述中，像素增量将基于输入图像的像素。

现在，在图105的上侧，空间方向Y的坐标值增加(正端)，在图105的下侧，空间方向Y的坐标值减小(负端)。另外，在图105的右侧，空间方向X的坐标值增加(正端)，在图105的左侧，空间方向X的坐标值减小(负端)。

在图105中所示的数据连续性方向C中，相对于空间方向X上的一个像素距离的空间方向Y上的变化量为3.25个像素。

例如，选取距离属于具有数据连续性的区域的关注像素(由黑色圆形表示)在空间方向X上为-0.25像素以及在空间方向Y上为-0.75像素的像素x⁽⁵⁾、在空间方向X上为-0.25像素以及在空间方向Y上为+0.25像素的像素x⁽⁴⁾、在空间方向X上为-0.25像素以及在空间方向Y上为-1.75像素的像素x⁽⁶⁾作为类型分块。

另外，选取距离属于具有数据连续性的区域的关注像素在空间方向X上为+0.75像素以及在空间方向Y上为+2.75像素的像素x⁽²⁾、在空间方向X上为+0.75像素以及在空间方向Y上为+3.75像素的像素x⁽¹⁾、在空间方向X上为+0.75像素以及在空间方向Y上为+1.75像素的像素x⁽³⁾作为类型分块。

另外，选取距离属于具有数据连续性的区域的关注像素在空间方向X上为-1.75像素以及在空间方向Y上为-3.75像素的像素x⁽⁸⁾、在空间方向X上为-1.25像素以及在空间方向Y上为-2.75像素的像素x⁽⁷⁾、在空间方向X上为-1.25像素以及在空间方向Y上为-4.75像素的像素x⁽⁹⁾作为类型分块。

下面将参考图106到图107描述基于数据连续性对将选取作为类型分块的像素的位置的确定。

在图106和图107中，标记×表示HD像素，标记O表示SD像素。

下面，将到预定参考位置例如关注像素等在空间方向X上为a像素、在空间方向Y上为b像素的位置表示为(a，b)。

例如，预先确定下面的位置作为参考：在空间方向Y上的一行像素的周边像素，其包括位于对应于关注像素(相应像素)的位置上的输入像素，该行以从相应像素确定的像素为中心，并由在空间方向上相邻于中心像素的像素构成；以及在空间方向X上相邻于三个周边像素的6个周边像素。

注意，可以任意确定周边像素的参考位置，例如空间方向X上每隔一个的像素、在空间方向Y上每隔一个的像素等。

相应像素位于到关注像素在空间方向X上为-0.25到+0.25的范围内、以及在空间方向Y上-为0.25到+0.25的范围内。

存在其中中心像素与相应像素相同的情况、以及其中中心像素与相应像素不同的情况。也就是说，中心像素不必与相应像素相同。

例如，如图106所示，在以相应像素x₁₁为参考，作为关注像素的HD像素y₁的位置为(-0.25，+0.25)的情况下，到相应像素x₁₁在空间方向X上为1像素的位置上的像素x₁₂与关注像素y₁在空间方向X上的距离为1.25像素，即5/4像素。

当在数据连续性中相对于空间方向X上的一个像素距离的空间方向Y上的变化量为1像素的情况下(在数据连续性梯度为1的情况下)，选取到距离关注像素y₁在空间方向X上为1.25像素、在空间方向Y上为1.25像素(通过将空间方向X上的距离乘以梯度1而获得距离1.25)的位置最近的输入像素例如输入像素x₆作为类型分块。

然后，以选择的输入像素x₆作为参考，选择在空间方向Y上距离输入像素x₆为一行、并且位于距离输入像素x₆的预定位置上的输入像素作为类型分块。例如，选择在空间方向Y上相邻于选择的输入像素x₆的输入像素x₃和输入像素x₉作为类型分块。

当在数据连续性中相对于空间方向X上的一个像素距离的空间方向Y上的变化量为2像素的情况下(在数据连续性梯度为2的情况下)，选取到距离关注像素y₁在空间方向X上为1.25像素、在空间方向Y上为2.50像素(通过将空间方向X上的距离乘以梯度2而获得距离1.25)的位置最近的输入像素例如输入像素x₃作为类型分块，如图106所示。

然后，以选择的输入像素x₃作为参考，选择在空间方向Y上距离输入像素x₃为一行、并且位于距离输入像素x₃的预定位置上的输入像素作为类型分块。例如，选择在空间方向Y上相邻于选择的输入像素x₃的输入像素作为类型分块。

例如，如图106所示，关注像素HD像素y₁的位置相对于相应像素x₁₁为(-0.25，+0.25)，从而相应像素x₁₁和关注像素y₁在空间方向X上的距离为0.25像素，即1/4像素。

当在数据连续性中相对于空间方向X上的一个像素距离的空间方向Y上的变化量为2像素的情况下(在数据连续性梯度为2的情况下)，选取到距离关注像素y₁在空间方向X上为0.25像素、在空间方向Y上为0.50像素(通过将空间方向X上的距离乘以梯度2而获得距离0.5)的位置最近的输入像素例如输入像素x₁₁作为中心像素，如图106所示。

然后，例如，选择在空间方向Y上相邻于选择的输入像素x₁₁的输入像素x₈和输入像素x₁₄。

也就是说，在该情况下，相应像素和中心像素为相同的像素。

当在数据连续性中相对于空间方向X上的一个像素距离的空间方向Y上的变化量为3.25像素的情况下(在数据连续性梯度为3.25的情况下)，选取到距离关注像素y₁在空间方向X上为0.25像素、在空间方向Y上为0.8125像素(通过将空间方向X上的距离乘以梯度3.25而获得距离0.8125)的位置最近的输入像素例如输入像素x₁₄作为中心像素，如图106所示。

然后，例如，选择在空间方向Y上相邻于选择的输入像素x₁₄的输入像素x₁₁和输入像素x₁₇。

也就是说，在该情况下，相应像素和中心像素为不同的像素。

例如，如图107所示，在作为关注像素的HD像素y₂的位置相对于相应像素x₁₁为(+0.25，+0.25)的情况下，到相应像素x₁₁在空间方向X上为1像素的位置上的像素x₁₂与关注像素y₂在空间方向X上的距离为0.75像素，即3/4像素。

当在数据连续性中相对于空间方向X上的一个像素距离的空间方向Y上的变化量为1像素的情况下(在数据连续性梯度为1的情况下)，选取到距离关注像素y₂在空间方向X上为0.75像素、在空间方向Y上为0.75像素(通过将空间方向X上的距离乘以梯度1而获得距离0.75)的位置最近的输入像素例如输入像素x₉作为类型分块。

然后，以选择的输入像素x₉作为参考，选择在空间方向Y上距离输入像素x₉为一行、并且位于距离输入像素x₉的预定位置上的输入像素作为类型分块。例如，选择在空间方向Y上相邻于选择的输入像素x₉的输入像素x₆和输入像素x₁₂。

当在数据连续性中相对于空间方向X上的一个像素距离的空间方向Y上的变化量为2像素的情况下(在数据连续性梯度为2的情况下)，选取到距离关注像素y₂在空间方向X上为0.75像素、在空间方向Y上为1.50像素(通过将空间方向X上的距离乘以梯度2而获得距离1.50)的位置最近的输入像素例如输入像素x₆作为类型分块，如图107所示。

然后，以选择的输入像素x₆作为参考，选择在空间方向Y上距离输入像素x₆为一行、并且位于距离输入像素x₆的预定位置上的输入像素作为类型分块。例如，选择在空间方向Y上相邻于选择的输入像素x₆的输入像素x₃和输入像素x₉。

从而，将周边像素到关注像素在预定方向上的距离乘以数据连续性的梯度获得周边像素在另一个方向上的距离，从而基于数据连续性的方向确定选取作为类型分块的周边像素的位置。

这允许选择具有数据连续性的周边像素作为类型分块。因此，可以选择具有共同特征的周边像素作为类型分块，从而可以进行更准确的类型分类。

另外，在根据本发明的图像处理装置中，检测数据连续性在时间空间方向中的方向，并可以基于检测的时间空间方向中的数据连续性的方向选取时间空间方向中的类型分块。

图108示出了基于利用根据本发明的图像处理装置的数据连续性检测装置101检测的时间空间方向中的数据连续性方向C而选取时间空间方向中的类型分块的处理。

在图108中，输出图像的空间方向上的像素数是输入图像的两倍，并且输出图像的每个时间增量的帧数也是两倍。

在图108中，过去时刻对应图中左侧位置，而将来时刻对应图中右侧位置。在图108的上侧，空间方向的坐标值增加(正端)，在图108的下端，空间方向的坐标值减小(负端)。

在图108中，f₁、f₀、f₁表示输入图像的帧，以及F_-2、F_-1、F₀、F₁、F₂、F₃表示输出图像的帧。

在图108中所示的数据连续性方向C中，以输入图像为参考，相对于时间方向上的一帧距离的空间方向上的变化量为3.25个像素。

例如，选取距离属于具有数据连续性的区域的关注像素(由黑色圆形表示)在时间方向上为-0.25帧以及在空间方向上为-0.75像素的像素x⁽⁵⁾、在时间方向上为-0.25帧以及在空间方向上为+0.25像素的像素x⁽⁴⁾、在时间方向上为-0.25帧以及在空间方向上为-1.75像素的像素x⁽⁶⁾作为类型分块。

选取距离属于具有数据连续性的区域的关注像素在时间方向上为+0.75帧以及在空间方向上为+2.75像素的像素x⁽²⁾、在时间方向上为+0.75帧以及在空间方向上为+3.75像素的像素x⁽¹⁾、在时间方向上为+0.75帧以及在空间方向上为+1.75像素的像素x⁽³⁾作为类型分块。

另外，选取距离属于具有数据连续性的区域的关注像素在时间方向上为-1.75帧以及在空间方向上为-3.75像素的像素x⁽⁸⁾、在时间方向上为-1.25帧以及在空间方向上为-2.75像素的像素x⁽⁷⁾、在时间方向上为-1.25帧以及在空间方向上为-4.75像素的像素x⁽⁹⁾作为类型分块。

用于基于时间空间方向中的数据连续性时间空间方向中的数据连续性的梯度选取时间空间方向中的类型分块的处理与通过用时间方向代替在参考图106和107描述的处理中的一个空间方向后相同，因此省略对其的描述。

通过基于时间空间方向中的数据连续性梯度选取时间空间方向中的类型分块，允许考虑时间空间方向中的数据连续性而选取类型分块。

返回图6，在步骤S103中，特征检测单元103从输入图像或类型分块检测特征，并将检测的特征提供给类型分类单元104，以及将类型分块提供给类型分类单元104，然后该流程进到步骤S104。

在步骤S104中，类型分类单元104基于从特征检测单元103提供的类型分块的特征，进行在一个或多个类型的任意一个类型上的关注像素的类型分类，将获得的结果表示关注像素的类型的类型代码提供给系数存储器105和预测分块选取单元106，然后流程进到步骤S105。

在步骤S105中，预测分块选取单元106基于由数据连续性检测单元101检测的数据连续性选取对应于关注像素的输入图像的多个周边像素，以取选取的输入图像的多个周边像素为预测分块。

用于利用预测分块选取单元106选取预测分块的处理与通过类型分块选取单元102的处理相同，因此省略对其的详细描述。

从而，可以选择具有数据连续性的周边像素作为类型分块。因此，可以选择具有共同特征的周边像素作为预测分块，从而可以进行更高精度或更准确的预测。

也就是说，预测分块选取单元106基于由数据连续性检测单元101检测的数据连续性和从类型分类单元104提供的类型代码从输入图像选取在空间上或时间上接近关注像素的位置的多个像素值，并产生预测分块。将预测分块提供给像素值预测单元107，并且处理进到步骤S106。

在步骤S106中，系数存储器105读出存储在对应于从类型分类单元104提供的类型代码的地址中的预测系数(分块系数)，并从而获得关注像素的类型的预测系数，将预测系数提供给像素值预测单元107，并且流程进到步骤S107。

在步骤S107中，像素值预测单元107基于由特征检测单元103检测的特征，通过适应处理从由预测分块选取单元106选取的多个周边像素预测关注像素(的预测值)，并且流程进到步骤S108。也就是说，在步骤S107，像素值预测单元107利用来自预测分块选取单元106的预测分块和来自系数存储器105的预测系数(分块系数)进行公式(1)所示的计算，以预测关注像素(的预测值)。

在步骤S108，类型分块选取单元102确定在HD图像的关注帧中是否存在任何未被取为关注像素的像素，在确定存在的情况下，流程返回步骤S102，并重复进行相同的处理。

另外，当在步骤S108中确定在关注帧中没有未被取为关注像素的像素的情况下，即在已经预测全部构成关注帧的HD像素的情况下，像素值预测单元107输出由预测的像素构成的输出图像，并且处理结束。

从而，具有图5所示结构的图像处理装置可以从输入图像产生具有更高分辨率的输出图像，并输出产生的输出图像。

图109到图118示出了根据本发明的图像处理的处理结果的实例。

图109示出了输入图像的实例。图110示出了输入图像的原始图像。也就是说，图109所示的输入图像的像素值从图110所示的像素的4像素平均值计算得出。

图111示出了通过对图109所示的输入图像施加常规类型分类适应处理产生的图像。

图112示出了通过从图109所示的输入图像检测数据连续性的梯度，基于数据连续性的梯度选取类型分块和预测分块使得相应像素和中心像素总是相同、以及进行类型分类和适应处理而产生的图像。

图113示出了通过图5所示的图像处理装置从图9所示的输入图像产生的图像。也就是说，图113示出了通过通过从输入图像检测数据连续性的梯度，基于数据连续性的梯度选取类型分块和预测分块使得相应像素和中心像素适当地不同、以及进行类型分类和适应处理而产生的图像。

图114示出了输入图像的另一个实例。图115示出了图114所示输入图像的原始图像。也就是说，图114所示的输入图像的像素值从图115所示的像素的4像素平均值计算得出。

图116示出了通过对图114所示的输入图像施加常规类型分类适应处理产生的图像。

图117示出了通过从图114所示的输入图像检测数据连续性的梯度，基于数据连续性的梯度选取类型分块和预测分块使得相应像素和中心像素总是相同、以及进行类型分类和适应处理而产生的图像。

即使基于数据连续性的梯度选取类型分块和预测分块，如果相应像素和中心像素被形成为相同，则仍不能获得平滑的图像。认为这是由于选取在垂直方向包含相同波形的分块，并且将分块映射为其波形在水平方向上没有变化。

图118示出了通过图5所示的图像处理装置从图114所示的输入图像产生的图像。也就是说，图118示出了通过通过从输入图像检测数据连续性的梯度，基于数据连续性的梯度选取类型分块和预测分块使得相应像素和中心像素适当地不同、以及进行类型分类和适应处理而产生的图像。

容易看出，利用图5所示的图像处理装置从输入图像产生的图像比通过施加常规类型分类适应处理产生的图像更加平滑，并且更接近原始图像。尤其是，根据本发明，从图118所示的图像中可以看出，可以几乎完全再现两条直线的波纹部分的图像。

接着，图119是示出学习装置的实施例的结构的方框图，所述学习装置用于进行学习以获得存储在如图5所示的系数存储器105中的每个类型的分块系数。

将例如用作学习分块系数的图像的HD图像(老师图像)输入如图119所示的学习装置。将输入学习装置的输入图像提供给学生图像产生单元801和老师像素选取单元809。

学生图像产生单元801从对其输入的输入图像(老师图像)产生作为学生图像的SD图像，并将其提供给图像存储器802。学生图像产生单元801获得在作为老师图像的HD图像中的水平方向或垂直方向上相邻的4个HD像素的像素值的平均值，并将其取为SD图像的像素值，例如，从而对应于作为老师图像的HD图像产生作为学生图像的SD图像。现在，SD图像需要具有对应于将由图5所示的图像处理装置处理的SD图像的图像质量。图像存储器802临时存储作为来自学生图像产生单元801的学生图像的SD图像。

在图119所示的学习装置中，取SD图像作为现实世界而产生分块系数。

数据连续性检测单元803以与图5中的数据连续性检测单元101相同地方式，从存储在图像存储器802中的学生图像检测数据连续性，并将表示检测的连续性的数据连续性信息提供给类型分块选取单元804和预测分块选取单元807。

数据连续性检测单元803的详细结构与数据连续性检测单元101的相同，因此省略对其的描述。

类型分块选取单元804与在图5中的类型分块选取单元102的情况相同，对应于存储在图像存储器802中的作为学生图像的SD图像顺序取作为老师图像的HD图像中包括的像素作为关注像素。

另外，类型分块选取单元804基于由数据连续性检测单元904检测的数据连续性，选取对应于关注像素的存储在图像存储器802中的学生图像的多个周边像素，并取选取的学生图像的多个周边像素作为类型分块。也就是说，类型分块选取单元804基于由数据连续性检测单元803检测的数据连续性，从存储在图像存储器802中的SD图像选取关于关注像素的类型分块，并将其提供给特征检测单元805。这里，类型分块选取单元804产生具有与由图5中的类型分块选取单元102产生的相同的分块结构的类型分块。

特征检测单元805以与图5中的特征检测单元103的处理相同的方式，从由图像存储器802提供的学生图像或由类型分块选取单元804提供的类型分块检测特征，并将检测的特征提供给类型分类单元806。

例如，特征检测单元805基于从图像存储器802提供的SD图像或从类型分块选取单元804提供的类型分块检测SD图像的像素的移动矢量，并将检测的移动矢量提供给类型分类单元806作为特征。另外，例如，特征检测单元805基于SD图像或类型分块检测SD图像或类型分块的多个像素的像素值的空间或时间变化，并将检测的像素值变化提供给类型分类单元806作为特征。

另外，例如，特征检测单元805基于从图像存储器802提供的SD图像或从类型分块选取单元804提供的类型分块，检测类型分块或SD图像的多个像素的像素值的时间变化的梯度，并将检测的像素值变化梯度提供给类型分类单元806作为特征。

注意，可以利用特征检测单元805以与特征检测单元103相同的方法获得像素值的Laplacian、Sobel、散射等作为特征。

也就是说，特征检测单元805检测与图5中的特征检测单元103检测的特征相同的特征。

特征检测单元805将类型分块与特征分开地提供给类型分类单元806。

类型分类单元806以与图5所示的类型分类单元104相同地方式构造，并基于来自特征检测单元805的特征或类型分块对一个或多个类型的一个类型的关注像素进行类型分类，并将表示关注像素的类型的类型代码提供给预测分块选取单元807和学习存储器810。

预测分块选取单元807以与图5中的预测分块选取单元106相同地方式构造，并基于由数据连续性检测单元803检测的数据连续性选取对应于关注像素的学生图像的多个周边像素，并取选取的学生图像的多个周边像素作为预测分块。也就是说，预测分块选取单元807基于由数据连续性检测单元803检测的数据连续性和从类型分类单元806提供的类型代码从存储在图像存储器802中的SD图像选取关于关注像素的预测分块，并将其提供给补充计算单元808。这里，预测分块选取单元807产生具有与由图5中的预测分块选取单元106产生的相同的分块结构的预测分块。

老师像素选取单元809从作为老师图像的输入图像(HD图像)选取关注像素作为老师数据(老师像素)，并将选取的老师数据提供给补充计算单元808。也就是说，老师像素选取单元809取作为输入学习图像的HD图像作为例如没有变化的老师数据。这里，由图5中的图像处理装置获得的HD图像具有对应于在图119中的学习装置中用作老师数据的HD图像的图像质量。

补充计算单元808和正规方程计算单元811利用作为关注像素的老师数据和从预测分块选取单元807提供的预测分块，学习由从类型分类单元806提供的的类型代码表示的每个类型的老师数据和学生数据之间的关系，从而获得每个类型的分块系数。

也就是说，补充计算单元808对从预测分块选取单元807提供的预测分块(SD像素)和作为其为关注像素的老师数据的HD像素进行公式(8)的补充。

尤其是，补充计算单元808使用作为构成预测分块的学生数据的SD像素x_n，k进行使公式(8)的左侧矩阵中的SD像素彼此相乘(x_n，kx_n’，k)、并求和(∑)的计算。

另外，补充计算单元808使用作为构成预测分块的学生数据的SD像素x_n，k和作为关注像素老师数据的HD像素y_k进行使公式(8)的右侧矩阵中的矢量的SD像素x_n，k乘以HD像素y_k(x_n，ky_k)、并求和(∑)的计算。

补充计算单元808通过以作为老师数据的HD图像的所有像素作为关注像素进行上述补充而构成每个类型的对应于公式(8)的正规方程，然后将正规方程提供给学习存储器810。

学习存储器810存储从补充计算单元808提供的对应于公式(8)的正规方程，其中将SD像素设为学生数据，并将HD像素设为老师数据。

正规方程计算单元811从学习存储器810获得每个类型的公式(8)的正规方程，并通过利用例如扫描求解正规方程(学习每个类型)获得并输出每个类型的分块系数。

也就是说，补充计算单元808和正规方程计算单元811学习预测装置用于从选取的多个周边像素预测每个检测特征的关注像素。

在该情况下，预测装置为用于从选取的多个周边像素预测关注像素的专用装置，并例如指像素值预测单元107，其操作由每个类型的分块系数限定，或者为在像素值预测单元107上的处理。学习预测装置用于从多个周边像素预测关注像素表示，例如实现(构造)用于从多个周边像素预测关注像素的预测装置。

因此，学习预测装置用于从多个周边像素预测关注像素表示，获得例如每个类型的分块系数。获得每个类型的分块系数尤其确定了像素值预测单元107或在像素值预测单元107上的处理，从而实现了像素值预测单元107或执行了在像素值预测单元107上的处理。

系数存储器812存储从正规方程计算单元811输出的每个类型的分块系数。

接着，将参考图120的流程图描述由图119所示的学习装置进行的用于获得每个类型的分块系数的学习处理。

首先，在步骤S801，学生图像产生单元801获得作为例如HD图像的学习输入图像(老师图像)，并稀疏输出像素，从而产生作为例如SD图像的学生图像。例如，学生图像产生单元801获得HD图像中水平或垂直相邻的4个HD像素的平均值，并取该平均值作为SD图像的像素值，从而产生SD图像。将SD图像提供给图像存储器802。

在步骤S802，数据连续性检测单元803与图5中的数据连续性检测单元101相同地检测存储在图像存储器802中的学生图像的数据连续性，将表示检测的连续性的数据连续性信息提供给类型分块选取单元804和预测分块选取单元807，并且流程进到步骤S803。

步骤S802中用于检测数据连续性的具体处理与步骤S101中的处理相同，因此省略对其的详细描述。

流程然后进到步骤S803，这里，类型分块选取单元804从作为老师数据的HD图像中的HD像素中选择未被取为关注像素的一个像素作为关注像素。类型分块选取单元804与图5中的类型分块选取单元102相同地基于在步骤S802的处理中检测的数据连续性选取存储在图像存储器802中的对应于关注像素的学生图像中的多个周边像素，并取选取的学生图像的多个周边像素作为类型分块。

也就是说，类型分块选取单元804基于由数据连续性检测单元803检测的数据连续性从存储在图像存储器802中的SD图像选取关于关注像素的类型分块，并将其提供给特征检测单元805。类型分块选取单元804将类型分块提供给特征检测单元805，并且流程进到步骤S804。

在步骤S804，特征检测单元805以与图5中的特征检测单元103相同地从在步骤S801的处理中产生的学生图像或在步骤S803的处理中选取的类型分块检测例如SD图像的像素的像素值的变化或移动矢量的特征等，并将检测的特征提供给类型分类单元806，并且流程进到步骤S805。

在步骤S805，类型分类单元806以与图5中的类型分类单元104相同地使用来自特征检测单元805的特征或类型分块来将关注像素分类到一种或多种类型的一种类型中，将表示关注像素的类型的类型代码提供给预测分块选取单元807和学习存储器810，并且流程进到步骤S806。

在步骤S806，预测分块选取单元807以与图5中的预测分块选取单元106相同地基于由数据连续性检测单元803检测的数据连续性选取对应于关注像素的学生图像中的多个周边像素，并取选取的学生图像的多个周边像素作为预测分块。也就是说，预测分块选取单元807基于由数据连续性检测单元803检测的数据连续性和从类型分类单元806提供的类型代码从作为存储在图像存储器802中的学生图像的SD图像选取对应于关注像素的预测分块，并将其提供给补充计算单元808，并且流程进到步骤S807。

在步骤S807，老师像素选取单元809从输入图像选取关注像素，即作为HD像素的老师像素(老师数据)，并将选取的老师像素提供给补充计算单元808，并且流程进到步骤S808。

在步骤S808，补充计算单元808关于从预测分块选取单元807提供的预测分块(学生数据)和从老师像素选取单元809提供的老师像素(老师数据)进行在所示公式(8)中的补充，并将补充有学生数据和老师数据的正规方程存储到学习存储器810中，并且流程进到步骤S809。

在步骤S809，类型分块选取单元804确定作为老师数据的HD图像中是否存在未被选为关注像素的HD像素，即是否完成对全部像素的补充处理。当在步骤S809中确定在作为老师数据的HD图像中存在未被选为关注像素的HD像素的情况下，流程返回步骤S803，并随后重复相同的处理。

另外，当在步骤S809确定作为老师数据的HD图像中没有未被选为关注像素的HD像素的情况下，即已经完成对全部像素的补充处理，则流程进到步骤S810，这里，正规方程计算单元811从学习存储器810读出多种类型的正规方程，所述类型的分块系数未通过在先前步骤S808中的补充而对于每个类型从公式(8)的正规方程获得，所述单元811还通过扫描等(学习每个类型)求解读出的正规方程(8)，获得预定类型的预测系数(分块系数)，并将其提供给系数存储器812。系数存储器812存储每个类型的从正规方程计算单元811提供的预定类型的预测系数(分块系数)，并且流程进到步骤S811。

也就是说，在步骤S808和步骤S810，对于由特征检测单元805检测的每个特征，学习预测装置，所述装置用于从由预测分块选取单元807选取的多个周边像素预测关注像素。

在步骤S811，正规方程计算单元811确定是否完成对全部类型计算预测系数，在确定仍未完成对全部类型计算预测系数的情况下，流程返回步骤S810，并重复用于获得下一个类型的预测系数的处理。

当在步骤S811确定已经完成对全部类型计算预测系数的情况下，该处理结束。

从而，将存储在系数存储器812中的每个类型的预测系数存储到图5所示的图像处理装置的系数存储器105中。

现在，在上述对预测系数(分块系数)的学习处理中，可能存在这样的情况，其中，根据预备的用于学习的图像等，产生类型，关于其可能不能获得用于获得分块系数的正规方程数；对于这样的类型，例如可以在正规方程计算单元811等输出默认的分块系数。或者，可以这样设置，其中，在产生于其可能不能获得用于获得分块系数的正规方程数的类型的情况下，预备新的细线图像，并重新进行分块系数学习。这对于利用下述的学习装置学习分块系数也成立。

图121示出了根据本发明的图像处理装置的实施例的另一结构的方框图。

具有图121所示结构的图像处理装置获取输入图像，并产生和输出相比于输入的输入图像具有在屏幕的水平方向上的两倍分辨率的图像(下文中称为水平二倍密度图像)。

在图121所示的图像处理装置中，例如，输入作为输入图像的实例的SD图像，从输入SD图像检测数据连续性，并基于检测的数据连续性在SD图像上进行类型分类适应处理，从而产生水平二倍密度图像的像素(下文中称为水平二倍密度像素)，以及不利用数据连续性在SD图像上进行类型分类适应处理，从而产生水平二倍密度像素。确定基于数据连续性相对于SD图像产生的水平二倍密度像素的积分特征，并基于确定结果，选择基于数据连续性产生的水平二倍密度像素和不利用数据连续性产生的水平二倍密度像素中的一个，并且利用选择的水平二倍密度像素合成作为水平二倍密度图像的输出图像，并输出合成的图像。

也就是说，在具有图121所示结构的图像处理装置中，提供：数据连续性检测单元901、类型分块选取单元902、特征检测单元903、类型分类单元904、系数存储器905、预测分块选取单元906、像素值预测单元907、积分特征确定单元908、图像合成单元909、类型分块选取单元910、特征检测单元911、类型分类单元912、系数存储器913、预测分块选取单元914以及像素值预测单元915。

将输入图像提供给数据连续性检测单元901、类型分块选取单元902、特征检测单元903、预测分块选取单元906、积分特征确定单元908、类型分块选取单元910、特征检测单元911以及预测分块选取单元914。

数据连续性检测单元901从输入图像检测数据连续性，并将表示检测的连续性的数据连续性信息提供给类型分块选取单元902和预测分块选取单元906。数据连续性信息包括例如具有数据连续性的像素区域的方向(时间或空间角度或梯度)(下文中还称为数据连续性方向)。

数据连续性检测单元901与数据连续性检测单元101相同地构成，因此省略对其的详细描述。利用数据连续性检测单元901的检测数据连续性的处理与数据连续性检测单元101的情况相同，因此省略对其的描述。

类型分块选取单元902然后取将通过类型分类适应处理获得的水平二倍密度图像的水平二倍密度像素作为关注像素。类型分块选取单元902然后基于由数据连续性检测单元901检测的数据连续性选取对应于关注像素的输入图像的多个周边像素，并取选取的输入图像的多个周边像素作为类型分块。也就是说，类型分块选取单元902基于由数据连续性检测单元901检测的数据连续性选取将用于对来自输入图像的关注像素进行类型分类中的类型分块，并将选取的类型分块输出给特征检测单元903。

例如，类型分块选取单元902基于数据连续性，从输入的输入图像选取位于在空间上或时间上接近关注像素的位置的位置上的多个像素作为类型分块，并将其输出给特征检测单元903。

注意，可以以与数据连续性检测单元101、类型分块选取单元102以及预测分块选取单元106相同的方式，对数据连续性检测单元901、类型分块选取单元902以及预测分块选取单元906提供帧存储器。

另外，对于如图121所示的图像处理装置，还可以在输入端通过单帧存储器。

例如，类型分块选取单元902基于由数据连续性检测单元901检测的数据连续性，从输入图像选取最接近关注像素位置的水平×垂直上的3×3像素，从而获取关于关注像素的类型分块。

类型分块选取单元902将选取的类型分块提供给特征检测单元903。

由类型分块选取单元902选取类型分块的处理与类型分块选取单元102的情况相同，因此省略对其的详细描述。

特征检测单元903检测从类型分块选取单元902提供的类型分块或输入图像的特征，并将检测的特征提供给类型分类单元904。

例如，特征检测单元903基于从类型分块选取单元902提供的类型分块或输入图像检测输入图像的像素的移动矢量，并将检测的移动矢量提供给类型分类单元904作为特征。另外，例如，特征检测单元903基于类型分块或输入图像检测类型分块或输入图像的多个像素的像素值的空间或时间变化(活度)，并将检测的像素值变化提供给类型分类单元904作为特征。

另外，例如，特征检测单元903基于从类型分块选取单元902提供的类型分块或输入图像检测类型分块或输入图像的多个像素的像素值的时间变化的梯度，并将检测的像素值变化的梯度提供给类型分类单元904作为特征。

注意，可以使用像素值的Laplacian、Sobel、散射等作为特征。

特征检测单元903将类型分块与特征分离地提供给类型分类单元904。

类型分类单元904基于来自特征检测单元903的特征或类型分块将关注像素分类到一个或多个类型中的一个类型，并将对应于关注像素的结果类型代码提供给系数存储器905和预测分块选取单元106。

类型分类单元904以与类型分类单元104的处理相同地产生类型代码，因此省略对其的描述。

系数存储器905存储通过学习老师数据和学生数据之间的关系获得的一个或多个类型的每个的分块系数，所述老师数据是作为用作用于学习的老师的输出图像的实例的水平二倍密度图像的水平二倍密度像素，所述学生数据是作为用作用于学习的学生的输入图像的实例的SD图像的像素值。当从类型分类单元904提供关注像素的类型代码，系数存储器905读出存储在对应于类型代码的地址中的分块系数，从而获得关注像素的类型的分块系数，并将其提供给像素值预测单元907。

注意，通过具有图119所示结构的学习装置或参考图120所示的流程图描述的学习处理学习存储在系数存储器905中的分块系数。在该情况下，具有图119所示结构的学习装置接收输入的水平二倍密度图像作为输入图像，学生产生单元801从水平二倍密度图像产生SD图像。同样，在步骤S801，从输入图像水平二倍密度图像产生SD图像。

预测分块选取单元906基于由数据连续性检测单元901检测的数据连续性，从输入图像选取对应于关注像素的多个周边像素，并取输入图像的选取的多个周边像素作为预测分块。也就是说，预测分块选取单元906基于由数据连续性检测单元901检测的数据连续性和从类型分类单元904提供的类型代码，从输入图像选取预测分块，用于在像素值预测单元907中获得关注像素(的预测值)，并将选取的预测分块提供给像素值预测单元907。

例如，预测分块选取单元906基于数据连续性从输入图像选取位于在空间上或在时间上接近关注像素的位置的多个像素，以将其作为预测分块，并将其提供给像素值预测单元907。例如，预测分块选取单元906基于由数据连续性检测单元901检测的数据连续性，从输入图像选取最接近关注像素的位置的水平×垂直上的3×3像素，从而取得关于关注像素的预测分块。

注意，将被取为类型分块的像素值和将被取为预测分块的像素值可以相同或不同。也就是说，类型分块和预测分块可以各自单独地构成(产生)。另外，各个类型的被取为预测分块的像素值可以不同或相同。

注意，类型分块和预测分块的结构不限于3×3像素值。

由预测分块选取单元906选取预测分块的处理与预测分块选取单元106的情况相同，因此省略对其的详细描述。

像素值预测单元907利用从系数存储器905提供的关注像素类型的分块系数w₁、w₂...、以及来自预测分块选取单元906的预测分块(构成其的像素值)x₁、x₂...，进行如公式(1)所示的和积算法操作，从而预测关注像素y(的像素值)，并将其取为水平二倍密度像素的像素值。像素值预测单元907将通过这样计算的水平二倍密度像素的像素值提供给积分特征确定单元908和图像合成单元909。

例如，类型分块选取单元902取像素y⁽¹⁾和像素y⁽²⁾作为关注像素，其在空间方向上由图122所示的输入图像的相应像素x⁽⁵⁾包围，像素值预测单元907预测如图122所示的关注像素y⁽¹⁾的像素值和关注像素y⁽²⁾的像素值，并将关注像素y⁽¹⁾的预测像素值和关注像素y⁽²⁾的像素值提供给积分特征确定单元908和图像合成单元909。

积分特征确定单元908检测由像素值预测单元907预测的第一关注像素的第一预测值、由像素值预测单元907预测的在空间上相邻于第一关注像素的输出图像的第二关注像素的第二预测值、以及位于在空间方向上包围第一关注像素和第二关注像素中的至少一个的位置上的输入图像的相应像素的像素值之间的关系。

也就是说，例如，积分特征确定单元908检测关注像素y⁽¹⁾的预测值、关注像素y⁽²⁾的预测值、以及位于在空间方向上包围关注像素y⁽¹⁾和关注像素y⁽²⁾的位置上的输入图像的相应像素x⁽⁵⁾之间的关系。

现在将描述关注像素y⁽¹⁾、关注像素y⁽²⁾、以及位于在空间方向上包围关注像素y⁽¹⁾和关注像素y⁽²⁾的位置上的输入图像的相应像素x⁽⁵⁾之间的关系。

图123是对应于图7的图，用于描述提供给作为CCD的图像传感器的像素阵列和对应于水平二倍密度图像的像素的区域。在图123中，A到I表示各个像素。区域a到r表示感光区域，其中将各个像素A到I垂直等分。在像素A到I的感光区域的宽度为2L的情况下，区域a到r的宽度为L。具有图121所示结构的图像处理装置计算对应于区域a到r的像素的像素值。

图124示出了对应于被投影到区域g到区域l上的光的像素的像素值。图124中的F(x)为表示现实世界的光强分布的函数实例，其取空间中(在检测元件上)空间方向X的坐标x为变量。

假设一个像素的像素值由对F(x)的均匀积分表示，由公式(50)表示对应于区域I的像素的像素值Y1，由公式(51)表示对应于区域i的像素的像素值Y2，以及由公式(52)表示像素E的像素值Y3。

$Y1={\∫}_{x_1}^{x_2}F\left(x\right)\mathrm{dx}\·\frac{1}{L}$

公式(50)

$Y2={\∫}_{x_2}^{x_3}F\left(x\right)\mathrm{dx}\·\frac{1}{L}$

公式(51)

$Y3={\∫}_{x_1}^{x_3}F\left(x\right)\mathrm{dx}\·\frac{1}{2L}$

$=\frac{Y1+Y2}{2}$

公式(52)

在公式(50)到公式(52)中，x1、x2和x3分别是像素E、区域I、以及区域j的感光区域的边界的空间坐标。

公式(50)到公式(52)中的Y1和Y2各对应相对于SD图像的水平二倍密度图像的水平二倍密度像素(关注像素y⁽¹⁾或关注像素y⁽²⁾)的像素值，其由图121所示的图像处理装置获得。另外，公式(52)中的Y3对应SD像素(相应像素)的像素值，其对应于水平二倍密度图像中的水平二倍密度像素的像素值Y1和Y2。

分别用x⁽⁵⁾代入Y3，用y⁽¹⁾代入Y1，以及用y⁽²⁾代入Y2，可以从公式(52)获得公式(53)。

x⁽⁵⁾＝(y⁽¹⁾+y⁽²⁾)/2                     公式(53)

积分特征确定单元908确定公式(53)对于关注像素y⁽¹⁾的预测值、关注像素y⁽²⁾的预测值、以及如图112所示位于在空间方向上包围关注像素y⁽¹⁾和关注像素y⁽²⁾的位置上的输入图像的相应像素x⁽⁵⁾是否成立。

在公式(53)成立的情况下，可以认为关注像素y⁽¹⁾的预测值和关注像素y⁽²⁾的预测值是真实的。换句话说，在公式(53)不成立的情况下，可以认为关注像素y⁽¹⁾的预测值和关注像素y⁽²⁾的预测值是错误的。

更具体地说，积分特征确定单元908从输入图像地相应像素x⁽⁵⁾的像素值减去由像素预测单元907提供的关注像素y⁽¹⁾的像素值(预测值)和关注像素y⁽²⁾的像素值(预测值)。积分特征确定单元908比较减得的结果与预先设置的阈值。在减得的结果小于阈值的情况下，积分特征确定单元908确定公式(53)的关系成立，在减得的结果等于或大于阈值的情况下，确定公式(53)中的关系不成立。积分特征确定单元908将表示确定结果的积分特征确定信息提供给图像合成单元909。

注意，可以预先将阈值存储在积分特征确定单元908中，或者可以从外部提供给积分特征确定单元908。

类型分块选取单元910然后取将通过类型分类适应处理获得的水平二倍密度图像的水平二倍密度像素的一个作为关注像素。类型分块选取单元910取由类型分块选取单元902取作关注像素的像素作为关注像素。也就是说，类型分块选取单元910和类型分块选取单元902都取相同的像素作为关注像素。

类型分块选取单元910然后选取对应于关注像素的输入图像的多个周边像素，并取输入图像的多个周边像素作为类型分块。也就是说，类型分块选取单元910从输入图像选取将用于关于关注像素的类型分类的类型分块，并将选取的类型分块输出给特征检测单元911。

例如，类型分块选取单元910从输入的输入图像选取位于在空间上或实际上接近关注像素的位置的位置上的多个像素作为类型分块，并将其输出给特征检测单元911。

注意，可以以与类型分块选取单元102和预测分块选取单元106的情况相同地对类型分块选取单元910和预测分块选取单元914提供帧存储器。

例如，如图122所示，类型分块选取单元910从输入图像选取最接近关注像素位置的水平×垂直上的3×3像素，从而获取关于关注像素y⁽¹⁾的类型分块。

类型分块选取单元910将选取的分块类型提供给特征检测单元911。

注意，由类型分块选取单元910选取的类型分块与由类型分块选取单元902选取的类型分块可以相同或不同。

特征检测单元911检测从类型分块选取单元910提供的类型分块或输入图像的特征，并将检测的特征提供给类型分类单元912。

例如，特征检测单元911基于从类型分块选取单元910提供的类型分块或输入图像检测输入图像的像素的移动矢量，并将检测的移动矢量提供给类型分类单元912作为特征。另外，例如，特征检测单元911基于从类型分块选取单元910提供的类型分块或输入图像检测类型分块或输入图像的多个像素的像素值的空间或时间变化(活度)，并将检测的像素值变化提供给类型分类单元912作为特征。

另外，例如，特征检测单元911基于从类型分块选取单元910提供的类型分块或输入图像检测类型分块或输入图像的多个像素的像素值的时间变化的梯度，并将检测的像素值的时间变化的梯度提供给类型分类单元912作为特征。

注意，可以使用像素值的Laplacian、Sobel、散射等作为特征。

特征检测单元911将类型分块与特征分离地提供给类型分类单元912。

类型分类单元912基于来自特征检测单元911的特征或类型分块将关注像素分类到一个或多个类型中的一个类型，并将对应于关注像素的结果类型代码提供给系数存储器913和预测分块选取单元914。

系数存储器913存储通过学习老师数据和学生数据之间的关系获得的一个或多个类型的每个的分块系数，所述老师数据是作为用作用于学习的老师的输出图像的实例的水平二倍密度图像的水平二倍密度像素，所述学生数据是作为用作用于学习的学生的输入图像的实例的SD图像的像素值。当从类型分类单元912提供关注像素的类型代码，系数存储器913读出存储在对应于类型代码的地址中的分块系数，从而获得关注像素的类型的分块系数，并将其提供给像素值预测单元915。

下面将更详细地描述对存储在系数存储器913中的学习方法。

预测分块选取单元914从输入图像选取对应于关注像素的多个周边像素，并取输入图像的选取的多个周边像素作为预测分块。也就是说，预测分块选取单元914基于从类型分类单元912提供的类型代码，从输入图像选取预测分块，用于在像素值预测单元915中获得关注像素(的预测值)，并将选取的预测分块提供给像素值预测单元915。

例如，预测分块选取单元914基于从类型分类单元912提供的类型代码，从输入图像选取位于在空间上或在时间上接近关注像素的位置的多个像素值，以将其作为预测分块，并将其提供给像素值预测单元915。例如，如图122所示，预测分块选取单元914基于从类型分类单元912提供的类型代码，从输入图像选取最接近关注像素的位置的水平×垂直上的3×3像素x⁽¹⁾到x⁽⁹⁾，从而取得关于关注像素y⁽¹⁾的类型分块。

注意，将被取为类型分块的像素值和将被取为预测分块的像素值可以相同或不同。也就是说，类型分块和预测分块可以各自单独地构成(产生)。另外，各个类型的被取为预测分块的像素值可以不同或相同。

注意，类型分块和预测分块的结构不限于3×3像素值。

注意，由预测分块选取单元914选取的预测分块与由预测分块选取单元906选取的预测分块可以相同，也可以不同。

像素值预测单元915利用从系数存储器913提供的关注像素类型的分块系数w₁、w₂...、以及来自预测分块选取单元914的预测分块(构成其的像素值)x₁、x₂...，进行如公式(1)所示的和积算法操作，从而预测关注像素y(的像素值)，并将其取为水平二倍密度像素的像素值。像素值预测单元915将通过这样计算的水平二倍密度像素的像素值提供给图像合成单元909。

例如，类型分块选取单元910取如图122所示的像素y⁽¹⁾和像素y⁽²⁾作为关注像素，其在空间方向上输入图像的相应像素x⁽⁵⁾包围，像素值预测单元915预测如图122所示的关注像素y⁽¹⁾的像素值和关注像素y⁽²⁾的像素值，并将关注像素y⁽¹⁾的预测像素值和关注像素y⁽²⁾的像素值提供给图像合成单元909。

图像合成单元909基于从积分特征确定单元908提供的积分特征确定信息，选择从像素值预测单元907和像素值预测单元915提供的像素值中的一个或另一个，并通过将选择的预测值设置在输出图像中作为像素值而合成图像。

也就是说，在从积分特征确定单元908提供表示公式(53)的关系成立的积分特征确定信息的情况下，从像素值预测单元907提供的关注像素y⁽¹⁾的预测值和关注像素y⁽²⁾的预测值是真实的，从而由图像合成单元909将从像素值预测单元907提供的关注像素y⁽¹⁾的预测值和关注像素y⁽²⁾的预测值设置为输出图像的像素值。

另一方面，在从积分特征确定单元908提供表示公式(53)的关系不成立的积分特征确定信息的情况下，从像素值预测单元907提供的关注像素y⁽¹⁾的预测值和关注像素y⁽²⁾的预测值是不真实的，即在像素预测单元907的预测处理失败，从而由图像合成单元909将从像素值预测单元915提供的关注像素y⁽¹⁾的预测值和关注像素y⁽²⁾的预测值设置为输出图像的像素值。

图像合成单元909输出这样合成的输出图像。

也就是说，图像合成单元909根据对由像素值预测单元907预测的关注像素y⁽¹⁾的预测值、由像素值预测单元907预测的关注像素y⁽²⁾的预测值、以及位于在空间方向上包围至少关注像素y⁽¹⁾和关注像素y⁽²⁾的位置上的输入图像的相应像素x⁽⁵⁾之间的关系的检测结果，选择性地输出从像素值预测单元907输出的关注像素y⁽¹⁾的预测值和关注像素y⁽²⁾的预测值。

图125示出了包括来自像素值预测单元907的预测值的输出图像的实例，其中公式(53)的关系不成立。

图126示出了如图121所示的图像处理装置的输出图像的实例，即其中用来自像素值预测单元915的预测值替换其中公式(53)的关系不成立的来自像素值预测单元907的预测值的输出图像的实例。

从而，根据本发明的图像处理装置可以防止预测失败。

通过这样，具有图121所示结构的图像处理装置可以产生对应于输入的输入图像具有更高分辨率的输出图像，并输出产生的图像。

接着，将参考图127的流程图描述由图121的图像处理装置进行的用于从输入图像产生具有更高分辨率的输出图像的图像产生处理。

在步骤S901，数据连续性检测单元901进行检测连续性的处理。数据连续性检测单元901检测输入图像中包括的数据连续性，并将表示检测的数据连续性的数据连续性信息提供给类型分类选取单元902和预测分块选取单元906。例如，数据连续性检测单元901从输入图像检测数据连续性的方向。

在步骤S902，类型分块选取单元902选择关注像素，其为将要产生的水平二倍密度图像中的水平二倍密度的关注像素。类型分块选取单元902基于由数据连续性检测单元901检测的数据连续性，选取对应于输入图像中的关注像素的多个周边像素，并取选取的输入图像的多个周边像素作为类型分块。将类型分块提供给特征检测单元903，并且流程进到步骤S903。例如，类型分块选取单元902基于由数据连续性检测单元901检测的数据连续性从输入图像选取在空间上或时间上最接近关注像素的位置的多个像素值作为类型分块，从而产生类型分块。

在步骤S903中，特征检测单元903从输入图像或在步骤S902的处理中选取的类型分块检测特征，并将检测的特征提供给类型分类单元904，以及将类型分块提供给类型分类单元904，然后该流程进到步骤S904。

在步骤S904中，类型分类单元904基于从特征检测单元903提供的类型分块的特征，进行在一个或多个类型的任意一个类型上的关注像素的类型分类，将获得的结果表示关注像素的类型的类型代码提供给系数存储器905和预测分块选取单元906，然后流程进到步骤S905。

在步骤S905中，预测分块选取单元906基于由数据连续性检测单元901检测的数据连续性选取对应于关注像素的输入图像的多个周边像素，并取选取的输入图像的多个周边像素为预测分块。利用预测分块选取单元906选取预测分块的处理与利用预测分块选取单元902的处理相同，因此省略对其的描述。

预测分块选取单元906基于由数据连续性检测单元901检测的数据连续性和从类型分类单元904提供的类型代码从输入图像选取在空间上或时间上接近关注像素的位置的多个像素值作为预测分块，从而产生预测分块。将预测分块提供给像素值预测单元907，并且处理进到步骤S906。

在步骤S906中，系数存储器905读出存储在对应于从类型分类单元904提供的类型代码的地址中的预测系数(分块系数)，并从而获得关注像素的类型的预测系数，将预测系数提供给像素值预测单元907，并且流程进到步骤S907。

在步骤S907中，像素值预测单元907基于由特征检测单元903检测的特征，通过适应处理从由预测分块选取单元906选取的多个周边像素预测关注像素(的预测值)，并且流程进到步骤S908。也就是说，在步骤S907，像素值预测单元907利用来自预测分块选取单元906的预测分块和来自系数存储器905的预测系数(分块系数)进行公式(1)所示的计算，以预测关注像素(的预测值)。

在步骤S901到步骤S907，基于数据连续性预测在空间方向上被输入图像的一个相应像素包围的两个关注像素的像素值。

在步骤S908，类型分块选取单元910选择关注像素，其为将要产生的水平二倍密度图像中的水平二倍密度的关注像素。类型分块选取单元910选取对应于输入图像中的关注像素的多个周边像素，并取选取的输入图像的多个周边像素作为类型分块。将类型分块提供给特征检测单元911，并且流程进到步骤S909。例如，类型分块选取单元910从输入图像选取在空间上或时间上接近关注像素的位置的多个像素值作为类型分块，从而产生类型分块。

在步骤S909，特征检测单元911从输入图像或在步骤S908的处理中选取的类型代码检测特征，并将检测的特征提供给类型分类单元912，并将类型分块提供给类型分类单元912，并且流程进到步骤S910。

在步骤S910，类型分类单元912基于从特征检测单元911提供的类型分块的特征，进行在一个或多个类型的任意一个类型上的关注像素的类型分类，将获得的结果表示关注像素的类型的类型代码提供给系数存储器913和预测分块选取单元914，然后流程进到步骤S911。

在步骤S911中，预测分块选取单元914基于从类型分类单元912提供的类型代码选取对应于关注像素的输入图像的多个周边像素，并取选取的输入图像的多个周边像素为预测分块。也就是说，预测分块选取单元914基于从类型分类单元912提供的类型代码从输入图像选取在空间上或时间上接近关注像素的位置的多个像素值作为预测分块，从而产生预测分块。将预测分块提供给像素值预测单元915，并且处理进到步骤S912。

在步骤S912中，系数存储器913读出存储在对应于从类型分类单元912提供的类型代码的地址中的预测系数(分块系数)，并从而获得关注像素的类型的预测系数，将预测系数提供给像素值预测单元915，并且流程进到步骤S913。

在步骤S913中，像素值预测单元915基于由特征检测单元911检测的特征，通过适应处理从由预测分块选取单元914选取的多个周边像素预测关注像素(的预测值)，并且流程进到步骤S914。也就是说，在步骤S913，像素值预测单元915利用来自预测分块选取单元914的预测分块和来自系数存储器913的预测系数(分块系数)进行公式(1)所示的计算，以预测关注像素(的预测值)。

在步骤S908到步骤S918，没有利用数据连续性预测在空间方向上被输入图像的一个相应像素包围的两个关注像素的像素值。

在步骤S914，积分特征确定单元908确定在步骤S907的处理中预测的两个关注像素的预测值、以及位于在空间方向上包围两个关注像素的位置上的输入图像的相应像素，积分特征是否成立，并且流程进到步骤S915。

例如，在步骤S914，从输入图像的相应像素的像素值减去由像素预测单元907提供的两个关注像素(预测值)。将减得的结果与预先设置的阈值比较。在减得的结果小于阈值的情况下，确定积分特征成立，在减得的结果等于或大于阈值的情况下，确定积分特征不成立。将表示确定结果的积分特征确定信息提供给图像合成单元909。

也就是说，在步骤S914中，检测由像素值预测单元907预测的第一关注像素的第一预测值、由像素值预测单元907预测的在空间上相邻于第一关注像素的第二关注像素的第二预测值、以及位于在空间方向上包围第一关注像素和第二关注像素中的至少一个的位置上的输入图像的相应像素的像素值之间的关系。

在步骤S915中，图像合成单元909基于在步骤S914中的确定结果，选择由像素值预测单元907和像素值预测单元915预测的预测值中的一个或另一个，并通过将选择的预测值设置在输出图像中作为像素值而合成图像，并且流程进到步骤S916。

也就是说，在图像合成单元909在步骤S914中确定积分特征成立的情况下，则在步骤S907的处理中预测的两个关注像素的预测值是真实的，从而在步骤S915中将在步骤S907的处理中预测的两个关注像素的预测值设置为输出图像的像素值，从而合成输出图像。

另一方面，在图像合成单元909在步骤S914中确定积分特征不成立的情况下，则在步骤S907的处理中预测的两个关注像素的预测值是不真实的，即在步骤S907中的预测处理失败，从而在步骤S915中将在步骤S913的处理中预测的两个关注像素的预测值设置为输出图像的像素值。

在步骤S916中，类型分块选取单元902确定在水平二倍密度图像的关注帧中是否存在未被选为关注像素的像素，在确定存在的情况下，流程进到步骤S902，并接着重复进行相同的处理。

另外，当在步骤S916中确定在水平二倍密度图像的关注帧中不存在未被选为关注像素的像素的情况下，即在已经预测构成关注帧的全部水平二倍密度像素的情况下，图像合成单元909输出合成的输出图像，并且处理结束。

也就是说，在步骤S916中，基于在步骤S907的处理中预测的两个关注像素的预测值、和位于在空间方向上包围至少两个关注像素的位置上的输入图像的相应像素之间的关系的检测结果，选择性地输出在步骤S907的处理中预测的两个关注像素的预测值。

通过这样，具有图121所示结构的图像处理装置可以不会失败地从输入图像产生具有更高分辨率的输出图像，并输出产生的输出图像。

注意，尽管将图121所示的图像处理装置描述为获取输入图像并输出产生的水平二倍密度图像，但是可以这样设置，其中产生并输出在时间方向上具有二倍分辨率的图像(下文中称为时间二倍密度图像)。

图128示出了在产生时间二倍密度图像的情况下的关注像素。在图128中，图中水平方向对应输入图像(SD图像)和时间二倍密度图像的时间方向，以及图中垂直方向对应输入图像和时间二倍密度图像的一个空间方向，例如作为屏幕垂直方向的空间方向Y。注意，在图128中，过去时刻对应图中左侧位置，而将来时刻对应图中右侧位置。

这里，在图128中，O标记表示构成SD图像的SD像素，×标记表示构成时间二倍密度图像的时间二倍密度像素。另外，在图128中，时间二倍密度图像是相比于输入图像具有在时间方向上的二倍帧数的图像。例如，相比于由30帧/秒构成的输入图像，时间二倍密度图像由60帧/秒构成。注意，时间二倍密度图像的一帧中的像素数与输入图像的一帧中的像素数相同。

在图128中，f_-2、f_-1、f₀、f₁、f₂表示输入图像的帧，以及F_-4、F_-3、F_-2、F_-1、F₀、F₁、F₂、F₃、F₄、F₅表示时间二倍密度图像的帧。

在产生时间二倍密度图像的情况下，数据连续性检测单元901检测时间空间方向中的数据连续性。类型分块选取单元902取图128所示的时间二倍密度图像的像素y⁽¹⁾和像素y⁽²⁾作为关注像素，其被输入图像的相应像素x⁽⁵⁾在时间方向上包围。基于数据连续性，像素值预测单元907预测图128所示的关注像素y⁽¹⁾的像素值和关注像素y⁽²⁾的像素值，并将关注像素y⁽¹⁾的预测像素值和关注像素y⁽²⁾的像素值提供给积分特征确定单元908和图像合成单元909。

现在，将参考图129描述关注像素y⁽¹⁾、关注像素y⁽²⁾、以及在时间方向上包围关注像素y⁽¹⁾和关注像素y⁽²⁾的相应像素x⁽⁵⁾之间的关系。

图129中的F(t)是表示现实世界光强分布的函数，其取时间t为变量。在图129中，对作为输入图像的SD图像成像的传感器的快门时间是从时刻t1到时刻t3的时间，并被表示为2ts。

假设将SD图像的一个像素的像素值由对F(x)的均匀积分表示，由公式(54)表示对应于从时刻t1到时刻t2的时间的像素的像素值Y1，由公式(55)表示对应于从时刻t2到时刻t3的时间的像素的像素值Y2，以及由公式(56)表示从传感器输出作为SD图像的像素值Y3。

$Y1={\∫}_{t_1}^{t_2}F\left(t\right)\mathrm{dt}\·\frac{1}{\mathrm{ts}}$

公式(54)

$Y2={\∫}_{t_2}^{t_3}F\left(t\right)\mathrm{dt}\·\frac{1}{\mathrm{ts}}$

公式(55)

$Y3={\∫}_{t_1}^{t_3}F\left(t\right)\mathrm{dt}\·\frac{1}{2\mathrm{ts}}$

$=\frac{Y1+Y2}{2}$

公式(56)

公式(54)到公式(56)中的Y1和Y2各对应相对于SD图像的时间二倍密度图像的时间二倍密度像素(关注像素y⁽¹⁾或关注像素y⁽²⁾)的像素值，其由图121所示的图像处理装置获得。另外，公式(56)中的Y3对应SD像素(相应像素)的像素值，其对应于时间二倍密度图像中的时间二倍密度像素的像素值Y1和Y2。

分别用x⁽⁵⁾代入Y3，用y⁽¹⁾代入Y1，以及用y⁽²⁾代入Y2，可以从公式(56)获得公式(57)。

x⁽⁵⁾＝(y⁽¹⁾+y⁽²⁾)/2                      公式(57)

积分特征确定单元908确定公式(57)对于如图128所示的关注像素y⁽¹⁾的预测值、关注像素y⁽²⁾的预测值、以及位于在空间方向上包围关注像素y⁽¹⁾和关注像素y⁽²⁾的位置上的输入图像的相应像素x⁽⁵⁾是否成立。

在公式(57)成立的情况下，可以认为关注像素y⁽¹⁾的预测值和关注像素y⁽²⁾的预测值是真实的。换句话说，在公式(57)不成立的情况下，可以认为对关注像素y⁽¹⁾和关注像素y⁽²⁾的预测处理是失败的。

更具体地说，积分特征确定单元908从输入图像的相应像素x⁽⁵⁾的像素值减去由像素预测单元907提供的关注像素y⁽¹⁾(预测值)和关注像素y⁽²⁾(预测值)。积分特征确定单元908比较减得的结果与预先设置的阈值。在减得的结果小于阈值的情况下，积分特征确定单元908确定公式(57)的关系成立，在减得的结果等于或大于阈值的情况下，确定公式(57)中的关系不成立。

类型分块选取单元910然后取如图128所示的在时间方向上被输入图像的相应像素x⁽⁵⁾包围的像素y⁽¹⁾和像素y⁽²⁾作为关注像素，像素值预测单元915预测图128所示的关注像素y⁽¹⁾的像素值和关注像素y⁽²⁾的像素值，并将预测的关注像素y⁽¹⁾的像素值和关注像素y⁽²⁾的像素值提供给图像合成单元909。

图像合成单元909基于从积分特征确定单元908提供的积分特征确定信息，选择从像素值预测单元907和像素值预测单元915提供的预测值中的一个或另一个，并通过将选择的预测值设置在输出图像中作为像素值而合成图像。

也就是说，在从积分特征确定单元908提供表示公式(57)的关系成立的积分特征确定信息的情况下，从像素值预测单元907提供的关注像素y⁽¹⁾的预测值和关注像素y⁽²⁾的预测值是真实的，从而由图像合成单元909将从像素值预测单元907提供的关注像素y⁽¹⁾的预测值和关注像素y⁽²⁾的预测值设置为输出图像的像素值。

另一方面，在从积分特征确定单元908提供表示公式(57)的关系不成立的积分特征确定信息的情况下，从像素值预测单元907提供的关注像素y⁽¹⁾的预测值和关注像素y⁽²⁾的预测值是不真实的，即在像素预测单元907的预测处理失败，从而由图像合成单元909将从像素值预测单元915提供的关注像素y⁽¹⁾的预测值和关注像素y⁽²⁾的预测值设置为输出图像的像素值。

也就是说，积分特征确定单元908检测由像素值预测单元907预测的第一关注像素的第一预测值、由像素值预测单元907预测的在时间上相邻于第一关注像素的第二关注像素的第二预测值、以及位于在时间方向上包围至少第一关注像素和第二关注像素的位置上的输入图像的相应像素的像素值之间的关系。

图像合成单元909根据对由像素值预测单元907预测的第一关注像素的预测值、由像素值预测单元907预测的第二关注像素的预测值、以及相应像素的像素值之间的关系的检测结果，选择性地输出从像素值预测单元907输出的第一关注像素的预测值和第二关注像素的预测值。

图像合成单元909输出这样合成的作为时间二倍密度图像的输出图像。

如上所述，图121所示的图像处理装置可以获取输入图像，并产生和输出时间二倍密度图像。

从而，在对输入图像施加类型分类适应处理的情况下，可以获得更高质量的图像。

在其中对对应于高质量图像数据中的第一关注像素的输入图像数据中的多个第一周边像素检测对应于现实世界光信号的连续性的第一图像数据连续性、对对应于高质量图像数据中的第二关注像素的输入图像数据中的多个第二周边像素检测对应于现实世界光信号的连续性的第二图像数据连续性的情况下，基于检测的第一图像数据连续性选取对应于第一关注像素的输入图像数据中的多个第三周边像素，基于检测的第二图像数据连续性选取对应于第二关注像素的输入图像数据中的多个第四周边像素，基于检测的第一图像数据连续性选取对应于第一关注像素的输入图像数据中的多个第五周边像素，基于检测的第二图像数据连续性选取对应于第二关注像素的输入图像数据中的多个第六周边像素，检测选取的多个第三周边像素的第一特征，检测选取的多个第四周边像素的第二特征，基于检测的第一特征从选取的多个第五周边像素预测第一关注像素，基于检测的第二特征从选取的多个第六周边像素预测第二关注像素，输出第一关注像素的第一预测值和第二关注像素的第二预测值，检测预测的第一关注像素的第一预测值、预测的第二关注像素的第二预测值、以及位于在时间方向或空间方向上至少包围第一关注像素和第二关注像素的位置上的输入图像中的相应像素的像素值之间的关系，并且根据检测结果选择性地输出第一关注像素的第一预测值和第二关注像素的第二预测值，可以使用数据连续性获得更准确并具有更高精度的处理结果。

接着，图130是示出学习装置的实施例的结构的方框图，所述装置用于对存储在图121所示的系数存储器913中的每个类型进行学习以获得分块系数。

例如，将作为用于分块系数学习的图像(老师图像)的HD图像输入图130所示的学习装置。将输入学习装置的输入图像提供给学生图像产生单元951和老师像素选取单元958。

学生图像产生单元951产生作为来自对其输入的输入图像(老师图像)的学生图像的SD图像，并将其提供给图像存储器952。学生图像产生单元951获得例如在作为老师图像的HD图像中的水平方向上相邻的两个HD像素的像素值的平均值，从而对应于作为老师图像的HD图像产生作为学生图像的SD图像。这里，SD图像需要其图像质量对应将被图121所示的图像处理装置处理的SD图像。图像存储器952临时存储来自学生图像产生单元951的作为学生图像的SD图像。

在图130所示的学习装置中，以SD图像为学生数据而产生分块系数。

类型分块选取单元953然后与图121中类型分块选取单元910的情况相同地，取作为对应于作为存储在图像存储器952中的学生图像的SD图像的作为老师图像的HD图像的HD像素中的一个作为关注像素。

另外，类型分块选取单元953从存储在图像存储器952中的SD图像选取关于关注像素的类型分块，并将其提供给特征检测单元954。这里，类型分块选取单元953产生具有与图121所示的类型分块选取单元910产生的相同的分块结构的类型分块。

特征检测单元954以与图121中的特征检测单元911的处理相同的方式，从存储在图像存储器952中的学生图像或由类型分块选取单元953提供的类型分块检测特征，并将检测的特征提供给类型分类单元955。

例如，特征检测单元954基于存储在图像存储器952中的SD图像或从类型分块选取单元953提供的类型分块检测SD图像的像素的移动矢量，并将检测的移动矢量提供给类型分类单元955作为特征。另外，例如，特征检测单元954基于从图像存储器952提供的SD图像或从类型分块选取单元953类型分块检测SD图像或类型分块的多个像素的像素值的空间或时间变化，并将检测的像素值变化提供给类型分类单元955作为特征。

另外，例如，特征检测单元954基于从图像存储器952提供的SD图像或从类型分块选取单元953提供的类型分块，检测类型分块或SD图像的多个像素的像素值的时间变化的梯度，并将检测的像素值变化梯度提供给类型分类单元955作为特征。

注意，可以利用特征检测单元954以与特征检测单元911相同的方法获得像素值的Laplacian、Sobel、散射等作为特征。

也就是说，特征检测单元954检测与图121中的特征检测单元911检测的特征相同的特征。

特征检测单元954将类型分块与特征分开地提供给类型分类单元955。

类型分类单元955以与图121所示的类型分类单元912相同的方式构造，并基于来自特征检测单元954的特征或类型分块对一个或多个类型的一个类型的关注像素进行类型分类，并将表示关注像素的类型的类型代码提供给预测分块选取单元956和学习存储器959。

预测分块选取单元956以与图121中的预测分块选取单元914相同的方式构造，并基于由从类型分类单元955提供的类型代码从存储在图像存储器952中的SD图像选取关于关注像素的预测分块素，并将其提供给补充计算单元957。这里，预测分块选取单元956产生具有与由图121中的预测分块选取单元914产生的相同的分块结构的预测分块。

老师像素选取单元958从作为老师图像的输入图像(水平二倍密度图像)选取关注像素作为老师数据(老师像素)，并将选取的老师数据提供给补充计算单元957。也就是说，老师像素选取单元958取作为输入学习图像的水平二倍密度图像作为例如没有变化的老师数据。这里，由图121中的图像处理装置获得的水平二倍密度图像具有对应于在图130中的学习装置中用作老师数据的水平二倍密度图像的图像质量。

补充计算单元957和正规方程计算单元960利用作为关注像素的老师数据和从预测分块选取单元956提供的预测分块，学习由从类型分类单元955提供的的类型代码表示的每个类型的老师数据和学生数据之间的关系，从而获得每个类型的分块系数。

也就是说，补充计算单元957对从预测分块选取单元956提供的预测分块(SD像素)和作为其为关注像素的老师数据的水平二倍密度像素进行公式(8)的补充。

尤其是，补充计算单元957使用作为构成预测分块的学生数据的SD像素x_n，k进行使公式(8)的左侧矩阵中的SD像素彼此相乘(x_n，kx_n’，k)、并求和(∑)的计算。

另外，补充计算单元957使用作为构成预测分块的学生数据的SD像素x_n，k和作为关注像素老师数据的水平二倍密度像素y_k进行使公式(8)的右侧矩阵中的矢量的SD像素x_n，k乘以水平二倍密度像素y_k(x_n，ky_k)、并求和(∑)的计算。

补充计算单元957通过以作为老师数据的水平二倍密度图像的所有像素作为关注像素进行上述补充而构成每个类型的对应于公式(8)的正规方程，然后将正规方程提供给学习存储器959。

学习存储器959存储从补充计算单元957提供的对应于公式(8)的正规方程，其中将SD像素设为学生数据，并将水平二倍密度像素设为老师数据。

正规方程计算单元960从学习存储器959获得每个类型的公式(8)的正规方程，并通过利用例如扫描求解正规方程(学习每个类型)获得并输出每个类型的分块系数。

也就是说，补充计算单元957和正规方程计算单元960学习预测装置用于从选取的多个周边像素预测每个检测特征的关注像素。

在该情况下，预测装置为用于从选取的多个周边像素预测关注像素的专用装置，并例如指像素值预测单元915，其操作由每个类型的分块系数限定，或者为在像素值预测单元915上的处理。学习预测装置用于从多个周边像素预测关注像素表示，例如实现(构造)用于从多个周边像素预测关注像素的预测装置。

因此，学习预测装置用于从多个周边像素预测关注像素表示，获得例如每个类型的分块系数。获得每个类型的分块系数尤其确定了像素值预测单元915或在像素值预测单元915上的处理，从而实现了像素值预测单元915或执行了在像素值预测单元915上的处理。

系数存储器961存储从正规方程计算单元960输出的每个类型的分块系数。

接着，将参考图131的流程图描述由图130所示的学习装置进行的用于获得每个类型的分块系数的学习处理。

首先，在步骤S951，学生图像产生单元951获得作为例如水平二倍密度图像的学习输入图像(老师图像)，并稀疏输出像素，从而产生作为例如SD图像的学生图像。例如，学生图像产生单元951获得水平二倍密度图像中水平或垂直相邻的2个水平二倍密度像素的平均值，并取该平均值作为SD图像的像素值，从而产生SD图像。将SD图像提供给图像存储器952。

然后流程进到步骤S952，这里，类型分块选取单元953从作为老师数据的水平二倍密度图像中的水平二倍密度像素中选择未被取为关注像素的一个像素作为关注像素。类型分块选取单元953与图121中的类型分块选取单元910相同地从作为存储在图像存储器952中的对应于关注像素的学生图像的SD图像选取类型分块。类型分块选取单元953将类型分块提供给特征检测单元954，并且流程进到步骤S953。

在步骤S953，特征检测单元954以与图121中的特征检测单元911相同地从在步骤S951的处理中产生的学生图像或在步骤S953的处理中产生的类型分块检测例如SD图像的像素的像素值的变化或移动矢量的特征等，并将检测的特征提供给类型分类单元955，并且流程进到步骤S954。

在步骤S954，类型分类单元955以与图121中的类型分类单元912相同地使用来自特征检测单元954的特征或类型分块来将关注像素分类到一种或多种类型的一种类型中，将表示关注像素的类型的类型代码提供给预测分块选取单元956和学习存储器959，并且流程进到步骤S955。

在步骤S955，预测分块选取单元956以与图121中的预测分块选取单元914相同地基于从类型分类单元955提供的类型代码从作为存储在图像存储器952中的学生图像的SD图像选取对应于关注像素的类型分块，并将其提供给补充计算单元957，并且流程进到步骤S956。

在步骤S956，老师像素选取单元958从输入图像选取关注像素，即作为水平二倍密度像素的老师像素(老师数据)，并将选取的老师像素提供给补充计算单元957，并且流程进到步骤S957。

在步骤S957，补充计算单元957关于从预测分块选取单元956提供的预测分块(学生数据)和从老师像素选取单元958提供的老师像素(老师数据)进行在上述公式(8)中的补充，并将补充有学生数据和老师数据的正规方程存储到学习存储器959中，并且流程进到步骤S958。

在步骤S958，类型分块选取单元953确定作为老师数据的水平二倍密度图像中是否存在未被选为关注像素的水平二倍密度像素，即是否完成对全部像素的补充处理。当在步骤S958中确定在作为老师数据的水平二倍密度图像中存在未被选为关注像素的水平二倍密度像素的情况下，流程返回步骤S952，并随后重复相同的处理。

另外，当在步骤S958确定作为老师数据的水平二倍密度图像中没有未被选为关注像素的水平二倍密度像素的情况下，即已经完成对全部像素的补充处理，则流程进到步骤S959，这里，正规方程计算单元960从学习存储器959读出多种类型的正规方程，所述类型的分块系数未通过在先前步骤S957中的补充而对于每个类型从公式(8)的正规方程获得，所述单元960还通过扫描等(学习每个类型)求解读出的正规方程(8)，获得预定类型的预测系数(分块系数)，并将其提供给系数存储器961。系数存储器961存储每个类型的从正规方程计算单元960提供的预定类型的预测系数(分块系数)，并且流程进到步骤S960。

在步骤S960，正规方程计算单元960确定是否完成对全部类型计算预测系数，在确定仍未完成对全部类型计算预测系数的情况下，流程返回步骤S959，并重复用于获得下一个类型的预测系数的处理。

当在步骤S960确定已经完成对全部类型计算预测系数的情况下，该处理结束。

从而，将存储在系数存储器961中的每个类型的预测系数存储到图121所示的图像处理装置的系数存储器913中。

在这样进行学习的情况下，可以获得预测的具有更高图像质量的图像。

在其中对对应于高质量图像数据中的关注像素的输入图像数据中的多个第一周边像素检测对应于现实世界光信号的连续性的图像数据连续性的情况下，基于检测的图像数据连续性选取对应于高质量图像数据中的关注像素的输入图像数据中的多个第二周边像素，基于检测的图像数据连续性选取对应于关注像素的输入图像数据中的多个第三周边像素，检测选取的多个第二周边像素的特征，并且对每个预测的特征学习用于从选取的多个第三周边像素预测关注像素的预测装置，可以使用数据连续性获得更准确并具有更高精度的处理结果。

这里，尽管描述了其中输入SD图像并输出对应于SD图像在空间方向或时间方向上具有高分辨率的图像的图像处理装置，当然输入图像并不限于SD图像。例如，在图像处理装置中，可以这样设置，其中输入时间二倍密度图像或垂直二倍密度图像并输出HD图像。

尽管上述系列处理可以通过硬件执行，这还可以通过软件执行。在通过软件执行系列处理的情况下，从记录介质将构成软件的程序装入例如具有内置专用硬件的计算机、或通过安装各种程序可以执行各种功能的通用个人计算机。

图132是示出用于通过程序执行上述系列处理的个人计算机的结构实例的方框图。CPU(中央处理器)1001执行跟随存储在ROM(只读存储器)1002或存储器单元1008中的程序的各种处理。RAM(随机存取存储器)1003适当地存储将由CPU1001执行的程序、数据等。通过总线1004相互连接CPU1001、ROM1002、以及RAM1003。

另外，输入/输出接口1005通过总线1004连接CPU1001。由键盘、鼠标、麦克风等构成的输入装置1006、和由显示器、扬声器等构成的输出单元1007连接输入/输出接口1005。CPU1001执行对应于从输入单元1006输入的命令的各种处理。CPU1001然后对输出单元1007输出获得的图像和音频等作为处理结果。

连接输入/输出接口1005的存储单元1008由例如硬盘构成，并存储由CPU1001执行的程序和各种数据。通信单元1009通过互联网和其它网络与外部装置通信。在该实例的情况下，通信单元1009用作外部接口，以获取输入图像或输出输出图像。

另外，可以这样设置，其中通过通信单元1009获得程序，并将其存储在存储单元1008中。

连接输入/输出接口1005的驱动器1010驱动安装在其中的磁盘1051、光谱1052、磁光盘1053、或半导体存储器1054等，并获得记录在其中的程序和数据。按需要将获得的程序和数据传输给存储单元1008并存储。

用于存储用于实施根据本发明的信号处理的程序存储介质不限于封装介质，所述封装介质单独地分布在计算机中以给用户提供程序，例如磁盘1051(包括软盘、光盘1052(包括CD-ROM(紧凑盘-只读存储器))、DVD多功能数码光盘)、磁光盘1053(包括MD(迷你盘)(注册商标))、半导体存储器1054等，如图132所示，其中已经记录了程序；但是还可以由其中记录程序的ROM1022构成，或包括在单元1028中的硬盘等，将这些预先设置入计算机而提供给用户。

注意，可以按需要通过电缆或无线通信介质，如局域网、互联网、数字卫星传播等、通过例如路由器、调制解调器等将用于执行上述一组处理的程序装入计算机。

应注意，在本说明书中，描述存储在记录介质中的程序的步骤包括以上述次序为时间顺序实施的处理，显然，这不限于时间顺序处理，还可以包括平行或单独执行的处理。

工业应用性

从而，根据第一发明，可以输出具有更高分辨率的图像。

另外，根据第一发明，可以使用数据连续性以获得更准确并具有更高精度的处理结果。

根据第二发明，利用图像处理装置，可以输出具有更高分辨率的图像。

另外，根据第二发明，利用图像处理装置，可以使用数据连续性以获得更准确并具有更高精度的处理结果。

Claims (10)

1.一种图像处理装置，用于将由多块像素数据构成的输入图像数据转换成比所述输入图像具有更高质量的高质量图像数据，所述像素数据通过由具有每个具有时间积分效应或空间积分效应的多个像素的成像装置成像现实世界光信号获得，所述图像处理装置包括：

图像数据连续性检测装置，用于对对应于所述高质量图像数据中的第一关注像素的所述输入图像数据中的多个第一周边像素，检测对应于所述现实世界光信号的连续性的第一图像数据连续性，并用于对对应于所述高质量图像数据中的第二关注像素的所述输入图像数据中的多个第二周边像素，检测对应于所述现实世界光信号的连续性的第二图像数据连续性，所述第二关注像素在时间上或空间上相邻于所述第一关注像素；

第一选取装置，用于基于由所述图像数据连续性检测装置检测的所述第一图像数据连续性选取对应于所述第一关注像素的所述输入图像数据中的多个第三周边像素，并基于由所述图像数据连续性检测装置检测的所述第二图像数据连续性选取对应于所述第二关注像素的所述输入图像数据中的多个第四周边像素；

第二选取装置，用于基于由所述图像数据连续性检测装置检测的所述第一图像数据连续性选取对应于所述第一关注像素的所述输入图像数据中的多个第五周边像素，并基于由所述图像数据连续性检测装置检测的所述第二图像数据连续性选取对应于所述第二关注像素的所述输入图像数据中的多个第六周边像素；

第一特征检测装置，用于检测由所述第一选取装置选取的所述多个第三周边像素的第一特征，并检测由所述第一选取装置选取的所述多个第四周边像素的第二特征；

第一预测装置，用于基于由所述第一特征检测装置检测的所述第一特征从由所述第二选取装置选取的所述多个第五周边像素预测所述第一关注像素，并基于由所述第一特征检测装置检测的所述第二特征从由所述第二选取装置选取的所述多个第六周边像素预测所述第二关注像素，并输出所述第一关注像素的第一预测值和所述第二关注像素的第二预测值；以及

选择性输出装置，用于检测由所述第一预测装置预测的所述第一关注像素的所述第一预测值、由所述第一预测装置预测的所述第二关注像素的所述第二预测值、以及位于在时间方向或空间方向上至少包围所述第一关注像素和所述第二关注像素的位置上的所述输入图像数据中的相应像素的像素值之间的关系，并且根据检测结果选择性地输出从所述第一预测装置输出的所述第一关注像素的所述第一预测值和所述第二关注像素的所述第二预测值。

2.根据权利要求1的图像处理装置，还包括：

第三选取装置，用于选取对应于所述高质量图像数据中的所述第一关注像素的所述输入图像数据中的多个第七周边像素，并选取对应于所述高质量图像数据中的所述第二关注像素的所述输入图像数据中的多个第八周边像素；

第四选取装置，用于选取对应于所述第一关注像素的所述输入图像数据中的多个第九周边像素，并选取对应于所述第二关注像素的所述输入图像数据中的多个第十周边像素；

第二特征检测装置，用于检测由所述第三选取装置选取的所述多个第七周边像素的第三特征，并检测由所述第三选取装置选取的所述多个第八周边像素的第四特征；

第二预测装置，用于基于由所述第二特征检测装置检测的所述第三特征从由所述第四选取装置选取的所述多个第九周边像素预测所述第一关注像素，并基于由所述第二特征检测装置检测的所述第四特征从由所述第四选取装置选取的所述多个第十周边像素预测所述第二关注像素，并输出所述第一关注像素的第三预测值和所述第二关注像素的第四预测值；

其中，所述选择性输出装置检测由所述第一预测装置预测的所述第一关注像素的所述第一预测值、由所述第一预测装置预测的所述第二关注像素的所述第二预测值、以及所述输入图像中的相应像素的像素值之间的关系，并且根据检测结果选择性地输出由所述第一预测值和所述第二预测值构成的第一组或由所述第三预测值和所述第四预测值构成的第二组。

3.根据权利要求2的图像处理装置，其中在通过从所述相应像素的像素值减去所述第一关注像素的所述第一预测值和所述第二关注像素的所述第二预测值获得的绝对值小于预定阈值的情况下，所述选择性输出装置选择性地输出由所述第一预测值和所述第二预测值构成的所述第一组预测值。

4.一种图像处理方法，用于将由多块像素数据构成的输入图像数据转换成比所述输入图像具有更高质量的高质量图像数据，所述像素数据通过由具有每个具有时间积分效应或空间积分效应的多个像素的成像装置成像现实世界光信号获得，所述方法包括：

图像数据连续性检测步骤，用于对对应于所述高质量图像数据中的第一关注像素的所述输入图像数据中的多个第一周边像素，检测对应于所述现实世界光信号的连续性的第一图像数据连续性，并用于对对应于所述高质量图像数据中的第二关注像素的所述输入图像数据中的多个第二周边像素，检测对应于所述现实世界光信号的连续性的第二图像数据连续性，所述第二关注像素在时间上或空间上相邻于所述第一关注像素；

第一选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述第一图像数据连续性选取对应于所述第一关注像素的所述输入图像数据中的多个第三周边像素，并基于在所述图像数据连续性检测步骤中检测的所述第二图像数据连续性选取对应于所述第二关注像素的所述输入图像数据中的多个第四周边像素；

第二选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述第一图像数据连续性选取对应于所述第一关注像素的所述输入图像数据中的多个第五周边像素，并基于在所述图像数据连续性检测步骤中检测的所述第二图像数据连续性选取对应于所述第二关注像素的所述输入图像数据中的多个第六周边像素；

特征检测步骤，用于检测在所述第一选取步骤中选取的所述多个第三周边像素的第一特征，并检测在所述第一选取步骤中选取的所述多个第四周边像素的第二特征；

预测步骤，用于基于在所述特征检测步骤中检测的所述第一特征从在所述第二选取步骤中选取的所述多个第五周边像素预测所述第一关注像素，并基于在所述特征检测步骤中检测的所述第二特征从在所述第二选取步骤中选取的所述多个第六周边像素预测所述第二关注像素，并输出所述第一关注像素的第一预测值和所述第二关注像素的第二预测值；以及

选择性输出步骤，用于检测在所述预测步骤中预测的所述第一关注像素的所述第一预测值、在所述预测步骤中预测的所述第二关注像素的所述第二预测值、以及位于在时间方向或空间方向上至少包围所述第一关注像素和所述第二关注像素的位置上的所述输入图像中的相应像素的像素值之间的关系，并且根据检测结果选择性地输出所述第一关注像素的所述第一预测值和所述第二关注像素的所述第二预测值。

5.一种存储用于图像处理的计算机可读程序的记录介质，所述程序用于将由多块像素数据构成的输入图像数据转换成比所述输入图像具有更高质量的高质量图像数据，所述像素数据通过由具有每个具有时间积分效应或空间积分效应的多个像素的成像装置成像现实世界光信号获得，所述程序包括：

图像数据连续性检测步骤，用于对对应于所述高质量图像数据中的第一关注像素的所述输入图像数据中的多个第一周边像素，检测对应于所述现实世界光信号的连续性的第一图像数据连续性，并用于对对应于所述高质量图像数据中的第二关注像素的所述输入图像数据中的多个第二周边像素，检测对应于所述现实世界光信号的连续性的第二图像数据连续性，所述第二关注像素在时间上或空间上相邻于所述第一关注像素；

第一选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述第一图像数据连续性选取对应于所述第一关注像素的所述输入图像数据中的多个第三周边像素，并基于在所述图像数据连续性检测步骤中检测的所述第二图像数据连续性选取对应于所述第二关注像素的所述输入图像数据中的多个第四周边像素；

第二选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述第一图像数据连续性选取对应于所述第一关注像素的所述输入图像数据中的多个第五周边像素，并基于在所述图像数据连续性检测步骤中检测的所述第二图像数据连续性选取对应于所述第二关注像素的所述输入图像数据中的多个第六周边像素；

特征检测步骤，用于检测在所述第一选取步骤中选取的所述多个第三周边像素的第一特征，并检测在所述第一选取步骤中选取的所述多个第四周边像素的第二特征；

预测步骤，用于基于在所述特征检测步骤中检测的所述第一特征从在所述第二选取步骤中选取的所述多个第五周边像素预测所述第一关注像素，并基于在所述特征检测步骤中检测的所述第二特征从在所述第二选取步骤中选取的所述多个第六周边像素预测所述第二关注像素，并输出所述第一关注像素的第一预测值和所述第二关注像素的第二预测值；以及

选择性输出步骤，用于检测在所述预测步骤中预测的所述第一关注像素的所述第一预测值、在所述预测步骤中预测的所述第二关注像素的所述第二预测值、以及位于在时间方向或空间方向上至少包围所述第一关注像素和所述第二关注像素的位置上的所述输入图像数据中的相应像素的像素值之间的关系，并且根据检测结果选择性地输出所述第一关注像素的所述第一预测值和所述第二关注像素的所述第二预测值。

6.一种使计算机执行图像处理的程序，用于将由多块像素数据构成的输入图像数据转换成比所述输入图像具有更高质量的高质量图像数据，所述像素数据通过由具有每个具有时间积分效应或空间积分效应的多个像素的成像装置成像现实世界光信号获得，所述程序包括：

图像数据连续性检测步骤，用于对对应于所述高质量图像数据中的第一关注像素的所述输入图像数据中的多个第一周边像素，检测对应于所述现实世界光信号的连续性的第一图像数据连续性，并用于对对应于所述高质量图像数据中的第二关注像素的所述输入图像数据中的多个第二周边像素，检测对应于所述现实世界光信号的连续性的第二图像数据连续性，所述第二关注像素在时间上或空间上相邻于所述第一关注像素；

第一选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述第一图像数据连续性选取对应于所述第一关注像素的所述输入图像数据中的多个第三周边像素，并基于在所述图像数据连续性检测步骤中检测的所述第二图像数据连续性选取对应于所述第二关注像素的所述输入图像数据中的多个第四周边像素；

第二选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述第一图像数据连续性选取对应于所述第一关注像素的所述输入图像数据中的多个第五周边像素，并基于在所述图像数据连续性检测步骤中检测的所述第二图像数据连续性选取对应于所述第二关注像素的所述输入图像数据中的多个第六周边像素；

特征检测步骤，用于检测在所述第一选取步骤中选取的所述多个第三周边像素的第一特征，并检测在所述第一选取步骤中选取的所述多个第四周边像素的第二特征；

预测步骤，用于基于在所述特征检测步骤中检测的所述第一特征从在所述第二选取步骤中选取的所述多个第五周边像素预测所述第一关注像素，并基于在所述特征检测步骤中检测的所述第二特征从在所述第二选取步骤中选取的所述多个第六周边像素预测所述第二关注像素，并输出所述第一关注像素的第一预测值和所述第二关注像素的第二预测值；以及

选择性输出步骤，用于检测在所述预测步骤中预测的所述第一关注像素的所述第一预测值、在所述预测步骤中预测的所述第二关注像素的所述第二预测值、以及位于在时间方向或空间方向上至少包围所述第一关注像素和所述第二关注像素的位置上的所述输入图像中的相应像素的像素值之间的关系，并且根据检测结果选择性地输出所述第一关注像素的所述第一预测值和所述第二关注像素的所述第二预测值。

7.一种用于学习预测装置的学习装置，所述预测装置从由多块像素数据构成的输入图像数据预测比所述输入图像具有更高质量的高质量图像数据，所述像素数据通过由具有每个具有时间积分效应或空间积分效应的多个像素的成像装置成像现实世界光信号获得，所述学习装置包括：

图像数据连续性检测装置，用于对对应于所述高质量图像数据中的关注像素的所述输入图像数据中的多个第一周边像素，检测对应于所述现实世界光信号的连续性的图像数据连续性；

第一选取装置，用于基于由所述图像数据连续性检测装置检测的所述图像数据连续性选取对应于所述高质量图像数据中的所述关注像素的所述输入图像数据中的多个第二周边像素；

第二选取装置，用于基于由所述图像数据连续性检测装置检测的所述图像数据连续性选取对应于所述关注像素的所述输入图像数据中的多个第三周边像素；

特征检测装置，用于检测由所述第一选取装置选取的所述多个第二周边像素的特征；

用于学习所述预测装置的学习装置，所述预测装置用于对由所述特征检测装置检测的每个所述特征，从由所述第二选取装置选取的所述多个第三周边像素预测所述关注像素。

8.一种用于学习预测装置的学习方法，所述预测装置从由多块像素数据构成的输入图像数据预测比所述输入图像具有更高质量的高质量图像数据，所述像素数据通过由具有每个具有时间积分效应或空间积分效应的多个像素的成像装置成像现实世界光信号获得，所述方法包括：

图像数据连续性检测步骤，用于对对应于所述高质量图像数据中的关注像素的所述输入图像数据中的多个第一周边像素，检测对应于所述现实世界光信号的连续性的图像数据连续性；

第一选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述图像数据连续性选取对应于所述高质量数据中的所述关注像素的所述输入图像数据中的多个第二周边像素；

第二选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述图像数据连续性选取对应于所述关注像素的所述输入图像数据中的多个第三周边像素；

特征检测步骤，用于检测在所述第一选取步骤中选取的所述多个第二周边像素的特征；

用于学习所述预测装置的学习步骤，所述预测装置用于对在所述特征检测步骤中检测的每个所述特征，从在所述第二选取步骤中选取的所述多个第三周边像素预测所述关注像素。

9.一种存储用于学习预测装置的学习处理的计算机可读程序的记录介质，所述预测装置从由多块像素数据构成的输入图像数据预测比所述输入图像具有更高质量的高质量图像数据，所述像素数据通过由具有每个具有时间积分效应或空间积分效应的多个像素的成像装置成像现实世界光信号获得，所述程序包括：

图像数据连续性检测步骤，用于对对应于所述高质量图像数据中的关注像素的所述输入图像数据中的多个第一周边像素，检测对应于所述现实世界光信号的连续性的图像数据连续性；

第一选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述图像数据连续性选取对应于所述高质量图像数据中的所述关注像素的所述输入图像数据中的多个第二周边像素；

第二选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述图像数据连续性选取对应于所述关注像素的所述输入图像数据中的多个第三周边像素；

特征检测步骤，用于检测在所述第一选取步骤中选取的所述多个第二周边像素的特征；及

用于学习所述预测装置的学习步骤，所述预测装置用于对在所述特征检测步骤中检测的每个所述特征，从在所述第二选取步骤中选取的所述多个第三周边像素预测所述关注像素。

10.一种使计算机进行用于学习预测装置的学习处理的程序，所述预测装置从由多块像素数据构成的输入图像数据预测比所述输入图像具有更高质量的高质量图像数据，所述像素数据通过由具有每个具有时间积分效应或空间积分效应的多个像素的成像装置成像现实世界光信号获得，所述程序包括：

图像数据连续性检测步骤，用于对对应于所述高质量图像数据中的关注像素的所述输入图像数据中的多个第一周边像素，检测对应于所述现实世界光信号的连续性的图像数据连续性；

第一选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述图像数据连续性选取对应于所述高质量图像数据中的所述关注像素的所述输入图像数据中的多个第二周边像素；

第二选取步骤，用于基于在所述图像数据连续性检测步骤中检测的所述图像数据连续性选取对应于所述关注像素的所述输入图像数据中的多个第三周边像素；

特征检测步骤，用于检测在所述第一选取步骤中选取的所述多个第二周边像素的特征；及

用于学习所述预测装置的学习步骤，所述预测装置用于对在所述特征检测步骤中检测的每个所述特征，从在所述第二选取步骤中选取的所述多个第三周边像素预测所述关注像素。

Images