CN102469254A - 图像校正装置、校正图像生成方法、校正表生成装置 - Google Patents

Abstract

本发明提供一种图像校正装置、校正图像生成方法、校正表生成装置，减少或消除校正后的图像的不协调感。图像校正装置具备基于校正表对输入图像进行几何校正的几何校正部，校正表基于在与输入图像相对应的光轴的方向上位于被拍摄体空间中的输入图像的投影中心位置即第一投影中心位置的后方的第二投影中心位置，计算与输出图像上的各像素位置相对应的被拍摄体空间中的光线方向矢量，基于光线方向矢量计算表示从第一投影中心位置开始、与像素位置相对应的被拍摄体空间中的对应点存在于哪个方向的矢量即原点基准光线方向矢量，计算与原点基准光线方向矢量相对应的输入图像上的位置作为提取位置，并将提取位置与输出图像的像素位置赋予对应。

Description

图像校正装置、校正图像生成方法、校正表生成装置

技术领域

本发明涉及能够减少或消除鱼眼图像等校正后的图像中的不协调感的图像校正装置等的技术。

背景技术

近年，在以监视摄像机以及可视门铃为主的一些应用领域中，存在想将较大的视野范围的影像全看到的迫切期望。因此，在光学系统中采用鱼眼镜头、对水平视场角180度程度的范围进行拍摄的视频摄像机等被实用化。但是，在使用这些机器拍摄的图像中，一般被拍摄体空间中的直线较大弯曲地呈现，因此存在想对拍摄的图像实施用于将弯曲程度降低的几何校正的要求。

在鱼眼镜头中，由于其设计方针的不同，而存在等距离投影方式、等立体角投影方式、正投影方式等各种投影方式。但是，无论是哪种投影方式，在校正后的图像中如果应表现的视场角小于180度，则通过使用透视变换，基于设计值或者通过现有技术推断的所需要的参数和投影模式，能够将使用鱼眼镜头拍摄的图像(以下称为“鱼眼图像”。)中的直线的弯曲完全地校正。

图18(a)以及图19(a)表示鱼眼图像的例子。图18(a)是对纸制筒进行拍摄的图像，图19(a)是对入口厅进行拍摄的图像。

此外，图18(b)以及图19(b)分别表示使用透视变换将这些鱼眼图像以较大地确保左右方向的视场角的方式校正的例子。如这些校正例所示那样，使用了透视变换的校正结果，虽然以应成为直线的部分成为直线的方式校正，但是图像的周边部被极端地拉伸而远近感被强调，成为不协调感较大的图像。这是由于在校正结果的图像中所表现的视场角、与看该图像时的视场角较大地不同而产生的。

作为为了解决该问题而提出的技术，存在专利文献1所记载的技术。专利文献1所记载的技术为，使用将分别为大致平面的正面和左右面平滑地连接的筒面，以在确保在左右方向上超过180度的视场角的同时，在上下方向上延伸的直线状的被拍摄体和朝向光轴的直线状的被拍摄体分别视为直线的方式进行校正。

专利文献1：日本特开2008-311890号公报

然而，在专利文献1所公开的技术中，在输出图像的中心部分和左右端部分的中间附近，横向的直线急剧弯曲，因此例如在被拍摄体在摄像机前横穿那样的情况下，存在感觉到不协调感的问题。

发明内容

因此，本发明是鉴于上述问题而进行的，其课题为提供能够将校正后的图像中的不协调感减少或消除的图像校正装置、校正图像生成方法、校正表生成装置、校正表生成方法、校正表生成程序以及校正图像生成程序。其目的为，例如，对图18(a)的鱼眼图像进行校正而得到图18(d)那样的校正结果，或者对图19(a)的鱼眼图像进行校正而得到图19(c)那样的校正结果。

为了解决上述课题，本发明的图像校正装置是对输入图像进行几何校正而生成校正图像的图像校正装置，其特征在于，具备：图像输入部，输入上述输入图像；图像存储部，存储上述输入图像；校正表存储部，存储为了对上述输入图像进行几何校正而使用的校正表；几何校正部，基于上述校正表对上述图像存储部所存储的上述输入图像进行几何校正；以及图像输出部，将由上述几何校正部校正的上述输入图像作为上述校正图像进行输出；上述校正表如下生成：基于第二投影中心位置，计算与上述校正图像上的各像素位置相对应的被拍摄体空间中的光线方向矢量，基于上述光线方向矢量计算原点基准光线方向矢量，将与上述原点基准光线方向矢量相对应的上述输入图像上的位置计算为提取位置，将上述提取位置与上述校正图像的像素位置赋予对应，由此生成上述校正表；上述第二投影中心位置在与上述输入图像相对应的光轴的方向上位于上述被拍摄体空间中的上述输入图像的投影中心位置即第一投影中心位置的后方；上述原点基准光线方向矢量是表示从上述第一投影中心位置开始、与上述像素位置相对应的被拍摄体空间中的对应点存在于哪个方向的矢量。

此外，“校正表”的含义是“校正信息”。

发明效果

根据本发明，能够减轻或消除鱼眼图像等的校正后的图像中的不协调感。

附图说明

图1是对本发明的图像校正装置的构成进行说明的图。

图2是示意地表示本发明的校正表的一个例子的图。

图3是表示本发明的图像校正装置的几何校正部的动作的流程图。

图4是表示本发明第一实施方式的校正表生成装置的构成的框图。

图5是对本发明第一实施方式的用于使输出图像的像素坐标和输入图像的坐标对应的坐标系变换进行说明的图，(a)是表示输出图像的坐标系的图。(b)是表示对输出图像的v轴方向进行了校正的中间图像的坐标系的图。

图6是对本发明第一实施方式的用于使输出图像的像素坐标和输入图像的坐标对应的坐标系变换进行说明的图，(a)是对用于基于圆筒面来求得光线方向矢量的坐标系变换进行说明的图。(b)是表示输入图像的坐标系的图。

图7是对用于基于圆筒面来求得光线方向矢量的坐标系变换进行说明的图。

图8是表示本发明第一实施方式的校正表生成装置的动作的流程图。

图9是表示本发明第一实施方式的校正表生成装置的后退位置基准光线方向计算部的动作的流程图。

图10是表示本发明第一实施方式的校正表生成装置的校正表修正部的动作的流程图。

图11是表示本发明第二实施方式的校正表生成装置的构成的框图。

图12是对本发明第二实施方式的用于使输出图像的像素坐标和输入图像的坐标对应的坐标系变换进行说明的图，(a)是表示输出图像的坐标系的图。(b)是表示经度纬度坐标系的图。

图13是对本发明第二实施方式的用于使输出图像的像素坐标和输入图像的坐标对应的坐标系变换进行说明的图，(a)是表示用于基于经度、校正纬度以及圆筒面来求得光线方向矢量的坐标系的图。(b)是表示输入图像的坐标系的图。

图14是用于对本发明第二实施方式的被拍摄体空间中的直线在输出图像上弯曲的情况和不弯曲的情况进行说明的图。

图15是对本发明第二实施方式的校正表生成装置的校正纬度计算部在校正纬度时使用的函数进行说明的图。

图16是表示本发明第二实施方式的校正表生成装置的动作的流程图。

图17是表示本发明第二实施方式的校正表生成装置的后退位置基准光线方向计算部的动作的流程图。

图18是表示对鱼眼图像(输入图像)使用了以往技术以及本发明的结果的图，(a)是表示鱼眼图像(输入图像)的图。(b)是对(a)的鱼眼图像(输入图像)使用以往技术即透视变换进行了校正的结果的校正图像(输出图像)的一个例子。(c)是对(a)的鱼眼图像(输入图像)使用本发明的结果的校正图像的一个例子，在第一实施方式中，是不进行校正表校正处理的情况的例子。(d)是使用了本发明的结果的校正图像(输出图像)的一个例子。

图19是表示对鱼眼图像(输入图像)使用了以往技术以及本发明的结果的图，(a)是表示鱼眼图像(输入图像)的图。(b)是对(a)的鱼眼图像(输入图像)使用以往技术即透视变换进行了校正的结果的校正图像(输出图像)的一个例子。(c)是使用本发明的结果的校正图像(输出图像)的一个例子。

符号说明

10图像校正装置

11图像输入部

12图像存储部

13几何校正部

14图像输出部

15校正表存储部

16校正表更新部

17、17a、17A重取样表(校正表)

20、20A校正表生成装置

21经度纬度计算部

22校正纬度计算部

23、23A后退位置基准光线方向计算部

24、24A原点基准光线方向计算部

25提取位置计算部

26提取位置登录部

27校正表修正部

30图像生成装置

40图像显示装置

O第一投影中心位置

Q第二投影中心位置

51圆筒面

具体实施方式

<第一实施方式>

以下，参照图1～图10对本发明第一实施方式进行说明。

如图1所示那样，图像校正装置10获取鱼眼图像等输入图像，对该图像进行校正，将校正图像作为输出图像输出。

图像生成装置30生成图像数据并向图像校正装置10供给。在本实施方式中，以图像生成装置30为具备圆周鱼眼镜头的数字视频摄像机的情况为例进行说明，该圆周鱼眼镜头为水平视场角以及垂直视场角都为180度那样的等距离投影方式。

图像显示装置40是对由图像校正装置10校正的校正图像(输出图像)进行显示的显示器等。

校正表生成装置20生成在图像校正装置10的后述的校正表存储部15中储存的校正表17。校正表生成装置20例如由个人计算机构成。

校正表生成装置20在生成了校正表17之后，在几何校正部13实施使用了该校正表17的几何校正处理之前，将该校正表17向图像校正装置10发送。

此外，在不需要进行校正表17的更新的情况、即与校正表17的生成有关的参数未变更的情况下，校正表生成装置20在将生成的校正表17向图像校正装置10发送之后，能够与图像校正装置10脱离。

[图像校正装置10的构成]

如图1所示那样，图像校正装置10具备图像输入部11、图像存储部12、几何校正部13、图像输出部14、校正表存储部15以及校正表更新部16。

图像输入部11读入从图像生成装置30供给的输入图像，并写入图像存储部12。读入的输入图像的各像素的像素值，是对每个基准色(在本实施方式中为R、G、B这3种)取从“0”到“255”的256个整数值中的一个值那样的、被数字化的值。

来自图像生成装置30的输入图像的读入，使用与图像生成装置30的构成相对应的接口来实施即可，例如，在从图像生成装置30作为模拟信号供给输入图像的情况下，成为具备A/D变换器的构成即可，在通过USB(Universal Serial Bus)接口等作为数字信号供给输入图像的情况下，成为具备与其相对应的接口的构成即可。

图像存储部12对从图像生成装置30供给的输入图像整体进行储存，具有至少能够储存输入图像的2个画面量的容量大小的存储器(RAM：Random Access Memory)。图像存储部12将1个画面量用于从图像输入部11写入，将剩余1个画面量用于从几何校正部13读出，一边按每1个画面交替功能一边使用。

几何校正部13基于后述的校正表存储部15所储存的校正表17，对图像存储部12所储存的输入图像进行几何校正，将进行几何校正的结果即输出图像(校正图像)对图像输出部14输出。几何校正部13例如由FPGA(Field Programmable Gate Array)或ASIC(Application Specific IntegratedCircuit)构成。此外，该几何校正部13进行的处理的详细将在后面详细说明(参照图3)。

图像输出部14将从几何校正部13输出的输出图像(校正图像)变换为适当的影像信号，对图像显示装置40输出。例如，在图像显示装置40构成为对模拟影像信号进行显示的情况下，成为具备D/A变换器的构成即可。

校正表存储部15预先对后述的校正表17进行存储，例如是能够改写的非易失性存储器。

校正表更新部16对从校正表生成装置20发送的校正表17进行接收而储存到校正表存储部15，与校正表生成装置20侧的接口相配合，成为具备例如USB接口或IEEE1394接口等的构成即可。

校正表17对于几何校正部13输出的输出图像(校正图像)的各个像素定义参照图像存储部12所存储的输入图像(鱼眼图像)上的哪个像素来决定这些像素的像素值。在本实施方式中，作为校正表17，使用重取样表、具体地说“相对于几何校正部13输出的输出图像的各个像素，将表示与这些像素相对应的图像存储部12所存储的输入图像上的二维坐标值的固定小数点数的组(x，y)赋予对应的表”。校正表17在通过后述(参照图8至图10)的方法由校正表生成装置20生成后，通过校正表更新部16向校正表存储部15储存。

重取样表(校正表)17，例如图2所示那样，将输出图像上的像素坐标(u，v)与输入图像上的坐标(x，y)赋予对应。图2是u轴方向的像素数为640像素、v轴方向的像素数为480像素的情况下的重取样表(校正表)17的例子。此外，u、v为整数，但x、y不一定为整数。此外，在与输出图像上的像素坐标(u，v)赋予对应的输入图像上的坐标(x，y)成为输入图像范围外的坐标的情况下，预先将预定的例外值、例如(-1，-1)等值与(u，v)赋予对应而储存。

[图像校正装置10的几何校正部13的动作]

接下来，参照图3(构成适当地参照图1)对图像校正装置10的几何校正部13的动作进行说明。

首先，前提为在图像存储部12中存储有输入图像、在校正表存储部15中存储有重取样表(校正表)17。

如图3的流程图所示那样，在步骤S1，几何校正部13将计数器的N的值设为“0”。

在步骤S2，几何校正部13决定与输出图像的第N个像素的坐标(u，v)相对应的输入图像上的坐标(x，y)。

具体地说，首先，几何校正部13将计数器的N的值除以输出图像的u轴方向的像素数而得到的商设为v值、将余数设为u值(即、在u轴方向的像素数为“B”的情况下，N＝v·B+u)，计算输出图像上的像素坐标(u，v)。接下来，几何校正部13基于重取样表(校正表)17，决定与输出图像上的像素坐标(u，v)相对应的输入图像上的坐标(x，y)。

在步骤S3，几何校正部13基于决定的输入图像上的坐标(x，y)，计算输出图像的第N个像素的像素值。具体地说，例如，基于输入图像上的坐标(x，y)，对每个基准色(换句话说每个RGB)，通过使用了输入图像上的四个附近像素的像素值的双线形插补，决定输出图像的像素值即可。此外，在输出图像的像素值计算中，也可以使用双三次插补等其他的现有技术。

此外，几何校正部13在不存在与输入图像上相对应的坐标值的情况、即基于重取样表(校正表)17决定的输入图像上的坐标(x，y)为预定的例外值的情况下，将该输出图像的像素值设为例外值，例如设为“黑”即(R，G，B)＝(0，0，0)。

在步骤S4，几何校正部13判断是否对于输出图像的全部像素的像素值计算结束。

在判断为对于输出图像的全部像素的像素值计算结束了的情况下(步骤S4：是)，几何校正部13结束几何校正处理。

另一方面，在判断为输出图像的像素中存在像素值计算未结束的像素的情况下(步骤S4：否)，几何校正部13将计数器的N的值加“1”(步骤S5)。然后，返回步骤S2继续处理。

在判断是否对于输出图像的全部像素的像素值的计算结束时，通过对计数器的N的值与输出图像的像素数进行比较来进行判断即可。

[校正表生成装置20的构成]

如图4所示那样，校正表生成装置20具备后退位置基准光线方向计算部23、原点基准光线方向计算部24、提取位置计算部25、提取位置登录部26以及校正表修正部27。

此外，在本实施方式中，对通过校正表修正部27对由提取位置登录部26输出的重取样表(校正表)17a进行修正、将修正的重取样表(校正表)17进行输出的方式进行说明。在不需要对重取样表(校正表)进行修正时，不需要校正表修正部27的构成，代替以下说明的中间图像而直接生成输出图像来处理即可。

后退位置基准光线方向计算部23计算与中间图像上的像素坐标(u，v′)相对应的被拍摄体空间中的光线方向矢量，作为后述的后退位置基准光线方向矢量(X′，Y′，Z′)。

在此，所谓中间图像，相当于使用进行校正表修正处理之前的重取样表(校正表)17a、在图像校正装置10中对输入图像进行校正并输出的情况下的图像。

后退位置基准光线方向计算部23通过如下(1)式，根据中间图像上的像素坐标(u，v′)，计算后退位置基准光线方向矢量(X′，Y′，Z′)。

【公式1】

                                 …(1)式

由此，根据图5(b)所示的中间图像的uv′坐标系，将坐标系向图6(a)所示的X′Y′Z′坐标系进行变换。在此，图5(b)的O″(u_c，v′_c)为中间图像的中心位置的坐标。w为用于将u轴方向的比例尺正规化的常量，被设定为与u_c的值相等。此外，为了确保输出图像以及中间图像整体中的比例尺的匹配性，也用于v轴方向以及v′轴方向的比例尺的正规化。

此外，如图6(a)所示那样，Θ相当于按照后退位置基准的半视场角，是作为设计值而预先赋予的值。P₂(u，v′)被向后退位置基准光线方向矢量QK1(X′，Y′，Z′)变换。K1是圆筒面51上的点。此外，如此变换的理由后述。

原点基准光线方向计算部24根据后退位置基准光线方向矢量(X′，Y′，Z′)，计算原点基准光线方向矢量(X，Y，Z)。原点基准光线方向计算部24通过如下(2)式，计算原点基准光线方向矢量(X，Y，Z)。

【公式2】

$\left\{\begin{array}{c}X=X^{\&prime;}\\ Y=Y^{\&prime;}\\ Z=Z^{\&prime;}+(1-r)\end{array}\right.$

                                  …(2)式

由此，如图6(a)所示那样，从X′Y′Z′坐标系向XYZ坐标系变换。后退位置基准光线方向矢量QK1(X′，Y′，Z′)向原点基准光线方向矢量OK1(X，Y，Z)变换。

提取位置计算部25根据输入的原点基准光线方向矢量(X，Y，Z)，计算输入图像上的坐标(x，y)作为提取位置。所谓提取位置，是输入图像上的坐标(x，y)，是将输出图像上的像素坐标(u，v)或者中间图像上的像素坐标(u，v′)上存在的像素的像素值从输入图像上提取时的位置。本实施方式的输入图像是使用等距离投影方式的鱼眼镜头所拍摄的图像，因此提取位置计算部25例如通过如下的(3)式，计算输入图像上的坐标(x，y)。

【公式3】

$\left\{\begin{array}{c}x=x_c+\frac{X}{\sqrt{X^2+Y^2}}\&CenterDot;\{\frac{2}{\mathrm{\&pi;}}\&CenterDot;R\&CenterDot;{\cos }^{-1}\left(\frac{Z}{\sqrt{X^2+Y^2+Z^2}}\right)\}\\ y=y_c+\frac{Y}{\sqrt{X^2+Y^2}}\&CenterDot;\{\frac{2}{\mathrm{\&pi;}}\&CenterDot;R\&CenterDot;{\cos }^{-1}\left(\frac{Z}{\sqrt{X^2+Y^2+Z^2}}\right)\}\end{array}\right.$                             …(3)式

由此，从图6(a)所示的XYZ坐标系向图6(b)所示的输入图像的xy坐标系变换。在此，O′″(x_c，y_c)为输入图像的像圆中心坐标。此外，R为像圆半径，是与半视场角90度相对应的长度。原点基准光线方向矢量OK1(X，Y，Z)被向P₃(x，y)变换。

此外，x_c、y_c以及R作为设计值预先登录于校正表生成装置20。此外，本发明的拍摄参数的种类不限于这些，除了能够根据使用的投影模式而进行各种变更之外，也可以根据1个或者多个输入图像使用现有技术来推断。例如，对于像圆中心坐标O′″(x_c，y_c)以及像圆半径R，利用像圆外侧部分通常变黑(作为像素值对于(R，G，B)分别储存有非常小的值)的情况，进行圆的推断，由此能够通过现有技术进行推断。并且，也可以代替(3)式，而使用现有技术的用于进行光学系统的变形校正的、包含更高次项的校正式。

提取位置登录部26为，将由提取位置计算部25计算的输入图像上的坐标(x，y)与中间图像上的像素坐标(u，v′)赋予对应地向重取样表(校正表)17a登录。此外，在由提取位置计算部25计算的输入图像上的坐标(x，y)为输入图像范围外的坐标的情况下，如上所述，将预定的例外值、例如(-1，-1)等值与(u，v)赋予对应地登录。

此外，若使用到此为止生成的重取样表(校正表)17a，通过图像校正装置10，对输入图像进行校正并输出，则生成中间图像。为了得到对该中间图像进一步进行校正的图像，校正表生成装置20具备校正表修正部27。

校正表修正部27进行如下处理：用于将由作为假想的被拍摄体而使用圆筒面等导致的、在图18(c)中观察到那样的、校正结果变得纵长的现象进行缓和。具体地说，将与已生成的重取样表(校正表)17a的坐标(u，v′)相对应的输入图像上的坐标(x，y)，与坐标(u，v)赋予对应地向重取样表(校正表)17登录。此时，u为整数、v′不一定为整数，但对于v能够使用线形插补等现有的插补方法来计算。例如，在将v′的小数进位而求得的整数v1和将v′的小数舍去而求得的整数v2中，参照与重取样表(校正表)17a的(u，v1)、(u，v2)分别对应的(x，y)的值，对x以及y分别进行线形插补即可。此外，在与重取样表(校正表)的(u，v1)、(u，v2)分别对应的(x，y)的值中、至少一方为例外值的情况下，不进行线形插补等，将例外值登录为与坐标(u，v)相对应的坐标。

校正量Δv例如通过如下的(4)式计算。此外，参照位置的v坐标v′例如通过(5)式计算。

【公式4】

$\mathrm{\&Delta;v}=\mathrm{\&beta;}\&CenterDot;w\&CenterDot;{\left(\frac{v-v_c}{w}\right)}^2$ (β＝0.5)                         …(4)式

【公式5】

                                        …(5)式

由此，图5(a)所示的输出图像的uv坐标系与图5(b)所示的uv′坐标系被赋予对应。在此，v_c′为中间图像的v′轴方向的中心位置的坐标。此外，v_c为输出图像的v轴方向的中心位置的坐标。P₁(u，v)与P₂(u，v′)赋予对应。此外，(4)式为，如从图18(c)的观察也可知的那样，考虑随着接近校正图像的上下端、即随着从纵向的中心离开而必要的校正量增加的情况，将校正量用2次函数表示，但也可以使用其他函数。

如此，在本实施方式中，通过校正表修正部27进行v轴方向的修正，因此在制作重取样表(校正表)17a时，预先制作比输出图像大的范围。具体地说，在上下方向上，预先对分别比向(4)式代入“v＝0”而得到的Δv值大1个像素量的范围(端数进位)进行制作即可。由此，能够避免校正时的数据不足。

接下来，使用图7对通过(1)式以及(2)式如上所述地进行变换而将坐标赋予对应的理由进行说明。

图7是被拍摄体空间即XYZ坐标系的“Y＝0”的截面图。XYZ坐标系的以原点O为中心的半径为1的球面50上的“Z≥0”区域，是与输入图像(鱼眼图像)的信息赋予对应的区域。在此，Z轴与得到输入图像时的鱼眼镜头的光轴相对应。此外，原点O与得到输入图像时的鱼眼镜头的投影中心位置相对应。即，原点O为本发明的第一投影中心位置。

在本实施方式中，决定成为投影中心的点Q的位置(0，0，1-r)，以使中心轴通过点Q并与Y轴平行那样的圆筒面51与球面50在位于位置(0，0，1)的点A0上相接。以点Q为中心的圆的半径r，通过(1)式求得。该点Q为第二投影中心位置(后退位置)。此外，Θ是作为设计值而预先赋予的值，例如使用“25度”即可。

接下来，假设被拍摄体存在于圆筒面51上，而决定以点Q为基准的光线方向。即，通过(1)式求得与中间图像上的坐标(u，v′)相对应的XZ平面上的角度θ。然后，以点Q为投影中心，通过(1)式计算圆筒面51上的点K1。在此，以点Q为基准的点K1的位置矢量QK1为后退位置基准光线方向矢量。

此外，在本实施方式中，关于后退位置基准光线方向矢量的Y′成分，如(1)式所示那样，通过正投影和比例尺变换来求得。比例尺变换的系数，为点O与点A2(或者点A1)之间的距离r·sinΘ。该比例尺变换的系数，被确定为在中间图像(输出图像)为正方形的情况下纵横能够表现的范围变得相同的值，但不限于此。

接下来，决定以原点O为基准的光线方向。即，以原点O为投影中心，通过(2)式计算圆筒面51上的点K1。在此，以原点O为基准的点K1的位置矢量OK1为原点基准光线方向矢量。点K2是矢量OK1与球面50的交点，点K1通过点K2与输入图像的坐标(x，y)一对一地对应。

通过以上那样的方法，以原点O为基准的水平视场角180度的范围，能够表现为以点Q为基准而对从点A1到点A2进行观察的范围、即水平视场角2Θ的范围，因此校正图像所表现的视场角与对校正图像进行观赏的视场角之间的背离变得缓和，能够减少对校正图像进行观赏时的不协调感。

此外，点Q为如下的点即可：将得到输入图像时的光轴的朝向作为基准而位于点O的后方，即从第一投影中心位置O向第二投影中心位置Q的方向矢量与光轴的方向矢量之间的内积成为负值。此外，球面50和圆筒面51在点A0上不一定需要相接，而可以将点Q固定而使与圆筒面51相关的圆的半径增大等，本发明的具体实施方式不限于图7所示的几何学关系。

[校正表生成装置20的基本动作]

接下来，参照图8(构成适当参照图4)对校正表生成装置20的基本动作进行说明。

如图8的流程图所示那样，在步骤S10，校正表生成装置20使计数器的M的值为“0”。

在步骤S11，校正表生成装置20进行后退位置基准光线方向矢量计算处理。此外，关于该处理将在之后详细说明(参照图9)。

在步骤S12，原点基准光线方向计算部24根据后退位置基准光线方向矢量(X′，Y′，Z′)计算原点基准光线方向矢量(X，Y，Z)。

在步骤S13，提取位置计算部25计算与原点基准光线方向矢量(X，Y，Z)相对应的输入图像上的坐标(x，y)。

在步骤S14，提取位置登录部26将计算出的坐标(x，y)与重取样表(校正表)17a的中间图像上的像素坐标(u，v′)赋予对应地进行登录。

在步骤S15，校正表生成装置20判断对于中间图像的全部像素是否向重取样表(校正表)17a的登录结束。

在对于中间图像的全部像素向重取样表(校正表)17a的登录结束的情况下(步骤S15：是)，校正表生成装置20结束校正表生成处理。

另一方面，在中间图像的像素中存在向重取样表(校正表)17a的登录未结束的像素的情况下(步骤S15：否)，校正表生成装置20对计数器的M的值加“1”(步骤S16)。然后，返回步骤S11继续进行处理。

此外，对于中间图像的全部像素向重取样表(校正表)17a的登录是否结束，通过对计数器的M的值和中间图像的像素数进行比较来判断即可。

[后退位置基准光线方向矢量计算处理]

接下来，参照图9对步骤S11(参照图8)的后退位置基准光线方向矢量计算处理进行说明。

如图9的流程图所示那样，在步骤S111，首先，后退位置基准光线方向计算部23，将计数器的M的值除以中间图像的u轴方向的像素数而得到的商作为v′值、将余数作为u值(即、在u轴方向的像素数为“B”的情况下，N＝v′·B+u)，来计算中间图像上的像素坐标(u，v′)。接下来，后退位置基准光线方向计算部23通过(1)式来计算与中间图像上的坐标(u，v′)相对应的后退位置基准的角度θ。

在步骤S112，后退位置基准光线方向计算部23通过(1)式计算与上述角度θ相对应的后退位置基准光线方向矢量的X成分(X′)和Z成分(Z′)。

在步骤S113，后退位置基准光线方向计算部23通过(1)式计算与中间图像上的第M个像素的坐标(u，v′)相对应的后退位置基准光线方向矢量的Y成分(Y′)。然后，结束后退位置基准光线方向矢量计算处理。

[校正表修正处理]

接下来，参照图10对校正表校正处理进行说明。该处理在上述校正表生成装置20的基本动作结束后需要重取样表(校正表)17a的修正的情况下动作。

如图10的流程图所示那样，在步骤S20，校正表修正部27使计数器的M的值为“0”。

在步骤S21，校正表修正部27通过(4)式计算与输出图像上的第M个像素的坐标(u，v)相对应的校正量Δv。此外，根据计数器的M的值计算输出图像上的像素的坐标(u，v)的方法，与图9的步骤S111所示的方法相同。

在步骤S22，校正表修正部27参照重取样表(校正表)17a，计算与坐标(u，v′)相对应的输入图像上的坐标(x，y)。

在步骤S23，校正表修正部27将计算的坐标(x，y)向新生成的重取样表(校正表)17的与坐标(u，v)相对应的位置进行登录。在此，通过(5)式求出与v相对应的v′。

在步骤S24以及步骤S25中，由于与上述步骤S15以及步骤S16相同，因此省略说明。

通过以上动作，能够对在指定的区域附近横向直线急剧地弯曲这种现象进行抑制，并且缓和由校正图像表现的视场角和观赏校正图像的视场角之间的背离，能够减少观赏校正图像时的不协调感。

<第二实施方式>

以下，参照图11～图17对本发明的第二实施方式进行说明。

[校正表生成装置20A的构成]

如图11所示那样，校正表生成装置20A为，与第一实施方式的校正表生成装置20相比较，不具有校正表修正部27，但具备经度纬度计算部21、校正纬度计算部22、后退位置基准光线方向计算部23A和原点基准光线方向计算部24A。此外，对于与第一实施方式的构成相同的构成赋予相同的符号，而省略重复的说明。

经度纬度计算部21计算与输出图像上的像素坐标(u，v)相对应的经度λ以及纬度Φ。例如，经度纬度计算部21使用在制作世界地图时利用的制图法中、作为非投射圆筒图法之一的墨卡托制图法，计算经度λ以及纬度Φ。在本实施方式中，输出图像左端的像素坐标与经度“-Θ”赋予对应，输出图像右端的像素坐标与经度“Θ”赋予对应，因此使用用于将u轴方向的比例尺正规化的常量“w”，通过如下的(6)式进行计算。

【公式6】

$\left\{\begin{array}{c}\mathrm{\&lambda;}=\frac{{u-u}_c}{w}\&CenterDot;\mathrm{\&Theta;}\\ \mathrm{\&Phi;}={2\tan }^{-1}\left\{\exp (\frac{{v-v}_c}{w}\&CenterDot;\frac{\mathrm{\&pi;}}{2})\right\}-\frac{\mathrm{\&pi;}}{2}\end{array}\right.$

                                   …(6)式

由此，从图12(a)所示的输出图像的uv坐标系向图12(b)所示的经度纬度坐标系，进行坐标系变换。在此，Θ为与半视场角相当的设计值(参照图7)，例如设为“80度”。O′(u_c，v_c)是输出图像中心位置的坐标。例如，在输出图像的u轴方向的像素数为640像素的情况下，u_c值成为通过“(0+639)/2”来计算的“319.5”的值。对于v_c也同样地计算即可。w是用于将u轴方向的比例尺正规化的常量，被设定为与u_c值相等，为了确保输出图像整体的比例尺的匹配性，也用于v轴方向的比例尺的正规化。P₁(u，v)被变换为P₂(λ，Φ)。

校正纬度计算部22根据所输入的经度λ以及纬度Φ，计算后退位置基准光线方向矢量的计算所使用的纬度即校正纬度例如，校正纬度计算部22通过如下的(7)式计算校正纬度

【公式7】

              …(7)式

由此，如图12(b)所示那样，在经度纬度坐标系中进行与纬度方向相关的校正。P₂(λ，Φ)被变换为此外，进行这种校正的理由将后述。

后退位置基准光线方向计算部23A计算与所输入的经度λ以及校正纬度相对应的被拍摄体空间中的光线方向矢量，作为后述的后退位置基准光线方向矢量(X′，Y′，Z′)。后退位置基准光线方向计算部23A通过如下的(8)式计算后退位置基准光线方向矢量(X′，Y′，Z′)。

【公式8】

X′＝sinλ·cosφ

Y′＝sinφ

Z′＝cosλ·cosφ

                                      …(8)式

由此，从图12(b)所示的经度纬度坐标系向图13(a)所示的X′Y′Z′坐标系变换。该坐标系是被拍摄体空间的坐标系。在此，与第一实施方式同样，Z轴与得到输入图像时的光轴相对应。此外，原点O与得到输入图像时的投影中心位置相对应，成为第一投影中心位置。从原点O沿着光轴在后方存在点Q，该点Q成为第二投影中心位置(后退位置)。后退位置基准光线方向矢量QK0(X′，Y′，Z′)是从点Q朝向经度λ、纬度

的地点、长度被正规化为“1”的方向矢量。在此，根据(6)式，λ的变动范围为-Θ≤λ≤Θ。

被变换为后退位置基准光线方向矢量QK0(X′，Y′，Z′)。

原点基准光线方向计算部24A通过如下的(9)式，计算原点基准光线方向矢量(X，Y，Z)。

【公式9】

                                …(9)式

由此，如图13(a)所示那样，从X′Y′Z′坐标系向XYZ坐标系变换。后退位置基准光线方向矢量QK0(X′，Y′，Z′)向原点基准光线方向矢量OK1(X，Y，Z)变换。原点基准光线方向矢量OK1(X，Y，Z)是在从点Q向后退位置基准光线方向矢量QK0(X′，Y′，Z′)的方向引射线时与圆筒面51交叉的点K1的、将原点O作为基准的位置矢量。

提取位置计算部25以及提取位置登录部26与第一实施方式相同，因此省略说明。

在此，参照图14以及图15，对在校正纬度计算部22中从纬度Φ向校正纬度

进行校正的理由进行说明。

在图14中，点Q为第二投影中心位置，点A在以点Q为中心的单位球面上，与经度0度、纬度0度的点相对应。平面52是与矢量QA正交的被拍摄体空间中的平面。直线53是平面52与三角形QAC所在的平面(XZ平面)的交线。长方形ABDC为平面52上的长方形。

墨卡托图法是将球面向平面进行投影的手法，球面上的等经度线和等纬度线在投影目的地的平面上都成为直线。由此，图14所示的直线AB、直线AC以及直线CD在向经度纬度平面展开时，不弯曲而成为直线。其原因为，直线AB和直线CD在以点Q为中心的单位球面上成为等经度线，直线AC在单位球面上上成为纬度0度的等纬度线。另一方面，在成为点C的经度的∠AQC为λ1时，线段QC的长度与线段QA的长度相比，成为“1/cos(λ1)”的长度，因此成为点B的纬度的∠AQB的Φ0和成为点D的纬度的∠CQD的Φ1，处于“tan(Φ1)＝tan(Φ0)·cos(λ1)”的关系。即，直线BD不会成为等纬度线，因此在通过墨卡托图法表现时，在投影目的地的经度纬度平面上不会成为直线而弯曲。

因此，为了减少直线BD的弯曲，例如使用(7)式。在此，当要使直线BD的弯曲完全消失时，成为“f(λ)＝cos(λ)”，但是在作为f(λ)使用该函数时，在向校正纬度计算部22输入的经度λ为90度的情况下，不取决于所输入的纬度Φ的值，而校正纬度

成为“0”。这意味着，随着向输出图像的左右端接近而纵向的放大率变得非常大，对于观赏输出图像的用户来说是不优选的。

因此，作为f(λ)，不使用“f(λ)＝cos(λ)”，而使用(7)式的f(λ)那样的近似式。例如，图15表示0≤λ≤(π/2)的f(λ)的图表，曲线60表示“cos(λ)”，曲线61表示(7)式的f(λ)。此时，在λ的绝对值较小的区域、即输出图像的中央附近，曲线61优选与曲线60接近。其原因为，直线的弯曲能够被更好地校正。另一方面，f(λ)的值越接近于0纵向的放大率变得越大，因此曲线61的最小值优选被设计为维持某种程度的大小。

更具体地说，(7)式的f(λ)被设计为满足如下条件。只要是满足这些条件的函数，则校正纬度计算部22在校正纬度时使用的函数，不限于(7)式的函数。

第一条件为“f(λ)≤1”。这是保证在λ的定义域的整个域中不向错误的方向进行校正的条件。

第二条件为“存在某个Λ、f(Λ)＜1”。在此，Λ为λ的定义域所包含的值。这是保证对于至少一个以上的λ值、向正确的方向进行校正的条件。

第三条件为“cos(λ)≤f(λ)”。这是保证在λ的定义域的整个域中不过度校正的条件。

第四条件为“f(λ)/cos(λ)广义单调增加”。这是用于使纬度校正的程度不起伏地逐渐减弱的条件。

第五条件为“对于成为0＜G＜1的所赋予的常量G，f(λ)≥G”。这是用于使输出图像整个区域的纵向放大率收敛于规定范围内的条件。G值基于能够允许的纵向放大率或能够允许的横线的弯曲程度来预先决定即可，但当G值变大时，虽然纵向放大率被抑制，但对于横线的弯曲的校正程度变弱，当G值变小时，虽然对于横线的弯曲的校正程度变强，但是纵向放大率有可能变大，因此使用0.2以上且0.5以下程度的值即可。

[校正表生成装置20A的动作]

接下来，参照图16(构成适当地参照图11)对校正表生成装置20A的动作进行说明。

如图16的流程图所示那样，在步骤S10，校正表生成装置20A使计数器的M的值为“0”。

在步骤S11A，校正表生成装置20A进行后退位置基准光线方向矢量计算处理。此外，关于该处理将在之后详细说明(参照图17)。

在步骤S12A，原点基准光线方向计算部24A将后退位置基准光线方向矢量(X′，Y′，Z′)通过(9)式变换为原点基准光线方向矢量(X，Y，Z)。

步骤S13以及步骤S14的处理与第一实施方式相同，因此省略说明。

在步骤S15A，校正表生成装置20A判断是否对于输出图像的全部像素向重取样表(校正表)17A的登录结束。

在对于输出图像的全部像素向重取样表(校正表)17A的登录结束的情况下(步骤S15A：是)，校正表生成装置20A结束校正表生成处理。

另一方面，在输出图像的像素中存在向重取样表(校正表)17A的登录未结束的像素的情况下(步骤S15A：否)，校正表生成装置20A对计数器的M的值加“1”(步骤S16)。然后，返回步骤S11A继续进行处理。

此外，是否对于输出图像的全部像素向重取样表(校正表)17A的登录结束，通过对计数器的M的值和输出图像的像素数进行比较来判断即可。

[后退位置基准光线方向矢量计算处理]

接下来，参照图17对步骤S11A(参照图16)的光线方向矢量计算处理进行说明。

如图17的流程图所示那样，在步骤S111A，经度纬度计算部21通过(6)式计算与输出图像上的第M个像素的坐标(u，v)相对应的经度纬度(λ，Φ)。此外，根据计数器的M的值计算输出图像上的像素的坐标(u，v)的方法，与图9的步骤S111所示的方法相同。

在步骤S112A，校正纬度计算部22通过(7)式进行校正纬度计算处理。

在步骤S113A，后退位置基准光线方向计算部23A基于经度纬度计算部21计算的经度λ、校正纬度计算部22计算的校正纬度

通过(8)式计算后退位置基准光线方向矢量(X′，Y′，Z′)。然后，结束后退位置基准光线方向矢量计算处理。

通过以上动作，在使用与第一实施方式不同的后退位置基准光线方向矢量计算处理的情况下，也能够对在指定的区域附近横向直线急剧地弯曲这种现象进行抑制，并且缓和由校正图像表现的视场角与观赏校正图像的视场角的背离，能够减少观赏校正图像时的不协调感。

<变形例>

以上，对本发明的实施方式进行了说明，但本发明并不局限于此，在不脱离本发明主旨的范围内，例如能够如下地变更。

例如，图像生成装置30不限于例示的装置，能够进行各种变更，如具备广角镜头的数字摄像机、具备通过以等距离投影方式为首的各种投影方式设计的鱼眼镜头的数字摄像机、具备广角镜头或鱼眼镜头的视频摄像机、对存储了由这些机器拍摄的影像的存储介质进行再生的影像再生机器等。在输入图像的投影方式变更的情况下，将(3)式变更为适合于输入图像的投影方式的公式即可，这种变更容易进行。

此外，与图像输出部14连接的装置不限于图像显示装置40，例如与对校正的图像进行存储的存储装置或将校正的图像向其它系统转送的传送装置连接等，能够根据使用本发明的用途进行各种变更。

此外，关于根据计数器的值计算输出图像或者中间图像的像素坐标的方法，由于按照光栅扫描的顺序来参照像素，因此例如将计数器N的值除以输出图像的u轴方向的像素数而得到的商作为v、将余数作为u而计算像素坐标(u，v)，但是输出图像或者中间图像的像素的参照顺序不限于此。

此外，校正表17不限于重取样表。例如，在使图像校正装置10的构成为几何校正部13在每次都计算与输出图像上的像素坐标(u，v)相对应的输入图像上的坐标(x，y)并且进行校正的情况下，将与输入图像相关的参数以及与输出图像相关的参数，作为校正表17而存储于校正表存储部15即可。在该情况下，与作为校正表17使用重取样表的情况相比，使校正表存储部15的存储容量较少即可。

此外，在成为这种构成的情况下，几何校正部13作为求出与输出图像上的像素坐标相对应的输入图像上的坐标的方法，直接执行从图8到图10或者图16以及图17所示的流程。但是，不需要将计算的坐标(x，y)向重取样表进行登录(步骤S14)，而基于计算的坐标(x，y)立即决定输出图像的像素值即可。或者，几何校正部13也可以构成为，预先制作能够根据输出图像上的像素坐标(u，v)直接计算与该坐标相对应的输入图像上的坐标(x，y)那样的合成函数，并使用该合成函数。此外，作为校正表更新部16具备键盘等数据输入装置的构成，用户能够对与输出图像相关的参数进行变更。

此外，在本发明的实施方式的说明中，以使鱼眼图像的纵横方向和输出图像的纵横方向一致的例子进行了说明，但本发明的实施方式不限于此。例如，在使用局部3轴加速度传感器的鱼眼摄像机的情况下，也可以基于从该摄像机得到的被拍摄体空间中的重力方向的信息，生成重力方向与输出图像的纵向一致那样的重取样表。具体地说，在进行鱼眼图像与地表面的赋予对应时，通过现有技术使坐标系的朝向旋转即可，这种变更容易进行。

此外，后退位置基准光线方向矢量计算处理的方法，不需要限于例示的方法，能够进行各种变更。此外，关于由输出图像表现的经度范围，也不限于从-90度到90度的范围。

此外，由图像输入部11读入的输入图像的各像素的像素值，成为对每个基准色(R，G，B)取从“0”到“255”为止的256种(8位)整数值中的1个值那样的、进行了数字化的值，但是本发明的实施方式不限于此。例如，也可以进行将由各基准色能够表现的灰度增加到从“0”到“1023”为止的1024种(10位)等的变更。即使在通过该变更而在由输入图像能够表现的灰度与由输出图像能够表现的灰度之间产生差异的情况下，也能够通过现有技术容易地处理。

此外，例如，向作为基准色而使用(R，G，B，C(青)，Y(黄))5色那样的多原色的对应，通过利用现有技术能够容易地实施。

此外，校正表存储部15也可以通过使用SD存储器卡等、能够从图像校正装置10装卸的存储介质来实施。在该情况下，校正表生成装置20构成为，具备SD存储器卡读取器等，将由校正表生成装置20生成的重取样表(校正表)17，通过上述SD存储器卡读取器向校正表存储部15进行登录，由此图像校正装置10不需要具备校正表更新部16，因此适合于重取样表(校正表)17的更新频度较低的情况。

此外，在本发明的实施方式的说明中，根据后退位置基准光线方向矢量通过圆筒面51来计算原点基准光线方向矢量，但是本发明的实施方式不限于此，也可以构成为，通过在相同侧包含第一投影中心位置O和第二投影中心位置Q的、圆筒面以外的曲面计算原点基准光线方向矢量。例如，也可以通过以通过第二投影中心位置的直线作为轴的椭圆筒面进行计算。此外，在由输出图像表现的经度范围比180度小的情况下，也可以通过与Z轴垂直的平面进行计算。并且，在输出图像上允许的直线弯曲的程度较大的情况下，也可以通过从第二投影中心位置侧观察成为“凹”那样的、筒面以外的形状的曲面进行计算。

Claims (7)

1.一种校正表生成装置，生成用于对输入图像进行几何校正而生成校正图像的校正表，具备：

后退位置基准光线方向计算部，基于第二投影中心位置，计算与上述校正图像上的各像素位置相对应的被拍摄体空间中的光线方向矢量，该第二投影中心位置在与上述输入图像相对应的光轴的方向上位于第一投影中心位置的后方，该第一投影中心位置是上述被拍摄体空间中的上述输入图像的投影中心位置；

原点基准光线方向计算部，基于上述光线方向矢量，计算原点基准光线方向矢量，该原点基准光线方向矢量是表示与上述像素位置相对应的被拍摄体空间中的对应点相对于上述第一投影中心位置存在于哪个方向的矢量；

提取位置计算部，计算与上述原点基准光线方向矢量相对应的上述输入图像上的位置，来作为提取位置；以及

提取位置登录部，将上述提取位置与上述校正图像的像素位置赋予对应地登录至上述校正表。

2.一种图像校正装置，对输入图像进行几何校正而生成校正图像，具备：

图像输入部，输入上述输入图像；

图像存储部，存储上述输入图像；

校正表存储部，存储用于对上述输入图像进行几何校正的校正表；

几何校正部，基于上述校正表对上述图像存储部所存储的上述输入图像进行几何校正；以及

图像输出部，将由上述几何校正部校正的上述输入图像作为上述校正图像输出；

上述校正表如下生成：基于第二投影中心位置，计算与上述校正图像上的各像素位置相对应的被拍摄体空间中的光线方向矢量，该第二投影中心位置在与上述输入图像相对应的光轴的方向上位于第一投影中心位置的后方，该第一投影中心位置是上述被拍摄体空间中的上述输入图像的投影中心位置，基于上述光线方向矢量，计算原点基准光线方向矢量，该原点基准光线方向矢量是表示与上述像素位置相对应的被拍摄体空间中的对应点相对于上述第一投影中心位置存在于哪个方向的矢量，计算与上述原点基准光线方向矢量相对应的上述输入图像上的位置，来作为提取位置，将上述提取位置与上述校正图像的像素位置赋予对应，由此生成上述校正表。

3.一种图像校正装置，对输入图像进行几何校正而生成校正图像，具备：

图像输入部，输入上述输入图像；

图像存储部，存储上述输入图像；

几何校正部，基于第二投影中心位置，计算与上述校正图像上的各像素位置相对应的被拍摄体空间中的光线方向矢量，该第二投影中心位置在与上述输入图像相对应的光轴的方向上位于第一投影中心位置的后方，该第一投影中心位置是上述被拍摄体空间中的上述输入图像的投影中心位置，基于上述光线方向矢量，计算原点基准光线方向矢量，该原点基准光线方向矢量是表示与上述像素位置相对应的被拍摄体空间中的对应点相对于上述第一投影中心位置存在于哪个方向的矢量，计算与上述原点基准光线方向矢量相对应的上述输入图像上的位置，来作为提取位置，基于上述图像存储部所存储的输入图像和上述提取位置，来决定上述校正图像的各像素的像素值；以及

图像输出部，输出由上述几何校正部决定了各像素的像素值的上述校正图像。

4.一种校正表生成方法，是生成用于对输入图像进行几何校正而生成校正图像的校正表的校正表生成装置中的校正表生成方法，包括：

后退位置基准光线方向计算步骤，上述校正表生成装置的后退位置基准光线方向计算部基于第二投影中心位置，计算与上述校正图像上的各像素位置相对应的被拍摄体空间中的光线方向矢量，该第二投影中心位置在与上述输入图像相对应的光轴的方向上位于第一投影中心位置的后方，该第一投影中心位置是上述被拍摄体空间中的上述输入图像的投影中心位置；

原点基准光线方向计算步骤，上述校正表生成装置的原点基准光线方向计算部基于上述光线方向矢量，计算原点基准光线方向矢量，该原点基准光线方向矢量是表示与上述像素位置相对应的被拍摄体空间中的对应点相对于上述第一投影中心位置存在于哪个方向的矢量；

提取位置计算步骤，上述校正表生成装置的提取位置计算部计算与上述原点基准光线方向矢量相对应的上述输入图像上的位置，来作为提取位置；以及

提取位置登录步骤，上述校正表生成装置的提取位置登录部将上述提取位置与上述校正图像的像素位置赋予对应地登录至上述校正表。

5.一种校正图像生成方法，是对输入图像进行几何校正而生成校正图像的图像校正装置中的校正图像生成方法，包括：

图像输入步骤，上述图像校正装置的图像输入部输入上述输入图像；

图像存储步骤，上述图像校正装置的图像存储部存储上述输入图像；

几何校正步骤，上述图像校正装置的几何校正部基于第二投影中心位置，计算与上述校正图像上的各像素位置相对应的被拍摄体空间中的光线方向矢量，该第二投影中心位置在与上述输入图像相对应的光轴的方向上位于第一投影中心位置的后方，该第一投影中心位置是上述被拍摄体空间中的上述输入图像的投影中心位置，基于上述光线方向矢量，计算原点基准光线方向矢量，该原点基准光线方向矢量是表示与上述像素位置相对应的被拍摄体空间中的对应点相对于上述第一投影中心位置存在于哪个方向的矢量，计算与上述原点基准光线方向矢量相对应的上述输入图像上的位置，来作为提取位置，基于上述图像存储步骤中存储的输入图像和上述提取位置，来决定上述校正图像的各像素的像素值；以及

图像输出步骤，上述图像校正装置的图像输出部输出由上述几何校正步骤决定了各像素的像素值的上述校正图像。

6.一种校正表生成程序，用于使计算机执行权利要求4记载的校正表生成方法。

7.一种校正图像生成程序，用于使计算机执行权利要求5记载的校正图像生成方法。

Images