CN102385741A - 图像校正、校正表生成装置、校正图像、校正表生成方法及程序 - Google Patents

Abstract

本发明的课题在于减轻或消除校正后的图像中的不协调感。图像校正装置(10)具备图像输入部(11)、图像存储部(12)、校正表存储部(15)、根据上述校正表对图像存储部中存储的输入图像进行几何校正的几何校正部(13)、以及将通过几何校正部校正后的输入图像作为校正图像输出的图像输出部(14)，校正表(17)如下生成：计算与成为校正图像的输出图像上的各像素位置对应的经度及纬度，根据经度及纬度，计算对纬度进行校正而得到的校正纬度，计算与经度及校正纬度对应的被摄体空间中的光线方向，计算与光线方向对应的输入图像上的位置来作为提取位置，将提取位置与输出图像的像素位置建立对应。

Description

图像校正、校正表生成装置、校正图像、校正表生成方法及程序

技术领域

本发明涉及用于对输入图像进行几何校正来生成输出图像的图像校正装置等的技术。

背景技术

近年来，在以监视摄像机和电视对讲门铃为首的一些应用领域中，出现了希望一眼看到广阔视野范围的影像的要求。作为满足该要求的一个解决方案，在光学系统中采用鱼眼镜头并对水平视场角180度左右的范围进行拍摄的视频摄像机等正得到实际应用。但是，在利用这些设备拍摄的图像中，一般而言，被摄体空间中的直线呈现为弯曲很大，因此有以下要求，即：希望对拍摄的图像实施用于减轻弯曲程度的几何校正。

在鱼眼镜头中，根据其设计方针的差异，存在等距离投影方式、等立体角投影方式、正投影方式等各种投影方式。但是，无论哪种投影方式，如果校正后的图像中要表现的视场角小于180度，则通过利用透视变换，根据通过设计值和现有技术推测的被赋予的参数和投影模型，能够完全校正利用鱼眼镜头拍摄的图像(以下称为“鱼眼图像”)中的直线的弯曲。

图13(a)表示鱼眼图像的例子。另外，图13(b)表示利用透视变换校正该鱼眼图像以确保左右方向的视场角较广的例子。如图13(b)所示，利用透视变换的校正结果中，虽然应为直线的部分被校正为直线，但图像的周边部被极端地拉伸，远近感被强调，成为不协调感明显的图像。这是由于校正的结果的图像中表现的视场角与观察该图像时的视场角大为不同所引起的问题。

作为为了解决该问题而想到的技术，有日本特开2008-311890号公报所记载的技术。日本特开2008-311890号公报所记载的技术中，利用将分别为大致平面的正面和左右面平滑连接而得到的筒面来进行校正，以在左右方向确保超过180度的视场角，并且使上下方向延伸的直线状的被摄体和朝向光轴的直线状的被摄体分别看上去为直线。

但是，在日本特开2008-311890号公报所公开的技术中，在输出图像的中心部分与左右端部分的中间附近，横向的直线急剧弯曲，因此例如在被摄体在摄像机之前横跨的情况下，存在感到不协调的问题。

发明内容

在说明书中公开的是能够减轻或消除校正后的图像中的不协调感的图像校正装置、校正图像生成方法、校正表生成装置、校正表生成方法、校正表生成程序及校正图像生成程序。

例如，提供了对图13(a)的鱼眼图像进行校正而得到图13(d)那样的校正结果的方法。与原样利用作为现有技术的墨卡托制图法进行校正的结果的一例即图13(c)相比，可知在图13(d)中，抑制了地平线的弯曲。

公开的图像校正装置对输入图像进行几何校正来生成校正图像，其特征在于，具备：图像输入部，输入上述输入图像；图像存储部，存储上述输入图像；校正表存储部，存储用于对上述输入图像进行几何校正的校正表；几何校正部，根据上述校正表对上述图像存储部中存储的上述输入图像进行几何校正；以及图像输出部，将通过上述几何校正部校正后的上述输入图像作为上述校正图像输出；上述校正表如下生成：计算与成为上述校正图像的输出图像上的各像素位置对应的经度及纬度，根据上述经度及上述纬度，计算对上述纬度进行校正而得到的校正纬度，计算与上述经度及上述校正纬度对应的被摄体空间中的光线方向，计算与上述光线方向对应的上述输入图像上的位置来作为提取位置，将上述提取位置与上述输出图像的像素位置建立对应。

根据公开，能够减轻或消除校正后的图像中的不协调感。

附图说明

图1是说明图像校正装置的结构例的图。

图2是示意地例示校正表的图。

图3是例示图像校正装置中的几何校正部的动作的流程图。

图4是例示第一实施方式涉及的校正表生成装置的结构的模块图。

图5是说明用于使输出图像的像素坐标与输入图像的坐标对应的坐标系的变换例的图，(a)是例示输出图像的坐标系的图。(b)是例示经度纬度坐标系的图。

图6是说明用于使输出图像的像素坐标与输入图像的坐标对应的坐标系的变换例的图，(a)是例示用于根据经度和纬度求出光线方向矢量的坐标系的图。(b)是例示输入图像的坐标系的图。

图7是用于说明被摄体空间中的直线在输出图像上弯曲的情况和不弯曲的情况的例子的图。

图8是说明第一实施方式涉及的校正表生成装置中的校正纬度计算部校正纬度时利用的函数的例子的图。

图9是例示第一实施方式涉及的校正表生成装置的动作的流程图。

图10是例示第一实施方式涉及的校正表生成装置中的经度纬度计算部、校正纬度计算部及光线方向矢量计算部的动作的流程图。

图11是例示第二实施方式涉及的校正表生成装置的结构的模块图。

图12是例示第二实施方式涉及的校正表生成装置的动作的流程图。

图13是表示对鱼眼图像(输入图像)适用现有技术的结果的图，(a)是例示鱼眼图像(输入图像)的图。(b)是对(a)的鱼眼图像(输入图像)利用作为现有技术的透视变换进行校正的结果的校正图像(输出图像)的一个例子。(c)是对(a)的鱼眼图像(输入图像)原样利用作为现有技术的墨卡托制图法进行校正的结果的校正图像(输出图像)的一个例子。

图14是对图13的(a)的鱼眼图像(输入图像)适用实施方式的结果的校正图像(输出图像)的一个例子。

具体实施方式

<第一实施方式>

以下，参照图1～图10说明第一实施方式。

如图1所示，本实施方式涉及的图像校正装置10取入鱼眼图像等输入图像，对该图像进行校正，并将校正图像作为输出图像输出。

图像生成装置30生成图像数据并将其供给至图像校正装置10。在本实施方式中，以图像生成装置30是具备水平视场角180度的等距离投影方式的鱼眼镜头的数字视频摄像机的情况为例来进行说明。

图像显示装置40是显示由图像校正装置10校正后的校正图像(输出图像)的显示器。

本实施方式涉及的校正表生成装置20生成存放在图像校正装置10的后述的校正表存储部15中的校正表17。校正表生成装置20例如由个人计算机构成。

校正表生成装置20在生成校正表17之后，在几何校正部13实施利用该校正表17的几何校正处理之前，将该校正表17发送给图像校正装置10。

其中，在不需要更新校正表17的情况下，即与校正表17的生成有关的参数没有变更的情况下，校正表生成装置20在发送生成的校正表17之后，可以与图像校正装置10分离。

[图像校正装置10的结构]

如图1所示，图像校正装置10具备图像输入部11、图像存储部12、几何校正部13、图像输出部14、校正表存储部15和校正表更新部16。

图像输入部11读入从图像生成装置30供给的输入图像，并将其写入图像存储部12。读入的输入图像的各像素的像素值是数字化的值，按照基准色(在本实施方式中设为R、G、B这三种)取“0”到“255”的256个整数值之中的一个值。

来自图像生成装置30的输入图像的读入利用与图像生成装置30的结构对应的接口来实施即可，例如，在从图像生成装置30以模拟信号供给输入图像的情况下，设为具备A/D转换器的结构即可，在通过USB(UniversalSerial Bus：通用串行总线)等以数字信号供给输入图像的情况下，设为具备与其对应的接口的结构即可。

图像存储部12具备至少两个画面量的容量的能够存放从图像生成装置30供给的输入图像整体的大小的存储器(RAM：Random Access Memory：随机访问存储器)。图像存储部12将一个画面量用于由图像输入部11写入，将剩余的一个画面量用于由几何校正部13读出，对于每个画面一边交替地交换职能一边使用。

几何校正部13根据存放在后述的校正表存储部15中的校正表17，对存放在图像存储部12中的输入图像进行几何校正，将作为进行几何校正的结果的输出图像(校正图像)输出给图像输出部14。几何校正部13例如由FPGA(Field Programmable Gate Array：场可编程门阵列)或ASIC(Application Specific Integrated Circuit：特定应用集成电路)构成。其中，该几何校正部13进行的处理的详情在后面详细说明(参照图3)。

图像输出部14将从几何校正部13输出的输出图像(校正图像)转换为适当的影像信号并输出给图像显示装置40。例如，在图像显示装置40构成为显示模拟影像信号的情况下，设为具备D/A转换器的结构即可。

校正表存储部15事先存储后述的校正表17，例如是可改写的非易失性存储器。

校正表更新部16接收从校正表生成装置20发送的校正表17并存放在校正表存储部15中，与校正表生成装置20侧的接口相对应，例如设为具备USB接口或IEEE 1394接口等的结构即可。

校正表17对几何校正部13输出的输出图像(校正图像)的各个像素，定义参照图像存储部12中存储的输入图像(鱼眼图像)上的哪个像素来决定这些输出图像(校正图像)的像素值。在本实施方式中，作为校正表17，使用重采样表，具体而言，使用“对几何输出部13输出的输出图像的各个像素，与表示与这些像素对应的图像存储部12中存储的输入图像上的二维坐标值的固定小数点数的组(x，y)建立对应的表”。校正表17在通过后述(参照图9及图10)的方法由校正表生成装置20生成之后，通过校正表更新部16存放在校正表存储部15中。

重采样表(校正表)17例如图2所示，将输出图像上的像素坐标(u，v)与输入图像上的坐标(x，y)建立对应。图2是u轴方向的像素数为640像素而v轴方向的像素数为480像素的情况下的重采样表(校正表)的例子。其中，u、v是整数，但x、y不一定是整数。另外，在与输出图像上的像素坐标(u，v)建立了对应的输入图像上的坐标(x，y)为输入图像的范围外的坐标的情况下，将预定的例外值、例如(-1，-1)等值与(u，v)建立对应来存放。

[图像校正装置10中的几何校正部13的动作]

接着，参照图3(结构酌情参照图1)来说明图像校正装置10中的几何校正部13的动作。

首先，以在图像存储部12中存储着输入图像、且在校正表存储部15中存储着校正表17为前提。

如图3的流程图所示，在步骤S1中，几何校正部13将计数器的N的值设为“0”。

在步骤S2中，几何校正部13决定与输出图像的第N个像素的坐标(u，v)对应的输入图像上的坐标(x，y)。具体而言，首先，几何校正部13将计数器的N的值除以输出图像的u轴方向的像素数而得到的商作为v的值，将余数作为u的值(即，在u轴方向的像素数为“B”的情况下，N＝v·B+u)，计算输出图像上的像素坐标(u，v)。接着，几何校正部13根据校正表17，决定与输出图象上的像素坐标(u，v)对应的输入图像上的坐标(x，y)。

在步骤S3中，几何校正部13根据决定的输入图像上的坐标(x，y)，计算输出图像的第N个像素的像素值。具体而言，例如，根据输入图像上的坐标(x，y)，对于各基准色(即各RGB)，通过利用输入图像上的四相邻像素的像素值的双线性插补来决定输出图像的像素值即可。其中，在输出图像的像素值的计算中，也可以利用双三次插补等其他现有技术。

其中，几何校正部13在输入图像上不存在对应的像素值的情况下，即根据重采样表17决定的输入图像上的坐标(x，y)为预定的例外值的情况下，将该输出图像的像素值设为例外值，例如“黑”即(R，G，B)＝(0，0，0)。

在步骤S4中，几何校正部13判断对输出图像的全部像素是否完成了像素值的计算。

在判断为对输出图像的全部像素完成了像素值的计算的情况下(步骤S4：是)，几何校正部13结束几何校正处理。

另一方面，在判断为输出图像的像素之中存在没有完成像素值的计算的像素的情况下(步骤S4：否)，几何校正部13对计数器的N的值加“1”(步骤S5)。其后，返回步骤S2继续处理。

要判断对输出图像的全部像素是否完成了像素值的计算，通过比较计数器的N的值和输出图像的像素数来判断即可。

[校正表生成装置20的结构]

如图4所示，校正表生成装置20具备经度纬度计算部21、校正纬度计算部22、光线方向计算部23、提取位置计算部24和提取位置登录部25。

经度纬度计算部21计算与输出图像上的像素坐标(u，v)对应的经度λ及纬度Φ。例如，经度纬度计算部21使用世界地图的制作中利用的制图法之中的非投影圆筒制图法之一即墨卡托制图法，计算经度λ及纬度Φ。在本实施方式中，将输出图像的左端的像素坐标与经度“-90度(＝-π/2)”建立对应，并将输出图像的右端的像素坐标与纬度“90度(＝π/2)”建立对应，因此利用用于将u轴方向的标度归一化的常数“w”，按照下面的(1)式来计算。其中，在(1)式中，“Ψ＝π/2”。

[数学式1]

$\left\{\begin{array}{c}\mathrm{\&lambda;}=\frac{u-u_c}{w}\&CenterDot;\mathrm{\&Psi;}\\ \mathrm{\&Phi;}={2\tan }^{-1}\{\exp \left(\frac{v-v_c}{w}\right)\&CenterDot;\mathrm{\&Psi;}\}-\frac{\mathrm{\&pi;}}{2}\end{array}\right.$ …(1)式

由此，从图5(a)所示的输出图像的uv坐标系向图5(b)所示的经度纬度坐标系来变换坐标系。在此，O’(u_c，v_c)是输出图像的中心位置的坐标。例如，在输出图像的u轴方向的像素数为640像素的情况下，u_c的值成为通过“(0+639)/2”计算出的“319.5”。v_c也同样计算即可。w是出于上述目的而引入的常数，设定为u_c的值相等，为了确保是输出图像整体的标度的整合性，还按照(1)式用于v轴方向的标度的归一化。P₁(u，v)被变换为P₂(λ，Φ)。

校正纬度计算部22根据输入的经度λ及纬度Φ，计算用于光线方向矢量的计算的纬度即校正纬度φ。例如，校正纬度计算部22根据下面的(2)式，计算校正纬度φ。

[数学式2]

$\left\{\begin{array}{cc}\mathrm{\&phi;}={\tan }^{-1}\{\tan \left(\mathrm{\&Phi;}\right)\&CenterDot;f\left(\mathrm{\&lambda;}\right)\}& \\ f\left(\mathrm{\&lambda;}\right)=\mathrm{\&alpha;}+(1-\mathrm{\&alpha;})\cos \mathrm{\&lambda;}& (\mathrm{\&alpha;}=0.4)\end{array}\right.$ …(2)式

由此，如图5(b)所示，在经度纬度坐标系中进行关于纬度方向的校正。P₂(λ，Φ)被变换为P₃(λ，φ)。其中，进行这种校正的理由留待后述。

光线方向计算部23根据输入的经度λ及校正纬度φ，计算光线方向矢量(X，Y，Z)。光线方向计算部23通过下面的(3)式，计算光线方向矢量(X，Y，Z)。

[数学式3]

$\left\{\begin{array}{c}X=\sin \mathrm{\&lambda;}\&CenterDot;\cos \mathrm{\&phi;}\\ Y=\sin \mathrm{\&phi;}\\ Z=\cos \mathrm{\&lambda;}\&CenterDot;\cos \mathrm{\&phi;}\end{array}\right.$ …(3)式

由此，从图5(b)所示的经度纬度坐标系变换至图6(a)所示的XYZ坐标系。XYZ坐标系是被摄体空间的坐标系。P₃(λ，φ)被变换为P₄(X，Y，Z)。点O为投影中心。光线方向矢量(X，Y，Z)是从点O朝向经度λ、纬度φ的地点的、长度被归一化为“1”的方向矢量。

提取位置计算部24根据光线方向计算部23计算出的光线方向矢量(X，Y，Z)，计算输入图像上的坐标(x，y)作为提取位置。所谓提取位置，是输入图像上的坐标(x，y)，是从输入图像上提取存在于输出图像上的坐标(u，v)上的像素的像素值时的最佳位置。本实施方式的输入图像由于利用等距离投影方式的鱼眼镜头拍摄，因此提取位置计算部24例如通过下面的(4)式来计算输入图像上的坐标(x，y)。

[数学式4]

$\left\{\begin{array}{c}x=x_c+\frac{X}{\sqrt{X^2+Y^2}}\&CenterDot;\frac{2}{\mathrm{\&pi;}}\&CenterDot;R\&CenterDot;{\cos }^{-1}\left(Z\right)\\ y=y_c+\frac{Y}{\sqrt{X^2+Y^2}}\&CenterDot;\frac{2}{\mathrm{\&pi;}}\&CenterDot;R\&CenterDot;{\cos }^{-1}\left(Z\right)\end{array}\right.$ …(4)式

由此，从图6(a)所示的XYZ坐标系变换至图6(b)所示的输入图像的xy坐标系。在此，O″(x_c，y_c)是输入图像的像圆的中心的坐标。另外，R为像圆的半径，与半视场角90度相对应。P₄(X，Y，Z)被变换为P₅(x，y)。

其中，x_c，y_c及R设为作为设计值预先登录在校正表生成装置20中。另外，摄像参数的种类不限于此，可以按照使用的投影模式进行各种变更，此外也可以根据一张或多张输入图像利用现有技术推测。例如，对于像圆的中心的坐标O″(x_c，Y_c)及像圆的半径R，利用像圆的外侧的部分通常变黑(作为像素值对(R，G，B)分别存放着非常小的值)来进行圆的推测，由此通过现有技术能够进行推测。进而，也可以不使用(4)式，而使用基于现有技术的、用于光学系统的失真校正的包含到更高次的项的校正式。

提取位置登录部25将由提取位置计算部24计算出的输入图像上的坐标(x，y)与输出图像上的像素坐标(u，v)建立对应并登录在校正表17中。其中，在由提取位置计算部24计算出的输入图像上的坐标(x，y)为输入图像的范围外的坐标的情况下，如上所述，将预定的例外值、例如(-1，-1)等值与(u，v)建立对应并登录。

在此，参照图5、图6、图7及图8说明在校正纬度计算部22中从纬度Φ校正至校正纬度φ的理由。

在图7中，点O为投影中心。点A与图6的(a)的点A对应，是经度0度、纬度0度的点。矢量OA为鱼眼镜头的光轴的方向。平面52是与矢量OA正交的被摄体空间中的平面。直线51是平面52与图6(a)中的XZ平面的交线。长方形ABDC是平面52上的长方形。

墨卡托制图法是将球面投影至平面的方法，球面上的等经度线和等纬度线都在投影目标的平面上成为直线。因此，图7所示的直线AB、直线AC及直线CD在投影到图6的(a)的单位球面上进而向图5的(b)的经度纬度平面展开时，不弯曲而成为直线。这是因为，直线AB和直线CD在单位球面上为等经度线，直线AC在单位球面上为纬度0度的等纬度线。另一方面，线段OC的长度与线段OA的长度相比为“1/cos(λ1)”的长度，因此作为点B的纬度的∠AOB的Φ0与作为点D的纬度的∠COD的Φ1为“tan(Φ1)＝tan(Φ0)·cos(λ1)”的关系。即，由于直线BD不成为等纬度线，因此在通过墨卡托制图法表现时，在投影目标的平面上不成为直线而发生弯曲。

因此，为了减轻直线BD的弯曲，例如利用(2)式。在此，如果设为完全消除直线BD的弯曲，则成为“f(λ)＝cos(λ)”，但在利用该函数作为f(λ)的情况下，在输入至校正纬度计算部22中的经度λ为90度的情况下，与被输入的纬度Φ的值无关，校正纬度φ为“0”。这意味着随着向输出图像的左右端靠近，纵向的扩大率变得非常大，对观察输出图像的用户而言，是不希望的。

因此，作为f(λ)，不使用“f(λ)＝cos(λ)”，而使用(2)式的f(λ)那样的近似式。例如，图8表示0≤λ≤(π/2)时的f(λ)的曲线图，曲线60表示“cos(λ)”，曲线61表示2(式)的f(λ)。此时，在λ的绝对值小的区域、即输出图像的中央附近，优选曲线61接近曲线60。这是因为能更好地校正直线的弯曲。另一方面，由于f(λ)的值越接近0则纵向的扩大率越大，所以曲线61的最小值优选设计为维持某种程度的大小。

更具体而言，(2)式的f(λ)设计为满足如下的条件。如果是满足这些条件的函数，则校正纬度计算部校正纬度时使用的函数不限于(2)式的函数。

第一条件是“f(λ)≤1”。这是在λ的定义域的全域中保证不在错误的方向上进行校正的条件。

第二条件是“若存在某Λ，则f(Λ)＜1”。在此，Λ为包含在λ的定义域中的值。这是对至少一个以上的λ的值保证在正确的方向上进行校正的条件。

第三条件是“cos(λ)≤f(λ)”。这是在λ的定义域的全域中保证不过度校正的条件。

第四条件是“f(λ)/cos(λ)广义单调增加”。这是用于纬度校正的程度不发生起伏而逐渐减弱的条件。

第五条件是“对于成为0＜G＜1的被赋予的常数G，f(λ)≥G”。这是用于使输出图像全域中的纵向的扩大率限于规定的范围内的条件。G的值根据能够允许的纵向的扩大率或能够允许的横线的弯曲程度来预先决定即可，但由于存在以下可能性，即：如果G的值变大，则纵向的扩大率得到抑制但对横线的弯曲的校正的程度变弱，如果G的值变小，则对横线的弯曲的校正的程度变强但纵向的扩大率变大，因此，可以使用0.2以上且0.5以下程度的值。

[校正表生成装置20的动作]

接着，参照图9(结构酌情参照图4)来说明校正表生成装置20的动作。

如图9的流程图所示，在步骤S10中，校正表生成装置20将计数器的M的值设为“0”。

在步骤S11中，校正表生成装置20进行光线方向矢量计算处理。其中，关于该处理，在后面详细说明(参照图10)。

在步骤S12中，提取位置计算部24计算与光线方向矢量(X，Y，Z)对应的输入图像上的坐标(x，y)。

在步骤S13中，提取位置登录部25将计算出的坐标(x，y)与重采样表(校正表)17的输出图像上的像素坐标(u，v)建立对应并登录。

在步骤S14中，校正表生成装置20判断对于输出图像的全部像素是否完成了向重采样表(校正表)17的登录。

在对输出图像的全部像素完成了向重采样表(校正表)17的登录的情况下(步骤S14：是)，校正表生成装置20结束重采样表(校正表)生成处理。

另一方面，在输出图像的像素之中存在没有完成向重采样表(校正表)17的登录的像素的情况下(步骤S14：否)，校正表生成装置20对计数器的M的值加“1”(步骤S15)。其后，返回步骤S11并继续处理。

其中，是否对输出图像的全部像素完成了向重采样表(校正表)17的登录，通过比较计数器的M的值与输出图像的像素数来判断即可。

[光线方向矢量计算处理]

接着，参照图10说明步骤S11(参照图9)的光线方向矢量计算处理。

如图10的流程图所示，在步骤S111中，经度纬度计算部21计算与输出图像的第M个像素的坐标(u，v)对应的经度纬度(λ，Φ)。

在步骤S112中，校正纬度计算部22进行校正纬度计算处理。

在步骤S113中，光线方向计算部23根据经度纬度计算部21计算出的经度λ和校正纬度计算部22计算出的校正纬度φ，计算光线方向矢量(X，Y，Z)。其后，结束光线方向矢量计算处理。

通过以上动作，抑制了在特定的区域附近横向的直线急剧弯曲的现象，并且在校正后的图像中，应表现为纵向或横向的直线的直线组的弯曲程度比校正前的图像减轻。

<第二实施方式>

以下参照图11及图12说明第二实施方式。

[校正表生成装置20A的结构]

如图11所示，校正表生成装置20A与第一实施方式的校正表生成装置20相比，没有校正纬度计算部22，而具备修正校正表生成部26。另外，对于与第一实施方式的结构相同的结构附加相同的符号，并省略重复的说明。

校正表生成装置20A在生成重采样表(校正表)(未图示)时不是像第一实施方式那样计算校正纬度，而是不校正纬度地制作重采样表(校正表)(未图示)之后，通过修正该重采样表(校正表)的值来生成修正重采样表(修正校正表)17A，由此得到与第一实施方式相同的效果。

修正校正表生成部26在二维坐标系上直接校正重采样表(校正表)。被校正的修正重采样表(修正校正表)17A被发送给图像校正装置10。具体在下面的流程中详细说明。其中，修正重采样表17A的大小与第一实施方式的重采样表17相同，表中的坐标系的取法也相同。

[校正表生成装置20A的动作]

接着，参照图12(结构酌情参照图11)来说明校正表生成装置20A的动作。

如图12的流程图所示，在步骤S20中，校正表生成装置20A进行采样表生成处理，该采样表生成处理不进行校正纬度计算处理。即，去除步骤S112(校正纬度计算处理)来进行图9及图10所说明的处理。(3)式的校正纬度φ使用校正前的纬度Φ。

其中，在将像这样生成的重采样表(校正表)存储在图像校正装置10的校正表存储部15中，并由几何校正部13进行几何校正处理的情况下，结果在输出图像上，被摄体空间中的横向的直线大为弯曲(参照图13(c))。“u-u_c”的绝对值越大，弯曲的程度越大，另外，“v-v_c”的绝对值越大，弯曲的程度越大。为了减轻该弯曲的程度，进行以下的处理。

在步骤S21中，校正表生成装置20A将计数器的M的值设为“0”。

在步骤S22中，修正校正表生成部26计算与输出图像的第M个像素的坐标(u，v)对应的校正量Δv。目的在于改善u坐标越离开u_c则被摄体空间中的横向的直线越接近“v＝v_c”的直线的现象，因此，设定为“u-u_c”的绝对值越大则Δv的绝对值越大，而且，“v-v_c”的绝对值越大则Δv的绝对值越大，若“v-v_c”为正则Δv的正负为负，若“v-v_c”为负则Δv的正负为正。具体而言，例如，利用下面的(5)式计算Δv。β可取的范围为“0＜β＜1”，但在本实施方式中，基于针对横线弯曲的校正程度与纵向的扩大率之间的平衡，选择“β＝0.44”。

[数学式5]

$\mathrm{\&Delta;v}=-\mathrm{\&beta;}\&CenterDot;{\left(\frac{u-u_c}{w}\right)}^2\&CenterDot;(v-v_c),(\mathrm{\&beta;}=0.44)$ …(5)式

在步骤S23中，修正校正表生成部26参照步骤S20中生成的重采样表(校正表)来计算与坐标(u，v+Δv)对应的输入图像上的坐标(x，y)。此时，u为整数，v+Δv不一定为整数，对于v，可以利用线性插补等现有的插补方法计算。例如，对于把v+Δv的尾数进位而求得的整数v1和把v+Δv的尾数舍去而求得的整数v2，参照重采样表(校正表)的与(u，v1)、(u，v2)分别对应的(x，y)的值，对x及y分别进行线性插补即可。

在步骤S24中，修正校正表生成部26将步骤S23中计算出的与坐标(u，v+Δv)对应的输入图像上的坐标(x，y)登录到修正重采样表(修正校正表)的与输出图像上的像素坐标(u，v)对应的位置上。

步骤S25及步骤S26与图9的步骤S14及步骤S15相同，因此省略说明。

通过以上动作，在光线方向矢量的计算之前不进行纬度校正，而是对暂时生成的重采样表进行修正，由此也能够得到与光线方向矢量的计算之前进行纬度校正时相同的效果。

<变形例>

以上，说明了实施方式，但不限于此，在不脱离本发明的主旨的范围中，例如可以如下进行变更。

例如，图像生成装置30不限于例示的情况，可以是具备广角镜头的数字摄像机、具备按照以等距离投影方式为首的各种投影方式设计的鱼眼镜头的数字摄像机、具备广角镜头或鱼眼镜头的视频摄像机、对存储了由这些设备拍摄的影像的存储介质进行再生的影像再生装置等各种变形。在变更了输入图像的投影方式的情况下，可以将(4)式变更为适于输入图像的投影方式的算式，这样的变更是很容易的。

另外，与图像输出部14连接的装置不限于图像显示装置40，例如也可以连接对校正后的图像进行存储的存储装置、将校正后的图像转发至其他系统的转发装置等，按照用途进行各种变更。

另外，关于根据计数器的N的值来计算像素坐标(u，v)的方法，由于设为按照光栅扫描的顺序来参照像素，因此将N的值除以输出图像的u轴方向的像素数所得的商作为v、余数作为u来计算，但输出图像的像素的参照顺序不限于此。

另外，校正表17不限于重采样表。例如，在将图像校正装置10的结构设为几何校正部13每次计算与输出图像上的像素坐标(u，v)对应的输入图像上的坐标(x，y)时都进行校正的结构的情况下，将关于输入图像的参数及关于输出图像的参数作为校正表17存储在校正表存储部15中即可。此时，与使用重采样表作为校正表17的情况相比，校正表存储部15的存储容量较少即可。

其中，在设为这种结构的情况下，作为求出与输出图像上的像素坐标对应的输入图像上的坐标的方法，几何校正部13可以构成为仍然执行图9及图10所示的流程(其中无需将计算出的坐标(x，y)向重采样表登录(步骤S13)，而根据计算出的坐标(x，y)立即决定输出图像的像素值即可)，或者也可以预先制作根据输出图像上的像素坐标(u，v)能够直接计算与该坐标对应的输入图像上的坐标(x，y)的合成函数，设为利用该合成函数的结构。另外，作为校正表更新部16具备键盘等数据输入装置的结构，也可以设为能够由用户变更与输出图像相关的参数。

另外，在实施方式的说明中，作为使鱼眼图像的纵横方向与输出图像的纵横方向一致的例子进行了说明，但不限于此。例如，在使用具备三轴加速度传感器的鱼眼摄像机的情况下，也可以根据从该摄像机得到的被摄体空间中的重力方向的信息，生成使重力方向与输出图像的纵向一致的重采样表。具体而言，在将鱼眼图像与地面建立对应时，仅通过现有技术使坐标系的朝向旋转即可，这种变更是很容易的。

另外，在实施方式的说明中，利用非投影圆筒制图法之一的墨卡托制图法来实施了经度纬度的计算，但实施方式不限于此，也可以按照希望利用的特性，利用镜制图法等墨卡托制图法以外的圆筒制图法，尤其是非投射圆筒制图法。在公开的方法中，由于在经度0度附近纬度的校正量极小，因此可以利用经度纬度的计算中使用的非投影圆筒制图法的特征。其中，能够利用的非投影圆筒制图法不限于赋予了固有名称的制图法，例如可以利用被赋予的常数“k”像(6)式那样计算经度与纬度的组(λ，Φ)等各种方法。

[数学式6]

$\left\{\begin{array}{c}\mathrm{\&lambda;}=\frac{u-u_c}{w}\&CenterDot;\mathrm{\&Psi;}\\ \mathrm{\&Phi;}=\frac{1}{\mathrm{\&kappa;}}\&CenterDot;\left[{2\tan }^{-1}\right\{\exp (\mathrm{\&kappa;}\&CenterDot;\frac{v-v_c}{w}\&CenterDot;\mathrm{\&Psi;})\}-\frac{\mathrm{\&pi;}}{2}]\end{array}\right.$ …(6)式

另外，也可以在步骤S111之后，实施校正纬度计算处理(步骤S112)之前，实施校正经度的处理，以使输出图像的中央附近的经度的密度比周边部密。即，在计算出经度与纬度的组(λ，Φ)之后，对经度λ’进行校正以使输出图像的中央附近的经度的密度比周边部密，并重新对校正后的经度与纬度的组(λ’，Φ)实施校正纬度计算处理，来计算校正后的经度与校正后的纬度的组(λ’，φ)，针对(λ’，φ)计算光线方向矢量(X，Y，Z)。由此，能够使弯曲的程度进一步分散至图像全域。

另外，输出图像中表现的经度的范围不限于-90度至90度的范围。在变更输出图像中表现的经度的范围的情况下，在(1)式中将Ψ的值便更为希望的值即可。

另外，由图像输入部11读入的输入图像的各像素的像素值设为数字化的值，按照每个基准色(R，G，B)取“0”到“255”这256个(＝8比特)的整数值之中的一个值，但实施方式不限于此。例如，也可以进行将各基准色所能够表现的灰度增加至“0”到“1023”这1024种(10比特)等变更。即使在由于该变更而在输入图像中能够表现的灰度与输出图像中能够表现的灰度之间产生了差异，也能够通过现有技术容易地应对。另外，例如向使用(R，G，B，C(青)，Y(黄))这5种颜色作为基准色的多原色的对应也能够通过利用现有技术来容易地实施。

另外，校正表存储部15也可以通过利用SD存储卡等能够从图像校正装置10装卸的存储介质来实施。此时，通过构成为校正表生成装置20具备SD存储卡读卡器等，并将校正表生成装置20所生成的重采样表(校正表)17通过上述SD存储卡读卡器登录在校正表存储部15中，从而图像校正装置10无需具备校正表更新部16，因此在重采样表(校正表)17的更新频度低的情况下是优选的。

Claims (14)

1.一种校正表生成装置，生成用于对输入图像进行几何校正来生成校正图像的校正表，其特征在于，具备：

经度纬度计算部，计算与作为上述校正图像的输出图像上的各像素位置对应的经度及纬度；

校正纬度计算部，根据上述经度及上述纬度，计算对上述纬度进行校正而得到的校正纬度；

光线方向计算部，计算与上述经度及上述校正纬度对应的被摄体空间中的光线方向；

提取位置计算部，计算与上述光线方向对应的上述输入图像上的位置，来作为提取位置；以及

提取位置登录部，将上述提取位置与上述输出图像的像素位置建立对应并登录在上述校正表中。

2.一种校正表生成装置，生成用于对输入图像进行几何校正来生成校正图像的校正表，其特征在于，具备：

经度纬度计算部，计算与作为上述校正图像的输出图像上的各像素位置对应的经度及纬度；

光线方向计算部，计算与上述经度及上述纬度对应的被摄体空间中的光线方向；

提取位置计算部，计算与上述光线方向对应的上述输入图像上的位置，来作为提取位置；

提取位置登录部，将上述提取位置与上述输出图像的像素位置建立对应并登录在上述校正表中；以及

修正校正表生成部，对从上述提取位置登录部输入的上述校正表的值进行校正。

3.如权利要求1或2记载的校正表生成装置，其特征在于，

上述经度纬度计算部根据地图投影法中的圆筒制图法来计算上述经度及上述纬度。

4.如权利要求1或2记载的校正表生成装置，其特征在于，

上述经度纬度计算部根据地图投影法中的墨卡托制图法来计算上述经度及上述纬度。

5.如权利要求1记载的校正表生成装置，其特征在于，

上述校正纬度计算部在上述经度为λ且上述纬度为Φ的情况下，利用函数f(λ)，根据

[数学式1]

φ＝tan^-1{tan(Φ)·f(λ)}

来计算上述校正纬度φ；

上述函数f(λ)对于校正所使用的上述经度λ的定义域之中的绝对值为0以上且π/2以下的区域，设为

[数学式2]

cos(λ)≤f(λ)≤1。

6.如权利要求1记载的校正表生成装置，其特征在于，

上述校正纬度计算部在上述经度为λ且上述纬度为Φ的情况下，利用函数f(λ)，根据

[数学式3]

φ＝tan^-1{tan(Φ)·f(λ)}

来计算上述校正纬度φ；

上述函数f(λ)为：校正所使用的上述经度λ的定义域的内部的最小值设为规定的值以上。

7.一种图像校正装置，对输入图像进行几何校正来生成校正图像，其特征在于，

上述校正图像上的纵线成为等经度线；

与作为基准的经度对应的上述校正图像上的纵线上的纬度的度数与地图投影法中的非投影圆筒制图法之一同样形成；

关于作为横向的直线的被摄体直线、以及与作为上述基准的经度对应的等经度面与上述被摄体直线的交点的纬度φ，上述校正图像上的上述被摄体直线的像与上述校正图像上的基于上述非投影圆筒制图法的上述被摄体直线的像相比，更靠近与纬度φ的等纬度线对应的上述校正图像上的直线，其中，该被摄体直线被定义为被摄体空间中相对于与作为上述基准的经度对应的等经度面和等纬度面的双方垂直的平面、与相对于等纬度面平行的平面之间的交线。

8.一种图像校正装置，对输入图像进行几何校正来生成校正图像，其特征在于，具备：

图像输入部，输入上述输入图像；

图像存储部，存储上述输入图像；

校正表存储部，存储用于对上述输入图像进行几何校正的校正表；

几何校正部，根据上述校正表对上述图像存储部中存储的上述输入图像进行几何校正；以及

图像输出部，将通过上述几何校正部校正后的上述输入图像作为上述校正图像输出；

上述校正表如下生成：计算与作为上述校正图像的输出图像上的各像素位置对应的经度及纬度，根据上述经度及上述纬度，计算对上述纬度进行校正而得到的校正纬度，计算与上述经度及上述校正纬度对应的被摄体空间中的光线方向，计算与上述光线方向对应的上述输入图像上的位置来作为提取位置，将上述提取位置与上述输出图像的像素位置建立对应。

9.一种图像校正装置，对输入图像进行几何校正来生成校正图像，其特征在于，具备：

图像输入部，输入上述输入图像；

图像存储部，存储上述输入图像；

几何校正部，计算与作为上述校正图像的输出图像上的各像素位置对应的经度及纬度，根据上述经度及上述纬度，计算对上述纬度进行校正而得到的校正纬度，计算与上述经度及上述校正纬度对应的被摄体空间中的光线方向，计算与上述光线方向对应的上述输入图像上的位置来作为提取位置，将上述提取位置与上述输出图像的像素位置建立对应，由此对上述图像存储部中存储的上述输入图像进行几何校正；以及

图像输出部，将通过上述几何校正部校正后的上述输入图像作为上述校正图像输出。

10.一种校正表生成方法，生成用于对输入图像进行几何校正来生成校正图像的校正表，其特征在于，包括：

经度纬度计算步骤，计算与作为上述校正图像的输出图像上的各像素位置对应的经度及纬度；

校正纬度计算步骤，根据上述经度及上述纬度，计算对上述纬度进行校正而得到的校正纬度；

光线方向计算步骤，计算与上述经度及上述校正纬度对应的被摄体空间中的光线方向；

提取位置计算步骤，计算与上述光线方向对应的上述输入图像上的位置，来作为提取位置；以及

提取位置登录步骤，将上述提取位置与上述输出图像的像素位置建立对应并登录在上述校正表中。

11.一种校正图像生成方法，对输入图像进行几何校正来生成校正图像，其特征在于，包括：

图像输入步骤，输入上述输入图像；

图像存储步骤，存储上述输入图像；

校正表存储步骤，存储用于对上述输入图像进行几何校正的校正表；

几何校正步骤，根据上述校正表对通过上述图像存储步骤存储的上述输入图像进行几何校正；以及

图像输出步骤，将通过上述几何校正步骤校正后的上述输入图像作为上述校正图像输出；

上述校正表如下生成：计算与作为上述校正图像的输出图像上的各像素位置对应的经度及纬度，根据上述经度及上述纬度，计算对上述纬度进行校正而得到的校正纬度，计算与上述经度及上述校正纬度对应的被摄体空间中的光线方向，计算与上述光线方向对应的上述输入图像上的位置来作为提取位置，将上述提取位置与上述输出图像的像素位置建立对应。

12.一种校正图像生成方法，对输入图像进行几何校正来生成校正图像，其特征在于，包括：

图像输入步骤，输入上述输入图像；

图像存储步骤，存储上述输入图像；

几何校正步骤，计算与作为上述校正图像的输出图像上的各像素位置对应的经度及纬度，根据上述经度及上述纬度，计算对上述纬度进行校正而得到的校正纬度，计算与上述经度及上述校正纬度对应的被摄体空间中的光线方向，计算与上述光线方向对应的上述输入图像上的位置来作为提取位置，将上述提取位置与上述输出图像的像素位置建立对应，由此对通过上述图像存储步骤存储的上述输入图像进行几何校正；以及

图像输出步骤，将通过上述几何校正步骤校正后的上述输入图像作为上述校正图像输出。

13.一种校正表生成程序，用于执行权利要求10记载的方法。

14.一种校正图像生成程序，用于执行权利要求11或12记载的方法。

Images