CN105324791A - 坐标计算装置和方法、以及图像处理装置和方法 - Google Patents

Abstract

在对通过鱼眼镜头或全方位镜等超广角光学系统进行的摄影而得到的失真图像进行校正来得到透视投影方式的图像的图像处理中，计算组合投影球面上的高度和距光轴的距离而得到的合成指标(Rn)(301)，使用合成指标(Rn)，计算失真图像中的距原点的距离(Rf)(302)。而且，使用距原点的距离(Rf)来计算失真图像中的二维坐标(p，q)(303)，使用由二维坐标确定的失真图像中的位置或其附近的像素来求出输出图像的像素值。可以在抑制运算量的同时，高精度地进行从投影球面向摄像面的投影、即坐标面上的坐标的计算。

Description

坐标计算装置和方法、以及图像处理装置和方法

技术领域

本发明涉及对通过使用了鱼眼镜头或全方位镜等超广角光学系统的摄影而得到的失真图像进行校正来得到透视投影方式的图像的图像处理装置和方法、以及在这样的图像处理装置和方法中使用的坐标计算装置和方法。

背景技术

鱼眼镜头或全方位镜等超广角光学系统可以将180度或180度以上的视场角的影像投影到一个摄像面，它们在要求宽广的摄像视野的各种领域中被使用。

然而，使用超广角光学系统所拍摄的影像与通常的透视投影的图像相比，看起来被摄体的形状失真为桶形，因而将所拍摄的图像(失真图像)直接显示时会带来不协调感。因此，在显示由超广角光学系统所拍摄的影像的情况下，做法是，截取作为图像的一部分的关注区域，将所截取的图像转换成通常的透视投影方式来显示。

在该转换时，假想出位于摄像面的一侧的半球面上的投影面(投影球面)，进行从该投影球面朝摄像面的投影。该投影包含有求出与投影球面上的关注点对应的摄像面上的位置的处理。为了在该处理中计算摄像面上的像高(距光轴的距离)，在专利文献1中示出使用天顶角的内容(第7栏)。当使用天顶角时，例如在使用正投影、立体投影、或者等立体角投影进行投影的情况下，有必要求出天顶角的三角函数。在专利文献1中作了这样的启示：为了简化求出三角函数的处理，使用查找表。

在先技术文献

专利文献

专利文献1：日本专利第3126955号说明书

发明内容

发明要解决的课题

还可以考虑使用光轴方向上的位置(高度)而取代天顶角。在使用高度的情况下，不需要三角函数的运算，可以减小运算量。然而，在投影球面的天顶附近，由于高度的变化相对于天顶角的变化减少，因而为了以期望的精度进行计算，有必要在天顶附近增多表示高度的数据的位(bit)数。

替代于此，还可以考虑使用距光轴的距离。在该情况下，也不需要运算三角函数，可以减小运算量。然而，在投影球面的地平面附近，由于距光轴的距离的变化相对于天顶角的变化减少，因而为了以期望的精度进行计算，有必要在地平面附近增多表示光轴方向的距离的数据的位数。

本发明是为了解决上述问题而提出的，目的是可以在抑制运算量的同时，高精度地进行从投影球面向摄像面的投影、即坐标面上的坐标的计算。

用于解决课题的手段

本发明的坐标计算装置将投影球面上的三维坐标转换成失真图像上的二维坐标，其特征在于，具有：合成指标计算部，其计算合成指标，该合成指标是组合根据所述三维坐标得到的投影球面上的关注点的高度和距光轴的距离而得到的；距离计算部，其根据所述合成指标，计算所述失真图像中的与所述关注点对应的点距所述失真图像中的原点的距离；以及坐标计算部，其根据距所述失真图像中的所述原点的距离，计算所述失真图像中的二维坐标。

发明效果

根据本发明，由于使用使投影球面上的高度与距光轴的距离组合得到的合成指标，因而可以以较少的位数高精度进行坐标的计算。

附图说明

图1是示出本发明的图像处理装置的结构例的框图。

图2是示出鱼眼图像的一例的图。

图3是示出从被摄体向投影球面的投影、从投影球面向摄像面的投影的图。

图4是示出投影球面上的x、y、z坐标值的图。

图5是示出摄像面、投影球面以及输出图像面的位置关系的图。

图6的(a)～(d)是示出变焦倍率、摇摄角(panangle)、倾斜角(tiltangle)和平面倾斜角(planeinclinationangle)的图。

图7是示出图1的图像处理装置的图像校正处理部的结构例的框图。

图8的(a)和(b)是示出图像校正处理的概要的图。

图9的(a)～(c)是示出投影球面上的关注点的天顶角、高度、距光轴的距离的例子的图。

图10是示出本发明的实施方式1的坐标计算装置的框图。

图11是示出投影球面上的关注点的天顶角与合成指标Rn、高度z、距光轴的距离r之间的关系的曲线图。

图12是示出本发明的实施方式2的坐标计算方法的处理步骤的流程图。

具体实施方式

实施方式1

图1示出本发明的实施方式1的图像处理装置。图示的图像处理装置具有：作为超广角光学系统的一例的鱼眼镜头101、摄像信号生成部102、影像存储器103、图像校正处理部104以及校正影像输出电路105。

鱼眼镜头101是以光学方式取入宽视场角的像的镜头，例如如图2所示得到圆形的失真图像。图2的圆形图像是直到视场角180度为止的范围内的被摄体的图像。图2简化示出当对从道路的交叉路口沿着一条道路的方向进行摄像时得到的图像。以下，将使用鱼眼镜头101取入的失真图像称为鱼眼图像。

以下，参照图3对使用鱼眼镜头的情况下的摄像进行说明。

假想与鱼眼镜头101的光轴AL垂直的摄像面F、以及以摄像面F与光轴AL的交叉点O为中心位于摄像面F的被摄体侧(摄像对象空间侧)且其底面与摄像面一致的半球上的投影面(投影球面)S。

可以认为，来自被摄体的光全部向上述的中心O传播，投影到投影球面S上，再从投影球面S投影到摄像面F。

从投影球面S到摄像面F的投影使用正投影方式、立体投影方式、等距离投影方式、等立体投影方式等任意方式进行。使用哪种方式进行投影根据所使用的鱼眼镜头101而不同。

图3示出来自虚线BL所示的方向的光投影到投影球面S上的点Ps和投影到摄像面F上的点Pf的情况。

摄像面F上的点Pf的位置由二维坐标(p，q)表示。该二维坐标表示在摄像面F的相互垂直的2个方向上延伸的2个坐标轴、即P轴和Q轴的方向上的位置。

投影球面S上的点Ps的位置由三维坐标(x，y，z)表示。该三维坐标表示以摄像面F与光轴AL的交点(即，上述半球的底面的中心)O为原点、沿光轴方向AL延伸的坐标轴即Z轴以及、与摄像面F上的P轴、Q轴分别一致的坐标轴即X轴和Y轴的方向上的位置。图4分开示出x、y、z坐标值的大小。

点Ps的位置还可以由天顶角θ和方位角表示。

点Ps的天顶角θ是相对于光轴AL的倾斜角，换句话说，是连接点Ps和原点O的直线与光轴AL所成的角。

点Ps的方位角是以光轴为中心的旋转方向的角度，例如以X轴方向为基准方向。

从投影球面S向摄像面F的投影是以方位角不变化的方式进行的。因此，点Ps的方位角与点Ps的方位角相同，由标号表示。

从光轴AL到点Pf的距离(即，从原点O到点Pf的距离)Rf与从光轴AL到点Ps的距离r之间的关系根据投影方式而不同。

即，如以下所示，点Ps的天顶角θ与从光轴AL到点Pf的距离Rf之间的关系根据投影方式而不同。例如，在正投影方式的情况下，存在以下关系：

Rf＝Rb×sinθ(1)

在立体投影的情况下，存在以下关系：

Rf＝Rb×tan(θ/2)(2)。

在上述的式子中，Rb是投影球面S的半径。图2所示的圆形鱼眼图像的半径Rb(从图像中心到视场角180度的点的距离)相当于投影球面S的半径。

另一方面，在天顶角θ与从光轴AL到点Ps的距离r之间存在以下关系：

r＝Rb×sinθ(3)

因此，在正投影方式的情况下，存在以下关系：

Rf＝r(4)

在立体投影方式的情况下，存在以下关系：

【数式1】

$Rf=2Rb\·tan\left(\frac{\mathrm{\θ}}{2}\right)=2Rb\·tan\left(\frac{{\sin }^{-1}\frac{r}{Rb}}{2}\right)---\left(5\right)$

摄像信号生成部102包含具有图3所示的摄像面F的、由例如CCD构成的摄像元件，生成表示光学的像的电图像信号。

影像存储器103以帧为单位存储由摄像信号生成部102生成的图像信号。

图像校正处理部104读出存储在影像存储器103内的图像信号，校正由该图像信号表示的鱼眼图像，输出校正图像。在校正时，选择鱼眼图像的一部分区域，即，包含与图5所示的视线方向DOV对应的鱼眼图像中的位置及其周围位置的区域(由来自视线方向DOV及其周边的方向的光生成的鱼眼图像的部分)，将所选择的图像转换成透视投影方式的图像。以下将图像校正处理部104进行校正后的图像称为“输出图像”。

如图5所示，输出图像是将投影球面S上的图像透视投影到平面(输出图像面)H上得到的图像，由与输出图像面相同的标号H表示。

平面H是在表示视线方向DOV的直线与投影球面S的交点G处与投影球面S相切的平面。平面(输出图像面)H上的点Ph的位置由以与投影球面S的切点G为原点的坐标(u，v)表示。坐标(u，v)表示输出图像面H上的相互正交的坐标轴即U轴、V轴的方向的位置。

U轴相对于旋转基准轴J呈角度旋转基准轴J通过原点G，与XY平面平行，且与直线OG(连接原点O与原点G的直线)垂直。将角度称为平面倾斜角或旋转角。

将原点G的方位角称为摇摄角，用标号α表示。将原点G的天顶角θ称为倾斜角，用标号β表示。输出图像的尺寸、即输出图像的视场角(电子变焦视场角)能够根据倍率(变焦倍率)m而变更。图6的(a)概念性示出基于变焦倍率变更的输出图像尺寸变更。图6的(b)、(c)、(d)针对与图5相同的输出图像面H分别示出摇摄角α、倾斜角β和平面倾斜角

当投影球面S上的图像向输出图像面H投影时，投影球面S上的点Ps(x，y，z)投影到通过点Ps和原点O的直线与输出图像面H的交点Ph(u，v)。

图像校正处理部104为了生成上述的输出图像(投影到输出图像面H的图像)，计算与输出图像的各像素(关注像素)的位置对应的鱼眼图像中的位置，根据计算出的鱼眼图像中的位置或者其附近像素的像素值计算输出图像的上述关注像素的像素值，利用具有计算出的像素值的像素的阵列生成图像。

校正影像输出电路105使校正后的像的信号成为通常的电视影像信号、例如NTSC方式的影像信号来输出。另外，也可以将该信号通过编码装置进行编码来发送，并远程进行影像显示。

例如如图7所示，图像校正处理部104具有：输出范围选择部201、球面坐标计算部202、鱼眼图像坐标计算部203以及像素值计算部204。

参照图5以及图8的(a)和图8的(b)对由图像校正处理部104进行的图像校正处理进行说明。

在输出范围选择部201中，通过选择期望的视线方向DOV、即摇摄角α和倾斜角β，并且选择期望的平面倾斜角和输出图像的尺寸、即变焦倍率m，来选择输出图像的范围。该选择例如对应于用户的操作来进行。并且，也可以随着时间经过自动变更输出图像的范围。

输出范围选择部201进行的输出范围选择(图8的(a))与通过机械方式使摄像机进行摆动、倾斜、旋转(平面倾斜角的变更)而进行的视线方向的决定和变更、旋转角的决定和变更、以及基于光学变焦的倍率的决定和变更等效，输出范围选择部201进行的处理也被称为电子PTZ(摇摄(pan)、倾斜(tilt)、变焦(zoom))处理。

如图5所示，在球面坐标计算部202中，将由输出范围选择部201选择了范围的输出图像H投影到投影球面S，计算与图像H内的各点对应的投影球面S上的点的三维坐标。三维坐标的计算是求出各点在输出图像H中的位置、例如在与(u、v)对应的投影球面S上的位置(x，y，z)的处理。与输出图像中的各点Ph对应的投影球面S上的位置是连接上述各点Ph与原点O的直线与投影球面S的交点的位置。与输出图像H对应的投影球面S上的范围在图5和图8的(a)中由标号Sh示出。

在鱼眼图像坐标计算部203中，将图8的(a)所示的范围Sh的图像(投影球面上的图像)如图8的(b)所示投影到鱼眼图像，计算鱼眼图像坐标。该投影是求出与投影球面S上的各点Ps的位置(x，y，z)对应的鱼眼图像内的对应的点Pf的位置、即摄像面F上的位置(p，q)的处理。与范围Sh对应的鱼眼图像(由与摄像面相同的标号F示出)中的范围(截取范围)在图8的(b)中由标号Fh示出。

从投影球面S投影到鱼眼图像的方式有正投影、等距离投影、立体投影、等立体角投影等若干投影方式，根据鱼眼镜头是哪种投影方式来决定。

在像素值计算部204中，计算图5的输出图像的各像素的像素值。当计算该像素值时，使用与图5的输出图像的各像素(关注像素)的位置(u，v)对应的鱼眼图像中的位置(p，q)或者其周边像素(附近像素)的像素值。即，若在与上述关注像素的位置对应的鱼眼图像中的位置存在像素，则将该像素的像素值用作上述关注像素的像素值，若在与关注像素的位置对应的鱼眼图像中的位置不存在像素，则通过基于上述对应的鱼眼图像中的位置周围的1个或2个以上的像素的像素值的插值来求出上述关注像素的像素值。

在鱼眼图像坐标计算部203中，当进行从投影球面S向摄像面F的投影时，在本发明中，使用通过将高度和距光轴的距离进行组合而得到的合成指标。以下，针对这一点说明现有技术示例的问题之后，说明使用上述合成指标的理由。

一般而言，在该投影中，为了求出鱼眼图像F中的像高，可以考虑使用天顶角的情况、使用表示光轴方向上的位置的值(高度)的情况以及使用距光轴的距离的情况。

例如，在专利文献1中，如图9的(a)所示，使用天顶角(该文献的图1、第7栏)。表示天顶角θ的数据无论在投影球面的天顶附近还是在地平面(摄像面)附近都可以使用相同的位宽数据以相同精度来表现。

另一方面，当使用天顶角时，在从投影球面向鱼眼图像投影的方式是正投影方式或者等立体角投影方式的情况下，需要计算三角函数。在专利文献1中为了简化三角函数的计算，使用了查找表。

还可以考虑取代天顶角而使用图9的(b)所示的光轴方向上的位置(高度)、即坐标值z来进行计算。在使用高度的情况下，不需要运算三角函数，可以减少运算量。另一方面，在投影球面的天顶附近，由于高度的变化相对于天顶角的变化减少，因而仅在天顶附近才需要大量的位精度。(为了以相同精度进行计算，因而需要使用更大位宽的数据。)例如，在地平面附近天顶角从89度变化为90度的情况下的高度的变化量是约1.745×10^-2，而在天顶附近天顶角从0度变化为1度的情况下的高度的变化量是约1.523×10^-4，精度差异约100倍。

并且，还可以考虑使用图9的(c)所示的距光轴的距离。在该情况下，也不需要运算三角函数，因而可以减少运算量。然而，在投影球面的地平面附近，由于距光轴的距离的变化相对于天顶角的变化减少，因而仅在地平面附近需要较多的位精度。(为了以相同精度进行计算，因而需要使用更大位宽的数据。)例如，在天顶附近天顶角从0度变化为1度的情况下的距光轴的距离的变化量是约1.745×10^-2，而在地平面附近天顶角从89度变化为90度的情况下的距光轴的距离的变化量是约1.523×10^-4，精度差异约100倍。

本发明的坐标计算装置解决了上述问题，其特征在于，无论是天顶附近，还是地平面附近，即使不改变数据的位宽，也不使计算精度产生大的差异。

图10示出坐标计算装置203a的结构例。图示的坐标计算装置203a用作图7的鱼眼图像坐标计算部203，计算二维图像的坐标。

图10的坐标计算装置203a具有合成指标计算部301、距离计算部302和坐标计算部303。

表示与输出图像H的关注像素的位置对应的投影球面S上的位置的三维坐标(x，y，z)被输入到坐标计算装置203a。该三维坐标(x，y，z)是如下这样得到的：利用输出范围选择部201根据摇摄角α、倾斜角β和平面倾斜角以及变焦倍率选择截取范围，利用球面坐标计算部202投影到投影球面。

三维坐标(x，y，z)被输入合成指标计算部301。

在合成指标计算部301中，对于距光轴的距离r

R＝√(x²+y²)(6)

与高度z组合得到的合成指标Rn，依据下述的式(7a)、式(7b)、式(8a)、式(8b)来计算。

在

z≥√(x²+y²)(7a)

的情况下，

Rn＝√(x²+y²)(7b)

在

z＜√(x²+y²)(8a)

的情况下，

Rn＝√2×Rb-z(8b)

由于z为√(x²+y²)以上是天顶角θ为45度以下的范围，因而式(7a)、式(8a)还可以分别改写为以下的式(7c)、式(8c)。

z≥Rb/√2(7c)

z＜Rb/√2(8c)

图11示出投影球面S上的关注点Ps和关注点Ps的天顶角(连接关注点Ps与原点O的直线与光轴AL所成的角)θ与合成指标Rn、高度z和距光轴的距离r之间的关系。

在图11中，横轴表示关注点Ps的天顶角θ。

在纵轴上示出合成指标Rn、高度z以及距光轴的距离r。

如图11所示，由于天顶角是0度且斜率为0，因而高度z在0度附近相对于天顶角的值的变化减小，为了高精度地进行使用了高度的计算，需要较大位宽。

并且，由于天顶角θ是90度且斜率为0，因而距光轴的距离r在90度附近相对于天顶角θ的值的变化减小，为了高精度地进行使用了距光轴的距离r的计算，需要较大位宽。

另一方面，关于合成指标Rn，无论天顶角的大小如何，斜率都没有较大的差异，因此，较小的位宽即可。

并且，在高度z与距光轴的距离r相等的点(满足式(7a)的范围与满足式(8a)的范围的交界)处，由式(7b)给出的Rn与由式(8b)给出的Rn相等，且由式(7b)给出的Rn的斜率与由式(8b)给出的Rn的斜率、即-z的斜率与r(＝√(x²+y²))的斜率相等，因而将不同的两个参数(z和r)组合而得到的合成指标Rn连续平滑变化。

合成指标Rn被发送到距离计算部302。

在距离计算部302中，根据合成指标Rn，通过由下述的式子表示的运算来求出点Pf距鱼眼图像中的原点的距离(像高)Rf。即，

在像高Rf作为投影球面半径Rb和天顶角θ的函数，而由

Rf＝Rb·F(θ)(9)

表示的情况下，距离计算部302在满足

z≥√(x²+y²)(7a)

的范围内，根据

【数式2】

$Rf=Rb\·F\left({\cos }^{-1}\frac{\sqrt{{\mathrm{Rb}}^2-{\mathrm{Rn}}^2}}{Rb}\right)---\left(10\right)$

求出Rf。

在满足

z＜√(x²+y²)(8a)

的范围内，根据

【数式3】

$Rf=Rb\·F\left({\cos }^{-1}\frac{\sqrt{2}\×Rb-Rn}{Rb}\right)---\left(11\right)$

求出Rf。

以下，对可以根据式(10)、式(11)求出Rf的理由进行说明。

在球面上的点Ps投影到鱼眼图像的点Pf的情况下，

点Pf的像高Rf表示为Rb和天顶角θ的函数。

Rf＝Rb·F(θ)(12)

例如，在正投影的情况下，由

Rf＝Rb·sinθ(12a)

表示，在立体投影的情况下，由

Rf＝2Rb·tan(θ/2)(12b)

表示。

式(12)中的θ由

θ＝cos^-1(z/Rb)(13)

表示。

根据式(12)和式(13)，得到

【数式4】

$Rf=Rb\·F\left({\cos }^{-1}\frac{z}{Rb}\right)---\left(14\right).$

另一方面，在Rb与x、y、z之间，存在

Rb²＝x²+y²+z²(15)

的关系，因此，存在

z²＝Rb²-(x²+y²)(16)

的关系。

并且，如上所述在满足式(7a)的范围内，由于式(7b)成立，因而

Rn²＝(x²+y²)(17)

根据式(17)和式(16)，得到

z²＝Rb²－Rn²(18)

因此，得到

z＝√(Rb²－Rn²)(19)

根据式(14)和式(19)，得到

【数式5】

$Rf=Rb\·F\left({\cos }^{-1}\frac{\sqrt{{\mathrm{Rb}}^2-{\mathrm{Rn}}^2}}{Rb}\right)---\left(10\right).$

另一方面，在满足式(8a)的范围内，式(8b)成立，因而

z＝√2×Rb-Rn(20)

根据式(14)和式(20)，得到

【数式6】

$Rf=Rb\·F\left({\cos }^{-1}\frac{\sqrt{2}\×Rb-Rn}{Rb}\right)---\left(11\right)$

根据以上可知，在满足式(7a)的情况下，利用式(10)求出Rf，在满足式(8a)的情况下，利用式(11)求出Rf。

在正投影的情况下，即，在Rf由式(12a)给出的情况下，根据式(12a)和式(13)，得到

Rf＝Rb·sin(cos^-1(z/Rb))(14a)

根据式(14a)和式(19)，得到

【数式7】

$Rf=Rb\·\sin \left({\cos }^{-1}\frac{\sqrt{{\mathrm{Rb}}^2-{\mathrm{Rn}}^2}}{Rb}\right)---\left(10a\right)$

根据式(14a)和式(20)，得到

【数式8】

$Rf=Rb\·\sin \left({\cos }^{-1}\frac{\sqrt{2}\×Rb-Rn}{Rb}\right)---\left(11a\right)$

在立体投影的情况下，即，在Rf由式(12b)给出的情况下，根据式(12b)和式(13)，得到

Rf＝2Rb·tan(cos^-1(z/Rb))(14b)

根据式(14b)和式(19)，得到

【数式9】

$Rf=2Rb\·\tan \left({\cos }^{-1}\frac{\sqrt{{\mathrm{Rb}}^2-{\mathrm{Rn}}^2}}{Rb}\right)---\left(10b\right)$

根据式(14a)和式(20)，得到

【数式10】

$Rf=2Rb\·tan\left({\cos }^{-1}\frac{\sqrt{2}\×Rb-Rn}{Rb}\right)---\left(11b\right)$

在坐标计算部303中，根据利用式(10)、式(11)计算出的像高Rf、和投影球面三维坐标(x，y，z)，计算鱼眼图像二维坐标(p，q)。计算式如下。

在Rf≠0(21Aa)

的情况下，

p＝x×Rf/r(21Ab)

q＝y×Rf/r(21Ac)

在Rf＝0(21Ba)

的情况下，

p＝0(21Bb)

q＝0(21Bc)

以上对在距离计算部302中利用通过由式(10)、式(11)所示的运算使用像高Rf的情况作了说明，但也可以使用存储有Rn与Rf之间的关系的查找表来求出Rf。

在该情况下，当针对Rn的全部的值存储Rf时，作为查找表需要容量大的查找表，因而为了避免这一点，也可以准备针对Rn的多个即N个离散代表值DN[0]～DN[N-1]存储了对应的Rf的值DF[0]～DF[N-1]的查找表，针对给出的关注像素，利用由合成指标计算部301计算出的Rn的值、在Rn以下且最接近Rn的代表值DN[n]、大于Rn且最接近Rn的代表值DN[n+1]、以及将DN[n]、DN[n+1]作为输入值而读出的输出值DF[n]、DF[n+1]的插值运算，求出与Rn对应的Rf。该情况下的运算式由式(22)表示。

【数式11】

$Rf=DF\[n\]+\frac{(DF\[n+1\]-DF\[n\])}{(DN\[n+1)-DN\[n\]}\×(Rn-DN\[n\])---\left(22\right)$

其中，输入值DN[0]～DN[N－1]是相对于n(n＝0～N-1)的增加而单调增加的输入值。即，DN[0]～DN[N-1]相互间存在以下关系。

DN[n]≤DN[n+1](23)

(其中，n是0至N-2中的任意值)。

式(22)中的n满足由下述的式(24)表示的条件。

DN[n]≤Rn＜DN[n+1](24)

另外，在Rn为DN[N-1]以上的情况下，将DF[N-1]作为Rf来输出。

上述的DN[n]和DF[n]一般以对在满足式(7a)的条件的范围内由式(10)表示的Rn与Rf之间的关系、在满足式(8a)的条件的范围内由式(11)表示的Rn与Rf之间的关系进行折线近似的方式来决定，以使得在Rn、Rf可取的值的范围内，N个、例如DN[n]与DN[n+1]之差恒定。

在使用正投影的情况下，作为式(10)、式(11)使用式(10a)、式(11a)，在立体投影的情况下，作为式(10)、式(11)使用式(10b)、式(10b)。

另外，在Rn与Rf之间的关系无法用运算式表示的情况下，通过实际测量求出Rn与Rf之间的关系。例如，通过使用鱼眼镜头对正方格子状的二维图表等进行摄影，调查在所拍摄的图像上正方格子失真到何种程度，可以求出Rn与Rf之间的关系。

以上，将本发明作为坐标计算装置和具有该坐标计算装置的图像处理装置作了说明，但由这些装置实施的坐标计算方法和图像处理方法也构成本发明的一部分。

实施方式2

图12示出由图10的坐标计算装置实施的坐标计算方法中的处理步骤。

在图12中，依照实施方式1所示的式(7a)、式(7b)、式(8a)和式(8b)，根据投影球面三维坐标(x，y，z)计算将高度和距光轴的距离组合得到的合成指标Rn。

接着，在步骤ST2中，根据合成指标Rn计算距鱼眼图像中的原点的距离Rf。

该处理也可以通过式(10)、式(11)所示的运算来进行，也可以使用查找表来进行。

接着，在步骤ST3中，依照由实施方式1所示的式(21Aa)～(21Bc)，根据距鱼眼图像中的原点的距离Rf和投影球面三维坐标(x，y，z)计算鱼眼图像二维坐标(p，q)。

通过使用以上说明的方法，由投影球面上的三维坐标转换成鱼眼图像上的二维坐标，可以以较小的位宽精度良好地进行转换。

图12所示的坐标计算方法还可以使用软件、即编程的计算机来实现。

以上，使用本发明，对选择鱼眼图像的一部分来转换成透视投影方式的图像的情况作了说明，但本发明还可以应用于上述处理以外的处理。例如，本发明还可以应用于根据鱼眼图像得到全景图像的处理。

以上对使用鱼眼镜头得到圆形的失真图像的情况作了说明，然而本发明还可以应用于得到环状的失真图像的情况。

本发明的坐标计算装置、或者具有该坐标计算装置的图像处理装置可以在监视系统中加以利用。

标号说明

201：输出范围选择部；202：球面坐标计算部；203：鱼眼图像坐标计算部；203a：坐标计算装置；204：像素值计算部；301：合成指标计算部；302：距离计算部；303：坐标计算部。

Claims (8)

1.一种坐标计算装置，其将投影球面上的三维坐标转换成失真图像上的二维坐标，其特征在于，该坐标计算装置具有：

合成指标计算部，其计算合成指标，该合成指标是组合根据所述三维坐标得到的投影球面上的关注点的高度和距光轴的距离而得到的；

距离计算部，其根据所述合成指标，计算所述失真图像中的与所述关注点对应的点距所述失真图像中的原点的距离；以及

坐标计算部，其根据距所述失真图像中的所述原点的距离，计算所述失真图像中的二维坐标。

2.根据权利要求1所述的坐标计算装置，其特征在于，

当以(x，y，z)表示所述三维坐标、以Rb表示所述投影球面的半径时，所述合成指标计算部

在z≥√(x²+y²)的情况下，通过Rn＝√(x²+y²)求出所述合成指标Rn，

在z＜√(x²+y²)的情况下，通过Rn＝√2×Rb-z求出所述合成指标Rn。

3.根据权利要求2所述的坐标计算装置，其特征在于，

当以θ表示所述投影球面上的所述关注点的天顶角、以Rf表示所述失真图像中的所述对应的点距所述原点的距离时，所述距离计算部在满足z≥√(x²+y²)的范围内，通过

【数式12】

$Rf=Rb\·F\left({\cos }^{-1}\frac{\sqrt{{\mathrm{Rb}}^2-{\mathrm{Rn}}^2}}{Rb}\right)$

求出距所述原点的距离Rf，

在满足z＜√(x²+y²)的范围内，通过

【数式13】

$Rf=Rb\·F\left({\cos }^{-1}\frac{\sqrt{2}\×Rb-Rn}{Rb}\right)$

求出距所述原点的距离Rf。

4.根据权利要求2所述的坐标计算装置，其特征在于，

所述距离计算部具有查找表，该查找表存储有输入值DN和输出值DF的关系，该输入值DN和输出值DF的关系对所述合成指标Rn与距所述原点的距离Rf之间的关系进行折线近似，

所述距离计算部根据由所述合成指标计算部计算出的所述合成指标Rn，查找满足DN[n]≤Rn＜DN[n+1]的DN[n]、DN[n+1]，读出与DN[n]、DN[n+1]对应的输出值DF[n]、DF[n+1]，通过

【数式14】

$Rf=DF\[n\]+\frac{(DF\[n+1\]-DF\[n\])}{(DN\[n+1\]-DN\[n\]}\×(Rn-DN\[n\])$

求出距所述原点的距离Rf。

5.根据权利要求3或4所述的坐标计算装置，其特征在于，

所述坐标计算部在Rf≠0的情况下，通过

p＝x×Rf/√(x²+y²)

q＝y×Rf/√(x²+y²)

求出所述二维坐标(p，q)，

在Rf＝0的情况下，通过

p＝0

q＝0

求出所述二维坐标(p，q)。

6.一种图像处理装置，其特征在于，该图像处理装置具有：

权利要求1至5中任意一项所述的坐标计算装置；

球面坐标计算部，其将输出图像的各像素作为关注像素，计算与该关注像素的坐标对应的所述投影球面上的三维坐标；以及

像素值计算部，其根据由所述坐标计算装置计算出的所述失真图像中的二维坐标，计算所述输出图像的所述关注像素的像素值，

所述坐标计算装置求出如下二维坐标作为表示与所述关注像素的坐标对应的位置的坐标，该二维坐标表示与所述球面坐标计算部计算出的三维坐标对应的所述失真图像中的位置，

如果在与所述关注像素的坐标对应的所述失真图像中的位置处存在像素，则所述像素值计算部将该对应的位置处的像素的像素值用作所述关注像素的像素值，如果在与所述关注像素的坐标对应的所述失真图像中的位置处不存在像素，则所述像素值计算部通过基于该对应的位置的周围的1个或2个以上的像素的像素值的插值，来求出所述关注像素的像素值。

7.一种坐标计算方法，其将投影球面上的三维坐标转换成失真图像上的二维坐标，其特征在于，该坐标计算方法具有：

合成指标计算步骤，计算合成指标，该合成指标是组合根据所述三维坐标得到的投影球面上的关注点的高度和距光轴的距离而得到的；

距离计算步骤，根据所述合成指标，计算所述失真图像中的与所述关注点对应的点距所述失真图像中的原点的距离；以及

坐标计算步骤，根据距所述失真图像中的所述原点的距离，计算所述失真图像中的二维坐标。

8.一种图像处理方法，其特征在于，该图像处理方法具有：

构成权利要求7所述的坐标计算方法的所述合成指标计算步骤、所述距离计算步骤和所述坐标计算步骤；

球面坐标计算步骤，将输出图像的各像素作为关注像素，计算与该关注像素的坐标对应的所述投影球面上的三维坐标；以及

像素值计算步骤，根据在所述坐标计算步骤中计算出的所述失真图像中的二维坐标，计算所述输出图像的所述关注像素的像素值，

在所述合成指标计算步骤中，利用根据所述球面坐标计算步骤中计算出的三维坐标得到的所述投影球面上的关注点的高度和距光轴的距离，计算所述合成指标，

在所述坐标计算步骤中，求出如下二维坐标作为表示与所述关注像素的坐标对应的位置的坐标，该二维坐标表示与在所述球面坐标计算步骤中计算出的三维坐标对应的所述失真图像中的位置，

在所述像素计算步骤中，如果在与所述关注像素的坐标对应的所述失真图像中的位置处存在像素，则将该对应的位置处的像素的像素值用作所述关注像素的像素值，如果在与所述关注像素的坐标对应的所述失真图像中的位置处不存在像素，则通过基于该对应的位置的周围的1个或2个以上的像素的像素值的插值，求出所述关注像素的像素值。