CN104011767A - 图像处理装置、图像处理方法、图像处理装置用程序、记录介质、以及图像显示装置 - Google Patents

Abstract

取得通过使用了广角镜头或者全向镜所拍摄而得到的失真图像(S)、设定用于从失真图像切出一部分的切出区域(E)的切出基准点(P)，根据切出基准点设定切出区域，将失真图像的拍摄的视点作为基点，设定与切出基准点对应的视线矢量(n)，使切出区域从切出基准点移动规定的距离，通过根据视线矢量从失真图像变换为平面正规图像(T’)的图像变换，变换被移动的切出区域(E’)。

Description

图像处理装置、图像处理方法、图像处理装置用程序、记录介质、以及图像显示装置

技术领域

本发明涉及对使用广角镜头或者全向镜拍摄的图像进行图像处理的图像处理装置、图像处理方法、图像处理装置用程序、记录介质、以及图像显示装置。

背景技术

使用了广角镜头或者全向镜的照相机被利用以便对于车辆的驾驶员来说能够确认障碍物或各种状况。例如，在专利文献1中，公开了一种车辆后方显示装置，在该装置中，在车辆后方的低位置具备广角镜头的照相机，在高位置具备窄角镜头的照相机，车辆状态检测装置根据车辆的状态切换显示所需的图像。

现有技术文献

专利文献

专利文献1：(日本)特开2003－212041号公报

发明内容

发明要解决的课题

但是，在专利文献1的技术中，在将由广角镜头的照相机以及窄角镜头的照相机这两台照相机拍摄的图像作为1张图像而显示时，需要合成或切换2张图像，或者尤其是需要进行用于使来自广角镜头的照相机的图像成为没有不协调感的图像的图像的调整。进而，由于需要两台照相机因此花费成本。

因此，本发明是鉴于上述的问题等而完成的，其课题的一例的目的在于，提供图像处理装置等，该图像处理装置根据由1台照相机拍摄的失真图像而生成更自然的图像，以便能够确认障碍物等的状况。

用于解决课题的手段

为了解决上述的课题，技术方案1所述的发明的特征在于，具备：失真图像取得部件，取得通过使用了广角镜头或者全向镜所拍摄而得到的失真图像；切出基准点设定部件，设定用于从所述失真图像切出一部分的切出区域的切出基准点；切出区域设定部件，根据所述切出基准点，设定切出区域；视线矢量设定部件，将所述失真图像的拍摄的视点作为基点，设定与所述切出基准点对应的视线矢量；偏移部件，使所述切出区域从所述切出基准点移动规定的距离；以及图像变换部件，通过根据所述视线矢量从所述失真图像变换为平面正规图像的图像变换，变换所述移动的切出区域。

此外，技术方案2所述的发明的特征在于，在技术方案1所述的图像处理装置中，还具备：虚拟球面设定部件，设定将所述失真图像的中心设为中心的虚拟球面，所述视线矢量设定部件设定从所述虚拟球面的中心、朝向与包含所述失真图像的平面正交且通过所述切出基准点的直线和所述虚拟球面交叉的交点的视线矢量。

此外，技术方案3所述的发明的特征在于，在技术方案1或者技术方案2所述的图像处理装置中，所述视线矢量设定部件接受用于确定所述视线矢量的参数的输入，设定所述视线矢量，所述切出区域设定部件在于所述视线矢量的方向交叉的交点与所述视线矢量正交的面内，设定与所述切出区域对应的所述平面正规图像的区域，所述偏移部件在与所述视线矢量正交的面内，移动所述设定的平面正规图像的区域，所述图像变换部件根据所述视线矢量，求得与所述移动的平面正规图像的区域的各点对应的所述失真图像的像素值，将该求得的所述失真图像的像素值设为所述平面正规图像的像素值。

此外，技术方案4所述的发明的特征在于，在技术方案3所述的图像处理装置中，与所述视线矢量正交的面是圆柱的面。

此外，技术方案5所述的发明的特征在于，在技术方案1至4的任一项所述的图像处理装置中，所述视线矢量设定部件设定多个视线矢量，所述切出区域设定部件设定与各视线矢量相应的切出区域，所述图像变换部件将各所述切出区域变换为平面正规图像，将所述图像变换部件求得的各平面正规图像在一个显示部件中显示。

此外，技术方案6所述的发明是用于图像处理装置处理图像的图像处理方法，其特征在于，包含：失真图像取得步骤，取得通过使用了广角镜头或者全向镜所拍摄而得到的失真图像；切出基准点设定步骤，设定用于从所述失真图像切出一部分的切出区域的切出基准点；切出区域设定步骤，根据所述切出基准点，设定切出区域；视线矢量设定步骤，将所述失真图像的拍摄的视点作为基点，设定与所述切出基准点对应的视线矢量；偏移步骤，使所述切出区域从所述切出基准点移动规定的距离；以及图像变换步骤，通过根据所述视线矢量从所述失真图像变换为平面正规图像的图像变换，变换所述移动的切出区域。

此外，技术方案7所述的发明的特征在于，使计算机作为以下部件发挥作用：失真图像取得部件，取得通过使用了广角镜头或者全向镜所拍摄而得到的失真图像；切出基准点设定部件，设定用于从所述失真图像切出一部分的切出区域的切出基准点；切出区域设定部件，根据所述切出基准点，设定切出区域；视线矢量设定部件，将所述失真图像的拍摄的视点作为基点，设定与所述切出基准点对应的视线矢量；偏移部件，使所述切出区域从所述切出基准点移动规定的距离；以及图像变换部件，通过根据所述视线矢量从所述失真图像变换为平面正规图像的图像变换，变换所述移动的切出区域。

此外，技术方案8所述的发明的特征在于，计算机可读取地记录有图像处理装置用程序，所述图像处理装置用程序使计算机作为以下部件发挥作用：失真图像取得部件，取得通过使用了广角镜头或者全向镜所拍摄而得到的失真图像；切出基准点设定部件，设定用于从所述失真图像切出一部分的切出区域的切出基准点；切出区域设定部件，根据所述切出基准点，设定切出区域；视线矢量设定部件，将所述失真图像的拍摄的视点作为基点，设定与所述切出基准点对应的视线矢量；偏移部件，使所述切出区域从所述切出基准点移动规定的距离；以及图像变换部件，通过根据所述视线矢量从所述失真图像变换为平面正规图像的图像变换，变换所述移动的切出区域。

此外，技术方案9所述的发明的特征在于，具备：失真图像取得部件，取得通过使用了广角镜头或者全向镜所拍摄而得到的失真图像；切出基准点设定部件，设定用于从所述失真图像切出一部分的切出区域的切出基准点；切出区域设定部件，根据所述切出基准点，设定切出区域；视线矢量设定部件，将所述失真图像的拍摄的视点作为基点，设定与所述切出基准点对应的视线矢量；偏移部件，使所述切出区域从所述切出基准点移动规定的距离；图像变换部件，通过根据所述视线矢量从所述失真图像变换为平面正规图像的图像变换，变换所述移动的切出区域；以及显示部件，显示由所述图像变换部件得到的平面正规图像。

发明效果

根据本发明，取得通过使用了广角镜头或者全向镜所拍摄而得到的失真图像，设定用于从失真图像切出一部分的切出区域的切出基准点，根据切出基准点设定切出区域，将失真图像的拍摄的视点作为基点，设定与切出基准点对应的视线矢量，使切出区域从切出基准点移动规定的距离，通过根据视线矢量从失真图像变换为平面正规图像的图像变换，变换被移动的切出区域，从而能够根据由1台照相机拍摄的失真图像，生成更自然的图像。

附图说明

图1是表示本发明的实施方式所涉及的图像显示系统的概要结构例的模块图。

图2是表示在3维XYZ正交坐标系中包含失真圆形图像S的2维XY正交坐标系和包含平面正规图像T的2维UV正交坐标系的关系的一例的立体图。

图3是表示2维XY正交坐标系和2维UV弯曲坐标系的关系的一例的立体图。

图4是表示2维UV正交坐标系上的点T(u，v)和2维UV弯曲坐标系上的点C(u，v)的对应关系的一例的平面图。

图5是表示平面正规图像T和偏移后的平面正规图像T’的关系，以及切出区域E和偏移后的切出区域E’的关系的一例的立体图。

图6是表示平面正规图像T和偏移后的平面正规图像T’的关系的一例的平面图。

图7是表示图1的图像显示系统的动作例的流程图。

图8是表示视线矢量的朝向和使用偏移功能变换的图像的一例的示意图。

图9是表示视线矢量的朝向和不使用偏移功能变换的图像的一例的示意图。

图10是表示在车体的后部具备鱼眼照相机的一例的示意图。

图11是表示由鱼眼照相机拍摄的失真圆形图像的一例的示意图。

图12是表示在视点矢量相对于镜头的光轴朝向垂直方向的状态下，偏移后的平面正规图像T’的一例的立体图。

图13是表示显示了全景图像和俯视图像的画面显示的一例的示意图。

图14是表示在视点矢量相对于镜头的光轴朝向水平方向的状态下，偏移后的平面正规图像T’的一例的立体图。

图15是表示平面正规图像T和偏移后的平面正规图像T’的关系的一例的平面图。

图16是在车体的前部具备鱼眼照相机的车在T字路停车的俯视图。

图17是表示由鱼眼照相机拍摄的失真圆形图像的一例的示意图。

图18是表示显示了多个平面正规图像的画面显示的一例的示意图。

图19是表示在车体的后部具备鱼眼照相机的一例的示意图。

图20是表示显示了多个平面正规图像的画面显示的一例的示意图。

图21是表示显示了多个平面正规图像的画面显示的一例的示意图。

具体实施方式

以下，参照附图说明本发明的实施方式。另外，以下说明的实施方式是对图像显示系统应用了本发明的情况下的实施方式。

[1.图像显示系统的结构以及功能的概要]

(1.1图像显示系统1的结构以及功能)

首先，使用图1说明本发明的一个实施方式所涉及的图像显示系统的结构以及概要功能。

图1是表示本实施方式所涉及的图像显示系统1的概要结构例的模块图。

如图1所示，图像显示系统1(图像显示装置的一例)具备：具有广角镜头或者全向镜的照相机2、对由照相机2拍摄的图像进行图像处理的图像处理装置10、输入图像处理装置10的处理所需的参数的参数输入部3、具有图像处理装置10中的运算所需的存储器的帧存储器4、显示图像处理装置10处理的图像的显示用监视器5。

照相机2例如是正射影方式的鱼眼镜头，输出动态图像的失真圆形图像(失真图像的一例)。此外，照相机2在车辆的后方等向规定的方向设置，捕捉消除驾驶员的死角的广范围的图像。另外，照相机2的镜头不限于广角镜头，也可以是与全向镜组合的通常的视角的镜头。此外，广角镜头的视角不限于180°，可以比180°大，也可以比其小。此外，照相机2拍摄的图像也可以是静止图像。此外，照相机2在具有对角线鱼眼镜头的情况下，输出矩形的失真图像。照相机2也可以是等距离射影方式的镜头、等立体角射影方式的镜头等非正射影方式的镜头。

参数输入部3接受从失真圆形图像至平面正规图像的图像变换所需的参数的输入。例如，参数输入部3基于用户的指示输入而接受将失真圆形图像的拍摄的视点作为基点的视线矢量、表示与从失真圆形图像切出的切出区域对应的平面正规图像的尺寸的参数、为了设定要显示的平面正规图像的倍率等所需的参数的输入。在此，平面正规图像是为了减轻失真图像的失真，按照某规则进行了坐标变换的平面正规图像。

在帧存储器4中，作为存储部件的一例，存储部由RAM(Random AccessMemory，随机存取存储器)、硬盘或者硅盘等构成。帧存储器4存储由照相机2拍摄的失真圆形图像、图像变换的运算过程中的图像数据、以及进行了图像变换的平面正规图像等。

作为显示部件的一例，显示用监视器5是由液晶显示元件或者EL(ElectroLuminescence，电致发光)元件等构成的监视器画面(平面画面)。显示用监视器5显示由照相机2拍摄的失真圆形图像、以及通过图像变换得到的平面正规图像等。

图像处理装置10具有计算校正系数以及对应坐标的校正/运算部11、将失真圆形图像变换为平面正规图像并生成用于在显示用监视器5中显示的平面正规图像的图像生成部12。

校正/运算部11由使用了用于进行专用的运算等的LSI(Large ScaleIntegration，大规模集成电路)芯片的硬件构成。校正/运算部11在从图像生成部12提供任意的坐标的情况下，执行使用了图像变换的对应关系式的运算，算出对应坐标，或者执行使用了在从与视线矢量对应的位置移动了切出区域的情况下的图像变换的对应关系式的运算，算出对应坐标。另外，关于图像变换的对应关系式，在图像变换I以及图像变换II中说明。

图像生成部12由使用了用于进行专用的运算等的LSI(Large ScaleIntegration，大规模集成电路)芯片的硬件构成。图像生成部12进行从失真圆形图像至平面正规图像的图像变换的运算，或将通过图像变换生成的平面正规图像存储至帧存储器4或读出。

(1.2图像变换I)

接着，使用图2说明将通过使用了具有鱼眼镜头的照相机2所拍摄而得到的失真圆形图像变换为减轻了失真的平面正规图像的图像变换I的处理的基本原理。

如图2所示，在XY平面上形成的失真圆形图像S是构成以坐标系的原点O为中心的半径R的圆的图像，并且是将在作为镜头的光轴的Z轴的正区域侧的具有180°的视角的区域上存在的像失真记录的失真图像。另外，图2的模型是由正射影方式的鱼眼镜头拍摄的情况下的模型。

在此，从失真圆形图像S切出一部分的区域(切出区域E)，进行图像变换而得到平面正规图像T。因此，如图2所示，作为用于决定从失真圆形图像S切出哪个区域的切出基准点的一例，设定切出中心点P(x₀，y₀)。另外，切出基准点也可以不限于中心。

接着，设定将失真圆形图像S的中心(失真图像的拍摄的视点的一例)作为中心的虚拟球面H。如图2所示，通过在失真圆形图像S上设定的切出中心点P(x₀，y₀)，设定与Z轴(3维XYZ正交坐标系的坐标轴)平行的直线和虚拟球面H的交点Q(x₀，y₀，z₀)。设定从失真圆形图像的中心向交点Q(x₀，y₀，z₀)的视线矢量(将失真图像的拍摄的视点作为基点，与切出基准点对应的视线矢量的一例)。

接着，在交点Q(x₀，y₀，z₀)，设定与虚拟球面H相切的切平面(在视线矢量的方向交叉的交点上与视线矢量正交的面的一例)，在该切平面上设定2维UV正交坐标系。

然后，以倍率m，与视线矢量n正交地平行移动2维UV正交坐标系，作为2维UV正交坐标系上的图像而求得平面正规图像T。2维UV正交坐标系被设定为点G(x_g，y_g，z_g)成为原点。以倍率m，虚拟球面的半径变动，平面正规图像T的面成为与变动虚拟球面的半径的虚拟球面相切的面(在视线矢量的方向交叉的交点上与视线矢量正交的面)。在此，倍率m表示坐标值(u，v)的缩放和坐标值(x，y)的缩放的关系。从而，两个点OG间的距离被设定为m·R。另外，作为参数的倍率m可以从参数输入部3输入，也可以预先设定。此外，如图2所示，在倍率m比1大的情况下，平面正规图像T在虚拟平面H的外侧。在倍率比1小的情况下，平面正规图像T的在视线矢量的方向交叉的点G在虚拟平面H的内侧。

点G(x_g，y_g，z_g)的位置能够由方位角α和天顶角β确定。进而为了决定UV坐标系，将U轴和J轴(旋转基准轴)所成的角度定义为平面倾斜角。另外，从XY坐标系的原点O向UV坐标系的原点G的方向的矢量是视线矢量n。此外，作为参数的方位角α、天顶角β、以及平面倾斜角可以从参数输入部3输入，也可以预先设定。

在此，用于切出并变形将在XY坐标系上定义的失真圆形图像S上的切出中心点P(x₀，y₀)作为中心的切出区域内的失真图像，在UV坐标系上得到平面正规图像T的对应关系式如下述式(1)至(9)所示。

[数1]

$x=\frac{R(\mathrm{uA}+\mathrm{vB}+\mathrm{wC})}{\sqrt{u^2+v^2+w^2}}---\left(1\right)$

$y=\frac{R(\mathrm{uD}+\mathrm{vE}+\mathrm{wF})}{\sqrt{u^2+v^2+w^2}}---\left(2\right)$

A＝cosφcosα-sinφsinαcosβ    (3)

B＝-sinφcosα-cosφsinαcosβ    (4)

C＝sinαsinβ    (5)

D＝cosφsinα+sinφcosαcosβ    (6)

E＝-sinφsinα+cosφcosαcosβ    (7)

F＝-cosαsinβ    (8)

w＝mR    (9)

通过基于该对应关系式的变换运算而得到的平面正规图像在水平方向的失真小但在垂直方向的失真大。

(1.3图像变换II)

接着，使用图3以及图4说明通过使用了具有鱼眼镜头的照相机2所拍摄而得到的失真圆形图像变换为减轻了失真的平面正规图像的图像变换II的处理的基本原理。另外，图像变换II是(日本)特开2010－62790中公开的技术。

在图2的模型中，UV坐标系被设定在通过点G(x_g，y_g，z_g)且与视线矢量n正交的平面上，与此相对，在如图3所示的模型中，将该平面上定义的UV坐标系沿着圆柱侧面弯曲。

从而，在图3的模型中，得到在2维UV弯曲坐标系(圆柱侧面上的坐标系)上弯曲的平面正规图像C。

图3中虚线所示的平面正规图像T与图2的平面正规图像T相同，平面正规图像C是相当于弯曲了该平面正规图像T的图像的、沿着圆柱侧面的曲面上的图像。

2维弯曲坐标系也是具有U轴和V轴的2维坐标系，平面正规图像C内的任意的一个点由(u，v)的坐标所示，这一点与通常的平面上的2维坐标系的情况相同。该2维弯曲坐标系是将点G设为原点、在与视线矢量n正交的平面上配置的2维UV正交坐标系通过沿着虚拟圆柱的侧面弯曲而设定的坐标系。

从而，在图像变换II中，在圆柱侧面上定义的2维UV弯曲坐标系上求得平面正规图像C，使用表示该平面正规图像C的像素排列数据，在通常的监视器画面(平面画面)上进行像素显示。

在此，说明表示2维UV正交坐标系上的坐标(u，v)和2维XY正交坐标系上的坐标(x，y)的对应关系的对应关系式。

图4是表示2维UV正交坐标系(坐标面为图4中的T)和通过将其弯曲而得到的2维UV弯曲坐标系(坐标面为图4中的C)的位置关系的侧视图。

如图4所示，有2维UV正交坐标系中的点T(u，v)和2维UV弯曲坐标系中的点C(u，v)，粗线的线段D和线段A为相同的长度。都是由坐标(u，v)表示的点，但由于是在不同的坐标系设定的点，因此在由XYZ3维正交坐标系所示的空间上的位置不同。若在XYZ3维正交坐标系中考虑，则点T(u，v)为点T(u，v，w)，与此相对，点C(u，v)的坐标值为C(u’，v，w’)。从而，u’、v’和u、v的关系能够由式(10)至式(12)表示。

[数2]

$\mathrm{\θ}=\frac{u}{w}---\left(10\right)$

$u^{\′}=w\·\sin \frac{u}{w}---\left(11\right)$

$w^{\′}=w\·\cos \frac{u}{w}---\left(12\right)$

通过将该式(10)至式(12)用于式(1)至式(9)，用于在UV坐标系上得到平面正规图像C的对应关系式如下述式(1’)以及(2’)所示。

[数3]

$x=\frac{R(u^{\′}A+\mathrm{vB}+w^{\′}C)}{\sqrt{u^{\′2}+v^2+w^{\′2}}}---\left(1^{\′}\right)$

$y=\frac{R(u^{\′}D+\mathrm{vE}+w^{\′}F)}{\sqrt{u^{\′2}+v^2+w^{\′2}}}---\left(2^{\′}\right)$

像这样，代替式(1)以及式(2)中的变量u而使用式(11)所示的变量u’，代替变量w而使用式(12)所示的变量w’，代入式(1’)，(2’)，从而算出2维XY正交坐标系中的对应坐标(x，y)。

图像变换II相对于图像变换I，大幅改善左右轮廓附近的失真。即使在进行水平平移(拍摄全景影像)的情况下，也能够得到平滑的平移影像。从而，图像变换II适于掌握位于图像的右端或左端的人物的细致的特征。

(1.4平面正规图像的偏移)

接着，使用图5以及图6说明不改变视点矢量n而在2维UV正交坐标系上显示平面正规图像的偏移功能。另外，为了便于说明，首先使用图像变换I的例子说明偏移功能。

如图5所示，根据失真圆形图像S指定切出区域E的切出中心点P(x₀，y₀)，得到方位角α、天顶角β的值，使用式(1)至式(9)所示的对应关系式，对切出区域E进行图像变换而得到平面正规图像T。另外，在图5中表示对由虚线所示的切出区域E进行图像变换从而得到由虚线所示的平面正规图像T的模型。

进而，如图5所示，不改变切出中心点P(x₀，y₀)而将视点矢量n的朝向设为一定，通过施加用于使开始图像变换的点移动的偏移，得到对切出区域E’进行了图像变换的平面正规图像T’。另外，在图5中还表示对由实线所示的切出区域E’进行图像变换从而得到由实线所示的平面正规图像T’的模型。

此外，如图5以及图6所示，在平面正规图像T中，将点G(x_g，y_g，z_g)设为原点，将失真圆形图像S所包含的切出区域E的开始图像变换的点设为点Ts(u_s，v_s)。对该开始图像变换的点Ts(u_s，v_s)向U轴向和V轴向施加偏移，改变开始图像变换的点从而得到平面正规图像T’。施加了偏移的平面正规图像T’的开始图像变换的点成为点Ts’(u_s’，v_s’)。此外平面正规图像T’是与视线矢量n垂直的平面。

在对图像变换I应用了偏移功能的情况下，对应关系式如式(13)以及式(14)所示。

[数4]

$x=\frac{R\{(u_s+u_{\mathrm{os}})A+(v_s+v_{\mathrm{os}})B+\mathrm{wC}\}}{\sqrt{{(u_s+u_{\mathrm{os}})}^2+{(v_s+v_{\mathrm{os}})}^2+w^2}}---\left(13\right)$

$y=\frac{R\{(u_s+u_{\mathrm{os}})D+(v_s+v_{\mathrm{os}})E+\mathrm{wF}\}}{\sqrt{{(u_s+u_{\mathrm{os}})}^2+{(v_s+v_{\mathrm{os}})}^2+w^2}}---\left(14\right)$

在此，对2维UV坐标上的开始图像变换的点Ts(u_s，v_s)分别加上偏移值u_os，v_os。成为u_s’＝u_s+u_os以及v_s’＝v_s+v_os。

接着，表示对图像变换II应用了偏移功能的情况下的对应关系式。

在对2维UV弯曲坐标上的开始图像变换的点分别添加了偏移值u_os，v_os的情况下，对应于式(10)至式(12)，得到式(15)至式(17)。

[数5]

$\mathrm{\θ}=\frac{(u_s+u_{\mathrm{os}})}{w}---\left(15\right)$

$u^{\′}=w\·\sin \frac{(u_s+u_{\mathrm{os}})}{w}---\left(16\right)$

$w^{\′}=w\·\cos \frac{(u_s+u_{\mathrm{os}})}{w}---\left(17\right)$

然后，对应关系式如式(18)以及式(19)所示。

[数6]

$x=\frac{R\{u^{\′}A+(v_s+v_{\mathrm{os}})B+w^{\′}C\}}{\sqrt{u^{\′2}+{(v_s+v_{\mathrm{os}})}^2+w^{\′2}}}---\left(18\right)$

$y=\frac{R\{u^{\′}D+(v_s+v_{\mathrm{os}})E+w^{\′}F\}}{\sqrt{u^{\′2}+{(v_s+v_{\mathrm{os}})}^2+w^{\′2}}}---\left(19\right)$

通过这样对图像变换I或者图像变换II应用偏移，从开始图像变换的点起依次通过扫描而改变坐标的值，从而能够得到平面正规图像。

另外，在图像变换I或者图像变换II中，是由非正射影方式的鱼眼镜头拍摄的非正射影图像的情况下，使用正射影图像上的坐标和非正射影图像上的坐标之间的坐标变换式，校正切出中心点P的坐标，定义通过校正后的点且与Z轴平行的直线和所述虚拟球面的交点Q，将所述原点O作为基点而通过交点Q的矢量设为视线矢量n即可。

此外，在视角比180°小的情况下，虚拟球面H的半径被设定为视角180°，变得比失真圆形图像的半径大。在视角比180°大的情况下，虚拟球面H的半径被设定为视角180°，因此180°以上的视角的部分的失真圆形图像通过向虚拟球面H的中心折回的形式来设定。

[2.图像显示系统的动作]

接着，使用图7至图17说明本发明的一实施方式所涉及的图像显示系统的动作。

如图7所示，图像处理装置10取得失真圆形图像(步骤S1)。具体而言，图像处理装置10的图像生成部12从照相机2取得照相机2所拍摄的失真圆形图像S。然后，图像处理装置10的图像生成部12将失真圆形图像S在显示用监视器5中显示。在此，如图8所示，照相机2的朝向设为水平方向。设为照相机2拍摄3人并排坐在处于照相机2的斜下方的长凳上的图像。另外，图像处理装置10根据失真圆形图像S求得失真圆形图像的半径R，或从参数输入部3取得失真圆形图像的半径R。如此，图像处理装置10作为取得通过使用了广角镜头或者全向镜所拍摄而得到的失真图像的失真图像取得部件的一例而发挥作用。

接着，图像处理装置10对失真圆形图像设定切出区域的切出中心点(步骤S2)。具体而言，由注视显示用监视器5的用户向参数输入部3输入失真圆形图像S中的切出区域的切出中心点的坐标。然后，图像生成部12从参数输入部3取得切出区域的切出中心点的坐标的信息，对失真圆形图像S设定切出区域E的切出中心点。如此，图像处理装置10作为设定用于从失真图像切出一部分的切出区域的切出基准点的切出基准点设定部件的一例而发挥作用。

接着，图像处理装置10将虚拟球面的中心作为基点，设定与切出中心点对应的视点矢量(步骤S3)。如图5所示，通过设定切出中心点P(x₀，y₀)，从而决定方位角α、以及天顶角β。决定方位角α、以及天顶角β等同于设定视点矢量的方向。此外，设定视点矢量n相当于设定从式(3)至式(8)的A至F，决定对应关系式(1)以及(2)。另外，若设为平面倾斜角，则式(3)至式(8)的A至F被设定。此外，视点矢量n的长度也可以是OG间的距离m·R。此外，平面倾斜角的值也可以是用户能够通过参数输入部3指定的。

在图5所示的情况下，切出中心点P(x₀，y₀)被设定，方位角α、天顶角β被决定，视点矢量n被设定。该视点矢量n被设定为将虚拟球面S的中心O作为基点、朝向从切出中心点P(x₀，y₀)与Z轴平行地延伸的直线和虚拟球面H交叉的交点(x₀，y₀，z₀)的方向。

在图8所示的情况下，切出区域E的切出中心点被设定为失真圆形图像S的中心O，方位角α＝0、天顶角β＝0被决定，视点矢量n成为水平方向。

图像处理装置10的图像生成部12根据被输入至参数输入部3的切出中心点的坐标值，设定视点矢量n的方向。即，图像处理装置10的图像生成部12根据被输入至参数输入部3的切出中心点的坐标值，设定方位角α、以及天顶角β。另外，也可以是用户向参数输入部3输入方位角α、以及天顶角β的参数的值，从而设定切出中心点。

这样，图像处理装置10作为将失真图像的拍摄的视点作为基点、设定与切出基准点对应的视线矢量的视线矢量设定部件的一例而发挥作用。此外，图像处理装置10作为设定从虚拟球面的中心、朝向与包含失真图像的平面正交且通过切出基准点的直线和虚拟球面交叉的交点的视线矢量的视线矢量设定部件的一例而发挥作用。此外，图像处理装置10作为接受用于确定视线矢量的参数的输入，从而设定视线矢量的视线矢量设定部件的一例而发挥作用。

接着，图像处理装置10基于视点矢量，设定与切出区域对应的平面正规图像的区域(步骤S4)。具体而言，用户操作参数输入部3，指定与切出区域E对应的平面正规图像T的尺寸以及倍率m。然后，图像生成部12取得从参数输入部3指定的平面正规图像T的尺寸的信息，基于视点矢量n设定2维UV正交坐标系中的平面正规图像T。此时，还设定施加偏移之前的开始图像变换的点Ts(u_s，v_s)。另外，在图8所示的情况下，设定与向显示用监视器5输出的平面正规图像20对应的平面正规图像T的尺寸。另外，在图像变换II的2维UV弯曲坐标系的情况下，平面正规图像T设为平面正规图像C(以下相同)。

这样，图像处理装置10作为根据切出基准点设定切出区域的切出区域设定部件的一例而发挥作用。此外，图像处理装置10作为在视线矢量的方向交叉的交点上，与视线矢量正交的面内，设定与切出区域对应的平面正规图像的区域的切出区域设定部件的一例而发挥作用。

接着，图像处理装置10取得平面正规图像的区域的偏移开始位置(步骤S5)。具体而言，用户操作参数输入部3，指定将平面正规图像T向哪个方向移动多少距离而进行偏移。然后，图像生成部12取得从参数输入部3指定的与偏移相关的信息，设定平面正规图像的区域的偏移开始位置。更具体而言，图像生成部12设定添加了偏移的平面正规图像T’的开始图像变换的点Ts’(us’，vs’)。另外，图像生成部12经由参数输入部3取得应用对应关系式(1)和(2)、对应关系式(1’)和(2’)、对应关系式(13)和(14)、以及对应关系式(18)和(19)的哪个图像变换式的信息。

这样，图像处理装置10作为使所述切出区域从切出基准点移动规定的距离的偏移部件的一例而发挥作用。此外，图像处理装置10作为在与视线矢量正交的面内，使所设定的平面正规图像的区域移动的偏移部件的一例而发挥作用。

接着，图像处理装置10根据视线矢量，求得与平面正规图像的区域的各点对应的失真圆形图像的像素值(步骤S6)。具体而言，图像处理装置10的图像生成部12将与视线矢量对应的方位角α、天顶角β、以及与倍率m相关的数据、失真圆形图像的半径R的数据、平面倾斜角的数据，发送至校正/运算部11。校正/运算部11根据接收到的方位角α、天顶角β、平面倾斜角、倍率m、以及半径R，应用式(13)以及式(14)，算出值A、B、C、D、E、F、以及w而设定。进而，图像生成部12将进行对应关系式(1)和(2)、对应关系式(1’)和(2’)、对应关系式(13)和(14)、以及对应关系式(18)和(19)的哪个变换的信息发送至校正/运算部11。进而还在使用偏移功能的情况下，图像处理装置10的图像生成部12将与偏移开始位置(点Ts’(u_s’，v_s’))相关的数据(偏移值u_os、v_os的数据)发送至校正/运算部11。然后，能够基于平面正规图像T或者平面正规图像T’的坐标值，根据对应关系式(1)和(2)、对应关系式(1’)和(2’)、对应关系式(13)和(14)、以及对应关系式(18)和(19)，即，根据视线矢量，计算失真圆形图像的像素值。

然后，图像生成部12从开始图像变换的点Ts’(us’，vs’)，对平面正规图像T’一个像素一个像素地扫描平面正规图像的区域，并按顺序将该像素的坐标的数据发送至校正/运算部11。校正/运算部11根据对应关系式(1)和(2)、对应关系式(1’)和(2’)、对应关系式(13)和(14)、以及对应关系式(18)和(19)，依次运算与平面正规图像T’对应的失真圆形图像E’的像素值。另外，图8所示的情况是对于图像变换II应用了偏移功能时的利用了对应关系式(18)和(19)的情况。另外，扫描的方向可以是u方向、v方向的任一个。

接着，图像处理装置10将求得的失真圆形图像的像素值设为平面正规图像的像素值(步骤S7)。具体而言，图像处理装置10的图像生成部12依次取得由校正/运算部11运算的失真圆形图像E’的像素值。然后，图像生成部12根据取得的像素值，在平面正规图像T’的位置上绘出失真圆形图像E’的像素值而生成平面正规图像。

这样，图像处理装置10作为通过根据视线矢量从失真图像变换为平面正规图像的图像变换变换被移动的切出区域的图像变换部件的一例而发挥作用。此外，图像处理装置10作为根据视线矢量求得与被移动的平面正规图像的区域的各点对应的失真图像的像素值并将该求得的失真图像的像素值设为平面正规图像的像素值的图像变换部件的一例而发挥作用。

这样，图像处理装置10作为通过设定图像变换I以及图像变换II的对应关系式，设定将失真图像的中心作为中心的虚拟球面的虚拟球面设定部件的一例而发挥作用。

接着，图像处理装置10显示平面正规图像(步骤S8)。具体而言，图像处理装置10的图像生成部12将生成的平面正规图像对显示监视器5发送，在显示监视器5上显示平面正规图像。在图8的情况下，平面正规图像20被显示在显示监视器5上。如图8所示，在平面正规图像20中，拍摄于平面正规图像20的边缘的人物也被拍摄在图中大致垂直方向上。

另外，如图9所示，若将视线矢量n的朝向设为向下看的状态，则在平面正规图像21的边缘拍摄的人物和椅子被倾斜地拍摄。

在照相机2拍摄动态图像的情况下，图像处理装置10在各帧图像中，重复上述步骤，生成动态图像的平面正规图像，并使其显示于显示监视器5。

接着，使用图10至图18说明照相机2的设定的变形例、以及平面正规图像的显示的方法。

首先，使用图10至图15，说明设定了多个切出基准点的例。

如图10所示，在本实施方式中，在车体作为后方确认用照相机，将照相机2向水平朝向安装。

如图11所示，在车体的后部具备鱼眼照相机的车进行后方停车时，图像处理装置10取得由照相机2拍摄的失真圆形图像的原图像(步骤S1)。

然后，如图12所示，为了显示俯视图像等，图像处理装置10在相对于车体垂直方向上设定切出中心点(步骤S2)。如图11所示，对失真圆形图像设定切出中心点P1。

此时，成为方位角α＝0°以及天顶角β＝90°，视点矢量n成为X轴的朝向(步骤S3)。然后，图像处理装置10设定平面正规图像T’的尺寸(步骤S4)。

接着，如图10所示，在要调整图像的显示位置以使车体的保险杠的部分不显示的情况下，如图12所示，图像处理装置10在将视点矢量n固定在相对于镜头的光轴(Z轴)垂直方向上的状态下，设定从平面正规图像T向平面正规图像T’的位置沿着Z轴向移动的偏移(步骤S5)。然后，图像处理装置10应用图像变换I，即，应用对应关系式(式(13)以及(14))，生成作为俯视图像的平面正规图像T’(步骤S6、S7)。

接着，如图13所示，图像处理装置10将俯视图像26显示于显示用监视器5的图像25的下侧(步骤S8)。

接着，关于显示用监视器5的图像25的全景图像27，如图14所示，图像处理装置10将切出中心点设定为相对于车体水平方向上(步骤S2)。如图11所示，对失真圆形图像设定切出中心点P2。

此时，成为方位角α＝0°以及天顶角β＝0°，视点矢量n成为Z轴的朝向(步骤S3)。然后，图像处理装置10设定全景图像用的平面正规图像T’的尺寸(步骤S4)。

接着，在要通过偏移功能调整全景图像的图像显示位置的情况下，如图15所示，图像处理装置10在将视点矢量n固定在镜头的光轴上的状态下，设定从平面正规图像T向平面正规图像T’的位置、在2维UV坐标系上例如向X轴向移动的偏移(步骤S5)。然后，图像处理装置10应用图像变换II，即，应用对应关系式(式(18)以及(19))，生成作为全景图像27的平面正规图像T’(步骤S6、S7)。

接着，如图13所示，图像处理装置10将全景图像27显示于显示用监视器5的图像25的上侧(步骤S8)。

接着，使用图16至图18，说明设定多个切出基准点的例子。

图16表示在车体的前部具备照相机2的车在T字路停车的俯视图。

如图16所示，作为车体的前方确认用照相机，将照相机2向水平朝向安装。

在车体的前部具备照相机2的车在T字路停车时，如图17所示，图像处理装置10取得由照相机2拍摄的失真圆形图像的原图像。

接着，如图18所示，为了生成图像30的全景图像31，图像处理装置10对失真圆形图像设定切出中心点P3，设定全景图像31用的平面正规图像的尺寸。然后，图像处理装置10使其向图17中的箭头的方向偏移，通过图像变换II，生成全景图像31。另外，全景图像31是图17中对失真圆形图像的虚线段进行图像变换而全景显示的图像。

接着，为了生成图像30的部分扩大图像32，图像处理装置10对失真圆形图像设定切出中心点P3，设定部分扩大图像32用的平面正规图像的尺寸。然后，图像处理装置10使其向图17中的箭头的方向偏移，通过图像变换I或者图像变换II，生成部分扩大图像32。

接着，为了生成图像30的部分扩大图像33，图像处理装置10对失真圆形图像设定切出中心点P4，设定部分扩大图像33用的平面正规图像的尺寸。然后，图像处理装置10使其向图17中的箭头的方向偏移，通过图像变换I或者图像变换II，生成部分扩大图像32。

以上，根据本实施方式，取得由使用了广角镜头或者全向镜的照相机2所拍摄的失真圆形图像(失真图像的一例)S，设定用于从失真圆形图像S切出一部分的切出区域的切出中心点P(切出基准点的一例)，根据切出中心点P，设定切出区域E，将失真圆形图像S的拍摄的视点作为基点，设定与切出中心点P对应的视线矢量n，将切出区域E从切出中心点P移动规定的距离，通过根据视线矢量n从失真圆形图像S变换为平面正规图像T、C的图像变换(对应关系式(1)和(2)、对应关系式(1’)和(2’)、对应关系式(13)和(14)、以及对应关系式(18)和(19))，变换被移动的切出区域E’，从而能够根据由1台照相机拍摄的失真图像，生成更自然的图像。

特别是，能够通过在固定了视线矢量n的状态下移动切出区域的偏移功能，根据图像变换的各种对应关系式，得到更自然的平面正规图像。例如，如图8所示，离开失真圆形图像的中心，从而能够更自然地生成全景模式的平面正规图像。从而，即使在由相对于车辆水平的朝向上设置的照相机得到失真圆形图像的情况下，也生成更自然的图像，因此用户变得易于确认地面方向的障碍物等物体的状况。特别是，在使用了图像变换II的情况下，变得易于识别相对于车体等水平方向的物体。

此外，图像处理装置10根据由1台照相机2拍摄的失真圆形图像，生成平面正规图像，因此不需要对图像进行合成。进而，根据由1台照相机2拍摄的失真圆形图像，能够生成平面正规图像，因此能够降低成本。

此外，若对如图8所示那样将视线矢量n固定在水平方向并使用偏移功能拍摄的情况、以及如图9所示那样不使用偏移功能而将视线矢量n向人物的方向拍摄的情况进行比较，则在图9的平面正规图像21中，视点矢量n的朝向成为俯视的状态，因此成为人物和椅子的垂直方向倾斜而有不协调感的图像。另一方面，在图8的平面正规图像20中，视点矢量n的朝向成为向水平方向的状态，因此成为人物和椅子的垂直方向不倾斜而没有不协调感的图像。从而，由于人物被垂直地显示，因此能够容易从平面正规图像20检测人物，变得易于进行图像识别。此外，外侧部分(轮廓附近)的失真减轻，变得易于确认人物的细致的特征。从而从人眼看，识别距离感觉和判断物体变得容易。

此外，在一般的后方确认用照相机的情况下，为了显示俯视图像，需要将照相机从相对于车体水平方向向垂直方向一定程度地倾斜而设置，但对后方确认用照相机的安装角度限制被缓和，能够扩大视野范围。

此外，设定将失真图像的一例的失真圆形图像S的中心O作为中心的虚拟球面H，设定从虚拟球面H的中心、朝向与包含失真图像的平面正交且通过切出基准点的直线和虚拟球面H交叉的交点Q的视线矢量n情况下，能够得到减轻了失真的平面正规图像。此外，易于算出上述的图像变换I和图像变换II的对应关系式。

此外，在接受用于确定视线矢量n的参数的输入，设定视线矢量，在视线矢量n的方向交叉的交点Q中与视线矢量n正交的面内，设定与切出区域E对应的平面正规图像T的区域，在与视线矢量正交的面内，使被设定的平面正规图像T的区域移动，根据视线矢量n，求得与被移动的平面正规图像T’的区域的各点对应的失真图像的像素值，将该求得的失真图像的像素值设为平面正规图像T’的像素值的情况下，能够得到减轻了失真的平面正规图像。此外，易于算出具有偏移功能的图像变换I和图像变换II的对应关系式。

此外，在视线矢量n的方向交叉的交点Q中与视线矢量正交的面是圆柱的面C的情况下，能够得到减轻了失真的全景图像的平面正规图像。

此外，在设定与各视线矢量相应的切出区域，将各切出区域变换为平面正规图像，将图像变换部件求得的各平面正规图像在一个显示部件中显示的情况下，根据用途，能够组合显示组合了图像变换I、图像变换II以及偏移功能的、失真图像的各种方向中的高精度的平面正规图像。

例如，如图13和图18所示，能够并用图像变换I和图像变换II的平面正规图像而显示图像。如图13所示，通过全景图像27，能够易于准确地确认右端、左端的物体和人物，通过俯视图像26，能够易于确认停车时的路缘石和障碍物。

另外，如图19所示，照相机2也可以被设定在车体的后部，使镜头的光轴相对于车体垂直。此时，为了显示图13的俯视图像26，也可以使视点矢量n向光轴向，使用不利用偏移功能的、图像变换I或图像变换II的对应关系式。此外，为了使保险杠不进入，可以利用偏移功能，也可以改变视点矢量n的方向。进而，为了显示图13的全景图像27，也可以使视点矢量n向光轴向，通过偏移功能，使平面正规图像T’沿着水平方向移动，使用图像变换II的对应关系式。

此外，如图20所示，也可以在公交车的驾驶席的上部设置照相机2，显示客席的方向的图像34和俯视驾驶席的图像35。由1台照相机易于掌握公交车车内整体的情形。若将这些图像用于图像识别，则易于进行人的识别、车内的人数的掌握、面部的识别。

此外，如图21所示，也可以在ATM(Automatic teller machine，自动取款机)的上部设置照相机2，显示向ATM的利用者的方向的图像36和俯视ATM的输入部分的图像37。由1台照相机易于掌握ATM的利用者的情形和操作的情形。若将这些图像用于图像识别，则易于进行面部的识别、操作的识别。

另外，由图像显示系统1和图像处理装置10进行的处理也可以通过具有CPU(Central Processing Unit，中央处理单元)的计算机进行。通过计算机进行图像变换I、图像变换II、偏移功能等运算。

进而，本发明不限定于上述各实施方式。上述各实施方式是例示，具有与本发明的权利要求书所记载的技术思想实质上相同的结构，实现同样的作用效果的实施方式都包含于本发明的技术的范围。

标号说明

1：图像显示系统(图像显示装置)

2：照相机

3：参数输入部

4：帧存储器

5：显示用监视器(显示部件)

10：图像处理装置

11：校正/运算部

12：图像生成部

S：失真圆形图像(失真图像)

P：切出中心点(切出基准点)

E、E’：切出区域

n：视线矢量

T、T’、C：平面正规图像

H：虚拟球面

Claims (9)

1.一种图像处理装置，其特征在于，具备：

失真图像取得部件，取得通过使用了广角镜头或者全向镜所拍摄而得到的失真图像；

切出基准点设定部件，设定用于从所述失真图像切出一部分的切出区域的切出基准点；

切出区域设定部件，根据所述切出基准点，设定切出区域；

视线矢量设定部件，将所述失真图像的拍摄的视点作为基点，设定与所述切出基准点对应的视线矢量；

偏移部件，使所述切出区域从所述切出基准点移动规定的距离；以及

图像变换部件，通过根据所述视线矢量从所述失真图像变换为平面正规图像的图像变换，变换所述移动的切出区域。

2.如权利要求1所述的图像处理装置，其特征在于，还具备：

虚拟球面设定部件，设定将所述失真图像的中心作为中心的虚拟球面，

所述视线矢量设定部件设定从所述虚拟球面的中心、朝向与包含所述失真图像的平面正交且通过所述切出基准点的直线和所述虚拟球面交叉的交点的视线矢量。

3.如权利要求1或权利要求2所述的图像处理装置，其特征在于，

所述视线矢量设定部件接受用于确定所述视线矢量的参数的输入，设定所述视线矢量，

所述切出区域设定部件在于所述视线矢量的方向交叉的交点与所述视线矢量正交的面内，设定与所述切出区域对应的所述平面正规图像的区域，

所述偏移部件在与所述视线矢量正交的面内，使所述设定的平面正规图像的区域移动，

所述图像变换部件根据所述视线矢量，求得与所述移动的平面正规图像的区域的各点对应的所述失真图像的像素值，将该求得的所述失真图像的像素值设为所述平面正规图像的像素值。

4.如权利要求3所述的图像处理装置，其特征在于，

与所述视线矢量正交的面是圆柱的面。

5.如权利要求1至4的任一项所述的图像处理装置，其特征在于，

所述视线矢量设定部件设定多个视线矢量，

所述切出区域设定部件设定与各视线矢量相应的切出区域，

所述图像变换部件将各所述切出区域变换为平面正规图像，

将所述图像变换部件求得的各平面正规图像在一个显示部件中显示。

6.一种图像处理方法，用于图像处理装置处理图像，其特征在于，包含：

失真图像取得步骤，取得通过使用了广角镜头或者全向镜所拍摄而得到的失真图像；

切出基准点设定步骤，设定用于从所述失真图像切出一部分的切出区域的切出基准点；

切出区域设定步骤，根据所述切出基准点，设定切出区域；

视线矢量设定步骤，将所述失真图像的拍摄的视点作为基点，设定与所述切出基准点对应的视线矢量；

偏移步骤，使所述切出区域从所述切出基准点移动规定的距离；以及

图像变换步骤，通过根据所述视线矢量从所述失真图像变换为平面正规图像的图像变换，变换所述移动的切出区域。

7.一种图像处理装置用程序，使计算机作为以下部件发挥作用：

失真图像取得部件，取得通过使用了广角镜头或者全向镜所拍摄而得到的失真图像；

切出基准点设定部件，设定用于从所述失真图像切出一部分的切出区域的切出基准点；

切出区域设定部件，根据所述切出基准点，设定切出区域；

视线矢量设定部件，将所述失真图像的拍摄的视点作为基点，设定与所述切出基准点对应的视线矢量；

偏移部件，使所述切出区域从所述切出基准点移动规定的距离；以及

图像变换部件，通过根据所述视线矢量从所述失真图像变换为平面正规图像的图像变换，变换所述移动的切出区域。

8.一种记录介质，计算机可读取地记录有图像处理装置用程序，所述图像处理装置用程序使计算机作为以下部件发挥作用：

失真图像取得部件，取得通过使用了广角镜头或者全向镜所拍摄而得到的失真图像；

切出基准点设定部件，设定用于从所述失真图像切出一部分的切出区域的切出基准点；

切出区域设定部件，根据所述切出基准点，设定切出区域；

视线矢量设定部件，将所述失真图像的拍摄的视点作为基点，设定与所述切出基准点对应的视线矢量；

偏移部件，使所述切出区域从所述切出基准点移动规定的距离；以及

图像变换部件，通过根据所述视线矢量从所述失真图像变换为平面正规图像的图像变换，变换所述移动的切出区域。

9.一种图像显示装置，其特征在于，具备：

失真图像取得部件，取得通过使用了广角镜头或者全向镜所拍摄而得到的失真图像；

切出基准点设定部件，设定用于从所述失真图像切出一部分的切出区域的切出基准点；

切出区域设定部件，根据所述切出基准点，设定切出区域；

视线矢量设定部件，将所述失真图像的拍摄的视点作为基点，设定与所述切出基准点对应的视线矢量；

偏移部件，使所述切出区域从所述切出基准点移动规定的距离；

图像变换部件，通过根据所述视线矢量从所述失真图像变换为平面正规图像的图像变换，变换所述移动的切出区域；以及

显示部件，显示由所述图像变换部件得到的平面正规图像。