CN103283214B - 摄像机、畸变校正装置以及畸变校正方法 - Google Patents

Abstract

本发明中，电子变焦及畸变校正处理单元(104)通过将歪曲图像的像素进行再映射，从而对歪曲图像实施电子变焦处理和畸变校正处理。再映射控制单元(110)对电子变焦及畸变校正处理单元(104)的再映射进行控制，以根据被指定的电子变焦倍率(S1)，除了变更电子变焦处理的电子变焦倍率以外，还变更畸变校正处理的校正率(S4)。由此，校正率S4根据被指定的电子变焦倍率(S1)而被变更，从而能够抑制变成不自然的图像，同时能够准确地校正歪曲图像。

Description

摄像机、畸变校正装置以及畸变校正方法

技术领域

本发明涉及对使用鱼眼镜头等广角镜头拍摄到的歪曲图像进行校正的摄像机、畸变校正装置以及畸变校正方法。

背景技术

一般而言，使用鱼眼镜头等广角镜头拍摄的图像成为越到周边部越歪曲的图像。

在图1中，表示以往的畸变校正的情况。图1表示使用广角镜头拍摄相互平行的黑白横条纹所得到的图像。图1A表示畸变校正前的图像，可知由于光学畸变，越到周边部越产生歪曲。图1B表示畸变校正后的图像，其中虽然消除了周边部的歪曲，但周边部被放大，所以成为不自然的图像。

因此，以往提出了用于校正畸变并且尽量获得自然的图像的许多畸变校正技术。

例如，专利文献1中公开了如下的技术：准备用于校正畸变的函数和用于不校正畸变的函数，复合利用这些函数，从而进行视觉上自然的畸变校正。

另外，专利文献2中公开了如下的技术：根据从歪曲图像截取的图像的坐标(X轴、Y轴的值)设定放大率(变换函数)，并利用该放大率进行图像转换，从而进行视觉上自然的畸变校正。

现有技术文献

专利文献

专利文献1：日本特开2004-199350号公报

专利文献2：日本特开2009-124627号公报

专利文献3:日本专利第3051173号公报

发明内容

发明要解决的问题

另一方面，最近的摄像机一般搭载有电子变焦处理功能。但是，以往并未充分地研究电子变焦和畸变校正之间的关系。

本发明的目的在于，通过充分地研究电子变焦处理和畸变校正处理之间的关系，从而提供摄像机、畸变校正装置以及畸变校正方法，其在对使用广角镜头拍摄到的歪曲图像实施电子变焦处理和畸变校正处理两者的情况下，能够抑制变成不自然的图像，同时能够准确地校正歪曲图像。

解决问题的方案

本发明的摄像机的一个形态包括：镜头，将被摄体成像；摄像元件，将通过所述镜头成像的光学图像转换为电信号，从而获得摄像图像信号；以及电子变焦及畸变校正处理单元，对所述摄像图像信号实施电子变焦处理及畸变校正处理，所述电子变焦及畸变校正处理单元根据指定的电子变焦倍率，除了变更所述电子变焦处理的电子变焦倍率以外，还变更所述畸变校正处理的校正率，在垂直方向的直线的畸变校正中，所述校正率为100％，在水平方向的直线的畸变校正中，所述校正率根据所述电子变焦倍率而被变更。

本发明的畸变校正装置的一个形态包括：电子变焦及畸变校正处理单元，通过将歪曲图像的像素进行再映射，从而对所述歪曲图像实施电子变焦处理及畸变校正处理；以及再映射控制单元，对所述电子变焦及畸变校正处理单元的再映射进行控制，以根据被指定的电子变焦倍率，除了变更所述电子变焦处理的电子变焦倍率以外，还变更所述畸变校正处理的校正率，在垂直方向的直线的畸变校正中，所述校正率为100％，在水平方向的直线的畸变校正中，所述校正率根据所述电子变焦倍率而被变更。

本发明的畸变校正方法的一个形态包括以下步骤：电子变焦及畸变校正处理步骤，通过将歪曲图像的像素进行再映射，从而对所述歪曲图像实施电子变焦处理及畸变校正处理；以及再映射控制步骤，对所述电子变焦及畸变校正处理步骤中的再映射进行控制，以根据被指定的电子变焦倍率，除了变更所述电子变焦处理的电子变焦倍率以外，还变更所述畸变校正处理的校正率，在垂直方向的直线的畸变校正中，所述校正率为100％，在水平方向的直线的畸变校正中，所述校正率根据所述电子变焦倍率而被变更。

发明的效果

根据本发明，在对使用广角镜头拍摄到的歪曲图像实施电子变焦处理和畸变校正处理两者的情况下，能够抑制变成不自然的图像，同时能够准确地校正歪曲图像。

附图说明

图1是表示以往的畸变校正的情况的图，图1A是表示畸变校正前的图像的图，图1B是表示畸变校正后的图像的图。

图2是表示实施方式的摄像机的结构的框图。

图3是表示使用广角镜头时的镜头成像特性和电子变焦视角的图。

图4是表示用于求与电子变焦倍率对应的校正率的图表的图，图4A是表示在镜头视角为120°时使用的图表的图，图4B是表示在镜头视角为140°时使用的图表的图，图4C是表示在镜头视角为180°时使用的图表的图。

图5是表示对于同一镜头视角准备电子变焦倍率与校正率的多种对应表的例子的图。

图6是表示示出了校正状况和校正结果的图形的显示例的图，图6A是表示电子变焦视角为±30°以下的显示图像的图，图6B是表示电子变焦视角为±30°以上且±60°以下的显示图像的图，图6C是表示电子变焦视角为±60°以上的显示图像的图。

图7是表示示出了校正状况和校正结果的图形的其他显示例的图。

标号说明

100 摄像机

101 广角镜头

104 电子变焦及畸变校正处理单元

105 校正状况重叠单元

110 再映射控制单元

111 变焦视角计算单元

112 读取地址生成单元

113 校正率确定单元

S1 电子变焦倍率

S2 镜头视角

S3 电子变焦视角

S4 校正率

S5 读取地址

具体实施方式

下面，参照附图详细地说明本发明的实施方式。

图2表示本实施方式的摄像机的结构。摄像机100是例如监视摄像机等所谓广角摄像机，其对拍摄到的歪曲图像实施畸变校正处理。另外，摄像机100具有电子变焦功能。

摄像机100具有鱼眼镜头等广角镜头101，通过该广角镜头101将被摄体的图像成像在摄像元件102上。摄像元件102由CCD(电荷耦合器件)等构成，通过将成像的光学图像转换为电信号，从而获得摄像图像信号。摄像机处理单元103对从摄像元件102输出的摄像图像信号实施伽马处理、矩阵处理等，并将处理后的信号输出到电子变焦及畸变校正处理单元104。

电子变焦及畸变校正处理单元104例如由图像存储器和插补电路构成，其中，从图像存储器的读取和插补受后述的再映射控制单元110的控制。由此，像素的位置和图像信号得到再映射，实现电子变焦处理和畸变校正处理。

再映射控制单元110对电子变焦及畸变校正处理单元104的再映射进行控制。再映射控制单元110被输入用户指定的电子变焦倍率S1和镜头视角S2。用户例如通过操作部(未图示)指定电子变焦倍率S1。镜头视角S2是广角镜头101的镜头视角。镜头视角S2被存储在存储器(未图示)中，在使用同一镜头视角的广角镜头时，其为固定值，而在使用可变更镜头视角的广角镜头(变焦镜头)时或者交换广角镜头时，相应地被变更。

变焦视角计算单元111被输入电子变焦倍率S1和镜头视角S2。变焦视角计算单元111基于电子变焦倍率S1和镜头视角S2，计算电子变焦后的视角即电子变焦视角S3，将其输出到读取地址生成单元112。

图3表示使用广角镜头时的镜头成像特性和电子变焦视角。图中的虚线表示镜头的成像特性。若镜头的视角有变化，则图中以虚线表示的镜头的成像特性也相应地变化。图中的点划线表示电子变焦视角。当然，该电子变焦视角的大小与镜头视角和电子变焦倍率相应地变化。

这里，将电子变焦倍率设为Z1、Z2、Z3，假定Z1＞Z2＞Z3。在被指定最大值的电子变焦倍率Z1时，截取图中的以R1表示的狭角的图像显示范围，以电子变焦倍率Z1放大该图像显示范围R1后进行显示。另外，在被指定中间值的电子变焦倍率Z2时，截取图中的以R2表示的中角的图像显示范围，以电子变焦倍率Z2放大该图像显示范围R2后进行显示。在被指定最小值的电子变焦倍率Z3时，截取图中的以R3表示的广角的图像显示范围，以电子变焦倍率Z3放大该图像显示范围R3后(在电子变焦倍率Z3为1时不进行放大)进行显示。

校正率确定单元113基于电子变焦倍率S1和镜头视角S2来确定校正率S4，将其输出到读取地址生成单元112。

在本实施方式的情况下，校正率确定单元113具有如图4A、图4B和图4C所示的、与镜头视角S2相应的多种图表，使用该多种图表中的与被输入的镜头视角S2相应的图表，确定校正率S4并输出。

在图4中，作为一例，示出了在镜头视角为120°(在图中表示为±60°)时使用的图表(图4A)、在镜头视角为140°(在图中表示为±70°)时使用的图表(图4B)、以及在镜头视角为180°(在图中表示为±90°)时使用的图表(图4C)三种图表，但也可以根据镜头视角而具有更多的图表。另外，在准备的图表中没有与镜头视角对应的图表时，也可以代替使用最接近的镜头视角的图表。

在镜头视角S2为120°的情况下，校正率确定单元113使用图4A的图表，输出与电子变焦倍率S1对应的校正率S4。另外，在镜头视角S2为140°的情况下，使用图4B的图表，输出与电子变焦倍率S1对应的校正率S4。另外，在镜头视角S2为180°的情况下，使用图4C的图表，输出与电子变焦倍率S1对应的校正率S4。此外，若确定镜头视角S2，则唯一地确定电子变焦倍率S1与电子变焦后的视角(电子变焦视角)之间的关系，因此在图中，横轴上表示电子变焦倍率和电子变焦后的视角两者。

另外，有时即使镜头视角S2为相同，畸变特性根据镜头特性而不同，因此，如图5所示，也可以对于同一镜头视角，准备电子变焦倍率与校正率的多种对应表。

首先，读取地址生成单元112基于被输入的电子变焦视角S3，生成用于将电子变焦视角S3的图像形成为完全无畸变的状态的读取地址。例如专利文献3中所公开那样，此时的读取地址的生成是以往提出的已知技术，因此这里省略详细的说明。简单而言，相对于图1A所示的歪曲图像，生成用于形成如图1B所示的完全校正了畸变的图像的读取地址。

接下来，读取地址生成单元112将用于进行完全的畸变校正的读取地址，变更为用于实现由校正率确定单元113确定的校正率S4的畸变校正的读取地址，并输出该变更后的读取地址S5作为电子变焦及畸变校正处理单元104的读取地址。由式(1)定义校正率S4。以将正方形输出为正方形的中心投影为基准，进行定义。根据式(1)，通过式(2)求校正后的图像高度Y'。以图4、图5的图表那样提供校正率S4，根据式(2)求被输出的图像高度Y'。另外，这里为了容易理解校正率的意义，在生成用于将图像形成为完全无畸变的状态的读取地址后，根据校正率变更该读取地址，但在实际情况下，也可以直接生成与校正率对应的读取地址S5。

S4＝1–(Y0–Y')/(Y0–Yn)...(1)

Y'＝Y0–(1–S4)(Y0–Yn)...(2)

其中，Y0＝ftanθ(中心投影)

Yn＝fθ(等距离投影)或者Yn＝fsinθ(正投影)等

使用的广角镜头的特性

Y0：作为基准的图像高度，使用中心投影

Yn：使用的镜头的图像高度

Y'：校正后的图像高度

θ：作为基准的视场角,被确定为45～70度左右

f：使用的镜头的焦距

例如，在使用镜头视角S2为120°(±60°)的广角镜头101且被指定的电子变焦倍率S1为1.5倍的情况下，校正率确定单元113中使用图4A的图表，输出80％作为校正率S4。读取地址生成单元112不生成用于进行完全的畸变校正的读取地址，而生成用于进行80％的畸变校正的读取地址S5并输出。当然，该输出的读取地址S5也用于进行1.5倍的电子变焦。

另外，例如，在使用镜头视角S2为180°(±90°)的广角镜头101且被指定的电子变焦倍率S1为1.5倍的情况下，校正率确定单元113中使用图4C的图表，输出50％作为校正率S4。读取地址生成单元112不生成用于进行完全的畸变校正的读取地址，而生成用于进行50％的畸变校正的读取地址S5并输出。当然，该输出的读取地址S5也用于进行1.5倍的电子变焦。

电子变焦及畸变校正处理单元104利用读取地址S5进行像素的再映射和插补，形成实施了电子变焦处理及畸变校正处理后的图像信号S6，将其输出到校正状况重叠单元105。

校正状况重叠单元105除了输入实施了电子变焦处理和畸变校正处理的图像信号S6以外，还输入电子变焦视角S3和校正率S4。校正状况重叠单元105基于电子变焦视角S3和校正率S4，形成表示校正状况的图形，将其重叠在图像信号S6上。由此观看者能够确认，显示的图像是实施了何种程度的畸变校正的图像。特别是，在本实施方式中，根据被指定的电子变焦倍率S1来变更畸变校正率S4，因此显示表示了校正状况的图形非常有效。

图6表示示出了校正状况的图形的显示例。图中的虚线示意性地表示畸变的状态。图中的实线表示示出了校正状况的图形。图6是使用了镜头视角为180°(±90°)的广角镜头101的情况的例子(参照图4C)。

图6A示出电子变焦视角为±30°(60°)以下的显示图像，此时，也由图4C可知，进行完全的畸变校正(校正率100％的畸变校正)，因此作为表示校正状况的图形，显示示出了没有残留畸变的情况的长方形的图形。图6C示出电子变焦视角为±60°(120°)以上的显示图像，此时，也由图4C可知，进行校正率50％以下的畸变校正，因此作为表示校正状况的图形，显示示出了残留有某种程度的畸变的情况的桶形的图形。图6B示出电子变焦视角为±30°(60°)以上且±60°(120°)以下的显示图像，此时，作为表示校正状况的图形，显示图6A和图6C的中间的图形。

另外，在图6的例子中，在中心部和周边部，分别显示了表示校正状况的图形。由图6B和图6C的表示校正状况的图形可知，与中心附近相比，在周边部残留有较多的畸变。

图7是将表示图6的周边部的校正状况的图形显示在显示图像的右上方的例子。另外，在图6和图7中示出了将表示校正状况的图形进行显示的例子，但也可以直接显示校正率。

从校正状况重叠单元105输出的图像被显示在显示部(未图示)上。

如以上的说明，根据本实施方式，根据被指定的电子变焦倍率S1，除了变更电子变焦处理以外，还变更畸变校正处理的校正率S4，由此能够抑制变成不自然的图像，同时能够准确地校正歪曲图像。具体而言，被指定的电子变焦倍率S1越小，换言之，电子变焦视角越大(越是广角的图像)，通过缩小校正率S4，越能够抑制由于周边部被极端放大而产生的、视觉上的不自然。也就是说，在各电子变焦倍率的视角下，能够获得易于观察的(可理解性高的)图像。

另外，本实施方式的畸变校正处理可以换称为如下的处理：在广角的电子变焦时，以成为等角(等距离投影)的方式进行校正，在狭角的电子变焦时，以成为直线(中心投影)的方式进行校正，在中角的电子变焦时，以从等角逐渐变化为直线的方式进行校正。

另外，除了上述实施方式以外，还可以在电子变焦及畸变校正处理单元104中，独立地控制垂直方向和水平方向的畸变校正。例如，与电子变焦倍率(也可以改称为电子变焦视角)S1无关，以成为直线的方式进行垂直方向的直线的畸变校正，而水平方向的直线的畸变校正变更为根据电子变焦倍率S1允许曲线，则能够获得更为自然的图像。这是因为，对于树木或人等沿垂直方向竖立的物体，完全校正其垂直方向的直线的畸变时，也就是使垂直方向的直线校正为垂直方向的直线时，更能够获得自然的图像。

另外，在上述的实施方式中，说明了在摄像机中设置电子变焦及畸变校正处理单元104、再映射控制单元110和校正状况重叠单元105的情况，但也可以与摄像机分体地设置这些单元作为畸变校正装置。

另外，再映射控制单元110的结构不限于图2的结构。例如，在广角镜头101的镜头视角为固定的情况下，可以直接使用被指定的电子变焦倍率S1来生成校正率S4和读取地址S5，因此可以省略变焦视角计算单元111。

2011年1月6日提交的日本专利申请特愿2011－001125号所包含的说明书、说明书附图和说明书摘要的公开内容全部引用于本申请。

工业实用性

本发明适合于对使用鱼眼镜头等广角镜头拍摄到的歪曲图像实施电子变焦处理和畸变校正处理两者的情况。

Claims (7)

1.摄像机，包括：

镜头，将被摄体成像；

摄像元件，将通过所述镜头成像的光学图像转换为电信号，从而获得摄像图像信号；以及

电子变焦及畸变校正处理单元，对所述摄像图像信号实施电子变焦处理及畸变校正处理，

所述电子变焦及畸变校正处理单元根据被指定的电子变焦倍率，除了变更所述电子变焦处理的电子变焦倍率以外，还变更所述畸变校正处理的校正率，

在垂直方向的直线的畸变校正中，所述校正率为100％，在水平方向的直线的畸变校正中，所述校正率根据所述电子变焦倍率而被变更。

2.如权利要求1所述的摄像机，

所述电子变焦及畸变校正处理单元还根据所述镜头的视角，变更所述畸变校正处理的校正率。

3.如权利要求1所述的摄像机，还包括：

变焦视角计算单元，基于所述被指定的电子变焦倍率和所述镜头的视角，计算电子变焦视角，

所述电子变焦及畸变校正处理单元根据由所述变焦视角计算单元计算出的所述电子变焦视角，变更所述畸变校正处理的校正率。

4.如权利要求1所述的摄像机，还包括：

校正状况重叠单元，将基于所述校正率的畸变校正状况重叠在实施了所述电子变焦处理及畸变校正处理后的图像上。

5.如权利要求1所述的摄像机，

分别独立地控制垂直方向和水平方向的所述校正率。

6.畸变校正装置，包括：

电子变焦及畸变校正处理单元，通过将歪曲图像的像素进行再映射，从而对所述歪曲图像实施电子变焦处理及畸变校正处理；以及

再映射控制单元，对所述电子变焦及畸变校正处理单元的再映射进行控制，以根据被指定的电子变焦倍率，除了变更所述电子变焦处理的电子变焦倍率以外，还变更所述畸变校正处理的校正率，

在垂直方向的直线的畸变校正中，所述校正率为100％，在水平方向的直线的畸变校正中，所述校正率根据所述电子变焦倍率而被变更。

7.畸变校正方法，包括以下步骤：

电子变焦及畸变校正处理步骤，通过将歪曲图像的像素进行再映射，从而对所述歪曲图像实施电子变焦处理及畸变校正处理；以及

再映射控制步骤，对所述电子变焦及畸变校正处理步骤中的再映射进行控制，以根据被指定的电子变焦倍率，除了变更所述电子变焦处理的电子变焦倍率以外，还变更所述畸变校正处理的校正率，

在垂直方向的直线的畸变校正中，所述校正率为100％，在水平方向的直线的畸变校正中，所述校正率根据所述电子变焦倍率而被变更。