CN106600546B

CN106600546B - 一种超广角摄像头畸变校正方法及系统

Info

Publication number: CN106600546B
Application number: CN201611008743.9A
Authority: CN
Inventors: 罗海风
Original assignee: Shenzhen TCL High-Tech Development Co Ltd
Current assignee: Shenzhen TCL High-Tech Development Co Ltd
Priority date: 2016-11-14
Filing date: 2016-11-14
Publication date: 2020-12-22
Anticipated expiration: 2036-11-14
Also published as: CN106600546A

Abstract

本发明公开了一种超广角摄像头畸变校正方法及系统。所述方法包括：根据超广角摄像头的成像模型，将超广角摄像头拍摄的原始图像投影至全景球面，得到球面全景图像；以所述全景球面的球心为起点，将所述球面全景图像投影至校正平面上，得到畸变校正后的输出图像。本发明通过将超广角摄像头拍摄的原始图像投影至全景球面，使得从全景球面球心看过去，能看到没有畸变的图像，进而以全景球面的球心为起点，将所述球面全景图像投影至校正平面上，得到畸变校正后的输出图像。由此可知，本发明标定过程简单，对镜头视角没有限制，能消除畸变。

Description

一种超广角摄像头畸变校正方法及系统

技术领域

本发明涉及机器视觉领域，特别涉及一种超广角摄像头畸变校正方法及系统。

背景技术

镜头标定及畸变校正是机器视觉领域中的常用基础方法，在目标检测/识别、深度测量、3D重建等众多方面都具有极其普遍的应用。对于绝大多数的普通摄像机镜头，镜头标定和畸变校正算法已经相当成熟，但是对于在少量特殊场合中使用的超广角及鱼眼镜头(视角>180°)，目前较为缺少效果良好的方法。

因而现有技术还有待改进和提高。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种超广角摄像头畸变校正方法及系统，实现超广角镜头的畸变校正。

为了达到上述目的，本发明采取了以下技术方案：

一种超广角摄像头畸变校正方法，包括如下步骤：

A、根据超广角摄像头的成像模型，将超广角摄像头拍摄的原始图像投影至全景球面，得到球面全景图像；

B、以所述全景球面的球心为起点，将所述球面全景图像投影至校正平面上，得到畸变校正后的输出图像。

所述的超广角摄像头畸变校正方法中，所述步骤A包括步骤：

A1、获取超广角摄像头拍摄的原始图像的圆心，以所述圆心为原点建立直角坐标系；

A2、建立全景球面的坐标系，根据超广角摄像头的成像模型，得到直角坐标系与全景球面的坐标系之间的映射关系，根据所述映射关系将原始图像转换成球面全景图像。

所述的超广角摄像头畸变校正方法中，所述直角坐标系与全景球面的坐标系之间的映射关系满足如下公式：

其中(a，b)为全景球面的坐标系中的坐标点，(x，y)为直角坐标系中的坐标点，所述全景球面的坐标系为极坐标系。

所述的超广角摄像头畸变校正方法中，

k为常数。

所述的超广角摄像头畸变校正方法中，所述超广角摄像头为鱼眼摄像头。

一种超广角摄像头畸变校正系统，所述系统包括：

图像转换模块，用于根据超广角摄像头的成像模型，将超广角摄像头拍摄的原始图像投影至全景球面，得到球面全景图像；

投影输出模块，用于以所述全景球面的球心为起点，将所述球面全景图像投影至校正平面上，得到畸变校正后的输出图像。

所述的超广角摄像头畸变校正系统中，所述图像转换模块具体用于：获取超广角摄像头拍摄的原始图像的圆心，以所述圆心为原点建立直角坐标系；建立全景球面的坐标系，根据超广角摄像头的成像模型，得到直角坐标系与全景球面的坐标系之间的映射关系，根据所述映射关系将原始图像转换成球面全景图像。

所述的超广角摄像头畸变校正系统中，所述直角坐标系与全景球面的坐标系之间的映射关系满足如下公式：

所述的超广角摄像头畸变校正系统中，

k为常数。

相较于现有技术，本发明提供一种超广角摄像头畸变校正方法及系统。所述方法包括：根据超广角摄像头的成像模型，将超广角摄像头拍摄的原始图像投影至全景球面，得到球面全景图像；以所述全景球面的球心为起点，将所述球面全景图像投影至校正平面上，得到畸变校正后的输出图像。本发明通过将超广角摄像头拍摄的原始图像投影至全景球面，使得从全景球面球心看过去，能看到没有畸变的图像，进而以全景球面的球心为起点，将所述球面全景图像投影至校正平面上，得到畸变校正后的输出图像。由此可知，本发明标定过程简单，对镜头视角没有限制，能消除畸变。

附图说明

图1为本发明提供的超广角摄像头畸变校正系统的结构框图。

图2为本发明提供的超广角摄像头畸变校正系统中，原始图像的示意图。

图3为本发明提供的超广角摄像头畸变校正系统中，全景球面的示意图。

图4为本发明提供的超广角摄像头畸变校正系统中，将球面全景图像投影至校正平面的示意图。

图5为本发明提供的超广角摄像头畸变校正系统中，原始图像、球面全景图像和输出图像的转换示意图。

图6为本发明提供的超广角摄像头畸变校正方法的流程图。

具体实施方式

本发明提供一种超广角摄像头畸变校正方法及系统。为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供一种超广角摄像头，所述超广角摄像头的视角大于等于180°，本实施例中，优选为鱼眼摄像头，即，镜头为鱼眼镜头。所述超广角摄像头包括超广角摄像头畸变校正系统，请参阅图1，所述系统包括图像转换模块10和投影输出模块20。

所述图像转换模块10，用于根据超广角摄像头的成像模型，将超广角摄像头拍摄的原始图像投影至全景球面，得到球面全景图像。所述超广角摄像头的成像模型，包含实际景象与拍摄实际景象形成的原始图像之间的对应关系，具体为半视场角与像高的关系。所述半视场角与像高的关系，即描述理想像高度L与物方半视场角w之间关系。描述理想像高度L与物方半视场角w之间关系的数学公式(1)有以下几种：L＝k×w，L＝2×k×sin(w/2)，L＝2×k×tan(w/2)，L＝k×sin(w)。现在市场上用的最多的超广角镜头成像原理是式L＝k×w表示的等距成像，本实施例中亦采用的是等距成像的超广角镜头。

所述球面全景图像为通过经纬映射法展开的全景图。由于根据超广角摄像头自身的成像模型进行投影，故在全景球面的球心往球表面看过去，看到的球面全景图像与实际景象相同，没有畸变。

所述投影输出模块20，用于以所述全景球面的球心为起点(投影的光源位置)，将所述球面全景图像投影至校正平面上，得到畸变校正后的输出图像。优选的，所述校正平面垂直于球面全景图像的投影方向。从全景球面的球心往外投影，将球面全景图像投影至校正平面上后，即可得到无畸变的、与实际景象相同的平面图像，可见本发明提供的畸变校正系统具有标定过程简单，对镜头视角没有限制，校正效果良好的优点。

进一步的，请参阅图2、图3和图5，图2表示鱼眼镜头拍摄的相片，即原始图像，圆内部为图像，圆到矩形之间为黑色不成像区域。图3为全景球面。所述图像转换模块10具体用于：获取超广角摄像头拍摄的原始图像30的圆心C，以所述圆心C为原点建立直角坐标系；建立全景球面的坐标系，根据超广角摄像头的成像模型，得到直角坐标系与全景球面的坐标系之间的映射关系，根据所述映射关系将原始图像30转换成球面全景图像40。

如图2所示，超广角摄像头拍摄的原始图像的有效区域为一圆形。由圆形区域易得圆心C。以C为直角坐标原点，对于区域中任意一点K(x,y)，其位置处的像高即为sqrt(x×x+y×y)，即，

照射到点K的入射光线与相机光轴的夹角即为半视场角w。若超广角镜头视角为180°，则超广角图像可映射至全景球面的一个半球面上(若不为180°，也可类似推导)。原始图像上任意点K(x，y)与全景球面上对应点K’(a,b)(a为水平转角，类似于经度；b为俯仰角，类似于纬度)的映射关系，推导如下：

原始图像(鱼眼图像)中的点ABCDK分别映射至全景球面上的点A’B’C’D’K’。全景球面的球心为点O。OA’＝OB’＝OC’＝OD’＝OK’＝全景球面半径R。

为确定映射关系，也就需要求点K(x，y)的映射点K’的球面坐标(a，b)。由鱼眼镜头等距投影模型易知角K’OC’＝f(CK)，其中f(L)为反映∠K’OC’与CK转换关系的线性函数，换而言之，所述函数f(L)为描述物方半视场角w与理想像高度L关系的函数(上述公式(1)的反函数)。对于常见鱼眼镜头来说，所述公式(1)为L＝k×w，则w＝f(L)＝(1/k)×L，即∠K’OC’＝(1/k)×CK，k为常数。k的取值与鱼眼镜头成像图像的大小、视场大小有关，即k的具体数值和具体的鱼眼镜头相关，k与鱼眼镜头之间的关系为现有技术，不赘述。本实施例中，所述

接下来求K’的水平转角a＝∠C’OD’和俯仰角b＝∠K’OD’。过K’作OC’的垂面，交OC’于H，交OD’于G。则有：

OH＝R×cos(∠C’OK’)；

K’H＝R×sin(∠C’OK’)；

∠K’HG＝∠KCD＝arctan(KD/CD)；

注意到K’G与OD’垂直，则有：HG＝HK’×cos(∠K’HG)，则水平转角

K’G＝K’H×sin(∠K’HG)；

sin(∠K’OG)＝sinb＝K’G/OK’；

俯仰角

由此，得到点K’的水平转角a和俯仰角b。由上述推导，我们得到了鱼眼图像投影至全景球面上时的映射关系，即直角坐标系与全景球面的坐标系之间的映射关系。对于鱼眼图像上任意一点K，其球面上对应点K’的水平转角(经度)a，俯仰角(纬度)b可由K的坐标求得。换而言之，所述原始图像的所有点的坐标经过所述公式(2)和(3)的坐标转换后，得到的图像即为球面全景图像。

所述投影输出模块20将全景球面投影至校正平面，其过程是将全景球面上的球面全景图像40投影到输出的校正图像平面上，得到输出图像50。具体的，所述投影输出模块20以所述全景球面的球心为起点，将所述球面全景图像投影至校正平面上，根据所述球面全景图像投影到校正平面的方向建立世界坐标系，将球面全景图像的各个坐标点转化成世界坐标系的点，得到畸变校正后的输出图像。

更进一步的，如图4所示，先确定球面全景图像投影到校正平面的方向，即以全景球面球心拍摄球面全景图像的方向，该方向的极坐标设为(α,β)。全景球面投影到校正平面的示意图如图4所示。本实施例中，投影方向为垂直校正平面的方向，即α＝0，β＝0。

进而建立输出校正图像的世界坐标系，建立输出校正图像上任意一点与全景球面上对应点的坐标转换关系；由于α＝0，β＝0，则所述世界坐标系就是直角坐标系。如图4所示，校正图像上的点K”(x_w，y_w，z_w)与全景球面上的点K’(a，b)对应。全景球面坐标信息的保存形式为通过经纬映射法展开的全景图(平面图像，宽为2×π×R,高为π×R)。

所述校正图像上任意一点与全景球面上对应点的坐标转换关系满足如下公式：

(x_w，y_w，z_w)为校正平面对应点K”的坐标，由于校正平面为平面，故z_w的坐标为0。从而将球面全景图像的各个坐标点转化成世界坐标系的点，得到畸变校正后的输出图像。即本发明通过将超广角摄像头拍摄的原始图像经过一个全景球面的转换，最终校正得到所需的平面图像。

在其他实施例中，球面全景图像投影到校正平面的方向不垂直校正平面，即α不等于0，β不等于0。则得到点K”在世界坐标系的坐标(x_w，y_w，z_w)后，再经过如下公式(6)得到对应的摄像头坐标系(x_c，y_c)，该摄像头坐标系为最终投影的校正平面的坐标系。

其中f为全景球面的焦距，即R。

综上所述，本发明提供畸变校正系统，本发明标定过程简单，对镜头视角没有限制，很好的消除了畸变，其效果如图5所示。

基于上述实施例提供的畸变校正系统，本发明还提供一种超广角摄像头畸变校正方法，请参阅图6，所述方法包括如下步骤：

S10、根据超广角摄像头的成像模型，将超广角摄像头拍摄的原始图像投影至全景球面，得到球面全景图像。具体的，图像转换模块根据超广角摄像头的成像模型，将超广角摄像头拍摄的原始图像投影至全景球面，得到球面全景图像。所述球面全景图像为通过经纬映射法展开的全景图。

S20、以所述全景球面的球心为起点，将所述球面全景图像投影至校正平面上，得到畸变校正后的输出图像。具体的，所述投影输出模块以所述全景球面的球心为起点，将所述球面全景图像投影至校正平面上，得到畸变校正后的输出图像。

进一步的，所述步骤S10包括步骤：

S110、获取超广角摄像头拍摄的原始图像的圆心，以所述圆心为原点建立直角坐标系。

S120、建立全景球面的坐标系，根据超广角摄像头的成像模型，得到直角坐标系与全景球面的坐标系之间的映射关系，根据所述映射关系将原始图像转换成球面全景图像。所述校正平面垂直于球面全景图像的投影方向。

所述直角坐标系与全景球面的坐标系之间的映射关系满足如下公式：

k为常数。

由于所述超广角摄像头畸变校正方法的原理、特点在上述系统实施例中已详细阐述，在此不再赘述。

上述功能模块的划分仅用以举例说明，在实际应用中，可以根据需要将上述功能分配由不同的功能模块来完成，即划分成不同的功能模块，来完成上述描述的全部或部分功能。

本领域普通技术人员可以理解上述实施例方法中的全部或部分流程，是可以通过计算机(或移动终端)程序来指令相关的硬件完成，所述的计算机(或移动终端)程序可存储于一计算机(或移动终端)可读取存储介质中，程序在执行时，可包括上述各方法的实施例的流程。其中的存储介质可以为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。