CN105956996A - 基于二次折射投影模型的鱼眼图像校正方法、装置和系统 - Google Patents

Abstract

本发明公开了一种基于二次折射投影模型的鱼眼图像校正方法、装置和系统，该校正方法包括：所述鱼眼图像一坐标点的光线沿第一方向进入第一球冠面；所述光线在所述第一球冠面折射后沿第一入射角进入第二球冠面，经所述第二球冠面折射后沿所述第二球冠面的半径方向投射在承接面上；根据所述发光点在所述承接面上的投影点的坐标计算发光点的坐标。本发明实施例提供的基于二次折射投影模型的鱼眼图像校正方法、装置和系统仅使用四则运算和开方运算，图像校正的运算量较少，校正速度快，便于用硬件实现，而且能实现较好的校正效果。在实际应用中，还可以采用不同的承接面来适应各种应用场合。

Description

基于二次折射投影模型的鱼眼图像校正方法、装置和系统

技术领域

本发明涉及一种数字图像处理的技术领域，具体涉及一种基于二次折射投影模型的鱼眼图像校正方法、装置及系统。

背景技术

鱼眼镜头因其短焦距超广角的特性，能够获得垂直视场180°、水平视场360°的图像，在安防监视、智能交通、医学临床、移动机器人自主导航、辅助驾驶、以及全景电影等各个领域有很大的应用前景。然而，鱼眼镜头的超大视场特性，是以其获取的图像的桶形畸变作为代价的，因此需要对鱼眼图像进行校正。

目前的鱼眼图像校正方法中，校正效果好的方法的比较复杂，方法较为简单的校正效果较差。

发明内容

本发明的目的在于提供一种基于二次折射投影模型的鱼眼图像校正方法、装置和系统，旨在解决现有鱼眼图像校正过程中计算量较大的技术缺陷。

为了解决上述问题，本发明提供了一种基于二次折射投影模型的鱼眼图像校正方法，包括如下步骤：

所述鱼眼图像一坐标点的光线沿第一方向进入第一球冠面，其中，所述第一方向与所述第一球冠面的顶点、第二球冠面的顶点之间的连线平行，所述鱼眼图像设于投影面内，所述投影面与所述第一球冠面的底面平行并且经过所述第一球冠面的球心；

所述光线在所述第一球冠面折射后沿第一入射角进入第二球冠面，经所述第二球冠面折射后沿所述第二球冠面的半径方向投射在承接面，其中，所述第一入射角为所述光线与所述第二球冠面的球心以及所述第二球冠面的顶点连线之间夹角的一半；

根据所述发光点在所述承接面的投影点的坐标计算所述发光点的坐标。

优选地，还包括：遍历所述发光点在所述承接面的投影点的坐标，计算所述鱼眼图像的坐标点的坐标；根据所述鱼眼图像的坐标获得所述鱼眼图像的校正图像。

优选地，还包括：根据所述鱼眼图像的坐标点的像素值设置该坐标点对应的投影点的像素值。

优选地，所述第一球冠面与所述第二球冠面共轴，并且所述第二球冠面的半径为R，所述第一球冠面的半径为所述第一球冠面的高为所述第一球冠面的顶点到所述第二球冠面的顶点之间的距离为

一种基于二次折射投影模型的鱼眼图像校正系统，包括第一球冠面、与所述第一球冠面共轴的第二球冠面和投影面。

其中，所述鱼眼图像设于所述投影面内，所述投影面与所述第一球冠面的底面平行并且经过所述第一球冠面的球心；光线沿第一方向在第一球冠面折射后，沿所述第一球冠面的半径方向出射，其中，所述第一方向与所述第一球冠面的顶点、第二球冠面的顶点之间的连线平行。

光线在所述第一球冠面折射后沿第一入射角进入第二球冠面，经所述第二球冠面折射后沿所述第二球冠面的半径方向投射在承接面，其中，所述第一入射角为所述光线与所述第二球冠面的球心以及所述第二球冠面的顶点连线之间夹角的一半。

优选地，所述第一球冠面与所述第二球冠面共轴，并且所述第二球冠面的半径为R，所述第一球冠面的半径为所述第一球冠面的高为所述第一球冠面的顶点到所述第二球冠面的顶点之间的距离为

优选地，还包括若干承接面，至少一所述承接面与所述第一球冠面相切。

优选地，包括5个与所述第二球冠面相切的承接面，所述承接面形成一敞口的长方体，其中底面的承接面与投影面平行，且底面的边长为所述投影面内的鱼眼图像的边长的两倍，侧面的不与中底面面相接的边的长度为底面边长的一半。

一种基于二次折射投影模型的鱼眼图像校正装置，包括：

第一折射单元，用于将所述鱼眼图像一坐标点的光线沿第一方向进入第一球冠面，其中，所述第一方向与所述第一球冠面的顶点、第二球冠面的顶点之间的连线平行，所述鱼眼图像设于投影面内，所述投影面与所述第一球冠面的底面平行并且经过所述第一球冠面的球心；

第二折射单元，用于将所述光线在所述第一球冠面折射后沿第一入射角进入第二球冠面，经所述第二球冠面折射后沿所述第二球冠面的半径方向投射在承接面，其中，所述第一入射角为所述光线与所述第二球冠面的球心以及所述第二球冠面的顶点连线之间夹角的一半；

计算单元，用于根据所述发光点在所述承接面的投影点的坐标计算所述发光点的坐标。

优选地，还包括：遍历单元，遍历所述发光点在所述承接面的投影点的坐标，计算所述鱼眼图像的坐标点的坐标；成像单元，用于根据所述鱼眼图像的坐标获得所述鱼眼图像的校正图像。

相较于现有技术，本发明实施例提供的基于二次折射投影模型的鱼眼图像校正方法、装置和系统仅使用四则运算和开方运算，图像校正的运算量较少，校正速度快，便于用硬件实现，而且能实现较好的校正效果。在实际应用中，还可以采用不同的承接面来适应各种应用场合。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明，其中：

图1是本发明所述于二次折射投影模型的鱼眼图像校正系统一实施方式的结构示意图；

图2是本发明所述于二次折射投影模型的鱼眼图像校正系统一实施方式中显示屏的放置位置示意图；

图3是本发明所述于二次折射投影模型的鱼眼图像校正系统一实施方式中第一球冠面、第二球冠面和投影面的结构示意图；

图4是本发明所述于二次折射投影模型的鱼眼图像校正方法一实施方式的流程图；

图5是本发明所述于二次折射投影模型的鱼眼图像校正装置一实施方式的结构示意图。

图中：

10：摄像头；20：处理器；21：存储模块；22：校正模块；23：显示控制模块；30：显示器组；31：显示屏；40：第一球冠面；50：第二球冠面；51：第一折射单元；52：第二折射单元；53：成像单元；54：计算单元；55：遍历单元。

具体实施方式

本发明实施例提供的基于二次折射投影模型的鱼眼图像校正方法、装置和系统经两次折射后投射在投影面上，通过遍历发光点在承接面的投影点的坐标，计算鱼眼图像的坐标点的坐标，从而可以获得校正后的鱼眼图像。

参见图1，图1是本发明所述于二次折射投影模型的鱼眼图像校正系统一实施方式的结构示意图。在图1示出的实施方式中，该鱼眼图像校正系统包括摄像头10、存储模块21、校正模块22和视频显示模块。其中，在一些实施方式中，存储模块21、校正模块22和视频显示模块中的显示控制模块23在同一处理器20中实现，该处理器20可以是现场可编程门阵列(Field－Programmable Gate Array，FPGA)。此外，本申请中所述的“图像”可以是静态的图像，也可以是从视频流中截取的图像。

摄像头10用于获取原始的鱼眼图像。存储模块21用于存储当前帧的鱼眼图像。校正模块22用于采用基于二次折射投影模型的鱼眼图像校正方法，对鱼眼图像进行校正。

视频显示模块用于显示校正后的鱼眼图像。在一些实施方式中，视频显示模块包括显示器组30和FPGA中的显示控制模块23，其中显示器组30包括5个显示屏31，如图2所示放置，显示屏31一侧均向内，用于显示校正后的图像视频，显示控制模块23用于将鱼眼图像的像素值分别输出到校正图像的对应坐标点上。显示屏31可以设置为显示承接面上接受到的校正后的鱼眼图像，承接面将在后续校正方法部分进行进一步详细描述。

校正模块22获取存储模块21中存储的鱼眼图像后，通过一鱼眼图像校正模型进行校正。该鱼眼图像校正模型包括投影面，以及共轴的第一球冠面40、第二球冠面50。其中，该鱼眼图像校正模型可以是现实的，也可以是虚拟的，本领域技术人员可以根据实际情况选择合适的器件实现该鱼眼图像矫正系统。

参见图3，图3是本发明所述于二次折射投影模型的鱼眼图像校正系统一实施方式中第一球冠面40、第二球冠面50和投影面的结构示意图。在图3示出的实施方式中，第一球冠面40和第二球冠面50共轴，并且第一球冠面40设置在第二球冠面50的内侧，投影面与第一球冠面40和第二球冠面50的底面平行。

鱼眼图像设于投影面上，投影面与第一球冠面40的底面平行并且经过第一球冠面40的球心。在本实施方式中，设置第一球冠面40具有合适的折射率，使得光线沿第一方向在第一球冠面40折射后，沿第一球冠面40的半径方向出射，其中，第一方向与第一球冠面40的顶点、第二球冠面50的顶点之间的连线平行。在图3示出的实施方式中，鱼眼图像设置在水平放置的投影面上，第一方向为竖直向上的方向。此外，还设置第二球冠面50具有合适的折射率，使得光线在第一球冠面40折射后沿第一入射角进入第二球冠面50，经第二球冠面50折射后沿第二球冠面50的半径方向投射在承接面上，其中，第一入射角为光线与第二球冠50的球心以及第二球冠面50的顶点连线之间夹角的一半。

在一些实施方式中，还可以设置若干与第二球冠面50相切的承接面来承接鱼眼图像的投影。例如，可以设置5个与第二球冠面50相切的承接面，承接面形成一敞口的长方体，其中底面的承接面与投影面平行，且底面的边长为投影面上的鱼眼图像的边长的两倍，侧面的不与中底面面相接的边的长度为底面边长的一半。

为了便于表述，下面对第一球冠面40、第二球冠面50和投影面的一些参数进行定义。本领域技术人员清楚，该定义仅仅是为了便于描述本发明实施例的精神和实质，并不构成对本发明保护范围的限制。

在图3示出的实施方式中，第二球冠面50的半径为R，第一球冠面40对应的球的半径r为第一球冠面40的高h为第一球冠面40和第二球冠面50的顶点的距离H为

同样，为了便于描述和理解，如图3所示，以第二球冠面50的球心为原点O，第二球冠面50的底面为xOy面，原点O到第二球冠面50的顶点的方向为z轴的三维直角坐标系xOy。此外，以z轴与投影面交点为原点O`，平行与x轴的横轴u轴，平行于y轴的纵轴为v轴，形成直角坐标系uO`v。

基于图3示出的鱼眼校正系统中的第一球冠面40、第二球冠面50和投影面，可以对鱼眼图像进行校正。

参见图4，图4是本发明所述于二次折射投影模型的鱼眼图像校正方法一实施方式的流程图。在图4示出的实施方式中，该基于二次折射投影模型的鱼眼图像校正方法包括步骤S401-S404。

在步骤S401中，鱼眼图像一坐标点的光线沿第一方向进入第一球冠面40，其中，第一方向与第一球冠面40的顶点、第二球冠面50的顶点之间的连线平行。在本步骤中，结合图3示出的校正系统，位于投影面上的鱼眼图像上的一坐标点Q发出的光线沿第一方向(即图3示出的竖直向上的方向)进入第一球冠面40。

在步骤S402中，光线在第一球冠面40折射后沿第一入射角a进入第二球冠面50。其中，第一入射角a为光线与第二球冠面50的球心以及第二球冠面50的顶点连线之间夹角b的一半，即：

$a=\frac{1}{2}*b.$

光线经第二球冠面50折射后，沿第二球冠面50的半径方向投射在承接面上。

在步骤S403中，根据发光点在承接面上的投影点的坐标计算发光点的坐标。

为了便于理解，此处所述的“发光点”和“坐标点”均是指鱼眼图像中构成鱼眼图像的坐标点。此外，设定P点在xOy坐标系中的坐标为P(x，y，z)，Q点在uO`v坐标系中的坐标为Q(u，v)。根据步骤S401-S403描述的投影关系，可以得出：

以及

$v=\frac{R\sqrt{1-\frac{z}{\sqrt{x^2+y^2+z^2}}}}{2\sqrt{x^2+y^2}}y$

因此，可以根据发光点在承接面上的投影点P的坐标计算投影面上的发光点Q的坐标。从上述实施方式中对鱼眼图像校正的过程可以看出，校正过程中仅使用四则运算和开方运算，计算较为简单，便于用硬件实现，而且能实现较好的校正效果。

上述描述了在承接面上的任一投影点P对应鱼眼图像中发光点Q的过程，因此，在校正鱼眼图像的过程中，可以根据需要计算承接面上的其它投影点对应鱼眼图像中的坐标点的坐标，从而可以得到相应的校正图像。例如，如果需要对鱼眼图像的整体进行校正，则可以遍历坐标点对应的投影点的坐标，计算鱼眼图像的坐标点的坐标，根据鱼眼图像的坐标获得鱼眼图像的校正图像。在一些实施方式中，对于彩色或者带有灰度的鱼眼图像而言，还可以根据鱼眼图像的坐标点的像素值设置该坐标点对应的投影的像素值，这样，校正后的鱼眼图像也具有与原始鱼眼图像相同的色彩或灰度。

在一些实施方式中，可以设置多个与第二球冠面50相切的承接面来承接校正后的鱼眼图像，采用不同的承接面来适应各种场合，并且将该承接面接受到的鱼眼图像显示在显示屏31上。在一些实施方式中，承接面可以与第一球冠面40相切。一般地，承接面可以存在一个或一个以上，例如可以采用五个矩形承接面，构成一个半立方体，其中中间的承接面与投影面平行，且边长为投影面的鱼眼图像的边长的两倍，另外四个面的不与中间面相接的边的长度为中间面边长的一半。如果采用了五个承接面，因此会有五个校正图像，分别对应鱼眼图像的五个部分。各个承接面的空间坐标均有一个是定值，例如中间承接面的z坐标为R，左右两个承接面的x坐标分别为-R和R，前后两个承接面的y坐标分别为R和-R。

参见图5，图5是本发明所述于二次折射投影模型的鱼眼图像校正装置一实施方式的结构示意图。在图5示出的实施方式中，该鱼眼图像校正装置包括第一折射单元51、第二折射单元52和计算单元54。

第一折射单元51用于将鱼眼图像一坐标点的光线沿第一方向进入第一球冠面40。其中，第一方向与第一球冠面40的顶点、第二球冠面50的顶点之间的连线平行。鱼眼图像设于投影面上，投影面与第一球冠面40的底面平行并且经过第一球冠面40的球心。第二折射单元52用于将光线在第一球冠面40折射后沿第一入射角进入第二球冠面50，经第二球冠面50折射后沿第二球冠面50的半径方向投射在承接面上，其中，第一入射角为光线与第二球冠面50的球心以及第二球冠面50的顶点连线之间夹角的一半。计算单元54用于根据发光点在承接面上的投影点的坐标计算发光点的坐标。

在一些实施方式中，鱼眼校正装置还可以包括遍历单元55和成像单元53。遍历单元55用于遍历坐标点对应的投影点的坐标，计算鱼眼图像的坐标点的坐标。成像单元53用于根据投影的坐标获得鱼眼图像的校正图像。

该鱼眼校正装置的实施过程和相关技术细节与上述实施方式中涉及的鱼眼校正方法相同，此处不再进行赘述。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种基于二次折射投影模型的鱼眼图像校正方法，其特征在于，包括如下步骤：

所述鱼眼图像一坐标点的光线沿第一方向进入第一球冠面，其中，所述第一方向与所述第一球冠面的顶点、第二球冠面的顶点之间的连线平行，所述鱼眼图像设于投影面内，所述投影面与所述第一球冠面的底面平行并且经过所述第一球冠面的球心；

所述光线在所述第一球冠面折射后沿第一入射角进入第二球冠面，经所述第二球冠面折射后沿所述第二球冠面的半径方向投射在承接面，其中，所述第一入射角为所述光线与所述第二球冠面的球心以及所述第二球冠面的顶点连线之间夹角的一半；

根据所述发光点在所述承接面的投影点的坐标计算所述发光点的坐标。

2.如权利要求1所述的基于二次折射投影模型的鱼眼图像校正方法，其特征在于，还包括：

遍历所述发光点在所述承接面的投影点的坐标，计算所述鱼眼图像的坐标点的坐标；

根据所述鱼眼图像的坐标获得所述鱼眼图像的校正图像。

3.如权利要求2所述的基于二次折射投影模型的鱼眼图像校正方法，其特征在于，还包括：

根据所述鱼眼图像的坐标点的像素值设置该坐标点对应的投影点的像素值。

4.如权利要求1所述的基于二次折射投影模型的鱼眼图像校正方法，其特征在于，所述第一球冠面与所述第二球冠面共轴，并且所述第二球冠面的半径为R，所述第一球冠面的半径为所述第一球冠面的高为所述第一球冠面的顶点到所述第二球冠面的顶点之间的距离为

5.一种基于二次折射投影模型的鱼眼图像校正系统，其特征在于，包括第一球冠面、与所述第一球冠面共轴的第二球冠面和投影面，

其中，所述鱼眼图像设于所述投影面内，所述投影面与所述第一球冠面的底面平行并且经过所述第一球冠面的球心；

光线沿第一方向在第一球冠面折射后，沿所述第一球冠面的半径方向出射，其中，所述第一方向与所述第一球冠面的顶点、第二球冠面的顶点之间的连线平行；

光线在所述第一球冠面折射后沿第一入射角进入第二球冠面，经所述第二球冠面折射后沿所述第二球冠面的半径方向投射在承接面，其中，所述第一入射角为所述光线与所述第二球冠面的球心以及所述第二球冠面的顶点连线之间夹角的一半。

6.如权利要求5所述的基于二次折射投影模型的鱼眼图像校正系统，其特征在于，所述第一球冠面与所述第二球冠面共轴，并且所述第二球冠面的半径为R，所述第一球冠面的半径为所述第一球冠面的高为所述第一球冠面的顶点到所述第二球冠面的顶点之间的距离为

7.如权利要求5或6所述的基于二次折射投影模型的鱼眼图像校正系统，其特征在于，还包括若干承接面，至少一所述承接面与所述第一球冠面相切。

8.如权利要求7所述的基于二次折射投影模型的鱼眼图像校正系统，其特征在于，包括5个与所述第二球冠面相切的承接面，所述承接面形成一敞口的长方体，其中底面的承接面与投影面平行，且底面的边长为所述投影面内的鱼眼图像的边长的两倍，侧面的不与中底面面相接的边的长度为底面边长的一半。

9.一种基于二次折射投影模型的鱼眼图像校正装置，其特征在于，包括：

第一折射单元，用于将所述鱼眼图像一坐标点的光线沿第一方向进入第一球冠面，其中，所述第一方向与所述第一球冠面的顶点、第二球冠面的顶点之间的连线平行，所述鱼眼图像设于投影面内，所述投影面与所述第一球冠面的底面平行并且经过所述第一球冠面的球心；

第二折射单元，用于将所述光线在所述第一球冠面折射后沿第一入射角进入第二球冠面，经所述第二球冠面折射后沿所述第二球冠面的半径方向投射在承接面，其中，所述第一入射角为所述光线与所述第二球冠面的球心以及所述第二球冠面的顶点连线之间夹角的一半；

计算单元，用于根据所述发光点在所述承接面的投影点的坐标计算所述发光点的坐标。

10.如权利要求9所述的基于二次折射投影模型的鱼眼图像校正装置，其特征在于，还包括：

遍历单元，遍历所述发光点在所述承接面的投影点的坐标，计算所述鱼眼图像的坐标点的坐标；

成像单元，用于所述鱼眼图像的坐标获得所述鱼眼图像的校正图像。