CN106485754B - 鱼眼镜头的标定方法及设备 - Google Patents
鱼眼镜头的标定方法及设备 Download PDFInfo
- Publication number
- CN106485754B CN106485754B CN201610817788.4A CN201610817788A CN106485754B CN 106485754 B CN106485754 B CN 106485754B CN 201610817788 A CN201610817788 A CN 201610817788A CN 106485754 B CN106485754 B CN 106485754B
- Authority
- CN
- China
- Prior art keywords
- pixel
- fish eye
- eye images
- coordinate
- luminance gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 241000251468 Actinopterygii Species 0.000 claims abstract description 371
- 238000012216 screening Methods 0.000 claims description 123
- 238000013507 mapping Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 abstract description 30
- 230000008569 process Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000010845 search algorithm Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请的目的是提供一种鱼眼镜头的标定方法及设备，本申请通过获取等距鱼眼镜头下的鱼眼图像，然后计算并确定所述鱼眼图像对应的径向亮度梯度图，接着根据确定的所述径向亮度梯度图得出所述鱼眼图像的有效区域边缘的圆心和半径；然后将所述有效区域边缘的圆心和半径结合所述等距鱼眼镜头下的视场角来对所述鱼眼图像进行畸变矫正，并将所述鱼眼图像映射至对应的空间球面上，实现了对所述等距鱼眼镜头下的所述鱼眼图像的畸变矫正过程，并提高了对所述鱼眼图像进行畸变矫正的准确度。
Description
技术领域
本申请涉及计算机领域，尤其涉及一种鱼眼镜头的标定方法及设备。
背景技术
鱼眼镜头下得到的鱼眼图像存在一定的畸变现象，不能直接使用该鱼眼图像来进行图像处理，故需要对鱼眼图像先进行畸变矫正，然而鱼眼图像对应的畸变矫正参数会直接影响到畸变矫正的效果。
现有技术中，采用传统的镜头手动标定方法，需要经过训练的专业人员在特定的房间内进行鱼眼图像的采集，或使用平板棋盘放在特定的位置来采集鱼眼图像，然后将鱼眼图像和房间或平板棋盘的位置参数输入特定的计算机软件中，计算得到畸变矫正参数。由于传统的镜头手动标定方法需要专业人员在平板棋盘或特定的环境下进行鱼眼图像的畸变矫正参数的计算，导致实施难度大。
而通过鱼眼图像中直线检测的方法虽然能够自动计算得到畸变矫正参数，但使用该方法得到的结果误差较大。
发明内容
本申请的目的是提供一种鱼眼镜头的标定方法及设备，以解决采用传统的镜头手动标定方法导致实施难度大、采用直线检测自动标定法导致畸变矫正误差大的问题。
根据本申请的一个方面，提供了一种鱼眼镜头的标定方法，该方法包括：
获取等距鱼眼镜头下的鱼眼图像；
确定所述鱼眼图像对应的径向亮度梯度图；
根据所述径向亮度梯度图，确定所述鱼眼图像的有效区域边缘的圆心和半径；
基于所述有效区域边缘的圆心和半径及所述等距鱼眼镜头的视场角，将所述鱼眼图像映射至对应的空间球面。
进一步地，所述确定所述鱼眼图像对应的径向亮度梯度图，包括：
将所述鱼眼图像转化为亮度图，以确定对应的径向亮度梯度图。
进一步地，所述确定所述鱼眼图像对应的径向亮度梯度图，包括：
对所述鱼眼图像进行降采样，以确定降采样后的鱼眼图像；
确定所述降采样后的鱼眼图像对应的径向亮度梯度图。
进一步地，所述降采样后的鱼眼图像分辨率为500-1000像素。
进一步地，所述确定所述鱼眼图像对应的径向亮度梯度图，包括：
计算所述鱼眼图像中每个像素点的径向亮度梯度值；
根据所述鱼眼图像中每个像素点的径向亮度梯度值，确定所述鱼眼图像对应的径向亮度梯度图。
进一步地，所述计算所述鱼眼图像中每个像素点的径向亮度梯度值，包括：
获取所述鱼眼图像的像素点的坐标及其对应的亮度值；
基于预置的相邻点获取规则，从所述像素点的径向方向的两侧分别获取相邻像素点的坐标及其对应的亮度值；
基于所述相邻像素点的坐标及其对应的亮度值，确定在所述像素点的径向方向上的插值像素点的坐标及其对应的亮度值；
基于所述鱼眼图像的像素点的坐标及其对应的亮度值和所述插值像素点的坐标及其对应的亮度值，确定所述鱼眼图像中的像素点的径向亮度梯度值。
进一步地，所述相邻像素点的坐标包括以下任一项：
所述像素点的上方像素点的坐标和右上方像素点的坐标；
所述像素点的右上方像素点的坐标和右方像素点的坐标；
所述像素点的右方像素点的坐标和右下方像素点的坐标；
所述像素点的右下方像素点的坐标和下方像素点的坐标；
所述像素点的下方像素点的坐标和左下方像素点的坐标；
所述像素点的左下方像素点的坐标和左方像素点的坐标；
所述像素点的左方像素点的坐标和左上方像素点的坐标；
所述像素点的左上方像素点的坐标和上方中像素点的坐标。
进一步地，所述计算所述鱼眼图像中每个像素点的径向亮度梯度值，包括：
预置所述鱼眼图像的中心像素点和图像边缘像素点的径向亮度梯度值为0。
进一步地，所述根据所述径向亮度梯度图，确定所述鱼眼图像的有效区域边缘的圆心和半径，包括：
在所述径向亮度梯度图中遍历选取中心位置及其对应的参考半径；
在以所述中心位置为圆心且所述参考半径为半径的筛选圆弧上，基于所述筛选圆弧上的所有像素点的径向亮度梯度值和预置的筛选因子函数，确定筛选因子值；
基于所述筛选因子值，确定所述鱼眼图像的有效区域边缘的圆心和半径。
进一步地，所述基于所述筛选因子值，确定所述鱼眼图像的有效区域边缘的圆心和半径，包括：
将所述筛选因子值最大时对应的筛选圆弧确定为所述鱼眼图像的有效区域边缘；
将所述筛选因子最大时对应的中心位置及其对应的参考半径分别确定为所述有效区域边缘的圆心和半径。
进一步地，所述预置的筛选因子函数由所述参考半径与所述筛选圆弧上的所有像素点的径向亮度梯度值确定。
进一步地，所述预置的筛选因子函数由所述参考半径、所述筛选圆弧上的所有像素点的径向亮度梯度值和预设的径向亮度梯度值阈值确定。
进一步地，所述径向亮度梯度值阈值为固定值或由所述鱼眼图像的亮度图的平均亮度值确定。
进一步地，所述径向亮度梯度值阈值为2或
其中，b为所述鱼眼图像的亮度图的平均亮度值。
进一步地，所述基于所述有效区域边缘的圆心和半径及所述等距鱼眼镜头的视场角，将所述鱼眼图像映射至对应的空间球面之后，还包括：
基于预设的输出模型，将所述鱼眼图像从所述空间球面映射为输出图像。
根据本申请的另一方面，还提供了一种鱼眼镜头的标定设备，该设备包括：
获取装置，用于获取等距鱼眼镜头下的鱼眼图像；
梯度图确定装置，用于确定所述鱼眼图像对应的径向亮度梯度图；
圆心半径确定装置，用于根据所述径向亮度梯度图，确定所述鱼眼图像的有效区域边缘的圆心和半径；
映射装置，用于基于所述有效区域边缘的圆心和半径及所述等距鱼眼镜头的视场角，将所述鱼眼图像映射至对应的空间球面。
进一步地，所述梯度图确定装置，用于：
将所述鱼眼图像转化为亮度图，以确定对应的径向亮度梯度图。
进一步地，所述梯度图确定装置，用于：
对所述鱼眼图像进行降采样，以确定降采样后的鱼眼图像；
确定所述降采样后的鱼眼图像对应的径向亮度梯度图。
进一步地，所述降采样后的鱼眼图像分辨率为500-1000像素。
进一步地，所述梯度图确定装置包括：
梯度值确定单元，用于计算所述鱼眼图像中每个像素点的径向亮度梯度值；
梯度图确定单元，用于根据所述鱼眼图像中每个像素点的径向亮度梯度值，确定所述鱼眼图像对应的径向亮度梯度图。
进一步地，所述梯度值确定单元，用于：
获取所述鱼眼图像的像素点的坐标及其对应的亮度值；
基于预置的相邻点获取规则，从所述像素点的径向方向的两侧分别获取相邻像素点的坐标及其对应的亮度值；
基于所述相邻像素点的坐标及其对应的亮度值，确定在所述像素点的径向方向上的插值像素点的坐标及其对应的亮度值；
基于所述鱼眼图像的像素点的坐标及其对应的亮度值和所述插值像素点的坐标及其对应的亮度值，确定所述鱼眼图像中的像素点的径向亮度梯度值。
进一步地，所述相邻像素点的坐标包括以下任一项：
所述像素点的上方像素点的坐标和右上方像素点的坐标；
所述像素点的右上方像素点的坐标和右方像素点的坐标；
所述像素点的右方像素点的坐标和右下方像素点的坐标；
所述像素点的右下方像素点的坐标和下方像素点的坐标；
所述像素点的下方像素点的坐标和左下方像素点的坐标；
所述像素点的左下方像素点的坐标和左方像素点的坐标；
所述像素点的左方像素点的坐标和左上方像素点的坐标；
所述像素点的左上方像素点的坐标和上方中像素点的坐标。
进一步地，所述梯度值确定单元，用于：
预置所述鱼眼图像的中心像素点和图像边缘像素点的径向亮度梯度值为0。
进一步地，所述圆心半径确定装置包括：
选取单元，用于在所述径向亮度梯度图中遍历选取中心位置及其对应的参考半径；
筛选因子值确定单元，用于在以所述中心位置为圆心且所述参考半径为半径的筛选圆弧上，基于所述筛选圆弧上的所有像素点的径向亮度梯度值和预置的筛选因子函数，确定筛选因子值；
圆心半径确定单元，用于基于所述筛选因子值，确定所述鱼眼图像的有效区域边缘的圆心和半径。
进一步地，所述圆心半径确定单元，用于：
将所述筛选因子值最大时对应的筛选圆弧确定为所述鱼眼图像的有效区域边缘；
将所述筛选因子最大时对应的中心位置及其对应的参考半径分别确定为所述有效区域边缘的圆心和半径。
进一步地，所述预置的筛选因子函数由所述参考半径与所述筛选圆弧上的所有像素点的径向亮度梯度值确定。
进一步地，所述预置的筛选因子函数由所述参考半径、所述筛选圆弧上的所有像素点的径向亮度梯度值和预设的径向亮度梯度值阈值确定。
进一步地，所述径向亮度梯度值阈值为固定值或由所述鱼眼图像的亮度图的平均亮度值确定。
进一步地，所述径向亮度梯度值阈值为2或
其中，b为所述鱼眼图像的亮度图的平均亮度值。
进一步地，所述设备还包括：
输出装置，用于基于预设的输出模型，将所述鱼眼图像从所述空间球面映射为输出图像。
与现有技术相比，本申请通过获取等距鱼眼镜头下的鱼眼图像，然后计算并确定所述鱼眼图像对应的径向亮度梯度图，接着根据确定的所述径向亮度梯度图得出所述鱼眼图像的有效区域边缘的圆心和半径；然后将所述有效区域边缘的圆心和半径结合所述等距鱼眼镜头下的视场角来对所述鱼眼图像进行畸变矫正，并将所述鱼眼图像映射至对应的空间球面上，实现了对所述等距鱼眼镜头下的所述鱼眼图像的畸变矫正过程，避免了采用传统的镜头手动标定方法导致的实施难度大的问题，同时解决了采用直线检测自动标定方法导致的畸变矫正误差大的问题，进而提高了对所述鱼眼图像进行畸变矫正的准确度。
进一步地，由于需要进行畸变矫正的鱼眼图像既可以是彩色的又可以是黑白色的，故在确定鱼眼图像的径向亮度梯度图之前，需要将鱼眼图像转化为亮度图，以确定对应的径向亮度梯度图。
进一步地，本申请中的所述确定所述鱼眼图像对应的径向亮度梯度图，包括：对所述鱼眼图像进行降采样，以确定降采样后的鱼眼图像；确定所述降采样后的鱼眼图像对应的径向亮度梯度图；由于对所述鱼眼图像进行降采样操作后，得到降采样后的鱼眼图像的径向亮度梯度图，以此降低鱼眼图像的分辨率，提高计算速度；优选地，将所述降采样后的鱼眼图像分辨率优选为500-1000像素，以达到将计算径向亮度梯度图的速度和精确度处于较好的平衡状态。
进一步地，在确定所述鱼眼图像对应的径向亮度梯度图的过程中，首先计算所述鱼眼图像中每个像素点的径向亮度梯度值，接着根据所述鱼眼图像中每个像素点的径向亮度梯度值，确定所述鱼眼图像对应的径向亮度梯度图，以实现计算所述鱼眼图像对应的径向亮度梯度图。
进一步地，在计算所述鱼眼图像中每个像素点的径向亮度梯度值的过程中，首先获取所述鱼眼图像的像素点的坐标及其对应的亮度值，接着基于预置的相邻点获取规则，从所述像素点的径向方向的两侧分别获取相邻像素点的坐标及其对应的亮度值，然后基于所述相邻像素点的坐标及其对应的亮度值，确定在所述像素点的径向方向上的插值像素点的坐标及其对应的亮度值，最后基于所述鱼眼图像的像素点的坐标及其对应的亮度值和所述插值像素点的坐标及其对应的亮度值，来确定所述鱼眼图像中的像素点的径向亮度梯度值，进而实现了精确计算鱼眼图像中的每个像素点对应的径向亮度梯度值；优选地，预置所述鱼眼图像的中心像素点和图像边缘像素点的径向亮度梯度值为0，来得到所述鱼眼图像的完整的径向亮度梯度值，以使所述鱼眼图像的有效区域边缘存在亮度下降的梯度，以用来计算所述有效区域边缘，进而避免了对所述鱼眼图像的图像内容的依赖。
进一步地，在根据所述径向亮度梯度图来确定所述鱼眼图像的有效区域边缘的圆心和半径时，首先在所述径向亮度梯度图中遍历选取中心位置及其对应的参考半径，接着在以所述中心位置为圆心且所述参考半径为半径的筛选圆弧上，基于所述筛选圆弧上的所有像素点的径向亮度梯度值和预置的筛选因子函数，确定筛选因子值，最后基于所述筛选因子值，确定所述鱼眼图像的有效区域边缘的圆心和半径，实现了通过优选地穷举搜索法来计算鱼眼图像的有效区域边缘及其对应的圆心和半径，有效地提高了计算的精确度。
优选地，上述预置的筛选因子函数由所述参考半径、所述筛选圆弧上的所有像素点的径向亮度梯度值和预设的径向亮度梯度值阈值确定，可以得到更加精确的筛选因子值，进而得到更加精确地所述筛选因子值对应的中心位置及其对应的参考半径；为了有效地抑制所述鱼眼镜头的镜头漏光引起的误差，则优选所述径向亮度梯度值阈值为固定值或由所述鱼眼图像的亮度图的平均亮度值确定，更有效地提高计算得到的筛选因子值的精确度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出本申请一个方面的一种鱼眼镜头的标定方法的流程示意图；
图2示出根据本申请一个方面的一种鱼眼镜头的标定方法中的像素点的径向方向示意图；
图3示出根据本申请一个方面的一种鱼眼镜头的标定方法中的像素点的径向方向上得到的插值像素点示意图；
图4示出根据本申请一个方面的一种鱼眼镜头的标定方法中的像素点在第一部分时对应的径向方向上得到的插值像素点示意图；
图5示出根据本申请一个方面的一种鱼眼镜头的标定方法中的像素点在第一部分时对应的径向方向上得到的插值像素点坐标系表示示意图；
图6示出根据本申请一个方面的一种优选实施例中的一种鱼眼镜头的标定方法中的鱼眼图像映射至球面赤道时的示意图；
图7示出根据本申请一个方面的一种优选实施例中的一种鱼眼镜头的标定方法中的鱼眼图像映射至球面赤道时的经纬图示意图；
图8示出本申请一个方面的一种鱼眼镜头的标定设备的结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
图1示出本申请一个方面的一种鱼眼镜头的标定方法的流程示意图，该方法包括：步骤S11、步骤S12、步骤S13和步骤S14，其中，所述步骤S11，获取等距鱼眼镜头下的鱼眼图像；所述步骤S12，确定所述鱼眼图像对应的径向亮度梯度图；所述步骤S13，根据所述径向亮度梯度图，确定所述鱼眼图像的有效区域边缘的圆心和半径；所述步骤S14，基于所述有效区域边缘的圆心和半径及所述等距鱼眼镜头的视场角，将所述鱼眼图像映射至对应的空间球面。
在所述步骤S11中获取等距鱼眼镜头下的数字化后的鱼眼图像，接着在所述步骤S12中基于径向亮度梯度原理来计算并确定所述鱼眼图像对应的径向亮度梯度图；然后再所述步骤S13中根据计算确定的所述径向亮度梯度图得出所述鱼眼图像的有效区域边缘的圆心和半径；然后所述步骤S14将所述有效区域边缘的圆心和半径结合所述等距鱼眼镜头的视场角来对所述鱼眼图像进行畸变矫正，从而还原所述鱼眼图像，完成对所述鱼眼图像的畸变矫正过程，并将所述鱼眼图像映射至对应的空间球面上，实现了对所述等距鱼眼镜头下的所述鱼眼图像的畸变矫正过程，避免了人为地在特定环境下或平板棋盘的环境下对所述鱼眼图像进行畸变矫正，避免了采用传统的镜头手动标定方法导致的实时难度大的问题，同时解决了采用直线检测自动标定方法导致的畸变矫正误差大的问题，进而提高了对所述鱼眼图像进行畸变矫正的准确度。
在本申请的一实施例中，所述步骤S12中确定所述鱼眼图像对应的径向亮度梯度图，包括：将所述鱼眼图像转化为亮度图，以确定对应的径向亮度梯度图。例如，所述鱼眼图像既可以是彩色的鱼眼图像，亦可以是黑白色亮度的鱼眼图像，故在基于径向亮度梯度原理确定所述鱼眼图像的径向亮度梯度图之前，需要将彩色的鱼眼图像转化为黑白色的鱼眼图像对应的亮度图；在将彩色的鱼眼图像转化为黑白色的鱼眼图像对应的亮度图之后，才能基于径向亮度梯度原理来确定所述鱼眼图像的径向亮度梯度图。
进一步地，所述步骤S12中确定所述鱼眼图像对应的径向亮度梯度图，包括：
对所述鱼眼图像进行降采样，以确定降采样后的鱼眼图像；
确定所述降采样后的鱼眼图像对应的径向亮度梯度图。
在本申请的一实施例中，为了降低图像分辨率，提升计算所述鱼眼图像的径向亮度梯度图的速度，所述步骤S12对在所述等距鱼眼镜头下的数字化后的所述鱼眼图像进行降采样，以确定降采样后的鱼眼图像，从而有效地降低所述鱼眼图像的分辨率，以提升径向亮度梯度图的计算速度。优选地，所述降采样后的鱼眼图像分辨率为500-1000像素。即在本申请的以优选实施例中，将数字化后的所述鱼眼图像的分辨率降低到长宽的分辨率在500至1000像素之间，以达到将计算径向亮度梯度图的速度和精确度处于较好的平衡状态。接着所述步骤S12确定所述降采样后的鱼眼图像对应的径向亮度梯度值，以提取所述降采样后的鱼眼图像的径向亮度梯度值，由于所述降采样后的鱼眼图像的有效区域边缘存在一个亮度值下降的梯度，可以用来计算所述有效区域边缘，进而避免了对所述降采样后的鱼眼图像的图像内容的依赖。
进一步地，所述步骤S12中确定所述鱼眼图像对应的径向亮度梯度图，包括：
计算所述鱼眼图像中每个像素点的径向亮度梯度值；
根据所述鱼眼图像中每个像素点的径向亮度梯度值，确定所述鱼眼图像对应的径向亮度梯度图。
接着本申请的上述实施例，所述步骤S12基于径向亮度梯度原理从所述鱼眼图像的图像中心开始计算至图像边缘的每个像素点对应的径向亮度梯度值，并根据所述鱼眼图像中每个像素点的径向亮度梯度值来确定所述鱼眼图像对应的径向亮度梯度图，以实现对所述鱼眼图像的径向亮度梯度图的计算，由于在所述鱼眼图像的有效区域边缘的亮度值会发生突变，故在计算所述鱼眼图像的有效区域边缘之前需先计算所述鱼眼图像的径向亮度梯度图。
进一步地，所述步骤S12中的所述计算所述鱼眼图像中每个像素点的径向亮度梯度值，包括：
步骤S121，获取所述鱼眼图像的像素点的坐标及其对应的亮度值；例如，对于所述鱼眼图像中的任意一点P0，像素点P0的径向方向为所述鱼眼图像的图像中心到该点的射线方向如图2所示。
步骤S122，基于预置的相邻点获取规则，从所述像素点的径向方向的两侧分别获取相邻像素点的坐标及其对应的亮度值；接着上述步骤S121，获取像素点P0的径向方向上的两侧的相邻像素点的坐标分别为P1(x,y+1)和P2(x+1,y+1)，及其相邻像素点P1对应的亮度值为P1，像素点P2对应的亮度值为P2；
在此，需要说明的是，所述步骤S121中，按照每个像素点的径向方向，将所述鱼眼图像中的所有像素点划分为8部分，每个部分中的像素点的径向亮度梯度值仅由该像素点和径向方向上的两侧的相邻像素点插值得到的插值像素点P计算得到。优选地，所述相邻像素点的坐标包括以下任一项：
所述像素点的上方像素点的坐标和右上方像素点的坐标；
所述像素点的右上方像素点的坐标和右方像素点的坐标；
所述像素点的右方像素点的坐标和右下方像素点的坐标；
所述像素点的右下方像素点的坐标和下方像素点的坐标；
所述像素点的下方像素点的坐标和左下方像素点的坐标；
所述像素点的左下方像素点的坐标和左方像素点的坐标；
所述像素点的左方像素点的坐标和左上方像素点的坐标；
所述像素点的左上方像素点的坐标和上方中像素点的坐标。
本申请中的选取所述像素点的径向方向上两侧的所述相邻像素点来获取鱼眼图像的像素点对应的径向亮度梯度值，以得到鱼眼图像的径向亮度梯度图的方式，与传统通过计算鱼眼图像的X轴方向和Y轴方向的径向亮度梯度图，再将X轴方向的径向亮度梯度图和Y轴方向的径向亮度梯度图合成所述鱼眼图像的径向梯度图的方式，或者与传统的直接计算每一像素点的径向角度，再基于每一像素点的径向角度来计算鱼眼图像的径向亮度梯度图的方式相比，本申请通过步骤S121中的将鱼眼图像中的所有像素点划分为8部分后计算得到所述鱼眼图像的径向亮度梯度图，可以简化计算所述鱼眼图像的径向亮度梯度图的计算过程，以及提升计算所述鱼眼图像的径向亮度梯度图的计算速度。在本申请的一个优选地实施例中，以图2中的所述鱼眼图像中的第1部分中的像素点P0的坐标为P0(x,y)，像素点P0对应的亮度值为P0，同时，像素点P0的径向方向上的上方像素点P1的坐标为P1(x,y+1)，和所述像素点P0的右上方像素点P2的坐标为P2(x+1,y+1)，及其相邻像素点P1对应的亮度值为P1，像素点P2对应的亮度值为P2为例，对所述鱼眼图像中每个像素点的径向亮度梯度值的过程进行详细解释说明。
步骤S123，基于所述相邻像素点的坐标及其对应的亮度值，确定在所述像素点的径向方向上的插值像素点的坐标及其对应的亮度值；接着上述步骤S122，从像素点P0沿径向方向的射线和像素点P0周围的8个像素点的连线交于一插值像素点P点如图3所示，像素点P0的径向亮度梯度值为像素点P0的亮度值和插值像素点P的亮度值的差值，除以像素点P0到插值像素点P点的距离，根据所述相邻像素点的坐标分别为P1(x,y+1)和P2(x+1,y+1)，及其相邻像素点P1对应的亮度值为P1，像素点P2对应的亮度值为P2，来确定在所述像素点的径向方向上的插值像素点的坐标及其对应的亮度值如图4所示，则有插值像素点P的坐标为：
其中，插值像素点P的亮度值通过像素点P1对应的亮度值P1和像素点P2对应的亮度值P2插值得到，则有像素点P的亮度值为：
其中，P1为像素点P1的亮度值，P2为像素点P2的亮度值；
由于像素点P0的径向亮度梯度值为像素点P0的亮度值和插值像素点P点的亮度值的差值，除以像素点P0到插值像素点P点的距离，则有像素点P0的径向亮度梯度值G为：
其中，P0为像素点P0的亮度值，P为像素点P的亮度值，xp为像素点P的X轴坐标，yp为像素点P的Y轴坐标；
步骤S124，基于所述鱼眼图像的像素点的坐标及其对应的亮度值和所述插值像素点的坐标及其对应的亮度值，确定所述鱼眼图像中的像素点的径向亮度梯度值。接着上述步骤S123，将插值像素点P的坐标及其对应的亮度值代入像素点P0的径向亮度梯度值G的计算公式中得到：
其中，(x,y)为像素点P0的坐标，P0，P1和P2为分别为像素点P0、像素点P1和像素点P2的亮度值，如图5所示。
接着本申请的上述优选实施例，对鱼眼图像的另外2-8个部分的像素点的径向亮度梯度值可以按照中心对称关系得到类似的计算径向亮度梯度值的相关公式。同时，将鱼眼图像的8个部分的分界线上的像素点划分在相邻两侧的部分中以得到相应的径向亮度梯度值；优选地，预置所述鱼眼图像的中心像素点和图像边缘像素点的径向亮度梯度值为0，以得到所述鱼眼图像的完整的径向亮度梯度值，以使所述鱼眼图像的有效区域边缘存在亮度下降的梯度，以用来计算所述有效区域边缘，进而避免了对所述鱼眼图像的图像内容的依赖。
进一步地，所述步骤S13根据所述径向亮度梯度图，确定所述鱼眼图像的有效区域边缘的圆心和半径，包括：
步骤S131，在所述径向亮度梯度图中遍历选取中心位置及其对应的参考半径；
步骤S132，在以所述中心位置为圆心且所述参考半径为半径的筛选圆弧上，基于所述筛选圆弧上的所有像素点的径向亮度梯度值和预置的筛选因子函数，确定筛选因子值；
步骤S133，基于所述筛选因子值，确定所述鱼眼图像的有效区域边缘的圆心和半径。
需要说明的是，所述步骤S13计算所述鱼眼图像的有效区域边缘的圆心和半径的方法可以是包括但不限于包括穷举搜索法或霍夫变换方法。在本申请的一个优选实施例中，采用所述穷举搜索法来计算所述鱼眼图像的有效区域边缘的圆心和半径，其中，采用所述穷举搜索法来计算所述鱼眼图像的有效区域边缘的圆心和半径仅为本申请的一个优选实施例，其他现有或今后可能出现的用于计算所述鱼眼图像的有效区域边缘的圆心和半径的方法如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的一优选实施例中，在计算所述鱼眼图像的有效区域边缘时，采用穷举搜索法，故所述步骤S131在所述径向亮度梯度图中遍历选出不同的中心位置(x0，y0)及其对应的参考半径r，接着所述步骤S132在以所述中心位置(x0，y0)为圆心且所述参考半径r为半径的筛选圆弧上，获取落在所述筛选圆弧上的所有像素点的径向亮度梯度值Gi，以及所述预置的筛选因子函数W，来确定出不同的中心位置(x0，y0)及其对应的参考半径r对应的各个筛选因子值；例如，遍历的范围为x0为[1，100]，y0[1，100]，以及r为[1，50]，若遍历得到D个筛选因子值；优选地，所述预置的筛选因子函数由所述参考半径与所述筛选圆弧上的所有像素点的径向亮度梯度值确定。例如，所述筛选因子函数W为：
其中，r为选取的所述鱼眼图像的中心位置(x0，y0)对应的参考半径，N为落在所述亮度梯度图上的所有像素点的个数，Gi为像素点对应的径向亮度梯度值；
接着所述步骤S133基于在所述步骤S132中确定的D个筛选因子值，来确定所述鱼眼图像的有效区域边缘的圆心和半径。
优选地，所述步骤S133，基于所述筛选因子值，确定所述鱼眼图像的有效区域边缘的圆心和半径，包括：
将所述筛选因子值最大时对应的筛选圆弧确定为所述鱼眼图像的有效区域边缘；将所述筛选因子最大时对应的中心位置及其对应的参考半径分别确定为所述有效区域边缘的圆心和半径。例如，从所述步骤S132中确定的D个筛选因子值中选出最大的一个筛选因子值，并将所述筛选因子值最大Wmax时对应的筛选圆弧确定为所述鱼眼图像的有效区域边缘，将所述筛选因子值最大Wmax时对应的中心位置(x0，y0)及其参考半径r作为所述鱼眼图像的最佳结果，即将所述筛选因子值最大Wmax时对应的中心位置(x0，y0)及其参考半径r分别确定为所述有效区域边缘的圆心和半径，以达到精确计算所述鱼眼图像对应的有效区域边缘及其对应的圆心和半径的目的。
优选地，所述预置的筛选因子函数由所述参考半径、所述筛选圆弧上的所有像素点的径向亮度梯度值和预设的径向亮度梯度值阈值确定。例如，在所述亮度梯度图内预设所述径向亮度梯度阈值g0，若在中心位置(x0，y0)且参考半径为rk的筛选圆弧上，每个像素点位置的径向亮度梯度值Gik，其中，所述径向亮度梯度值Gik的下标i表示在同一个筛选圆弧上的不同像素点，k表示对应的不同半径，则落在所述亮度梯度图内的点个数为Nk，Gik>g0的点个数为Mk，则有所述筛选因子函数Wk为：
Wk＝rk×Mk×(Nk+1-Mk+1)，
其中，rk为选取的所述鱼眼图像的中心位置(x0，y0)对应的参考半径，Nk+1为在所述半径为rk+1，参考半径为(x0，y0)的圆上每个像素点位置的径向亮度梯度值Gi,k+1落在所述亮度梯度图内的点个数Nk+1，Gi,k+1>g0的点个数Mk+1，通过上述计算筛选因子函数的优化，可以得到更加精确的筛选因子值，进而得到更加精确地所述筛选因子值对应的中心位置及其对应的参考半径。为了有效地抑制所述鱼眼镜头的镜头漏光引起的误差，则优选所述径向亮度梯度值阈值为固定值或由所述鱼眼图像的亮度图的平均亮度值确定，其中优选的所述径向亮度梯度值阈值为2或其中，b为所述鱼眼图像的亮度图的平均亮度值。
即，所述径向亮度梯度值阈值g0＝2，或b为所述鱼眼图像的亮度图的平均亮度值。
接着所述步骤S133基于在所述步骤S132中确定的D个筛选因子值，来确定所述鱼眼图像的有效区域边缘的圆心和半径。
接着本申请的优选实施例，所述步骤S14：基于所述有效区域边缘的圆心和半径及所述等距鱼眼镜头的视场角，将所述鱼眼图像映射至对应的空间球面。例如，按照等距鱼眼镜头模型确定的所述有效区域边缘的圆心(x0，y0)和半径r，其中d为所述有效区域边缘的直径d＝2r，再结合所述等距鱼眼镜头的视场角，将所述鱼眼图像的全部内容映射至对应的空间球面上。其中，映射至空间球面的球面极点时对应的映射公式为：
映射至空间球面的球面赤道时对应的映射公式为：
如图6所示为优选一鱼眼图像映射至球面赤道时的示意图。
其中，(x0，y0)为所述步骤S13中确定的所述有效区域边缘的圆心，d为所述步骤S13中确定的所述有效区域边缘的直径，为所述等距鱼眼镜头的视场角属性，其中所述等距鱼眼镜头的视场角可以通过从所述等距鱼眼镜头本身或所述等距鱼眼镜头的说明书上读取等距鱼眼镜头的镜头焦距f，并按照所述等距鱼眼镜头的视场角公式得到，其中，L为所述等距鱼眼镜头的镜头底片或镜头相机的相机感光元件对角线尺寸；在本申请的优选实施例中，考虑到所述鱼眼图像的图像黑边情况，应该采用所述等距鱼眼镜头的镜头底片或镜头相机的相机感光元件对角线尺寸L乘以其中D为所述鱼眼图像对角线长度。
进一步地，所述步骤S14基于所述有效区域边缘的圆心和半径及所述等距鱼眼镜头的视场角，将所述鱼眼图像映射至对应的空间球面之后，还包括步骤S15，其中所述步骤S15包括：
基于预设的输出模型，将所述鱼眼图像从所述空间球面映射为输出图像。例如，按照预设的输出模型，将所述鱼眼图像的图像内容从所述空间球面中映射为输出图像，将鱼眼图像如图7(a)映射至球面赤道时的经纬图如图7(b)所示，其中所述经纬图的坐标轴和经纬度的直接映射关系对应的输出模型公式为：
图8示出本申请一个方面的一种鱼眼镜头的标定设备的结构示意图，该设备1包括：获取装置11、梯度图确定装置12、圆心半径确定装置13和映射装置14，其中，所述获取装置11，获取等距鱼眼镜头下的鱼眼图像；所述梯度图确定装置12，确定所述鱼眼图像对应的径向亮度梯度图；所述圆心半径确定装置13，根据所述径向亮度梯度图，确定所述鱼眼图像的有效区域边缘的圆心和半径；所述映射装置14，基于所述有效区域边缘的圆心和半径及所述等距鱼眼镜头的视场角，将所述鱼眼图像映射至对应的空间球面。
在所述获取装置11中获取等距鱼眼镜头下的数字化后的鱼眼图像，接着在所述梯度图确定装置12中基于径向亮度梯度原理来计算并确定所述鱼眼图像对应的径向亮度梯度图；然后再所述圆心半径确定装置13中根据计算确定的所述径向亮度梯度图得出所述鱼眼图像的有效区域边缘的圆心和半径；然后所述映射装置14将所述有效区域边缘的圆心和半径结合所述等距鱼眼镜头下的视场角来对所述鱼眼图像进行畸变矫正，从而还原所述鱼眼图像，完成对所述鱼眼图像的畸变矫正过程，并将所述鱼眼图像映射至对应的空间球面上，实现了对所述等距鱼眼镜头下的所述鱼眼图像的畸变矫正过程，避免了人为地在特定环境下或平板棋盘的环境下对所述鱼眼图像进行畸变矫正，避免了采用传统的镜头手动标定方法导致的实施难度大的问题，同时解决了采用直线检测自动标定方法导致的畸变矫正误差大的问题，进而提高了对所述鱼眼图像进行畸变矫正的准确度。
在本申请的一实施例中，所述梯度图确定装置12用于：将所述鱼眼图像转化为亮度图，以确定对应的径向亮度梯度图。例如，所述鱼眼图像既可以是彩色的鱼眼图像，亦可以是黑白色亮度的鱼眼图像，故在基于径向亮度梯度原理确定所述鱼眼图像的径向亮度梯度图之前，需要将彩色的鱼眼图像转化为黑白色的鱼眼图像对应的亮度图；在将彩色的鱼眼图像转化为黑白色的鱼眼图像对应的亮度图之后，才能基于径向亮度梯度原理来确定所述鱼眼图像的径向亮度梯度图。
进一步地，所述梯度图确定装置12用于：
对所述鱼眼图像进行降采样，以确定降采样后的鱼眼图像；
确定所述降采样后的鱼眼图像对应的径向亮度梯度图。
在本申请的一实施例中，为了降低图像分辨率，提升计算所述鱼眼图像的径向亮度梯度图的速度，所述梯度图确定装置12对在所述等距鱼眼镜头下的数字化后的所述鱼眼图像进行降采样，以确定降采样后的鱼眼图像，从而有效地降低所述鱼眼图像的分辨率，以提升径向亮度梯度图的计算速度。优选地，所述降采样后的鱼眼图像分辨率为500-1000像素。即在本申请的以优选实施例中，将数字化后的所述鱼眼图像的分辨率降低到长宽的分辨率在500至1000像素之间，以达到将计算径向亮度梯度图的速度和精确度处于较好的平衡状态。接着所述梯度图确定装置12确定所述降采样后的鱼眼图像对应的径向亮度梯度值，以提取所述降采样后的鱼眼图像的径向亮度梯度值，由于所述降采样后的鱼眼图像的有效区域边缘存在一个亮度值下降的梯度，可以用来计算所述有效区域边缘，进而避免了对所述降采样后的鱼眼图像的图像内容的依赖。
进一步地，所述梯度图确定装置12包括梯度值确定单元和梯度图确定单元，其中，所述梯度值确定单元用于：计算所述鱼眼图像中每个像素点的径向亮度梯度值；所述梯度图确定单元用于：根据所述鱼眼图像中每个像素点的径向亮度梯度值，确定所述鱼眼图像对应的径向亮度梯度图。
接着本申请的上述实施例，所述梯度图确定装置12基于径向亮度梯度原理从所述鱼眼图像的图像中心开始计算至图像边缘的每个像素点对应的径向亮度梯度值，并根据所述鱼眼图像中每个像素点的径向亮度梯度值来确定所述鱼眼图像对应的径向亮度梯度图，以实现对所述鱼眼图像的径向亮度梯度图的计算，由于在所述鱼眼图像的有效区域边缘的亮度值会发生突变，故在计算所述鱼眼图像的有效区域边缘之前需先计算所述鱼眼图像的径向亮度梯度图。
进一步地，所述梯度值确定单元用于：
获取所述鱼眼图像的像素点的坐标及其对应的亮度值；例如，对于所述鱼眼图像中的任意一点P0，像素点P0的径向方向为所述鱼眼图像的图像中心到该点的射线方向如图2所示。
基于预置的相邻点获取规则，从所述像素点的径向方向的两侧分别获取相邻像素点的坐标及其对应的亮度值；接着上述步骤S121，获取像素点P0的径向方向上的两侧的相邻像素点的坐标分别为P1(x,y+1)和P2(x+1,y+1)，及其相邻像素点P1对应的亮度值为P1，像素点P2对应的亮度值为P2；
在此，需要说明的是，所述步骤S121中，按照每个像素点的径向方向，将所述鱼眼图像中的所有像素点划分为8部分，每个部分中的像素点的径向亮度梯度值仅由该像素点和径向方向上的两侧的相邻像素点插值得到的插值像素点P计算得到。优选地，所述相邻像素点的坐标包括以下任一项：
所述像素点的上方像素点的坐标和右上方像素点的坐标；
所述像素点的右上方像素点的坐标和右方像素点的坐标；
所述像素点的右方像素点的坐标和右下方像素点的坐标；
所述像素点的右下方像素点的坐标和下方像素点的坐标；
所述像素点的下方像素点的坐标和左下方像素点的坐标；
所述像素点的左下方像素点的坐标和左方像素点的坐标；
所述像素点的左方像素点的坐标和左上方像素点的坐标；
所述像素点的左上方像素点的坐标和上方中像素点的坐标。
本申请中的选取所述像素点的径向方向上两侧的所述相邻像素点来获取鱼眼图像的像素点对应的径向亮度梯度值，以得到鱼眼图像的径向亮度梯度图的方式，与传统通过计算鱼眼图像的X轴方向和Y轴方向的径向亮度梯度图，再将X轴方向的径向亮度梯度图和Y轴方向的径向亮度梯度图合成所述鱼眼图像的径向梯度图的方式，或者与传统的直接计算每一像素点的径向角度，再基于每一像素点的径向角度来计算鱼眼图像的径向亮度梯度图的方式相比，本申请通过梯度值确定单元中的将鱼眼图像中的所有像素点划分为8部分后计算得到所述鱼眼图像的径向亮度梯度图，可以简化计算所述鱼眼图像的径向亮度梯度图的计算过程，以及提升计算所述鱼眼图像的径向亮度梯度图的计算速度。在本申请的一个优选地实施例中，以图2中的所述鱼眼图像中的第1部分中的像素点P0的坐标为P0(x,y)，像素点P0对应的亮度值为P0，同时，像素点P0的径向方向上的上方像素点P1的坐标为P1(x,y+1)，和所述像素点P0的右上方像素点P2的坐标为P2(x+1,y+1)，及其相邻像素点P1对应的亮度值为P1，像素点P2对应的亮度值为P2为例，对所述鱼眼图像中每个像素点的径向亮度梯度值的过程进行详细解释说明。
所述梯度值确定单元基于所述相邻像素点的坐标及其对应的亮度值，确定在所述像素点的径向方向上的插值像素点的坐标及其对应的亮度值；接着从像素点P0沿径向方向的射线和像素点P0周围的8个像素点的连线交于一插值像素点P点如图3所示，像素点P0的径向亮度梯度值为像素点P0的亮度值和插值像素点P的亮度值的差值，除以像素点P0到插值像素点P点的距离，根据所述相邻像素点的坐标分别为P1(x,y+1)和P2(x+1,y+1)，及其相邻像素点P1对应的亮度值为P1，像素点P2对应的亮度值为P2，来确定在所述像素点的径向方向上的插值像素点的坐标及其对应的亮度值如图4所示，则有插值像素点P的坐标为：
其中，插值像素点P的亮度值通过像素点P1对应的亮度值P1和像素点P2对应的亮度值P2插值得到，则有像素点P的亮度值为：
其中，P1为像素点P1的亮度值，P2为像素点P2的亮度值；
由于像素点P0的径向亮度梯度值为像素点P0的亮度值和插值像素点P点的亮度值的差值，除以像素点P0到插值像素点P点的距离，则有像素点P0的径向亮度梯度值G为：
其中，P0为像素点P0的亮度值，P为像素点P的亮度值，xp为像素点P的X轴坐标，yp为像素点P的Y轴坐标；
所述梯度值确定单元，基于所述鱼眼图像的像素点的坐标及其对应的亮度值和所述插值像素点的坐标及其对应的亮度值，确定所述鱼眼图像中的像素点的径向亮度梯度值。例如，将插值像素点P的坐标及其对应的亮度值代入像素点P0的径向亮度梯度值G的计算公式中得到：
其中，(x,y)为像素点P0的坐标，P0，P1和P2为分别为像素点P0、像素点P1和像素点P2的亮度值，如图5所示。
接着本申请的上述优选实施例，对鱼眼图像的另外2-8个部分的像素点的径向亮度梯度值可以按照中心对称关系得到类似的计算径向亮度梯度值的相关公式。同时，将鱼眼图像的8个部分的分界线上的像素点划分在相邻两侧的部分中以得到相应的径向亮度梯度值；优选地，梯度值确定单元用于：预置所述鱼眼图像的中心像素点和图像边缘像素点的径向亮度梯度值为0，以得到所述鱼眼图像的完整的径向亮度梯度值，以使所述鱼眼图像的有效区域边缘存在亮度下降的梯度，以用来计算所述有效区域边缘，进而避免了对所述鱼眼图像的图像内容的依赖。
进一步地，所述圆心半径确定装置13包括：
选取单元用于，在所述径向亮度梯度图中遍历选取中心位置及其对应的参考半径；
筛选因子值确定单元用于，在以所述中心位置为圆心且所述参考半径为半径的筛选圆弧上，基于所述筛选圆弧上的所有像素点的径向亮度梯度值和预置的筛选因子函数，确定筛选因子值；
圆心半径确定单元用于，基于所述筛选因子值，确定所述鱼眼图像的有效区域边缘的圆心和半径。
需要说明的是，所述圆心半径确定装置13计算所述鱼眼图像的有效区域边缘的圆心和半径的方法可以是包括但不限于包括穷举搜索法或霍夫变换方法。在本申请的一个优选实施例中，采用所述穷举搜索法来计算所述鱼眼图像的有效区域边缘的圆心和半径，其中，采用所述穷举搜索法来计算所述鱼眼图像的有效区域边缘的圆心和半径仅为本申请的一个优选实施例，其他现有或今后可能出现的用于计算所述鱼眼图像的有效区域边缘的圆心和半径的方法如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的一优选实施例中，在计算所述鱼眼图像的有效区域边缘时，采用穷举搜索法，故所述选取单元在所述径向亮度梯度图中遍历选出不同的中心位置(x0，y0)及其对应的参考半径r，接着所述筛选因子值确定单元在以所述中心位置(x0，y0)为圆心且所述参考半径r为半径的筛选圆弧上，获取落在所述筛选圆弧上的所有像素点的径向亮度梯度值Gi，以及所述预置的筛选因子函数W，来确定出不同的中心位置(x0，y0)及其对应的参考半径r对应的各个筛选因子值；例如，遍历的范围为x0为[1，100]，y0[1，100]，以及r为[1，50]，若遍历得到D个筛选因子值；优选地，所述预置的筛选因子函数由所述参考半径与所述筛选圆弧上的所有像素点的径向亮度梯度值确定。例如，所述筛选因子函数W为：
其中，r为选取的所述鱼眼图像的中心位置(x0，y0)对应的参考半径，N为落在所述亮度梯度图上的所有像素点的个数，Gi为像素点对应的径向亮度梯度值；
接着所述圆心半径确定单元基于在所述筛选因子值确定单元中确定的D个筛选因子值，来确定所述鱼眼图像的有效区域边缘的圆心和半径。
优选地，所述圆心半径确定单元：
将所述筛选因子值最大时对应的筛选圆弧确定为所述鱼眼图像的有效区域边缘；将所述筛选因子最大时对应的中心位置及其对应的参考半径分别确定为所述有效区域边缘的圆心和半径。例如，从所述筛选因子值确定单元中确定的D个筛选因子值中选出最大的一个筛选因子值，并将所述筛选因子值最大Wmax时对应的筛选圆弧确定为所述鱼眼图像的有效区域边缘，将所述筛选因子值最大Wmax时对应的中心位置(x0，y0)及其参考半径r作为所述鱼眼图像的最佳结果，即将所述筛选因子值最大Wmax时对应的中心位置(x0，y0)及其参考半径r分别确定为所述有效区域边缘的圆心和半径，以达到精确计算所述鱼眼图像对应的有效区域边缘及其对应的圆心和半径的目的。
优选地，所述预置的筛选因子函数由所述参考半径、所述筛选圆弧上的所有像素点的径向亮度梯度值和预设的径向亮度梯度值阈值确定。例如，在所述亮度梯度图内预设所述径向亮度梯度阈值g0，若在中心位置(x0，y0)且参考半径为rk的筛选圆弧上，每个像素点位置的径向亮度梯度值Gik，其中，所述径向亮度梯度值Gik的下标i表示在同一个筛选圆弧上的不同像素点，k表示对应的不同半径，则落在所述亮度梯度图内的点个数为Nk，Gik>g0的点个数为Mk，则有所述筛选因子函数Wk为：
Wk＝rk×Mk×(Nk+1-Mk+1)，
其中，rk为选取的所述鱼眼图像的中心位置(x0，y0)对应的参考半径，Nk+1为在所述半径为rk+1，参考半径为(x0，y0)的圆上每个像素点位置的径向亮度梯度值Gi,k+1落在所述亮度梯度图内的点个数Nk+1，Gi,k+1>g0的点个数Mk+1，通过上述计算筛选因子函数的优化，可以得到更加精确的筛选因子值，进而得到更加精确地所述筛选因子值对应的中心位置及其对应的参考半径。为了有效地抑制所述鱼眼镜头的镜头漏光引起的误差，则优选所述径向亮度梯度值阈值为2或其中，b为所述鱼眼图像的亮度图的平均亮度值。
即，所述径向亮度梯度值阈值g0＝2，或b为所述鱼眼图像的亮度图的平均亮度值。
接着所述圆心半径确定单元基于在所述筛选因子值确定单元中确定的D个筛选因子值，来确定所述鱼眼图像的有效区域边缘的圆心和半径。
接着本申请的优选实施例，所述映射装置14用于：基于所述有效区域边缘的圆心和半径及所述等距鱼眼镜头的视场角，将所述鱼眼图像映射至对应的空间球面。例如，按照等距鱼眼镜头模型确定的所述有效区域边缘的圆心(x0，y0)和半径r，其中d为所述有效区域边缘的直径d＝2r，再结合所述等距鱼眼镜头的视场角，将所述鱼眼图像的全部内容映射至对应的空间球面上。其中，映射至空间球面的球面极点时对应的映射公式为：
映射至空间球面的球面赤道时对应的映射公式为：
如图6所示为优选一鱼眼图像映射至球面赤道时的示意图。
其中，(x0，y0)为所述圆心半径确定装置13中确定的所述有效区域边缘的圆心，d为所述圆心半径确定装置13中确定的所述有效区域边缘的直径，为所述等距鱼眼镜头的视场角属性，其中所述等距鱼眼镜头的视场角可以通过从所述等距鱼眼镜头本身或所述等距鱼眼镜头的说明书上读取等距鱼眼镜头的镜头焦距f，并按照所述等距鱼眼镜头的视场角公式得到，其中，L为所述等距鱼眼镜头的镜头底片或镜头相机的相机感光元件对角线尺寸；在本申请的优选实施例中，考虑到所述鱼眼图像的图像黑边情况，应该采用所述等距鱼眼镜头的镜头底片或镜头相机的相机感光元件对角线尺寸L乘以其中D为所述鱼眼图像对角线长度。
进一步地，所述设备1还包括输出装置15，其中所述输出装置15用于：
基于预设的输出模型，将所述鱼眼图像从所述空间球面映射为输出图像。例如，按照预设的输出模型，将所述鱼眼图像的图像内容从所述空间球面中映射为输出图像，将鱼眼图像映射至球面赤道时的经纬图如图7所示，其中所述经纬图的坐标轴和经纬度的直接映射关系对应的输出模型公式为：
综上所述，本申请通过获取等距鱼眼镜头下的鱼眼图像，然后计算并确定所述鱼眼图像对应的径向亮度梯度图，接着根据确定的所述径向亮度梯度图得出所述鱼眼图像的有效区域边缘的圆心和半径；然后将所述有效区域边缘的圆心和半径结合所述等距鱼眼镜头下的视场角来对所述鱼眼图像进行畸变矫正，并将所述鱼眼图像映射至对应的空间球面上，实现了对所述等距鱼眼镜头下的所述鱼眼图像的畸变矫正过程，避免了采用传统的镜头手动标定方法导致的实施难度大的问题，同时解决了采用直线检测自动标定方法导致的畸变矫正误差大的问题，进而提高了对所述鱼眼图像进行畸变矫正的准确度。
进一步地，本申请中的所述确定所述鱼眼图像对应的径向亮度梯度图，包括：对所述鱼眼图像进行降采样，以确定降采样后的鱼眼图像；确定所述降采样后的鱼眼图像对应的径向亮度梯度图；由于对所述鱼眼图像进行降采样操作后，得到降采样后的鱼眼图像的径向亮度梯度图，以此降低鱼眼图像的分辨率，提高计算速度。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (28)
1.一种鱼眼镜头的标定方法，其中，所述方法包括：
获取等距鱼眼镜头下的鱼眼图像；
确定所述鱼眼图像对应的径向亮度梯度图；
根据所述径向亮度梯度图，确定所述鱼眼图像的有效区域边缘的圆心和半径，包括：在所述径向亮度梯度图中遍历选取中心位置及其对应的参考半径，在以所述中心位置为圆心且所述参考半径为半径的筛选圆弧上，基于所述筛选圆弧上的所有像素点的径向亮度梯度值和预置的筛选因子函数，确定筛选因子值，基于所述筛选因子值，确定所述鱼眼图像的有效区域边缘的圆心和半径；
基于所述有效区域边缘的圆心和半径及所述等距鱼眼镜头的视场角，将所述鱼眼图像映射至对应的空间球面。
2.根据权利要求1所述的方法，其中，所述确定所述鱼眼图像对应的径向亮度梯度图，包括：
将所述鱼眼图像转化为亮度图，以确定对应的径向亮度梯度图。
3.根据权利要求1所述的方法，其中，所述确定所述鱼眼图像对应的径向亮度梯度图，包括：
对所述鱼眼图像进行降采样，以确定降采样后的鱼眼图像；
确定所述降采样后的鱼眼图像对应的径向亮度梯度图。
4.根据权利要求3所述的方法，所述降采样后的鱼眼图像分辨率为500-1000像素。
5.根据权利要求1所述的方法，其中，所述确定所述鱼眼图像对应的径向亮度梯度图，包括：
计算所述鱼眼图像中每个像素点的径向亮度梯度值；
根据所述鱼眼图像中每个像素点的径向亮度梯度值，确定所述鱼眼图像对应的径向亮度梯度图。
6.根据权利要求5所述的方法，其中，计算所述鱼眼图像中每个像素点的径向亮度梯度值，包括：
获取所述鱼眼图像的像素点的坐标及其对应的亮度值；
基于预置的相邻点获取规则，从所述像素点的径向方向的两侧分别获取相邻像素点的坐标及其对应的亮度值；
基于所述相邻像素点的坐标及其对应的亮度值，确定在所述像素点的径向方向上的插值像素点的坐标及其对应的亮度值；
基于所述鱼眼图像的像素点的坐标及其对应的亮度值和所述插值像素点的坐标及其对应的亮度值，确定所述鱼眼图像中的像素点的径向亮度梯度值。
7.根据权利要求6所述的方法，其中，所述相邻像素点的坐标包括以下任一项：
所述像素点的上方像素点的坐标和右上方像素点的坐标；
所述像素点的右上方像素点的坐标和右方像素点的坐标；
所述像素点的右方像素点的坐标和右下方像素点的坐标；
所述像素点的右下方像素点的坐标和下方像素点的坐标；
所述像素点的下方像素点的坐标和左下方像素点的坐标；
所述像素点的左下方像素点的坐标和左方像素点的坐标；
所述像素点的左方像素点的坐标和左上方像素点的坐标；
所述像素点的左上方像素点的坐标和上方中像素点的坐标。
8.根据权利要求6所述的方法，其中，所述计算所述鱼眼图像中每个像素点的径向亮度梯度值，包括：
预置所述鱼眼图像的中心像素点和图像边缘像素点的径向亮度梯度值为0。
9.根据权利要求1所述的方法，其中，所述基于所述筛选因子值，确定所述鱼眼图像的有效区域边缘的圆心和半径，包括：
将所述筛选因子值最大时对应的筛选圆弧确定为所述鱼眼图像的有效区域边缘；
将所述筛选因子最大时对应的中心位置及其对应的参考半径分别确定为所述有效区域边缘的圆心和半径。
10.根据权利要求9所述的方法，其中，所述预置的筛选因子函数由所述参考半径与所述筛选圆弧上的所有像素点的径向亮度梯度值确定。
11.根据权利要求9所述的方法，其中，所述预置的筛选因子函数由所述参考半径、所述筛选圆弧上的所有像素点的径向亮度梯度值和预设的径向亮度梯度值阈值确定。
12.根据权利要求11所述的方法，所述径向亮度梯度值阈值为固定值或由所述鱼眼图像的亮度图的平均亮度值确定。
13.根据权利要求12所述的方法，所述径向亮度梯度值阈值为2或
其中，b为所述鱼眼图像的亮度图的平均亮度值。
14.根据权利要求1至13中任一项所述的方法，其中，所述基于所述有效区域边缘的圆心和半径及所述等距鱼眼镜头的视场角，将所述鱼眼图像映射至对应的空间球面之后，还包括：
基于预设的输出模型，将所述鱼眼图像从所述空间球面映射为输出图像。
15.一种鱼眼镜头的标定设备，其中，所述设备包括：
获取装置，用于获取等距鱼眼镜头下的鱼眼图像；
梯度图确定装置，用于确定所述鱼眼图像对应的径向亮度梯度图；
圆心半径确定装置，用于根据所述径向亮度梯度图，确定所述鱼眼图像的有效区域边缘的圆心和半径；
其中，所述圆心半径确定装置包括：选取单元，用于在所述径向亮度梯度图中遍历选取中心位置及其对应的参考半径；筛选因子值确定单元，用于在以所述中心位置为圆心且所述参考半径为半径的筛选圆弧上，基于所述筛选圆弧上的所有像素点的径向亮度梯度值和预置的筛选因子函数，确定筛选因子值；圆心半径确定单元，用于基于所述筛选因子值，确定所述鱼眼图像的有效区域边缘的圆心和半径；
映射装置，用于基于所述有效区域边缘的圆心和半径及所述等距鱼眼镜头的视场角，将所述鱼眼图像映射至对应的空间球面。
16.根据权利要求15所述的设备，其中，所述梯度图确定装置，用于：
将所述鱼眼图像转化为亮度图，以确定对应的径向亮度梯度图。
17.根据权利要求15所述的设备，其中，所述梯度图确定装置，用于：
对所述鱼眼图像进行降采样，以确定降采样后的鱼眼图像；
确定所述降采样后的鱼眼图像对应的径向亮度梯度图。
18.根据权利要求17所述的设备，其中，所述降采样后的鱼眼图像分辨率为500-1000像素。
19.根据权利要求15所述的设备，其中，所述梯度图确定装置包括：
梯度值确定单元，用于计算所述鱼眼图像中每个像素点的径向亮度梯度值；
梯度图确定单元，用于根据所述鱼眼图像中每个像素点的径向亮度梯度值，确定所述鱼眼图像对应的径向亮度梯度图。
20.根据权利要求19所述的设备，其中，所述梯度值确定单元，用于：
获取所述鱼眼图像的像素点的坐标及其对应的亮度值；
基于预置的相邻点获取规则，从所述像素点的径向方向的两侧分别获取相邻像素点的坐标及其对应的亮度值；
基于所述相邻像素点的坐标及其对应的亮度值，确定在所述像素点的径向方向上的插值像素点的坐标及其对应的亮度值；
基于所述鱼眼图像的像素点的坐标及其对应的亮度值和所述插值像素点的坐标及其对应的亮度值，确定所述鱼眼图像中的像素点的径向亮度梯度值。
21.根据权利要求20所述的设备，其中，所述相邻像素点的坐标包括以下任一项：
所述像素点的上方像素点的坐标和右上方像素点的坐标；
所述像素点的右上方像素点的坐标和右方像素点的坐标；
所述像素点的右方像素点的坐标和右下方像素点的坐标；
所述像素点的右下方像素点的坐标和下方像素点的坐标；
所述像素点的下方像素点的坐标和左下方像素点的坐标；
所述像素点的左下方像素点的坐标和左方像素点的坐标；
所述像素点的左方像素点的坐标和左上方像素点的坐标；
所述像素点的左上方像素点的坐标和上方中像素点的坐标。
22.根据权利要求20所述的设备，其中，梯度值确定单元，用于：
预置所述鱼眼图像的中心像素点和图像边缘像素点的径向亮度梯度值为0。
23.根据权利要求15所述的设备，其中，所述圆心半径确定单元，用于：
将所述筛选因子值最大时对应的筛选圆弧确定为所述鱼眼图像的有效区域边缘；
将所述筛选因子最大时对应的中心位置及其对应的参考半径分别确定为所述有效区域边缘的圆心和半径。
24.根据权利要求23所述的设备，其中，所述预置的筛选因子函数由所述参考半径与所述筛选圆弧上的所有像素点的径向亮度梯度值确定。
25.根据权利要求23所述的设备，其中，所述预置的筛选因子函数由所述参考半径、所述筛选圆弧上的所有像素点的径向亮度梯度值和预设的径向亮度梯度值阈值确定。
26.根据权利要求25所述的设备，所述径向亮度梯度值阈值为固定值或由所述鱼眼图像的亮度图的平均亮度值确定。
27.根据权利要求26所述的设备，其中，所述径向亮度梯度值阈值为2或
其中，b为所述鱼眼图像的亮度图的平均亮度值。
28.根据权利要求15至27中任一项所述的设备，其中，所述设备还包括：
输出装置，用于基于预设的输出模型，将所述鱼眼图像从所述空间球面映射为输出图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610817788.4A CN106485754B (zh) | 2016-09-12 | 2016-09-12 | 鱼眼镜头的标定方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610817788.4A CN106485754B (zh) | 2016-09-12 | 2016-09-12 | 鱼眼镜头的标定方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106485754A CN106485754A (zh) | 2017-03-08 |
| CN106485754B true CN106485754B (zh) | 2019-06-14 |
Family
ID=58273529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610817788.4A Active CN106485754B (zh) | 2016-09-12 | 2016-09-12 | 鱼眼镜头的标定方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106485754B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114841876A (zh) * | 2022-04-25 | 2022-08-02 | 北京智慧荣升科技有限公司 | 一种鱼眼图像校正方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104167002A (zh) * | 2014-08-28 | 2014-11-26 | 中国矿业大学 | 鱼眼图像的有效区域提取方法 |
| CN104268867A (zh) * | 2014-09-22 | 2015-01-07 | 国家电网公司 | 一种自适应的鱼眼镜头快速校正方法 |
| CN104268527A (zh) * | 2014-09-26 | 2015-01-07 | 北京无线电计量测试研究所 | 一种基于径向梯度检测的虹膜定位方法 |
-
2016
- 2016-09-12 CN CN201610817788.4A patent/CN106485754B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104167002A (zh) * | 2014-08-28 | 2014-11-26 | 中国矿业大学 | 鱼眼图像的有效区域提取方法 |
| CN104268867A (zh) * | 2014-09-22 | 2015-01-07 | 国家电网公司 | 一种自适应的鱼眼镜头快速校正方法 |
| CN104268527A (zh) * | 2014-09-26 | 2015-01-07 | 北京无线电计量测试研究所 | 一种基于径向梯度检测的虹膜定位方法 |
Non-Patent Citations (4)
| Title |
|---|
| Calibration and Correction for Omnidirectional Image with a Fisheye Lens;Jie Sun等;《Fourth International Conference on Natural Computation》;20081231;第133-137页 |
| 一种提取鱼眼镜头成像区域的算法及实现;朱新召等;《科学技术与工程》;20140630;第14卷(第16期);第277-279、286页 |
| 基于图像绘制的虚拟漫游系统的研究;杨玲;《中国优秀硕士学位论文全文数据库信息科技辑》;20071015(第4期);第29-42页 |
| 基于经纬映射的径向畸变快速校正算法的研究;刘亿静等;《激光杂志》;20151231;第36卷(第1期);第1-4页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106485754A (zh) | 2017-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020010945A1 (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US9420276B2 (en) | Calibration of light-field camera geometry via robust fitting | |
| JP6563609B2 (ja) | 中間ビューからの効率的なキャンバスビューの生成 | |
| US9172853B2 (en) | Microlens array architecture for avoiding ghosting in projected images | |
| US7865013B2 (en) | System and method for registration of cubic fisheye hemispherical images | |
| CN106600546A (zh) | 一种超广角摄像头畸变校正方法及系统 | |
| US20180240223A1 (en) | Three dimensional image fusion method and device and non-transitory computer-readable medium | |
| US20170308998A1 (en) | Motion Image Compensation Method and Device, Display Device | |
| CN107333064B (zh) | 一种球形全景视频的拼接方法及系统 | |
| CN104794704A (zh) | 一种标定模板、模板检测方法、装置及终端 | |
| US10798358B2 (en) | Image processing method and device for accomplishing white balance regulation, computer-readable storage medium and computer device | |
| US8885937B2 (en) | Exposure measuring method and apparatus based on composition for automatic image correction | |
| TWI703872B (zh) | 影像色彩還原與增強電路 | |
| CN109194954B (zh) | 鱼眼摄像头性能参数测试方法、装置、设备及可存储介质 | |
| US10341546B2 (en) | Image processing apparatus and image processing method | |
| JP5049460B2 (ja) | カラー撮像画像データの補間方法およびプログラム | |
| CN109002823A (zh) | 一种感应区区域确定方法、装置、设备及可读存储介质 | |
| CN105469387A (zh) | 一种拼接质量的量化方法和量化装置 | |
| KR101854612B1 (ko) | 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법 | |
| WO2023226218A1 (zh) | 轴对称光学成像并行仿真方法及装置 | |
| CN106485754B (zh) | 鱼眼镜头的标定方法及设备 | |
| US20180053283A1 (en) | Image processing apparatus and image processing method | |
| CN107067441A (zh) | 摄像机标定方法及装置 | |
| CN111160063B (zh) | 一种物联网ipc二维码配网图像增强方法及系统 | |
| KR100858086B1 (ko) | 렌더링 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240605 Address after: Room 212, Building 14, No. 350 Xianxia Road, Changning District, Shanghai, 200050 Patentee after: SHANGHAI ISMARTV NETWORK TECHNOLOGIES Co.,Ltd. Country or region after: China Address before: Room 3024, 3rd floor, 2879 Longteng Avenue, Xuhui District, Shanghai, 201620 Patentee before: WHALEY TECHNOLOGY Co.,Ltd. Country or region before: China |