CN107945136A - 一种鱼眼图像矫正方法、系统、设备及计算机存储介质 - Google Patents

一种鱼眼图像矫正方法、系统、设备及计算机存储介质 Download PDF

Info

Publication number
CN107945136A
CN107945136A CN201711260895.2A CN201711260895A CN107945136A CN 107945136 A CN107945136 A CN 107945136A CN 201711260895 A CN201711260895 A CN 201711260895A CN 107945136 A CN107945136 A CN 107945136A
Authority
CN
China
Prior art keywords
correction
line
eye images
fish eye
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711260895.2A
Other languages
English (en)
Other versions
CN107945136B (zh
Inventor
周绍辉
骆天骄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN ROADROVER TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN ROADROVER TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN ROADROVER TECHNOLOGY Co Ltd filed Critical SHENZHEN ROADROVER TECHNOLOGY Co Ltd
Priority to CN201711260895.2A priority Critical patent/CN107945136B/zh
Publication of CN107945136A publication Critical patent/CN107945136A/zh
Application granted granted Critical
Publication of CN107945136B publication Critical patent/CN107945136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种鱼眼图像矫正方法、系统、设备计算机存储介质，该方法包括：获取网格状标定板的鱼眼图像；计算鱼眼图像的横向梯度和纵向梯度，得到横向边缘视图和纵向边缘视图；将横向边缘视图及纵向边缘视图中的线段均进行拼接，得到相应的拼接线；在每一条拼接线上均选取n个点，基于不同矫正参数的矫正模型将选取的点映射至矫正空间中，对每条拼接线对应的映射点集进行直线拟合，得到每组矫正参数下每条拼接线相应的拟合线；计算每一组矫正参数下矫正空间内每条拟合线对应的映射点集的直线度，确定所有直线度的和为该组矫正参数对应的矫正直线度；确定矫正直线度值最小的矫正参数为目标矫正参数；均提高了鱼眼图像矫正方法的适用性。

Description

一种鱼眼图像矫正方法、系统、设备及计算机存储介质
技术领域
本发明涉及图像处理技术领域，更具体地说，涉及一种鱼眼图像矫正方法、系统、设备及计算机存储介质。
背景技术
在车载360环视系统等中，鱼眼摄像机拍摄的图片需要矫正后才能用于拼接。
现有的一种鱼眼图像矫正方法是：基于棋盘格标定板上同一直线上的点在鱼眼图像中发生畸变后拟合圆计算光心点。
然而，现有的一种鱼眼图像矫正方法需要棋盘格标定板畸变足够大时才能较好的拟合，计算出的鱼眼光心点和半径误差较大，而且可能因为畸变程度不够而需要多次拍摄，使得该方法的准确度低，复杂性高，进而使得该方法的适用性较低。
综上所述，如何提高鱼眼图像矫正方法的适用性是目前本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种鱼眼图像矫正方法，其能在一定程度上解决如何提高鱼眼图像矫正方法的适用性的技术问题。本发明还提供了一种鱼眼图像矫正系统、设备及计算机存储介质。
为了实现上述目的，本发明提供如下技术方案：
获取网格状标定板的鱼眼图像；
计算所述鱼眼图像的横向梯度和纵向梯度，得到横向边缘视图和纵向边缘视图；
将所述横向边缘视图及所述纵向边缘视图中的线段均进行拼接，得到相应的拼接线；
在每一条拼接线上均选取n个点，基于不同矫正参数的矫正模型将选取的点映射至矫正空间中，得到每条拼接线对应的映射点集，对每条拼接线对应的映射点集进行直线拟合，得到每组矫正参数下每条拼接线相应的拟合线；
计算每一组矫正参数下矫正空间内每条拟合线对应的映射点集的直线度，确定该组矫正参数下所有直线度的和为该组矫正参数对应的矫正直线度，一条拟合线对应的映射点集的直线度为该条拟合线对应的映射点到该条拟合线的距离平方和与该条拟合线的首尾两个映射点间距离的比值；
确定矫正直线度值最小的矫正参数为目标矫正参数，以基于所述目标矫正参数对所述鱼眼图像进行图像矫正。
优选的，所述计算所述鱼眼图像的横向梯度和纵向梯度，包括：
对所述鱼眼图像进行自适应阈值分割，得到阈值图，计算所述阈值图的横向梯度和纵向梯度，得到横向边缘视图和纵向边缘视图。
优选的，所述将所述横向边缘视图及所述纵向边缘视图中的线段进行拼接，得到拼接线，包括：
依次将所述横向边缘视图及所述纵向边缘视图的任一条线段作为第一线段，寻找头部像素点与第一线段的尾部像素点间距离最短的第二线段，判断所述距离是否小于第一线段长度的一半且小于第二线段长度的一半，若是，则建立并记录第一线段及第二线段间的拼接关系，直至得到与每一条线段相应的拼接关系；
将相互之间有拼接关系的线段拼接为拼接线。
优选的，所述将所述横向边缘视图及所述纵向边缘视图中的线段进行拼接，得到拼接线，包括：
将所述横向边缘视图及所述纵向边缘视图中长度小于预设阈值的线段舍弃，将未舍弃的线段进行拼接，得到拼接线。
优选的，所述确定矫正直线度值最小的矫正参数为目标矫正参数，包括：
借助矫正坐标图保存每组矫正参数及该组矫正参数下的矫正直线度，所述矫正坐标图的横坐标表示光心点像素坐标的横坐标，所述矫正坐标图的纵坐标表示光心点像素坐标的纵坐标，所述矫正坐标图的竖坐标表示相应组矫正参数下的矫正直线度；
将所述矫正坐标图中的任一矫正坐标点作为当前矫正坐标点，选取当前矫正坐标点当前步长周围的当前预设数量矫正坐标点中矫正直线度值最小的矫正坐标点为当前矫正坐标点，重复执行选取当前矫正坐标点当前步长周围的当前预设数量点中矫正直线度值最小的矫正坐标点为当前矫正坐标点，直至确定当前步长下的当前矫正坐标点；
依次调整当前步长和当前预设数量，确定调整后的当前步长和当前预设数量下的当前矫正坐标点，直至得到当前步长为预设步长阈值下的当前矫正坐标点；
确定当前矫正坐标点对应的矫正参数为目标矫正参数。
优选的，所述对每条拼接线对应的映射点进行直线拟合，包括：
基于最小二乘法对每条拼接线对应的映射点进行直线拟合。
优选的，所述获取网格状标定板的鱼眼图像，包括：
获取网格状标定板的鱼眼图像，所述网格状标定板包括标定网格线和白色背景，每条所述标定网格线的线宽小于线间隔宽度的1/4，所述线宽小于所述白色背景的白色边缘宽度的1/4。
本发明还提供了一种鱼眼图像矫正系统，包括：
获取模块，用于获取网格状标定板的鱼眼图像；
梯度模块，用于计算所述鱼眼图像的横向梯度和纵向梯度，得到横向边缘视图和纵向边缘视图；
拼接模块，用于将所述横向边缘视图及所述纵向边缘视图中的线段均进行拼接，得到相应的拼接线；
矫正模块，用于在每一条拼接线上均选取n个点，基于不同矫正参数的矫正模型将选取的点映射至矫正空间中，得到每条拼接线对应的映射点集，对每条拼接线对应的映射点集进行直线拟合，得到每组矫正参数下每条拼接线相应的拟合线；
直线度模块，用于计算每一组矫正参数下矫正空间内每条拟合线对应的映射点集的直线度，确定该组矫正参数下所有直线度的和为该组矫正参数对应的矫正直线度，一条拟合线对应的映射点集的直线度为该条拟合线对应的映射点到该条拟合线的距离平方和与该条拟合线的首尾两个映射点间距离的比值；
确定模块，用于确定矫正直线度值最小的矫正参数为目标矫正参数，以基于所述目标矫正参数对所述鱼眼图像进行图像矫正。
本发明还提供了一种鱼眼图像矫正设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一所述一种鱼眼图像矫正方法的步骤。
本发明还提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述一种鱼眼图像矫正方法的步骤。
本发明提供的一种鱼眼图像矫正方法，获取网格状标定板的鱼眼图像；计算鱼眼图像的横向梯度和纵向梯度，得到横向边缘视图和纵向边缘视图；将横向边缘视图及纵向边缘视图中的线段均进行拼接，得到相应的拼接线；在每一条拼接线上均选取n个点，基于不同矫正参数的矫正模型将选取的点映射至矫正空间中，得到每条拼接线对应的映射点集，对每条拼接线对应的映射点集进行直线拟合，得到每组矫正参数下每条拼接线相应的拟合线；计算每一组矫正参数下矫正空间内每条拟合线对应的映射点集的直线度，确定该组矫正参数下所有直线度的和为该组矫正参数对应的矫正直线度；确定矫正直线度值最小的矫正参数为目标矫正参数，以基于目标矫正参数对鱼眼图像进行图像矫正。与现有技术相比，本发明提供的一种鱼眼图像矫正方法在一定程度上提高了鱼眼图像矫正方法的适用性。本发明提供的一种鱼眼图像矫正系统、设备及计算机存储介质也解决了相应的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种鱼眼图像矫正方法的流程图；
图2为实际应用中本发明实施例提供的一种鱼眼图像矫正方法中网格状标定板的结构示意图；
图3为实际应用中本发明实施例提供的一种鱼眼图像矫正方法中经取点操作后的边缘视图；
图4为矫正后的鱼眼图像示意图；
图5为本发明实施例提供的一种鱼眼图像矫正系统的结构示意图；
图6为本发明实施例提供的一种鱼眼图像矫正设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的一种鱼眼图像矫正方法中各个步骤的动作执行主体可以为本发明实施例提供的一种鱼眼矫正系统，而该系统可以内置于车载系统等中，所以本发明实施例提供的一种鱼眼矫正方法中各个步骤的动作执行主体可以为车载系统等。为了描述方便，这里将本发明实施例提供的一种鱼眼图像矫正方法中各个步骤的动作执行主体设为本发明实施例提供的一种鱼眼图像矫正系统，简称为矫正系统。
请参阅图1，图1为本发明实施例提供的一种鱼眼图像矫正方法的流程图。
本发明实施例提供的一种鱼眼图像矫正方法，可以包括以下步骤：
步骤S101：获取网格状标定板的鱼眼图像。
实际应用中，矫正系统先获取网格状标定板的鱼眼图像。这里所说的鱼眼图像指的是网格状标定板在鱼眼摄像头下的鱼眼图像，矫正系统可以是直接接收外界发送的鱼眼图像，也可以是借助自身的鱼眼摄像头拍摄得到相应的鱼眼图像，在拍摄时，应尽量将网格状标定板正对光轴拍摄且尽量让网格状标定板上的横纵标定线分别保持水平和垂直。
步骤S102：计算鱼眼图像的横向梯度和纵向梯度，得到横向边缘视图和纵向边缘视图。
矫正系统在得到鱼眼图像后，可以分别在鱼眼图像的横向方向和纵向方向计算梯度，生成相应的横向边缘视图和纵向边缘视图。这里所说的横向边缘视图指的是鱼眼图像中每条横标定线的边缘视图，相应的，这里所说的纵向边缘视图指的是鱼眼图像中每条纵标定线的边缘视图。
步骤S103：将横向边缘视图及纵向边缘视图中的线段均进行拼接，得到相应的拼接线。
由于网格状标定板由横标定线和纵标定线组成，对于一条横标定线而言，多条纵标定线会将该条横标定线分割成多段标定线段，相应的，鱼眼图像中会有每段标定线段相应的鱼眼线段，在由鱼眼图像得到横向边缘视图和纵向边缘视图后，相应的边缘视图中会有鱼眼线段相应的边缘线段，比如横向边缘视图中会有与横向标定线段相应的横向边缘视图；而矫正系统进行拼接的目的是为了将边缘视图中原本属于同一条标定线的边缘线拼接起来。比如，网格状标定板的横标定线跟纵标定线均为三条时，以一条横标定线来说，三条纵标定线将该条横标定线分为四段，那么，该条横标定线在鱼眼图像中对应四段鱼眼线段，相应的，在横向边缘视图中，该条横标定线对应四条边缘线段，四条边缘线段拼接起来才是该条横标定线段对应的边缘线。应当指出，矫正系统对横向边缘视图及纵向边缘视图中的线段进行拼接，得到的拼接线的数量为多个，具体的数量可以根据实际操作确定，理论上，拼接线的总数量等于网格状标定板中标定线的总数量。应当指出，这里的拼接是将横向边缘视图中的线段进行拼接，得到横标定线相应的拼接线，将纵向边缘视图中的线段进行拼接，得到纵坐标线相应的拼接线。
步骤S104：在每一条拼接线上均选取n个点，基于不同矫正参数的矫正模型将选取的点映射至矫正空间中，得到每条拼接线对应的映射点集，对每条拼接线对应的映射点集进行直线拟合，得到每组矫正参数下每条拼接线相应的拟合线。
矫正系统在得到拼接线后，可以在每一条拼接线上均选取n个点，比如在每条拼接线上均等间隔选取n个点等，n的数量可以根据实际需要确定且为正整数；然后基于不同矫正参数的矫正模型将选取的点映射至矫正空间中，得到每条拼接线对应的映射点集；接着对每条拼接线对应的映射点集进行直线拟合，得到每组矫正参数下每条拼接线相应的拟合线。这里所说的矫正参数为鱼眼图像光心点的相应参数，其格式可以为(cx,cy,f)，其中(cx,cy)表示鱼眼图像光心点的像素坐标，f为鱼眼图像摄像头的焦距。实际应用中，cx、cy、f的取值范围与鱼眼摄像头的批次误差大小有关，三者的取值应该涵盖批次内误差范围，具体取值可以根据实际需要确定，比如选取的cx,cy的范围为[-10,10]，f的范围为[-5,5]；选取的cx,cy的范围为[-80,80]，f的范围为[-10,10]等。这里所说的矫正模型可以为zemax矫正模型。
将选取的点映射至矫正空间中所用的公式可以为：
其中，(xreal,yreal)为映射点的像素坐标，(cx,cy)为光心点像素坐标，f为焦距，rreal为映射点到光心点的欧式距离，rref为在小孔成像模型下的投影欧式距离，为zemax表中第n排的rref数值，(xref,yref)表示经过矫正后的坐标。
步骤S105：计算每一组矫正参数下矫正空间内每条拟合线对应的映射点集的直线度，确定该组矫正参数下所有直线度的和为该组矫正参数对应的矫正直线度，一条拟合线对应的映射点集的直线度为该条拟合线对应的映射点到该条拟合线的距离平方和与该条拟合线的首尾两个映射点间距离的比值。
矫正系统在得到每组矫正参数相应的拟合线后，便可以计算每一组矫正参数下矫正空间内每条拟合线对应的映射点集的直线度，然后将该组矫正参数下所有拟合线对应的映射点集的直线度的和作为该组矫正参数对应的矫正直线度。实际应用中可以借助直线度计算公式计算每一条拟合线对应的映射点集的直线度，其中，直线度计算公式可以为：
其中，offset表示在网格状标定板同一直线上的n个映射点的直线度值；l表示点(xn,yn)与点(x1,y1)间的距离，也即该条拟合线对应的首尾两映射点间的距离；di为点(xi,yi)到该拟合线的距离；a、b为该拟合线的表示方程中的相关系数，表示方程的形式为y＝ax+b，a为该拟合线表示方程的斜率，b为该拟合线表示方程的基值。
步骤S106：确定矫正直线度值最小的矫正参数为目标矫正参数，以基于目标矫正参数对鱼眼图像进行图像矫正。
矫正系统在得到每组矫正参数相应的矫正直线度后，便可以确定矫正直线度值最小的矫正参数为目标矫正参数，以基于目标矫正参数对鱼眼图像进行图像矫正。由于目标矫正参数对应的矫正直线度的值最小，借助目标矫正参数对鱼眼图像进行图像矫正可以使得鱼眼图像的矫正效果最好。
本发明提供的一种鱼眼图像矫正方法，获取网格状标定板的鱼眼图像；计算鱼眼图像的横向梯度和纵向梯度，得到横向边缘视图和纵向边缘视图；将横向边缘视图及纵向边缘视图中的线段均进行拼接，得到相应的拼接线；在每一条拼接线上均选取n个点，基于不同矫正参数的矫正模型将选取的点映射至矫正空间中，得到每条拼接线对应的映射点集，对每条拼接线对应的映射点集进行直线拟合，得到每组矫正参数下每条拼接线相应的拟合线；计算每一组矫正参数下矫正空间内每条拟合线对应的映射点集的直线度，确定该组矫正参数下所有直线度的和为该组矫正参数对应的矫正直线度；确定矫正直线度值最小的矫正参数为目标矫正参数，以基于目标矫正参数对所述鱼眼图像进行图像矫正。与现有技术相比，本发明提供的一种鱼眼图像矫正方法在一定程度上解决了如何提高鱼眼图像矫正方法的适用性的技术问题。
本发明实施例提供的一种鱼眼图像矫正方法中，步骤S102：计算鱼眼图像的横向梯度和纵向梯度，具体可以为：
对鱼眼图像进行自适应阈值分割，得到阈值图，计算阈值图的横向梯度和纵向梯度，得到横向边缘视图和纵向边缘视图。
实际应用中，矫正系统计算鱼眼图像的横向梯度和纵向梯度时，可以先对鱼眼图像进行自适应阈值分割，得到相应的阈值图，然后计算阈值图的横向梯度和纵向梯度，得到相应的横向边缘视图和纵向边缘视图。先对鱼眼图像进行自适应阈值分割的好处是可以使得鱼眼图像中网格状标定板的轮廓更为明显，方便后续操作。
本发明实施例提供的一种鱼眼图像矫正方法中，步骤S103：将横向边缘视图及纵向边缘视图中的线段进行拼接，得到拼接线，具体可以为：
依次将横向边缘视图及纵向边缘视图的任一条线段作为第一线段，寻找头部像素点与第一线段的尾部像素点间距离最短的第二线段，判断距离是否小于第一线段长度的一半且小于第二线段长度的一半，若是，则建立并记录第一线段及第二线段间的拼接关系，直至得到与每一条线段相应的拼接关系；
将相互之间有拼接关系的线段拼接为拼接线。
实际应用中，矫正系统将横向边缘视图及纵向边缘视图中的线段进行拼接，得到拼接线的过程具体可以如本实施例。实际应用中，可以借助哈希表来确定拼接关系，比如创建两个哈希表，分别为哈希表1和哈希表2，将待拼接线段进行编号，每个线段的编号均与哈希表中相应编号的表格对应；在哈希表1中每个编号的表格处记录该编号对应的相应编号的线段的下一拼接线段的编号，如果没有，则记-1，也可以记其他值，比如-2等；然后遍历哈希表1，通过哈希表1内存储的值访问哈希表1的对应位置，直到遇到-1停止，将经过的线段编号记录在哈希表2中对应位置中，这样哈希表2中每个位置存储的是与该编号的线段依次拼接的线段，因此找到同一个编号结尾的key值，取包含序号多的那个key值为拼接好的拼接线。
本发明实施例提供的一种鱼眼图像矫正方法中，步骤S103：将横向边缘视图及纵向边缘视图中的线段进行拼接，得到拼接线，具体可以为：
将横向边缘视图及纵向边缘视图中长度小于预设阈值的线段舍弃，将未舍弃的线段进行拼接，得到拼接线。
实际应用中，矫正系统可以先将横向视图及纵向视图中长度小于预设阈值的线段舍弃，然后再将未舍弃的线段进行拼接，得到拼接线。预设阈值可以根据实际需要确定。将长度小于预设阈值的线段舍弃的好处是可以排除噪声影响，使得最终的矫正结果更为贴合实际结果，矫正效果更好。
本发明实施例提供的一种鱼眼图像矫正方法中，步骤S106中确定矫正直线度值最小的矫正参数为目标矫正参数，具体可以为：
借助矫正坐标图保存每组矫正参数及该组矫正参数下的矫正直线度，矫正坐标图的横坐标表示光心点像素坐标的横坐标，矫正坐标图的纵坐标表示光心点像素坐标的纵坐标，矫正坐标图的竖坐标表示相应组矫正参数下的矫正直线度；
将矫正坐标图中的任一矫正坐标点作为当前矫正坐标点，选取当前矫正坐标点当前步长周围的当前预设数量矫正坐标点中矫正直线度值最小的矫正坐标点为当前矫正坐标点，重复执行选取当前矫正坐标点当前步长周围的当前预设数量点中矫正直线度值最小的矫正坐标点为当前矫正坐标点，直至确定当前步长下的当前矫正坐标点；
依次调整当前步长和当前预设数量，确定调整后的当前步长和当前预设数量下的当前矫正坐标点，直至得到当前步长为预设步长阈值下的当前矫正坐标点；
确定当前矫正坐标点对应的矫正参数为目标矫正参数。
实际应用中，矫正系统可以采用滑步法确定目标矫正参数，具体过程如上所描述，应当指出，调整当前步长的原则一般为缩小当前步长的原则，当然也可以是保持不变等原则。具体应用场景中，有些矫正坐标点可能重复参与比较过程，对于这些重复参与比较过程的矫正坐标点，可以设置其只在第一次比较的时候发挥作用，这样可以节省时间，提高确定目标矫正参数的效率。
实际应用中使用滑步法的过程可以包括以下步骤：
步骤一：将矫正坐标图的图像中心作为当前矫正坐标点，将步长a作为当前步长；
步骤二：计算距当前矫正坐标点当前步长的8个位置上的矫正直线度的值，选择其中矫正直线度值最小的位置为当前矫正坐标点，其中8个位置为当前矫正坐标点的上、下、左、右、上左、上右、下左及下右8个位置；
步骤三：重复步骤二，直到得到当前步长下的当前矫正坐标点；
步骤四：判断当前步长是否小于设定的步长值，若是，则当前矫正坐标点即为所求的矫正直线度值最小的矫正坐标点；若否，则将当前步长的一半作为当前步长，返回执行步骤二，直至得到最终的当前矫正坐标点。
在此过程中，当下一次滑动是沿着上一次滑动中当前矫正坐标点的平行方向滑动时，即上方向或下方向或左方向或右方向时，相邻两次滑动间会有五个重叠位置；当下一次滑动时沿着上一次滑动中当前矫正坐标点的斜方向时，即上左方向或上右方向或下左方向或下右方向时，相邻两次滑动间会有三个重叠位置；无论平行滑动还是斜行滑动，均只对重叠位置进行一次比较矫正直线度大小的操作。
本发明实施例提供的一种鱼眼图像矫正方法中，步骤S104中对每条拼接线对应的映射点进行直线拟合，具体可以为：
基于最小二乘法对每条拼接线对应的映射点进行直线拟合。
实际应用中，可以基于最小二乘法对每条拼接线对应的映射点进行直线拟合，这样可以使得拟合出的拟合线上尽可能多的有映射点。应当指出，在对纵向边缘视图对应的映射点进行直线拟合时，可以将每个映射点的横纵坐标交换，再对交换横纵坐标的映射点进行直线拟合。
本发明实施例提供的一种鱼眼图像矫正方法中，步骤S101获取网格状标定板的鱼眼图像，具体可以为：
获取网格状标定板的鱼眼图像，网格状标定板包括标定网格线和白色背景，每条标定网格线的线宽小于线间隔宽度的1/4，线宽小于白色背景的白色边缘宽度的1/4。
实际应用中，矫正系统应用的网格状标定板包括标定网格线和白色背景，标定网格线也即上文所说的横向线和纵向线，每条标定网格线的线宽可以小于线间隔的1/4，也可以小于线间隔的1/2等；线宽可以小于白色背景的白色边缘宽度的1/4，也可以小于白色背景的白色边缘宽度的1/2等。
请参阅图2，图3和图4，图2为实际应用中本发明实施例提供的一种鱼眼图像矫正方法中网格状标定板的结构示意图，图3为实际应用中本发明实施例提供的一种鱼眼图像矫正方法中经取点操作后的边缘视图，图4为矫正后的鱼眼图像示意图。
本发明还提供了一种鱼眼图像矫正系统，其具有本发明实施例提供的一种鱼眼图像矫正方法具有的对应效果。请参阅图5，图5为本发明实施例提供的一种鱼眼图像矫正系统的结构示意图。
本发明实施例提供的一种鱼眼图像矫正系统，可以包括：
获取模块101，用于获取网格状标定板的鱼眼图像；
梯度模块102，用于计算鱼眼图像的横向梯度和纵向梯度，得到横向边缘视图和纵向边缘视图；
拼接模块103，用于将横向边缘视图及纵向边缘视图中的线段均进行拼接，得到相应的拼接线；
矫正模块104，用于在每一条拼接线上均选取n个点，基于不同矫正参数的矫正模型将选取的点映射至矫正空间中，得到每条拼接线对应的映射点集，对每条拼接线对应的映射点集进行直线拟合，得到每组矫正参数下每条拼接线相应的拟合线；
直线度模块105，用于计算每一组矫正参数下矫正空间内每条拟合线对应的映射点集的直线度，确定该组矫正参数下所有直线度的和为该组矫正参数对应的矫正直线度，一条拟合线对应的映射点集的直线度为该条拟合线对应的映射点到该条拟合线的距离平方和与该条拟合线的首尾两个映射点间距离的比值；
确定模块106，用于确定矫正直线度值最小的矫正参数为目标矫正参数，以基于目标矫正参数对鱼眼图像进行图像矫正。
本发明实施例提供的一种鱼眼图像矫正系统中，梯度模块可以包括：
阈值分割单元，用于对鱼眼图像进行自适应阈值分割，得到阈值图，计算阈值图的横向梯度和纵向梯度，得到横向边缘视图和纵向边缘视图。
本发明实施例提供的一种鱼眼图像矫正系统中，拼接模块可以包括：
拼接单元，用于依次将横向边缘视图及纵向边缘视图的任一条线段作为第一线段，寻找头部像素点与第一线段的尾部像素点间距离最短的第二线段，判断距离是否小于第一线段长度的一半且小于第二线段长度的一半，若是，则建立并记录第一线段及第二线段间的拼接关系，直至得到与每一条线段相应的拼接关系；将相互之间有拼接关系的线段拼接为拼接线。
本发明实施例提供的一种鱼眼图像矫正系统中，拼接模块可以包括：
舍弃单元，用于将横向边缘视图及纵向边缘视图中长度小于预设阈值的线段舍弃，将未舍弃的线段进行拼接，得到拼接线。
本发明实施例提供的一种鱼眼图像矫正系统中，确定模块可以包括：
保存单元，用于借助矫正坐标图保存每组矫正参数及该组矫正参数下的矫正直线度，矫正坐标图的横坐标表示光心点像素坐标的横坐标，矫正坐标图的纵坐标表示光心点像素坐标的纵坐标，矫正坐标图的竖坐标表示相应组矫正参数下的矫正直线度；
当前矫正坐标点单元，用于将矫正坐标图中的任一矫正坐标点作为当前矫正坐标点，选取当前矫正坐标点当前步长周围的当前预设数量矫正坐标点中矫正直线度值最小的矫正坐标点为当前矫正坐标点，重复执行选取当前矫正坐标点当前步长周围的当前预设数量点中矫正直线度值最小的矫正坐标点为当前矫正坐标点，直至确定当前步长下的当前矫正坐标点；
循环单元，用于依次调整当前步长和当前预设数量，确定调整后的当前步长和当前预设数量下的当前矫正坐标点，直至得到当前步长为预设步长阈值下的当前矫正坐标点；
确定单元，用于确定当前矫正坐标点对应的矫正参数为目标矫正参数。
本发明实施例提供的一种鱼眼图像矫正系统中，矫正模块可以包括：
拟合单元，用于基于最小二乘法对每条拼接线对应的映射点进行直线拟合。
本发明实施例提供的一种鱼眼图像矫正系统中，获取模块可以包括：
获取单元，用于获取网格状标定板的鱼眼图像，网格状标定板包括标定网格线和白色背景，每条标定网格线的线宽小于线间隔宽度的1/4，线宽小于白色背景的白色边缘宽度的1/4。
本发明还提供了一种鱼眼图像矫正设备及计算机存储介质，其均具有本发明实施例提供的一种鱼眼图像矫正方法具有的对应效果。请参阅图6，图6为本发明实施例提供的一种鱼眼图像矫正设备的结构示意图。
本发明实施例提供的一种鱼眼图像矫正设备，可以包括：
存储器201，用于存储计算机程序；
处理器202，用于执行计算机程序时实现如上任一实施例所描述的一种鱼眼图像矫正方法的步骤。
本发明实施例提供的一种计算机存储介质，计算机存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上任一实施例所描述的一种鱼眼图像矫正方法的步骤。
本发明实施例提供的一种鱼眼矫正系统、设备及计算机存储介质中相关部分的说明请参见本发明实施例提供的一种鱼眼图像矫正方法中对应部分的详细说明，在此不再赘述。另外，本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种鱼眼图像矫正方法，其特征在于，包括：
获取网格状标定板的鱼眼图像；
计算所述鱼眼图像的横向梯度和纵向梯度，得到横向边缘视图和纵向边缘视图；
将所述横向边缘视图及所述纵向边缘视图中的线段均进行拼接，得到相应的拼接线；
在每一条拼接线上均选取n个点，基于不同矫正参数的矫正模型将选取的点映射至矫正空间中，得到每条拼接线对应的映射点集，对每条拼接线对应的映射点集进行直线拟合，得到每组矫正参数下每条拼接线相应的拟合线；
计算每一组矫正参数下矫正空间内每条拟合线对应的映射点集的直线度，确定该组矫正参数下所有直线度的和为该组矫正参数对应的矫正直线度，一条拟合线对应的映射点集的直线度为该条拟合线对应的映射点到该条拟合线的距离平方和与该条拟合线的首尾两个映射点间距离的比值；
确定矫正直线度值最小的矫正参数为目标矫正参数，以基于所述目标矫正参数对所述鱼眼图像进行图像矫正。
2.根据权利要求1所述的方法，其特征在于，所述计算所述鱼眼图像的横向梯度和纵向梯度，包括：
对所述鱼眼图像进行自适应阈值分割，得到阈值图，计算所述阈值图的横向梯度和纵向梯度，得到横向边缘视图和纵向边缘视图。
3.根据权利要求1所述的方法，其特征在于，所述将所述横向边缘视图及所述纵向边缘视图中的线段进行拼接，得到拼接线，包括：
依次将所述横向边缘视图及所述纵向边缘视图的任一条线段作为第一线段，寻找头部像素点与第一线段的尾部像素点间距离最短的第二线段，判断所述距离是否小于第一线段长度的一半且小于第二线段长度的一半，若是，则建立并记录第一线段及第二线段间的拼接关系，直至得到与每一条线段相应的拼接关系；
将相互之间有拼接关系的线段拼接为拼接线。
4.根据权利要求1所述的方法，其特征在于，所述将所述横向边缘视图及所述纵向边缘视图中的线段进行拼接，得到拼接线，包括：
将所述横向边缘视图及所述纵向边缘视图中长度小于预设阈值的线段舍弃，将未舍弃的线段进行拼接，得到拼接线。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述确定矫正直线度值最小的矫正参数为目标矫正参数，包括：
借助矫正坐标图保存每组矫正参数及该组矫正参数下的矫正直线度，所述矫正坐标图的横坐标表示光心点像素坐标的横坐标，所述矫正坐标图的纵坐标表示光心点像素坐标的纵坐标，所述矫正坐标图的竖坐标表示相应组矫正参数下的矫正直线度；
将所述矫正坐标图中的任一矫正坐标点作为当前矫正坐标点，选取当前矫正坐标点当前步长周围的当前预设数量矫正坐标点中矫正直线度值最小的矫正坐标点为当前矫正坐标点，重复执行选取当前矫正坐标点当前步长周围的当前预设数量点中矫正直线度值最小的矫正坐标点为当前矫正坐标点，直至确定当前步长下的当前矫正坐标点；
依次调整当前步长和当前预设数量，确定调整后的当前步长和当前预设数量下的当前矫正坐标点，直至得到当前步长为预设步长阈值下的当前矫正坐标点；
确定当前矫正坐标点对应的矫正参数为目标矫正参数。
6.根据权利要求1所述的方法，其特征在于，所述对每条拼接线对应的映射点进行直线拟合，包括：
基于最小二乘法对每条拼接线对应的映射点进行直线拟合。
7.根据权利要求1所述的方法，其特征在于，所述获取网格状标定板的鱼眼图像，包括：
获取网格状标定板的鱼眼图像，所述网格状标定板包括标定网格线和白色背景，每条所述标定网格线的线宽小于线间隔宽度的1/4，所述线宽小于所述白色背景的白色边缘宽度的1/4。
8.一种鱼眼图像矫正系统，其特征在于，包括：
获取模块，用于获取网格状标定板的鱼眼图像；
梯度模块，用于计算所述鱼眼图像的横向梯度和纵向梯度，得到横向边缘视图和纵向边缘视图；
拼接模块，用于将所述横向边缘视图及所述纵向边缘视图中的线段均进行拼接，得到相应的拼接线；
矫正模块，用于在每一条拼接线上均选取n个点，基于不同矫正参数的矫正模型将选取的点映射至矫正空间中，得到每条拼接线对应的映射点集，对每条拼接线对应的映射点集进行直线拟合，得到每组矫正参数下每条拼接线相应的拟合线；
直线度模块，用于计算每一组矫正参数下矫正空间内每条拟合线对应的映射点集的直线度，确定该组矫正参数下所有直线度的和为该组矫正参数对应的矫正直线度，一条拟合线对应的映射点集的直线度为该条拟合线对应的映射点到该条拟合线的距离平方和与该条拟合线的首尾两个映射点间距离的比值；
确定模块，用于确定矫正直线度值最小的矫正参数为目标矫正参数，以基于所述目标矫正参数对所述鱼眼图像进行图像矫正。
9.一种鱼眼图像矫正设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述一种鱼眼图像矫正方法的步骤。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种鱼眼图像矫正方法的步骤。
CN201711260895.2A 2017-12-04 2017-12-04 一种鱼眼图像矫正方法、系统、设备及计算机存储介质 Active CN107945136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711260895.2A CN107945136B (zh) 2017-12-04 2017-12-04 一种鱼眼图像矫正方法、系统、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711260895.2A CN107945136B (zh) 2017-12-04 2017-12-04 一种鱼眼图像矫正方法、系统、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN107945136A true CN107945136A (zh) 2018-04-20
CN107945136B CN107945136B (zh) 2021-09-24

Family

ID=61947455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711260895.2A Active CN107945136B (zh) 2017-12-04 2017-12-04 一种鱼眼图像矫正方法、系统、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN107945136B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246123A (zh) * 2019-05-21 2019-09-17 贵州民族大学 一种基于机器视觉的瓷砖铺贴规整度检测方法
CN113674214A (zh) * 2021-07-26 2021-11-19 常州市新创智能科技有限公司 一种基于双目相机拼接的直线度检测方法和装置
CN114841876A (zh) * 2022-04-25 2022-08-02 北京智慧荣升科技有限公司 一种鱼眼图像校正方法、装置、电子设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102031A (zh) * 2007-07-20 2008-01-09 深圳格力浦电子有限公司 欧式连接器母端簧片的制造方法
CN102156970A (zh) * 2011-04-14 2011-08-17 复旦大学 基于畸变直线斜率计算的鱼眼图像校正方法
US20120114262A1 (en) * 2010-11-09 2012-05-10 Chi-Chang Yu Image correction method and related image correction system thereof
CN102519368A (zh) * 2011-12-27 2012-06-27 合肥工业大学 法向位移和角度传感光学测头及测量方法
CN103197404A (zh) * 2013-04-02 2013-07-10 浙江大学 红外全景环视成像系统及其方法
CN103389072A (zh) * 2013-07-22 2013-11-13 北京信息科技大学 一种基于直线拟合的像点定位精度评估方法
CN103593836A (zh) * 2012-08-14 2014-02-19 无锡维森智能传感技术有限公司 一种摄像头参数计算方法及相机确定车体姿态的方法
CN104215181A (zh) * 2014-09-04 2014-12-17 中国计量科学研究院 一种消除阿贝误差的大长度激光干涉测量系统
CN104268867A (zh) * 2014-09-22 2015-01-07 国家电网公司 一种自适应的鱼眼镜头快速校正方法
CN104334312A (zh) * 2012-03-16 2015-02-04 Ipg微系统有限公司 使一工件中具有延伸深度虚饰的激光切割
CN105303556A (zh) * 2015-09-18 2016-02-03 中国空气动力研究与发展中心高速空气动力研究所 基于直线特征的摄像机非线性畸变参数求解方法
CN105827899A (zh) * 2015-05-26 2016-08-03 维沃移动通信有限公司 一种修正镜头畸变的方法和装置
CN106233711A (zh) * 2014-09-30 2016-12-14 歌乐株式会社 摄像机校准装置以及摄像机校准系统
CN106600549A (zh) * 2016-11-16 2017-04-26 深圳六滴科技有限公司 鱼眼图像的矫正方法和装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102031A (zh) * 2007-07-20 2008-01-09 深圳格力浦电子有限公司 欧式连接器母端簧片的制造方法
US20120114262A1 (en) * 2010-11-09 2012-05-10 Chi-Chang Yu Image correction method and related image correction system thereof
CN102156970A (zh) * 2011-04-14 2011-08-17 复旦大学 基于畸变直线斜率计算的鱼眼图像校正方法
CN102519368A (zh) * 2011-12-27 2012-06-27 合肥工业大学 法向位移和角度传感光学测头及测量方法
CN104334312A (zh) * 2012-03-16 2015-02-04 Ipg微系统有限公司 使一工件中具有延伸深度虚饰的激光切割
CN103593836A (zh) * 2012-08-14 2014-02-19 无锡维森智能传感技术有限公司 一种摄像头参数计算方法及相机确定车体姿态的方法
CN103197404A (zh) * 2013-04-02 2013-07-10 浙江大学 红外全景环视成像系统及其方法
CN103389072A (zh) * 2013-07-22 2013-11-13 北京信息科技大学 一种基于直线拟合的像点定位精度评估方法
CN104215181A (zh) * 2014-09-04 2014-12-17 中国计量科学研究院 一种消除阿贝误差的大长度激光干涉测量系统
CN104268867A (zh) * 2014-09-22 2015-01-07 国家电网公司 一种自适应的鱼眼镜头快速校正方法
CN106233711A (zh) * 2014-09-30 2016-12-14 歌乐株式会社 摄像机校准装置以及摄像机校准系统
CN105827899A (zh) * 2015-05-26 2016-08-03 维沃移动通信有限公司 一种修正镜头畸变的方法和装置
CN105303556A (zh) * 2015-09-18 2016-02-03 中国空气动力研究与发展中心高速空气动力研究所 基于直线特征的摄像机非线性畸变参数求解方法
CN106600549A (zh) * 2016-11-16 2017-04-26 深圳六滴科技有限公司 鱼眼图像的矫正方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
魏利胜等: "基于非线性方程的鱼眼图像畸变矫正方法研究", 《电子测量与仪器学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246123A (zh) * 2019-05-21 2019-09-17 贵州民族大学 一种基于机器视觉的瓷砖铺贴规整度检测方法
CN110246123B (zh) * 2019-05-21 2021-08-03 贵州民族大学 一种基于机器视觉的瓷砖铺贴规整度检测方法
CN113674214A (zh) * 2021-07-26 2021-11-19 常州市新创智能科技有限公司 一种基于双目相机拼接的直线度检测方法和装置
CN114841876A (zh) * 2022-04-25 2022-08-02 北京智慧荣升科技有限公司 一种鱼眼图像校正方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN107945136B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN111083457B (zh) 多光机投影图像的校正方法、装置和多光机投影仪
CN107945136A (zh) 一种鱼眼图像矫正方法、系统、设备及计算机存储介质
CN104613930B (zh) 一种测距的方法、装置及移动终端
CN104574419B (zh) 镜头畸变参数标定方法及系统
CN106815823B (zh) 一种透镜畸变标定校正方法及其装置
CN106447602A (zh) 一种图像拼接方法及装置
CN107333130A (zh) 组装多摄像头模组测试方法及系统
CN112289209B (zh) Led显示箱体及显示屏拼缝像素间距亮度纠正方法
CN106705849A (zh) 线结构光传感器标定方法
CN107492080B (zh) 免定标便捷的单目镜头图像径向畸变矫正方法
CN112200771A (zh) 一种高度测量方法、装置、设备和介质
CN103196429B (zh) 城市天际轮廓线立面正射影像图的快速获取和测量方法
CN106600549A (zh) 鱼眼图像的矫正方法和装置
CN111508032A (zh) 相机标定过程中的特征点排序方法
CN106851103A (zh) 基于双摄像头系统的自动对焦方法和装置
CN114111799A (zh) 针对高大单体精细建模的无人机航摄路径规划方法
CN107123147A (zh) 双目摄像机的标定方法、装置及双目摄像机系统
CN113465573A (zh) 单目测距方法、装置及智能装置
CN103994779A (zh) 基于三维激光点云的全景相机标定方法
CN106773514B (zh) 一种摄像模组光轴平行调节方法及系统
CN111699513B (zh) 一种标定板、内参数标定方法、机器视觉系统及存储装置
CN103632334A (zh) 一种基于平行光轴结构摄像机的无穷远图像对齐方法
CN108198222A (zh) 一种广角镜头标定及图像矫正方法
CN113257181A (zh) Led屏校正图像采集方法、校正方法、采集装置及校正系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant