CN115660995A - 一种利用直线图案的相机正畸方法及系统 - Google Patents

Abstract

本发明涉及图像处理技术领域，特别涉及利用直线图案的相机正畸方法及系统，所示方法包括的步骤为，提取场景中的直线边缘或图形；根据提取的包含直线的图案，分解出用于畸变校正的直线样本；根据直线样本利用场景视野的物体来获取直线图案；根据获取的直线图案得到镜头畸变模型和任意子集；利用移动相机或包含直线的物体确定多组畸变直线；根据直线畸变法向量不变性确定畸变直线原始斜率；估计畸变模型的径向和切向畸变参数进行畸变校正。本发明能够根据场景中容易获得或构造的直线图案进行高精度镜头畸变校正，大幅提升在各种场景下镜头畸变校正的灵活度；同时根据正畸后图像中直线的直线度作为优化目标，能够提升正畸方法的鲁棒性。

Description

一种利用直线图案的相机正畸方法及系统

技术领域

本发明涉及图像处理技术领域，特别涉及利用直线图案的相机正畸方法及系统。

背景技术

由于相机的镜头存在光学畸变，畸变对于相机采集的图像、视觉系统检测、测量效果有重要的影响，通常需要对图像进行畸变校正。

现有的畸变校正方法：利用特制的标定物，比如棋盘格或点阵来提供现实点与图像点映射来估计畸变模型是相机镜头畸变校正最主要的方法之一。但是特制的标定物的图案精度有很高的要求，标定物本身的不完美性大幅影响了正畸精度；另一方面，在很多图像采集场景中，并不适宜使用特制的标定物，比如在视野极小显微成像和视野极大的大场景广角成像，寻找匹配的标定物比较困难。目前有一些相关论文讨论了基于直线特征的相机畸变校正方法，但是比较缺少实际应用场景的实用方案。一些方法使用更精密的特制标定物提升标定精度，例如CN112529792B中使用平板显示器投射条纹图案，但是对使用和操作就提出了更高的要求。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种利用直线图案的相机正畸方法及系统，它能够根据场景中容易获得或构造的直线图案进行高精度镜头畸变校正，大幅提升在各种场景下镜头畸变校正的灵活度；同时根据正畸后图像中直线的直线度作为优化目标，能够提升正畸方法的鲁棒性。

为实现上述目的，本发明提供如下技术方案：

利用直线图案的相机正畸方法，包括如下的步骤：

S1、提取场景中的直线边缘或图形；

S2、根据提取的包含直线的图案，分解出用于畸变校正的直线样本；

S3、根据直线样本利用场景视野的物体来获取直线图案；

S4、根据获取的直线图案得到镜头畸变模型和任意子集；

S5、利用移动相机或包含直线的物体确定多组畸变直线；

S6、根据直线畸变法向量不变性确定畸变直线原始斜率，将畸变模型转化为线性可解问题；

S7、利用网格搜索法确定最佳畸变中心，使用最小二乘估计畸变模型的径向和切向畸变参数进行畸变校正。

作为本发明所述利用直线图案的相机正畸方法的一种优选方案，所述步骤S2中，利用三次样条曲线拟合离散的直线像素点获得平滑的畸变直线样本。

作为本发明所述利用直线图案的相机正畸方法的一种优选方案，所述步骤S7中，利用最小二乘法线性求解畸变参数的过程如下：

S71.根据获得的多组畸变直线样本，利用一个畸变中心点列出畸变参数和直线到畸变中心距离的线性方程组，其中直线方程为

，其中一条直线所有像素点的线性方程为：

其中

S72.通过联立多条直线样本的方程式得到一个稀疏的线性方程组：

S73.根据上述方程组利用最小二乘法线性求解到所有畸变参数。

作为本发明所述利用直线图案的相机正畸方法的一种优选方案，所述步骤S7中，确定最佳畸变中心的过程如下：根据上述获得的一组畸变参数，将畸变样本反畸变为直线，并通过直线方程的均方根误差评估反畸变的效果，计算公式为：

其中a’b’c’是反畸变后重新拟合的直线方程，利用网格搜索法优化上述误差，最佳畸变中心表示为：

。

作为本发明所述利用直线图案的相机正畸方法的一种优选方案，所述步骤S7中，镜头畸变校正从畸变像素到无畸变像素的映射关系为

，其中径向和切向镜头畸变模型表示为：

其中

。

上述利用直线图案的相机正畸系统，包括：

提取模块，用于提取场景中的直线边缘或图形；

获取直线样本模块，用于根据提取的包含直线的图案，分解出用于畸变校正的直线样本；

获取直线图案模块，用于根据直线样本利用场景视野的物体来获取直线图案；

获取畸变模型及子集模块，用于根据获取的直线图案得到镜头畸变模型和任意子集；

确定多组畸变直线，用于利用移动相机或包含直线的物体确定多组畸变直线；用于根据直线畸变法向量不变性确定畸变直线原始斜率，将畸变模型转化为线性可解问题；

畸变校正模块，用于利用网格搜索法确定最佳畸变中心，使用最小二乘估计畸变模型的径向和切向畸变参数进行畸变校正。

与现有技术相比，本发明的有益效果是：它能够根据场景中容易获得或构造的直线图案进行高精度镜头畸变校正，大幅提升在各种场景下镜头畸变校正的灵活度；同时根据正畸后图像中直线的直线度作为优化目标，能够提升正畸方法的鲁棒性。

本发明基于直线的相机畸变校正方法，使用更加灵活的标定图案，在不损失正畸精度的前提下，大幅降低了工程人员对相机畸变校正的操作难度，简化了操作步骤和标定物要求，在任何能够找到直线参照物的场景下，都能够快速的对相机畸变进行校正。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1为本发明利用直线图案的相机正畸方法的流程图；

图2为本发明畸变直线原始斜率示意图；

图3为本发明在样条曲线上计算距离畸变中心最近点的示意图；

图4为本发明最优畸变中心示意图；

图5为本发明工作方案一图像采集场景示意图；

图6为本发明工作方案一的流程图；

图7为本发明工作方案一的校正后效果图；

图8为本发明工作方案二图像采集场景示意图；

图9为本发明工作方案二的流程图；

图10为本发明工作方案二的校正后效果图；

图11为本发明工作方案三图像采集场景示意图；

图12为本发明工作方案三的流程图；

图13为本发明基于直线的反畸变模型估计流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

参照图1，为本发明第一个实施例，该实施例提供了一种利用直线图案的相机正畸方法，使用更加灵活的标定图案，在不损失正畸精度的前提下，大幅降低了工程人员对相机畸变校正的操作难度，简化了操作步骤和标定物要求，在任何能够找到直线参照物的场景下，都能够快速的对相机畸变进行校正。

具体的，包括如下的步骤：

S1、提取场景中的直线边缘或图形；

S2、根据提取的包含直线的图案，分解出用于畸变校正的直线样本；

S3、根据直线样本利用场景视野的物体来获取直线图案；

S4、根据获取的直线图案得到镜头畸变模型和任意子集；

S5、利用移动相机或包含直线的物体确定多组畸变直线；

S6、根据直线畸变法向量不变性确定畸变直线原始斜率，将畸变模型转化为线性可解问题；

S7、利用网格搜索法确定最佳畸变中心，使用最小二乘估计畸变模型的径向和切向畸变参数进行畸变校正。

优选的，畸变直线原始斜率估计，通过直线畸变法向量不变性，估计直线原有法向量，将畸变模型转化为线性可解问题。镜头畸变是关于畸变中心单调递增的，畸变的直线满足距离畸变中心最近的点与畸变中心连线是直线的法线，如图2所示。

优选的，由于相机图像都是离散的像素点，因此在计算与畸变中心最近的点时存在误差。本发明所述步骤S2中，利用三次样条曲线拟合离散的直线像素点获得平滑的畸变直线样本，并在样条曲线上计算距离畸变中心最近的点，如图3所示。

优选的，所述步骤S7中，利用最小二乘法线性求解畸变参数的过程如下：

S71.根据获得的多组畸变直线样本，利用一个畸变中心点列出畸变参数和直线到畸变中心距离的线性方程组，其中直线方程为

，其中一条直线所有像素点的线性方程为：

其中

S72.通过联立多条直线样本的方程式得到一个稀疏的线性方程组：

S73.根据上述方程组利用最小二乘法线性求解到所有畸变参数。

优选的，所述步骤S7中，确定最佳畸变中心的过程如下：根据上述获得的一组畸变参数，将畸变样本反畸变为直线，并通过直线方程的均方根误差评估反畸变的效果，计算公式为：

其中a’b’c’是反畸变后重新拟合的直线方程，利用网格搜索法优化上述误差，如图4所示，最佳畸变中心表示为：

。

优选的，所述步骤S7中，镜头畸变校正从畸变像素到无畸变像素的映射关系为

，其中径向和切向镜头畸变模型表示为：

其中

。

利用直线图案的相机正畸系统，包括：

提取模块，用于提取场景中的直线边缘或图形；

获取直线样本模块，用于根据提取的包含直线的图案，分解出用于畸变校正的直线样本；

获取直线图案模块，用于根据直线样本利用场景视野的物体来获取直线图案；

获取畸变模型及子集模块，用于根据获取的直线图案得到镜头畸变模型和任意子集；

确定多组畸变直线，用于利用移动相机或包含直线的物体确定多组畸变直线；用于根据直线畸变法向量不变性确定畸变直线原始斜率，将畸变模型转化为线性可解问题；

畸变校正模块，用于利用网格搜索法确定最佳畸变中心，使用最小二乘估计畸变模型的径向和切向畸变参数进行畸变校正。

在使用时，根据图像采集场景的不同，本发明有不同的工作方案。

工作方案一：在场景中有多边形物体时，首先提取多边形的轮廓，再将多边形轮廓分解为各边的直线段，并利用直线段校正畸变。通过移动或转动相机来获得多组直线。例如，场景中有较大的包含平直边缘的物体，可以使用二值化提取前景物体，并使用边缘提取算子获得直线边缘，如图5所示。

如图6、7所示，具体的工作流程为，首先确定场景中的直线目标，用相机拍摄直线目标图像，然后提取畸变直线样本，汇总畸变直线样本，估计反畸变模型；若畸变直线样本不符合要求，通过调整相机拍摄位置角度重新拍摄直线目标图像，重新提取最终畸变直线样本，然后汇总畸变直线样本，估计反畸变模型。

工作方案二：在场景中的物体符合直线运动时，使用特征点的运动轨迹作为直线标定物。比如拍摄直线运行的流水线上的物体，其拍摄物体特征点的运行轨迹应当是一条直线，轨迹线会以实际直线同样的方式被相机镜头畸变为曲线，可以用于畸变校正，如图8所示。

如图9、10所示，具体的工作流程为，首先确定场景中的直线运动物体，选定特征点，拍摄运动物体轨迹，通过轨迹构造直线样本，估计反畸变模型。

工作方案三：在场景中没有现成的直线图案时，可以用简单获得的人造物体来提供直线图案。例如使用边缘平直的物体比如纸张、书本，在显微拍摄中使用方形载玻片边沿，在大场景广角拍摄中使用长条金属杆等物体。比如，可以使用长方形的A4纸来提供易于提取的直线边缘，如图11所示。

如图12所示，具体的工作流程为，首先寻找平直边缘物体，放置在相机视野内，拍摄标定物体，提取直线边缘，估计反畸变模型；若直线边缘不符合要求，通过调整物体位置，放置在物体视野内，重新拍摄标定物体，提取直线边缘，估计反畸变模型。

如图13所示，为本发明基于直线的反畸变模型估计流程图，具体流程为，根据畸变直线样本集，遍历畸变中心点，估计直线法向量，构造线性方程组，求解畸变参数，计算反畸变直线度，判断是否为最优畸变模型，如果是最优畸变模型，把最优畸变模型记录，如果不是最优畸变模型，重新遍历畸变中心点，得到最优畸变模型。

本发明涉及对各种类型相机镜头产生的光学畸变校正方法，适用于各种不同视野场景的图像采集系统，尤其是传统基于标定点映射无法操作的场景。本发明是基于直线的相机畸变校正方法，使用更加灵活的标定图案，在不损失正畸精度的前提下，大幅降低了工程人员对相机畸变校正的操作难度，简化了操作步骤和标定物要求，在任何能够找到直线参照物的场景下，都能够快速的对相机畸变进行校正。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种利用直线图案的相机正畸方法，其特征在于：包括如下的步骤：

S1、提取场景中的直线边缘或图形；

S2、根据提取的包含直线的图案，分解出用于畸变校正的直线样本；

S3、根据直线样本利用场景视野的物体来获取直线图案；

S4、根据获取的直线图案得到镜头畸变模型和任意子集；

S5、利用移动相机或包含直线的物体确定多组畸变直线；

S6、根据直线畸变法向量不变性确定畸变直线原始斜率；

S7、利用网格搜索法确定最佳畸变中心，使用最小二乘估计畸变模型的径向和切向畸变参数进行畸变校正。

2.根据权利要求1所述的利用直线图案的相机正畸方法，其特征在于：所述步骤S2中，利用三次样条曲线拟合离散的直线像素点获得平滑的畸变直线样本。

3.根据权利要求2所述的利用直线图案的相机正畸方法，其特征在于：所述步骤S7中，利用最小二乘法线性求解畸变参数的过程如下：

S71.根据获得的多组畸变直线样本，利用一个畸变中心点列出畸变参数和直线到畸变中心距离的线性方程组，其中直线方程为

，其中一条直线所有像素点的线性方程为：

其中

S72.通过联立多条直线样本的方程式得到一个稀疏的线性方程组：

S73.根据上述方程组利用最小二乘法线性求解到所有畸变参数。

4.根据权利要求3所述的利用直线图案的相机正畸方法，其特征在于：所述步骤S7中，确定最佳畸变中心的过程如下：根据上述获得的一组畸变参数，将畸变样本反畸变为直线，并通过直线方程的均方根误差评估反畸变的效果，计算公式为：

其中a’b’c’是反畸变后重新拟合的直线方程，利用网格搜索法优化上述误差，最佳畸变中心表示为：

。

5.根据权利要求4所述的利用直线图案的相机正畸方法，其特征在于：所述步骤S7中，镜头畸变校正从畸变像素到无畸变像素的映射关系为

，其中径向和切向镜头畸变模型表示为：

其中

。

6.一种利用直线图案的相机正畸系统，其特征在于：包括：

提取模块，用于提取场景中的直线边缘或图形；

获取直线样本模块，用于根据提取的包含直线的图案，分解出用于畸变校正的直线样本；

获取直线图案模块，用于根据直线样本利用场景视野的物体来获取直线图案；

获取畸变模型及子集模块，用于根据获取的直线图案得到镜头畸变模型和任意子集；

确定多组畸变直线，用于利用移动相机或包含直线的物体确定多组畸变直线；用于根据直线畸变法向量不变性确定畸变直线原始斜率；

畸变校正模块，用于利用网格搜索法确定最佳畸变中心，使用最小二乘估计畸变模型的径向和切向畸变参数进行畸变校正。

Images