CN112258585B - 一种面向图像畸变分区求解的标定场设计和图像处理方法 - Google Patents

Abstract

本发明属于计算机视觉测量技术领域，提供一种面向图像畸变分区求解的标定场设计和图像处理方法。首先，设计由光刻在正方形基底上的数个矩形块和圆构成的标定场。其次，对圆、角点进行检测，并对直线上边缘点进行图像处理，重新筛选边缘点。然后，通过判断边缘点与设定的角点编号、同心圆半径以及构成封闭区域的多条曲线方程间的关系，实现标定场上指定目标直线片段上边缘点的提取。本发明标定场上的圆、角点和直线，分别配合图像算法实现像平面与标定场方位的调整，标定场上指定边缘点的提取和相机内参数求解，以及图像畸变的独立求解。此外，图像处理方法可实现标定场上目标直线片段上边缘点的提取，满足了不同分区策略对指定边缘点的提取需求。

Description

一种面向图像畸变分区求解的标定场设计和图像处理方法

技术领域

本发明属于计算机视觉测量领域，涉及一种面向图像畸变分区求解的标定 场设计，以及对标定场进行图像处理的方法。

背景技术

视觉测量技术属于新兴的多学科交叉技术，因具有非接触、直观性强、实 时性高以及三维全场感知的优势，被应用到众多领域。该技术通过图像处理结 合已经求解的相机模型参数来定性以和定量表达被测对象信息。相机模型参数 包含内参数、外参数以及畸变系数，这些参数求解的精确性是视觉高精度测量 的前提。在近景摄影测量过程中，镜头成像畸变严重，是以上参数中制约视觉 测量精度提升最为关键的因素。图像畸变具有中间小，四周大的性质，在图像 上分布不均匀。为解决该问题，对图像畸变进行分区，并对畸变进行独立求解， 是避免成像模型各参数误差相互影响，实现图像畸变准确求解的有力途径。为 此，迫切发明一种面向图像畸变分区求解的标定场设计和图像处理方法

南京汇川工业视觉技术开发有限公司的李勃等人发明的专利号为CN201810708668“一种鲁棒的镜头畸变校正方法”发明了从摄像机参数中单独 分离镜头畸变的方法，该方法采用棋盘格为标定场，图像处理包括基于 Shi-Tomasi算子的角点粗提取和基于对称约束的角点位置精定位。该发明仅采用 一种畸变系数表征整张图像的畸变，未涉及指定图像特征的图像处理。武汉精 测电子集团股份有限公司的董文忠等人授权的专利号为ZL 201610008261“一种 用于自动光学检测的镜头畸变矫正方法及系统”发明了一种镜头畸变矫正方法 及系统，发明人选取非均匀的棋盘格作为标定场。首先，该发明对角点进行粗 提取。然后，通过腐蚀膨胀和blob分析精确检测角点的像素位置。最后，根据 角点真实坐标与理论坐标间的差异解算畸变系数，该发明提取了标定场上的全 部角点，但未涉及标定场上指定特征的图像处理。

发明内容

本发明要解决的技术难题是克服现有技术的缺陷，发明一种面向图像畸变分 区求解的标定场设计和图像处理方法。首先，设计了由光刻在正方形基底上的 数个矩形块和圆构成的标定场，每一行所有矩形块的水平边组成了水平直线， 每一列所有矩形块竖直边组成了竖直直线6，两两矩形块顶点的交点构成了角点。 其中，圆可实现像平面与标定场间平行关系的调整；直线可实现图像畸变的独 立求解；角点可为指定直线上边缘点的提取提供约束，另外，还可用来完成相 机模型中内参数的求解；其次，对标定场上的圆、角点和指定直线上的边缘点 进行图像处理，在定位到角点和圆重心的像素坐标后，通过相邻角点的距离约 束和相邻角点直线的上下公差约束对canny算子检测到的直线边缘点进行重筛选，然后，通过判断边缘点与设定的角点编号、同心圆半径以及构成封闭区域 的多条曲线方程间的关系，实现标定场上指定目标直线片段上边缘点的提取， 从而为分区畸变求解提供数据支撑。

本发明一种面向图像畸变分区求解的标定场设计和图像处理方法，发明的 标定场包含圆、直线和角点三种元素，可分别实现标定场和像平面间的平行调 整、图像畸变的独立求解、标定场指定直线边缘点的提取和相机内参数的求解， 设计的标定场兼顾了多种功用。此外，通过判断边缘点与设定的角点编号、同 心圆半径以及构成封闭区域的多条曲线方程直线的关系，可实现指定直线片段 上边缘点的提取，满足了不同分区策略对直线边缘点的提取需求。面向图像畸 变分区求解的标定场设计和图像处理方法具体如下：

(1)标定场设计

标定场由光刻在正方形基底上的数个矩形块和圆构成，每列所有矩形块的 竖直边组成了竖直直线，每行所有矩形块的水平边组成了水平直线，两两矩形 块顶点的交点构成了角点。其中，结合图像处理得到的圆心像素坐标后，通过 位姿算法可实现标定场与像平面间平行关系的调整；通过图像处理检测到的水 平直线和竖直直线上边缘点的像素坐标可完成图像畸变的独立求解；通过图像 处理获得的角点像素坐标可为直线的划分和直线上边缘点的重筛选提供约束， 通过判断边缘点与设定的角点编号、同心圆半径以及构成封闭区域的多条曲线 方程的关系，可实现指定直线片段上边缘点的提取，从而满足不同分区策略对 指定直线边缘点的提取需求；此外，角点还可以为相机内参数的求解提供距离约束，从而为位姿算法提供已知的内参数信息。

(2)标定场图像采集

利用相机采集标定场的图像。

(3)标定场图像处理

标定场图像处理方法，根据其所包含的元素，分为圆中心的定位、角点检 测以及指定直线上边缘点的检测。

首先，本发明应用灰度重心法定位标定场图像中圆的中心，灰度重心法可 用公式(1)表达为：

其中，f(u,v)为像素点位置(u,v)处的灰度值，Ω为图像上圆所围成的像素点的集合。

为由灰度重心法定位得到的圆的中心坐标。

其次，本发明采用Harris检测算子定位角点的像素坐标，Harris矩阵M可用 公式(2)表达为：

其中，I_u为像素位置(u,v)处的灰度值I在u方向的偏导数，I_v为像素位置(u,v) 处的灰度值I在v方向的偏导数。进一步计算矩阵M的两个特征值λ₁和λ₂，然后 计算角点的响应值，可用公式(3)表示为：

其中，R为角点的响应值，det M为矩阵M的行列式，trace(M)为矩阵M的迹， k为系数。对求得的R进行非最大值抑制，即可定位出角点的像素坐标。遍历所 有角点，按照从上到下，从左右的顺序排布角点得到编号矩阵。

再次，对于标定场指定直线上边缘点的图像处理，在初步定位直线边缘点 的基础上，通过相邻角点的距离约束和相邻角点直线的上下公差约束直线边缘 点进行重筛选。然后，判断边缘点与设定的角点编号、同心圆半径以及构成封 闭区域的多条曲线方程间的关系，根据判定结果实现标定场上目标直线片段上 边缘点的提取。具体步骤为：

1)边缘点检测

采用Canny算子亚像素提取直线上的边缘点。

2)边缘点链接

以相邻角点的距离为约束，将相邻角点内的边缘点组成单位片段。对于每 一单位片段，设置最小链接长度l₁，并从检测的某一边缘点开始，在其八联通区 域内应用DavidLowe方法追踪并链接该边缘点的后续边缘点。然后，设置裁剪 长度l₂，以删去靠近角点处的边缘点。

3)单位片段上边缘点的重筛选

畸变在图像上分布不均匀，在图像上具有中间小、四周大的特性，使得图 像上的噪声去除困难。为此，本发明令相邻两角点的像素坐标为(u₁,v₁)和(u₂,v₂)， 则两角点构成的直线方程可用公式(4)表达为：

(v₂-v₁)·v+(u₁-u₂)·u+(u₂·v₁-u₁·v₂)＝0 (4)

令a＝v₂-v₁，b＝u₁-u₂，c＝u₂·v₁-u₁·v₂。在该条直线的上方和下方求解与之平行的两条直线，设置两条直线与该条直线的距离均为公差d，两条直线的方程可用 公式(5)表示：

根据边缘点是否位于公差d内，即是否在上下两直线之间，即可完成单位片 段上边缘点的重筛选。

4)指定单根直线上边缘点的提取

相邻角点间的边缘点组成单位片段，单位片段相连组成直线片段。对于水 平直线，指定编号矩阵的行编号以确定水平直线的编号。然后，指定编号矩阵 中该行内的两个列对应的角点，连接两角点间的单位片段，即可得到所提取的 该条水平线上目标直线片段上的边缘点。对于竖直直线，指定编号矩阵的列编 号以确定竖直直线的编号。然后，指定编号矩阵中该列内的两个行对应的交点， 连接两角点间的单位片段，即可得到所提取的该条竖直直线上目标直线片段上 的边缘点。

5)指定同心圆区域内直线片段上边缘点的提取

对于同心圆区域，设定两个同心圆的半径分别为r₁和r₂，且r₁<r₂。遍历图像 上所有重新筛选出的边缘点(u_i,v_i)，计算公式：

其中，(u₀,v₀)为图像中心的像素坐标，若(u_i,v_i)满足上式，即可确定其为同心 圆区域内直线片段上的边缘点。这样，通过半径的设定，即可实现指定同心圆 区域内直线片段上边缘点的提取。

6)指定封闭区域内直线片段上边缘点的提取

假定指定的封闭区域由m条几何线围成，对该m条几何线进行分类，其中该 封闭区域处于m₁条几何线的上方，这些曲线的方程分别为

该封闭区 域处于m₂条几何线的下方，这些曲线的方程分别为

该封闭区域 处于m₃条几何线的左方，这些曲线的方程分别为

该封闭区 域位于剩余的几何线的右方，这些曲线的方程分别为

计算公 式(7)：

对于重新筛选出来的直线上的边缘点(u_i,v_i)，判断是否满足公式(7)，则认定该边缘点处于该区域内，遍历所有边缘点，即提取得到了指定封闭区域内直线片段 上的边缘点。

本发明的有益结果是设计了用于畸变分区求解的标定场，并完成了标定场上 圆、角点以及指定边缘点的图像提取。发明的标定场上的元素同时具有调整标定 场与像平面的平行关系，标定场指定直线边缘点的提取和相机参数的求解，以及 图像畸变独立求解的作用，单个标定场具备多种用途。此外，发明的边缘点提取 方法，可实现标定场上指定直线片段上边缘点的提取，满足了不同分区策略对边 缘点的提取需求。

附图说明

图1为标定场的示意图。图2为标定场图像处理的流程图。

图3为第12条水平直线片段上边缘点的提取结果。

图4为第12条竖直直线片段上边缘点的提取结果。

图5为同心圆区域内直线片段上边缘点的提取结果。

图中：1标定场，2矩形块，3圆，4角点，5水平直线，6竖直直线。

具体实施方式

以下结合技术方案和附图1、2、3、4、5详细叙述本发明的具体实施方式。

图1为设计的标定场的示意图。图2为标定场图像处理的流程图。图3为 第12条水平直线片段上边缘点的提取结果。图4为第12条竖直直线6片段上 边缘点的提取结果。图5为同心圆区域内直线片段上边缘点的提取结果。

本发明一种面向图像畸变分区求解的标定场设计和图像处理方法。首先， 设计了由圆3、直线、角点4这三种元素构成的标定场1。其次，对于图像处理， 在图像上提取了角点4和圆3中心的像素坐标。同时，对直线上指定边缘点的 进行了检测，然后，通过判断边缘点与设定的角点4编号、同心圆半径以及构 成封闭区域的多条曲线方程间的关系，实现了标定场1上目标直线片段上边缘 点的提取，标定场1图像处理的具体步骤参照图2。以下在标定场1和像平面平 行的背景下对具体实施进行详细说明：

(1)标定场1设计

如图1所示，本发明设计的标定场1的外形尺寸为314mm×314mm，上面 分布含有39×39个光刻的矩形块2和27个圆3，这些矩形块2构成38×38个角 点4、38条水平直线5和38条竖直直线6。其中，结合图像处理所得到的圆3 的中心像素坐标，位姿算法可调整像平面与标定场1间的平行关系；通过图像 处理检测到的水平直线5和竖直直线6上边缘点的像素坐标可完成图像畸变的 独立求解；图像处理定位到的角点4的像素坐标为相机内参数求解提供距离约 束，从而为位姿算法提供已知的内参数；此外，角点4还可为直线的划分和直线上边缘点的重筛选提供约束。

(2)标定场1图像采集

利用型号为MV-CH120-10TM的海康视康相机采集标定场1的图像，设置 相机的分辨率为2560像素×2560像素，焦距为18mm。

(3)标定场1图像处理

首先，应用公式(1)所示的灰度重心法检测标定场1图像中27个圆3的中心。

其次，对于每个角点4，应用公式(2)和公式(3)依次求解矩阵M和角点4响 应值R。在对求得的R进行非最大值抑制后，遍历所有角点4，得到38×38个角 点4的像素坐标。并按照从上到下，从左右的顺序为每个角点4编号，得到编 号矩阵。

再次，对于标定场1图像中的直线，在定位直线上边缘点的基础上，通过 相邻角点4的距离约束和相邻角点4直线上下的公差约束得到无噪声的边缘点， 通过判断边缘点与设定的角点4编号、同心圆半径以及构成封闭区域的多条曲 线方程间的关系，实现了标定场1上目标直线片段上边缘点的提取。具体步骤 为：

1)边缘点检测

采用Canny算子亚像素提取直线上的边缘点。

2)边缘点链接

以相邻角点4的距离为约束，将相邻角点4内的边缘点组成单位片段。对 于每一单位片段，设置最小链接长度为l₁＝10个像素，并从检测的某一边缘点开 始，在其八联通区域内应用David Lowe方法追踪并链接该边缘点的后续边缘点。 随后，设置裁剪长度为l₂＝5个像素，以删去靠近角点4的边缘点。

3)单位片段上边缘点的重筛选

畸变在图像上分布不均匀，在图像边缘处最大，导致噪点不容易去除。本 发明首先根据公式(4)计算相邻角点4构成的直线，随后，按照公式(5)在该条直 线的上下方位求解与该条直线平行的两条直线，两条直线与该条直线的距离均 为d＝3个像素。根据边缘点是否位于上下两直线之间，完成对边缘点的重筛选。 4)指定单根直线片段上边缘点的提取

相邻角点4间的边缘点组成单位片段，将单位片段连接组成直线片段，每 条水平直线5和每条竖直直线6分别含有38个单位片段。对于水平线，选择编 号矩阵的第12行，并在该行中选择处于第5列和第25列的角点4，连接第5列 和第25列两角点4间的单位片段即可提取目标水平直线5片段上的边缘点，提 取结果如图3白线所示。对于竖直直线6，选择编号矩阵的第12列，并在该列 中选择处于第5行和第25行的两个角点4，连接两角点4间的单位片段即可提 取目标竖直直线6片段上的边缘点，提取结果如图4中的白线所示。

5)指定同心圆区域内直线片段上边缘点的提取

对于同心圆区域，以图像中心(1280,1280)为同心圆的中心，设定两个同心圆 半径分别为452像素和910像素，遍历图像上所有重新筛选出的边缘点，判断 每个边缘点是否满足公式(6)，进而得到位于同心圆区域内直线片段上的边缘点， 提取结果如图5中的白线所示。

6)指定封闭区域内直线片段上边缘点的提取

假定指定的封闭区域为矩形，四个顶点在图像上的坐标分别(0,0)，(1280,0)，(1280,1280)，(0,1280)。则区域位于直线v＝0的下方、直线v＝1280的上方、直线 u＝0的右方、直线u＝1280的左方。将直线上的边缘点带入公式(7)进行计算，通 过是否满足公式(7)确定该边缘点是否在改矩形区域内。遍历所有直线上的边缘 点，即可得到指定矩形区域内的边缘点。

本发明一种面向图像畸变分区求解的标定场设计和图像处理方法，首先， 设计了包含角点、圆和直线的标定场，标定场的这三个元素可辅助图像处理算 法实现指定直线上边缘点的提取、标定场与像平面的方位调整以及图像畸变的 独立求解，兼顾了多种用途。此外，通过图像处理可实现标定场上目标直线片 段上边缘点的提取，很好的适应了不同分区策略对直线上边缘点的检测要求。

Claims (1)

1.一种面向图像畸变分区求解的标定场设计和图像处理方法，其特征在于，首先，设计由光刻在正方形基底上的数个矩形块和圆构成的标定场，每一行所有矩形块的水平边组成水平直线，每一列所有矩形块竖直边组成竖直直线，两两矩形块顶点的交点构成角点；其中，圆可实现像平面与标定场间平行关系的调整；直线可实现图像畸变的独立求解；角点可为指定直线上边缘点的提取提供约束，另外，还可用来完成相机模型中内参数的求解；其次，对标定场上的圆、角点和指定直线上的边缘点进行图像处理，在定位到角点和圆重心的像素坐标后，通过相邻角点的距离约束和相邻角点直线的上下公差约束对canny算子检测到的直线边缘点进行重筛选；然后，通过判断边缘点与设定的角点编号、同心圆半径以及构成封闭区域的多条曲线方程间的关系，实现标定场上指定目标直线片段上边缘点的提取，从而为分区畸变求解提供数据支撑；面向图像畸变分区求解的标定场设计和图像处理方法具体如下：

(1)标定场设计

标定场由光刻在正方形基底上的数个矩形块和圆构成，每列所有矩形块的竖直边组成竖直直线，每行所有矩形块的水平边组成水平直线，两两矩形块顶点的交点构成角点；其中，结合图像处理得到的圆心像素坐标后，通过位姿算法可实现标定场与像平面间平行关系的调整；通过图像处理检测到的水平直线和竖直直线上边缘点的像素坐标可完成图像畸变的独立求解；通过图像处理获得的角点像素坐标可为直线的划分和直线上边缘点的重筛选提供约束，通过判断边缘点与设定的角点编号、同心圆半径以及构成封闭区域的多条曲线方程的关系，可实现指定直线片段上边缘点的提取，从而满足不同分区策略对指定直线边缘点的提取需求；此外，角点为相机内参数的求解提供距离约束，从而为位姿算法提供已知的内参数信息；

(2)标定场图像采集

利用相机采集标定场的图像；

(3)标定场图像处理

标定场图像处理方法，根据其所包含的元素，分为圆中心的定位、角点检测以及指定直线上边缘点的检测；

首先，应用灰度重心法定位标定场图像中圆的中心，灰度重心法用公式(1)表达为：

其中，f(u,v)为像素点位置(u,v)处的灰度值，Ω为图像上圆所围成的像素点的集合；

为由灰度重心法定位得到的圆的中心坐标；

其次，采用Harris检测算子定位角点的像素坐标，Harris矩阵M用公式(2)表达为：

其中，I_u为像素位置(u,v)处的灰度值I在u方向的偏导数，I_v为像素位置(u,v)处的灰度值I在v方向的偏导数；进一步计算矩阵M的两个特征值λ₁和λ₂，然后计算角点的响应值，用公式(3)表示为：

其中，R为角点的响应值，detM为矩阵M的行列式，trace(M)为矩阵M的迹，k为系数；对求得的R进行非最大值抑制，即可定位出角点的像素坐标；遍历所有角点，按照从上到下，从左右的顺序排布角点得到编号矩阵；

再次，对于标定场指定直线上边缘点的图像处理，在初步定位直线边缘点的基础上，通过相邻角点的距离约束和相邻角点直线的上下公差约束直线边缘点进行重筛选；然后，判断边缘点与设定的角点编号、同心圆半径以及构成封闭区域的多条曲线方程间的关系，根据判定结果实现标定场上目标直线片段上边缘点的提取；具体步骤为：

1)边缘点检测

采用Canny算子亚像素提取直线上的边缘点；

2)边缘点链接

以相邻角点的距离为约束，将相邻角点内的边缘点组成单位片段；对于每一单位片段，设置最小链接长度l₁，并从检测的某一边缘点开始，在其八联通区域内应用David Lowe方法追踪并链接该边缘点的后续边缘点；然后，设置裁剪长度l₂，以删去靠近角点处的边缘点；

3)单位片段上边缘点的重筛选

畸变在图像上分布不均匀，在图像上具有中间小、四周大的特性，使得图像上的噪声去除困难；为此，令相邻两角点的像素坐标为(u₁,v₁)和(u₂,v₂)，则两角点构成的直线方程用公式(4)表达为：

(v₂-v₁)·v+(u₁-u₂)·u+(u₂·v₁-u₁·v₂)＝0 (4)

令a＝v₂-v₁，b＝u₁-u₂，c＝u₂·v₁-u₁·v₂；在该条直线的上方和下方求解与之平行的两条直线，设置两条直线与该条直线的距离均为公差d，两条直线的方程用公式(5)表示：

根据边缘点是否位于公差d内，即是否在上下两直线之间，即可完成单位片段上边缘点的重筛选；

a)指定单根直线上边缘点的提取

相邻角点间的边缘点组成单位片段，单位片段相连组成直线片段；对于水平直线，指定编号矩阵的行编号以确定水平直线的编号；然后，指定编号矩阵中该行内的两个列对应的角点，连接两角点间的单位片段，即得到所提取的该条水平直线上目标直线片段上的边缘点；对于竖直直线，指定编号矩阵的列编号以确定竖直直线的编号；然后，指定编号矩阵中该列内的两个行对应的交点，连接两角点间的单位片段，即得到所提取的该条竖直直线上目标直线片段上的边缘点；

b)指定同心圆区域内直线片段上边缘点的提取

对于同心圆区域，设定两个同心圆的半径分别为r₁和r₂，且r₁<r₂；遍历图像上所有重新筛选出的边缘点(u_i,v_i)，计算公式：

其中，(u₀,v₀)为图像中心的像素坐标，若(u_i,v_i)满足上式，即可确定其为同心圆区域内直线片段上的边缘点；这样，通过半径的设定，即实现指定同心圆区域内直线片段上边缘点的提取；

c)指定封闭区域内直线片段上边缘点的提取

假定指定的封闭区域由m条几何线围成，对该m条几何线进行分类，其中该封闭区域处于m₁条几何线的上方，这些曲线的方程分别为

该封闭区域处于m₂条几何线的下方，这些曲线的方程分别为

该封闭区域处于m₃条几何线的左方，这些曲线的方程分别为

该封闭区域位于剩余的几何线的右方，这些曲线的方程分别为

计算公式(7)：

对于重新筛选出来的直线上的边缘点(u_i,v_i)，判断是否满足公式(7)，则认定该边缘点处于该区域内，遍历所有边缘点，即提取得到了指定封闭区域内直线片段上的边缘点。

Images