CN116883294B - 一种镜头畸变参数的两步法估计方法 - Google Patents
一种镜头畸变参数的两步法估计方法 Download PDFInfo
- Publication number
- CN116883294B CN116883294B CN202311153535.8A CN202311153535A CN116883294B CN 116883294 B CN116883294 B CN 116883294B CN 202311153535 A CN202311153535 A CN 202311153535A CN 116883294 B CN116883294 B CN 116883294B
- Authority
- CN
- China
- Prior art keywords
- distortion
- coordinates
- checkerboard
- translation
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims abstract description 39
- 238000005457 optimization Methods 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 6
- 238000013519 translation Methods 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 abstract description 19
- 238000005259 measurement Methods 0.000 abstract description 7
- 239000013598 vector Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000007517 polishing process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种镜头畸变参数的两步法估计方法，涉及相机镜头畸变校正技术领域。该方法通过畸变中心修正单应矩阵中由于畸变引入的偏移量，并获得畸变系数的粗估计；再使用Levenberg‑Marquardt优化算法最小化基于消隐点和共线约束的面积测度函数，从而得到更加精确的相机畸变参数。相较于传统相机畸变参数估计，本发明可以解决单应矩阵受畸变影响而估计不准确且估计畸变系数的目标函数非线性强烈，难以优化的问题；同时，两步法既提升了相机畸变参数的估计精度，也提高了估计方法的鲁棒性。
Description
技术领域
本发明涉及相机镜头畸变校正技术领域，尤其涉及一种镜头畸变参数的两步法估计方法。
背景技术
相机作为视觉成像仪器，广泛应用于位姿估计、三维重建等领域，是现代光电成像领域的一种重要技术途径。而相机标定是相机测量应用的关键环节，直接关系到测量结果的准确性和可行性。由于相机镜头打磨工艺缺陷和安装误差，绝大多数相机镜头都会存在一定的畸变。镜头产生的畸变是影响相机标定精度的主要因素之一，特别是在长焦距相机中。即使存在较小畸变，在病态成像模型下，参数的解析解也会远偏离其真实值。在这种情况下，镜头畸变的影响将会加大，影响后续的数据处理，因此对镜头畸变的校正方法的研究变得十分必要。针对镜头畸变校正问题，已经存在较多的方法。然而，到目前为止，该领域仍然存在镜头畸变校正精度不高的技术难点。
随着视觉成像技术的不断发展，后续的图像处理和分析对相机成像的真实性要求愈加严苛，但目前镜头畸变校正的精度还有待提升。畸变模型参数的标定方法分为总标定法和非度量标定法两类。总标定法是在标定相机内参数时，不考虑畸变，先利用线性方法求解一部分内参数，然后再考虑畸变的影响，将畸变参数代入目标函数，使用非线性优化算法对其进行处理。这种方法的缺点是，畸变参数和相机的其他内参数是一起得到的，由于参数间的耦合作用，得到的结果不可靠。非度量标定法主要是利用射影不变量，它不依赖于任何已知结构的标定对象。这种方法的关键点就是选择合适的不变特征，对畸变测度进行建模，建立相应的优化目标函数。不变特征包括直线、消隐点、交比等，畸变测度包括修正后曲线斜率一致性测度、法线平行性测度、修正后的面积最小化测度、共线向量最小化测度等。直线不变量对畸变具有很强的度量能力，是应用最广泛的几何特征。基于直线的畸变测度是利用透视投影中直线的投影仍为直线这一性质。文献“Prescott B, McLean G F. Line-based correction of radial lens distortion[J]. Graphical Models and ImageProcessing, 1997, 59(1): 39-47”，通过检测线信息进行畸变校正，但在优化阶段，容易出现局部极小值，畸变校正结果的鲁棒性不高；文献“Zhou F Q, Cui Y, Gao H, et al.Line-based camera calibration with lens distortion correction from a singleimage[J]. Optics and Lasers in Engineering, 2013, 51 (12): 1332-1343.”提出一种基于直线度的摄像机标定方法，通过使用多个正方形对单幅图像的畸变进行校正，但该方法对图像中的直线度较为敏感。文献“刘炼雄,胡昌华,何川,等，一种改进的基于直线特征的非量测畸变校正方法[J].光学学报, 2017, 37(9): 0915001.”提出了一种基于直线特征的非线性校正方法，利用直线投影不变性和三点近似共线性的约束关系求解畸变参数，但此方法也仅依赖于直线特性，校正精度不高。
综上所述，现有的大多数非度量畸变校正方法仅利用了单一的直线不变特征，且优化参数初值条件差，导致单应矩阵受畸变影响而估计不准确且估计畸变系数的目标函数非线性强烈，难以优化的问题。
因此，需要提出一种方法来提高非度量畸变校正的准确性和鲁棒性。
发明内容
为解决非度量畸变校正方法利用不变特征单一、待优化参数初值条件差所导致的畸变校正方法精度低的问题，本发明提出了一种镜头畸变参数的两步法估计方法，该方法结合畸变图像数据，进行镜头畸变校正，使得畸变参数更加准确。
为达到上述目的，本发明采用的技术方案如下：
一种镜头畸变参数的两步法估计方法，包括如下步骤：
S1、利用特征点提取算法提取棋盘格畸变图像的特征点坐标和其对应的世界点坐标/>；
S2、利用归一化八点法求解径向畸变基础矩阵/>；上标T表示矩阵转置；
S3、利用S2所获得的径向畸变基础矩阵求解畸变中心/>，将棋盘格畸变图像的特征点坐标原点平移至畸变中心/>，平移量为/>，得到变化后的畸变中心坐标/>，然后计算得到棋盘格畸变图像的所有特征点的新坐标；
S4、联立变化后的畸变中心坐标得到平移过后的单应矩阵/>的前两行；
S5、引入径向畸变除法模型，将非线性估计问题线性化，采用最小二乘方法计算平移过后的单应矩阵的第三行以及径向畸变参数初值；
S6、由S3的平移量和S5的平移过后的单应矩阵/>，计算平移之前的单应矩阵；
S7、利用S6中得到的平移之前的单应矩阵，计算横、纵两个方向的消隐点坐标；
S8、利用S7得到的横、纵两个方向的消隐点和修正前的棋盘格畸变图像的特征点的共线约束，构建修正后的面积最小化畸变测度目标函数；
S9、利用S5中的径向畸变参数初值和Levenberg-Marquardt算法优化面积最小化畸变测度目标函数，得到畸变参数优化结果。
有益效果：
本发明根据非度量镜头畸变校正高精度要求的现状，提出了一种两步法估计镜头畸变参数的策略。该方法通过畸变中心修正单应矩阵中由于畸变引入的偏移量，并获得畸变系数的粗估计；再使用Levenberg-Marquardt优化算法最小化基于消隐点和共线约束的面积测度函数，从而得到更加精确的相机畸变参数，且以交比Cross Ratio误差值作为评价指标。相较于传统相机畸变参数估计，该方法可以解决单应矩阵受畸变影响而估计不准确且估计畸变系数的目标函数非线性强烈，难以优化的问题；同时，两步法既提升了相机畸变参数的估计精度，也提高了估计方法的鲁棒性。
附图说明
图1为本发明的一种镜头畸变参数的两步法估计方法流程图。
图2为初始化畸变参数和未初始化畸变参数的交比Cross Ratio仿真误差图。
图3为畸变校正效果图。
具体实施方式
以下结合具体实施例对本发明作进一步详细描述。
如图1所示，本发明的一种镜头畸变参数的两步法估计方法，具体包括如下步骤：
S1、利用CCD相机拍摄棋盘格，获得棋盘格畸变图像，再使用Harris角点提取算法提取棋盘格畸变图像的特征点坐标和其对应的世界点坐标，其中，上标d表示畸变图像点坐标，上标w表示世界点坐标，上标T表示转置，下标i表示第i个点；
S2、设理想平面单应矩阵为，理想成像点坐标/>，上标u表示理想图像点坐标；
平面单应映射关系为：
(1)
其中，为比例因子，/>表示理想平面单应矩阵。
由径向畸变除法模型可知：
(2)
其中，为畸变中心，/>为畸变中心的图像坐标，/>为第i个图像畸变点到畸变中心的欧式距离，为径向畸变系数。
当图像特征点存在畸变时，
(3)
其中，为径向畸变基础矩阵，/>，/>为中间参数，。
由式(3)可得，一组对应点坐标，即世界点坐标和投影得到的棋盘格畸变图像的特征点坐标/>可列出一个齐次方程，/>个对应点坐标可得到方程组/>，/>为系数矩阵，由对应点坐标元素组成，/>为径向畸变基础矩阵元素组成的列向量，当/>时，通过最小二乘法可得到径向畸变基础矩阵/>；
S3、通过S2所获得的径向畸变基础矩阵，可求解畸变中心/>，畸变中心/>即为径向畸变基础矩阵/>的左极点：
(4)
将棋盘格畸变图像坐标原点移至畸变中心，此时的畸变中心坐标变为，棋盘格畸变图像的特征点的新坐标/>为：
(5)
其中，为平移量，设移动棋盘格畸变图像坐标原点至畸变中心/>后，对应的径向畸变基础矩阵为/>，于是有：
(6)
S4、由S3获得的径向畸变基础矩阵，/>分别为径向畸变基础矩阵/>的第一、二、三列的列向量，联立畸变中心/>，可以分解得到平移过后的单应矩阵/>的前两行，即/>，/>，分别为平移过后的单应矩阵/>的第一、二、三列的列向量；
S5、平移过后的单应矩阵的第三行/>通过下式可得：
(7)
设径向畸变系数的个数为i，当参与标定的特征点数目满足/>时，方程组(7)可通过最小二乘法解出平移过后的单应矩阵/>的所有元素和径向畸变参数初值。
S6、由S3得到的平移量和S5获得的平移过后的单应矩阵/>，可通过：
(8)
计算平移之前的单应矩阵；
S7、利用S6中得到的平移之前的单应矩阵，通过式(9)计算横、纵两个方向上的消隐点坐标；
(9)
其中，为消隐点的图像坐标，/>为消隐点的世界坐标，消隐点的世界坐标只与方向有关。
S8、以棋盘格畸变图像上同一条直线上的任意两点与相应消隐点/>所围成的面积/>为畸变测度，/>为三角形/>的两条边。
理想情况下，若图像不存在畸变，则三点共线，/>，如果图像存在畸变，该面积往往不等于零。对于原畸变图像上所有同一条直线上的每2个点做此测度，构建修正后面积最小化畸变测度目标函数；
S9、利用S5中的径向畸变参数初值和Levenberg-Marquardt算法优化面积最小化畸变测度目标函数，得到畸变参数优化结果。
如图2所示，为初始化畸变参数和未初始化畸变参数的交比Cross Ratio仿真误差图。如图3所示，为畸变校正效果图。
本发明未详述部分属于本技术领域的公知技术。以上所述仅为本发明的具体实例而已，并不用于以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (2)
1.一种镜头畸变参数的两步法估计方法，其特征在于，包括如下步骤：
S1、利用特征点提取算法提取棋盘格畸变图像的特征点坐标和其对应的世界点坐标/>；
S2、利用归一化八点法求解径向畸变基础矩阵/>；上标T表示矩阵转置；
S3、利用S2所获得的径向畸变基础矩阵求解畸变中心/>，将棋盘格畸变图像的特征点坐标原点平移至畸变中心/>，平移量为/>，得到变化后的畸变中心坐标/>，然后计算得到棋盘格畸变图像的所有特征点的新坐标；
S4、联立变化后的畸变中心坐标得到平移过后的单应矩阵/>的前两行；
S5、引入径向畸变除法模型，将非线性估计问题线性化，采用最小二乘方法计算平移过后的单应矩阵的第三行以及径向畸变参数初值；
S6、由S3的平移量和S5的平移过后的单应矩阵/>，计算平移之前的单应矩阵/>；
S7、利用S6中得到的平移之前的单应矩阵，计算横、纵两个方向的消隐点坐标；
S8、利用S7得到的横、纵两个方向的消隐点和修正前的棋盘格畸变图像的特征点的共线约束，构建修正后的面积最小化畸变测度目标函数；
S9、利用S5中的径向畸变参数初值和Levenberg-Marquardt算法优化面积最小化畸变测度目标函数，得到畸变参数优化结果。
2.根据权利要求1所述的一种镜头畸变参数的两步法估计方法，其特征在于，采用相机镜头的除法畸变模型表达棋盘格畸变图像的特征点坐标到理想成像点坐标/>的映射关系：
，
其中，棋盘格畸变图像的特征点坐标，为畸变中心，/>为畸变中心的图像坐标，为第i个图像畸变点到畸变中心的欧式距离，为径向畸变系数；/>为第/>个图像畸变点的坐标，上标/>表示矩阵的转置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311153535.8A CN116883294B (zh) | 2023-09-08 | 2023-09-08 | 一种镜头畸变参数的两步法估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311153535.8A CN116883294B (zh) | 2023-09-08 | 2023-09-08 | 一种镜头畸变参数的两步法估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116883294A CN116883294A (zh) | 2023-10-13 |
| CN116883294B true CN116883294B (zh) | 2023-12-22 |
Family
ID=88257280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311153535.8A Active CN116883294B (zh) | 2023-09-08 | 2023-09-08 | 一种镜头畸变参数的两步法估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116883294B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013182080A1 (zh) * | 2012-06-08 | 2013-12-12 | 华为技术有限公司 | 一种参数标定方法及装置 |
| CN106204625A (zh) * | 2016-07-27 | 2016-12-07 | 大连理工大学 | 一种可变焦距柔性化位姿视觉测量方法 |
| CN108876749A (zh) * | 2018-07-02 | 2018-11-23 | 南京汇川工业视觉技术开发有限公司 | 一种鲁棒的镜头畸变校正方法 |
| CN111667536A (zh) * | 2019-03-09 | 2020-09-15 | 华东交通大学 | 一种基于变焦相机深度估计的参数标定方法 |
| CN111899304A (zh) * | 2020-09-30 | 2020-11-06 | 南京理工大学智能计算成像研究院有限公司 | 远心光路畸变中心定位方法 |
| CN113920206A (zh) * | 2021-12-15 | 2022-01-11 | 深圳市艾视铂智能技术有限公司 | 透视移轴相机的标定方法 |
| CN115375778A (zh) * | 2022-09-13 | 2022-11-22 | 大连理工大学 | 一种虑及相机安装误差的双远心镜头成像模型及标定方法 |
| CN115526941A (zh) * | 2022-11-25 | 2022-12-27 | 海伯森技术（深圳）有限公司 | 一种用于远心相机的标定装置和标定方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101694969B1 (ko) * | 2012-10-29 | 2017-01-10 | 한국전자통신연구원 | 카메라 캘리브레이션 방법 및 장치 |
-
2023
- 2023-09-08 CN CN202311153535.8A patent/CN116883294B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013182080A1 (zh) * | 2012-06-08 | 2013-12-12 | 华为技术有限公司 | 一种参数标定方法及装置 |
| CN106204625A (zh) * | 2016-07-27 | 2016-12-07 | 大连理工大学 | 一种可变焦距柔性化位姿视觉测量方法 |
| CN108876749A (zh) * | 2018-07-02 | 2018-11-23 | 南京汇川工业视觉技术开发有限公司 | 一种鲁棒的镜头畸变校正方法 |
| CN111667536A (zh) * | 2019-03-09 | 2020-09-15 | 华东交通大学 | 一种基于变焦相机深度估计的参数标定方法 |
| CN111899304A (zh) * | 2020-09-30 | 2020-11-06 | 南京理工大学智能计算成像研究院有限公司 | 远心光路畸变中心定位方法 |
| CN113920206A (zh) * | 2021-12-15 | 2022-01-11 | 深圳市艾视铂智能技术有限公司 | 透视移轴相机的标定方法 |
| CN115375778A (zh) * | 2022-09-13 | 2022-11-22 | 大连理工大学 | 一种虑及相机安装误差的双远心镜头成像模型及标定方法 |
| CN115526941A (zh) * | 2022-11-25 | 2022-12-27 | 海伯森技术（深圳）有限公司 | 一种用于远心相机的标定装置和标定方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于消隐点共线约束的镜头畸变非量测校正方法;孙丽君 等;光学学报;第42卷(第23期);1-9 * |
| 基于纯平移两视图几何的镜头畸变参数标定;刘阳 等;光学精密工程;第24卷(第4期);922-929 * |
| 消隐点共线约束逐点畸变校正算法;赵振庆 等;光学精密工程;第23卷(第4期);1196-1204 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116883294A (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110689579B (zh) | 基于合作目标的快速单目视觉位姿测量方法及测量系统 | |
| CN108510551B (zh) | 一种远距离大视场条件下相机参数的标定方法及系统 | |
| CN110310338B (zh) | 一种基于多中心投影模型的光场相机标定方法 | |
| CN107025670A (zh) | 一种远心相机标定方法 | |
| Zhang et al. | Calibrating camera radial distortion with cross-ratio invariability | |
| CN107886547B (zh) | 一种鱼眼相机标定方法及系统 | |
| CN109003312B (zh) | 一种基于非线性优化的相机标定方法 | |
| US20100142815A1 (en) | Method and apparatus for correcting depth image | |
| Gao et al. | Accuracy evaluation of optical distortion calibration by digital image correlation | |
| CN100376883C (zh) | 一种基于像素频率的星敏感器校准方法 | |
| CN111383194A (zh) | 一种基于极坐标的相机畸变图像校正方法 | |
| CN114494031A (zh) | 一种相机定位补偿矫正装置和方法 | |
| CN101666625B (zh) | 畸变误差无模型校正方法 | |
| JP2016218815A (ja) | ラインセンサカメラのキャリブレーション装置及び方法 | |
| US11750943B2 (en) | Method and device for correcting varying lateral chromatic aberration, storage medium, and computer equipment | |
| CN113850868B (zh) | 一种波浪爬高图像识别方法 | |
| CN116883294B (zh) | 一种镜头畸变参数的两步法估计方法 | |
| CN112050752B (zh) | 一种基于二次投影的投影仪标定方法 | |
| CN110298890B (zh) | 一种基于普朗克参数化的光场相机标定方法 | |
| KR20100001608A (ko) | 렌즈 왜곡 보정 장치 및 방법 | |
| CN116205993A (zh) | 一种用于3d aoi的双远心镜头高精度标定方法 | |
| CN116091625A (zh) | 一种基于双目视觉的基准标记位姿估计方法 | |
| CN114820810A (zh) | 一种基于Tsai氏相机平面标定算法的解析方法 | |
| CN114964052A (zh) | 一种三维测量系统的标定和重建方法及三维测量系统 | |
| CN112529792B (zh) | 一种免畸变模型的相机畸变校正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |