CN110335192A - 一种鱼眼相机的光心计算方法 - Google Patents
一种鱼眼相机的光心计算方法 Download PDFInfo
- Publication number
- CN110335192A CN110335192A CN201910442040.4A CN201910442040A CN110335192A CN 110335192 A CN110335192 A CN 110335192A CN 201910442040 A CN201910442040 A CN 201910442040A CN 110335192 A CN110335192 A CN 110335192A
- Authority
- CN
- China
- Prior art keywords
- intersection point
- top view
- optical center
- distortion
- fisheye camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 57
- 238000004364 calculation method Methods 0.000 title claims abstract description 22
- 238000012937 correction Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 239000007787 solid Substances 0.000 claims 1
- 238000005457 optimization Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G06T3/047—
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种鱼眼相机的光心计算方法，包括：通过鱼眼相机拍摄具有若干横向线和若干竖向线的标定模板，获取与所述标定模板中横向线和竖向线的交点集A对应的畸变交点集B；确定光心坐标的参考范围，利用参考范围内的各光心坐标和畸变参数表分别对畸变交点集B进行矫正，得到与各光心坐标一一对应的矫正交点集C；获取与各矫正交点集C相对应的俯视图，并验证各俯视图关于中心的对称性；选出关于中心对称性最高的俯视图，将与该俯视图相对应的光心坐标确定为最优光心坐标。该光心计算方法对图像数量要求灵活，计算精度高，结果稳定性好，且具有较高的光心优化效率。
Description
技术领域
本发明涉及光心计算技术领域，特别涉及一种鱼眼相机的光心计算方法。
背景技术
相机是三维视觉的重要传感器，由于生产组装工艺等原因，导致生产出来的相机的光心往往会偏离理想光心的位置。针对光心位置的偏离，目前存在张正友标定法、自标定法和基于主动视觉的标定法。其中，张正友标定法在相机光心标定领域被大众普遍使用，张正友标定法利用多个角度拍摄的单靶标图像即可完成相机的标定，操作简便，标定精度较高，但由于其标定过程需要多个角度的靶标图像，导致了灵活性较差。自标定法是根据场景中的约束信息，利用消失点、消失线建模的方法完成相机光心的标定，方法灵活，可实现相机的在线标定。但自标定法的实施过程是基于绝对二次曲线或绝对二次曲面理论，对场景约束性较强，算法鲁棒性较低，实用性较差。而基于主动视觉的标定法虽然能够利用相机参数自身的约束关系以及场景中的运动信息完成相机光心的标定，不依赖标定模板，方法灵活。但基于主动视觉的标定法要求相机在标定过程中进行特定的刚体运动，对实验条件要求较高，且标定精度较低。为了克服上述缺陷，使人们快速而准确的标定相机光心，有必要发明一种不依赖非线性优化技术、不依赖场景运动的约束信息且可以灵活选择标定图像数量的光心计算方法。
发明内容
本发明为了解决上述技术问题，提供了一种鱼眼相机的光心计算方法，包括：
通过鱼眼相机拍摄具有若干横向线和若干竖向线的标定模板，获取与所述标定模板中横向线和竖向线的交点集A对应的畸变交点集B；
确定光心坐标的参考范围，利用参考范围内的各光心坐标和畸变参数表分别对畸变交点集B进行矫正，得到与各光心坐标一一对应的矫正交点集C；
获取与各矫正交点集C相对应的俯视图，并验证各俯视图关于中心的对称性；
选出关于中心对称性最高的俯视图，将与该俯视图相对应的光心坐标确定为最优光心坐标。
进一步的，畸变交点集B的获取包括如步骤：
利用鱼眼相机拍摄标定模板，获取畸变图；
采用最小二乘法对畸变图中曲线交点坐标进行拟合，得到曲线方程组；
求解方程组，得到畸变交点集B。
进一步的，鱼眼相机多次拍摄标定模板获取多张畸变图，将各张畸变图中曲线交点的平均坐标作为曲线交点坐标。
进一步的，俯视图的获取包括如下步骤：
计算矫正交点集C与交点集A之间的变换矩阵；
利用变换矩阵对矫正交点集C中所有矫正交点进行变换，得到矫正交点在俯视图所在平面的对应坐标；
根据矫正交点在俯视图所在平面的对应坐标绘制出俯视图；
找出俯视图的中心，验证俯视图关于中心的对称性。
进一步的，俯视图的获取包括如下步骤：
在矫正交点集C中挑选出四个位于角点位置的矫正交点；
计算四个位于角点位置的矫正交点与交点集A中对应交点之间的变换矩阵；
利用变换矩阵将与矫正交点集C对应的矫正畸变图直接变换成俯视图；
标出所有矫正交点在俯视图中的对应坐标；
找出俯视图的中心，验证俯视图关于中心的对称性。
进一步的，利用如下函数验证俯视图关于中心的对称性：
argmin(abs(∑xleft-xmedian+xright-xmedian)+ abs(∑yup-ymedian+ybottom-ymedian))
其中，xmedian 为中心的x坐标值，xleft为中心左边竖线的x坐标值，xright为中心右边竖线的x坐标值，ymedian 为中心的y坐标值，yup为中心上边横线的y坐标值，ybottom为中心下边横线的y坐标值。
进一步的，所述标定模板表面平整，且所述标定模板表面设置在稳定的光照环境中。
进一步的，所述光心坐标的参考范围是鱼眼相机焦点所在区域，所述畸变参数表是由鱼眼相机的厂家所提供。
进一步的，所述光心坐标在参考范围内连续变化。
本发明所起到的有益技术效果如下：
与现有技术相比较，本发明公开了一种鱼眼相机的光心计算方法，该光心计算方法可以基于从一个角度对标定模板拍摄到的一张图像，也可以基于从一个角度对标定模板拍摄到的一组图像，对图像数量具有较高的灵活性；且该光心计算方法利用曲线交点代替传统的棋盘格角点，提高角点精度，使得计算的光心准确、稳定、可靠性高。最重要的是，该光心计算方法利用俯视图上交点关于中心对称性的特性，通过控制外参，降低了光心计算的复杂度，提升了光心优化效率。
附图说明
图1为实施例1中鱼眼相机光心计算方法的实现流程图。
图2为实施例1中标定模板的示意图。
图3为实施例1中鱼眼相机拍摄标定模板得到的畸变图。
图4为实施例1中关于中心完全对称的俯视图。
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的；相同或相似的标号对应相同或相似的部件；附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征更易被本领域技术人员理解，从而对本发明的保护范围作出更为清楚的界定。
实施例1：
如图1所示，本实施例提供了一种鱼眼相机的光心计算方法，该方法包括：
步骤S101、通过鱼眼相机拍摄具有若干横向线和若干竖向线的标定模板，获取与所述标定模板中横向线和竖向线的交点集A对应的畸变交点集B。
其中，鱼眼相机可以只拍摄一次标定模板，获取一张畸变图，也可以对标定模板进行多次拍摄，获取多张畸变图。若鱼眼相机获取到多张畸变图，则以各张畸变图中曲线交点的平均坐标作为最终的曲线交点坐标，也就是说，需要针对同一曲线交点在不同畸变图中的坐标进行求平均计算，以最后得到的各曲线交点的平均坐标作为最终的曲线交点坐标。一般获取的畸变图数量越多，计算出的曲线交点的平均坐标误差越小，最终的曲线交点坐标越稳定。但综合考虑稳定性和效率，畸变图数量一般控制在30-50张之间即可，优选40张。畸变图的获取过程中，鱼眼相机需与标定模板表面保持正对的拍摄角度，且与标定模板之间设置合适的距离，以便获取到大小合适的畸变图。
在本实施例中，在标定模板的中间位置设有两条横向线，两条横向线的间距为50mm，两条横向线的两侧分别设有一条加粗横向线，各加粗横向线与相邻横向线之间的距离为110mm。标定模板在与横向线及加粗横向线垂直的方向设置有两条竖向线，两条竖向线设置在标定模板的中间位置，两条竖向线之间的距离为100mm，两条竖向的两侧分别设有一条加粗竖向线，各加粗竖向线与相邻竖向线之间的距离为120mm，具体如图2所示。所述标定模板设置在明亮且光照条件稳定的环境中，同时保证标定模板表面具有良好的平整度。
在上述步骤S101中，畸变交点集B的获取通过如下子步骤实现：
利用鱼眼相机拍摄标定模板，获取畸变图，在畸变图中标设X轴和Y轴；
获取畸变图中各曲线交点的坐标，并采用最小二乘法对畸变图中曲线交点坐标进行拟合，得到曲线方程组；
求解方程组，得到畸变交点集B。
步骤S102、确定光心坐标的参考范围，利用参考范围内的各光心坐标和畸变参数表分别对畸变交点集B进行矫正，得到与各光心坐标一一对应的矫正交点集C。
光心坐标的参考范围是人工根据鱼眼相机焦点所在区域进行设置的。所用畸变参数表是由鱼眼相机的厂家所提供，与鱼眼相机具有匹配性。在对畸变交点集B进行矫正的过程中，光心坐标在参考范围内连续变化，即光心坐标在参考范围内是连续取值的。
步骤S103、获取与各矫正交点集C相对应的俯视图，并验证各俯视图关于中心的对称性。
作为本实施例的一个示例，所述俯视图可以通过如下步骤获取：
计算矫正交点集C与交点集A之间的DLT变换矩阵，得出矫正交点集C与交点集A所在平面的映射关系；
利用DLT变换矩阵对矫正交点集C中所有矫正交点进行变换，得到各矫正交点在交点集A所在平面的对应坐标，交点集A所在平面即俯视图所在平面；
根据各矫正交点在交点集A所在平面的对应坐标绘制出俯视图，由点及面；
找出俯视图的中心，验证俯视图关于中心的对称性。
在本实施例中，俯视图关于中心的对称性通过如下函数进行验证：
argmin(abs(∑xleft-xmedian+xright-xmedian)+ abs(∑yup-ymedian+ybottom-ymedian))
在该函数中，xmedian 为中心的x坐标值，xleft为中心左边竖线的x坐标值，xright为中心右边竖线的x坐标值，ymedian 为中心的y坐标值，yup为中心上边横线的y坐标值，ybottom为中心下边横线的y坐标值。上下左右的定义以俯视图的中心为基准。一般认为将俯视图的中心坐标、中心左右的竖向线坐标以及中心上下的横向线坐标带入函数后，函数值越小，对应的俯视图对称性就越好。
步骤S104、选出关于中心对称性最高的俯视图（如图4所示），将与该俯视图相对应的光心坐标确定为最优光心坐标。
实施例2：
本实施例与实施例1类似，作为优选的，步骤S103中，所述俯视图通过如下步骤获取：
在矫正交点集C中挑选出四个位于角点位置的矫正交点，分别用1、2、3、4四个数进行标注，如图3所示；
计算四个位于角点位置的矫正交点与交点集A中对应交点之间的DLT变换矩阵，得出这四个位于角点位置的矫正交点与交点集A所在平面的映射关系；
利用DLT变换矩阵将与矫正交点集C对应的矫正畸变图直接映射成俯视图，即直接将矫正交点集C所在曲面映射至交点集A所在平面，得到俯视图；
标出所有矫正交点在俯视图中的对应坐标；
找出俯视图的中心，验证俯视图关于中心的对称性，俯视图关于中心的对称性采用与实施例1相同的函数进行验证。
本实施例提供的俯视图获取方法与实施例1不同，实施例1是先获取矫正交点在平面上的对应坐标，然后根据平面上的多个对应坐标绘制出俯视图；而本实施例是先直接将矫正交点集C所在曲面映射在平面上，形成俯视图，然后在俯视图上定位出与各矫正交点相匹配的对应坐标。两种方法均可实现对俯视图的获取，只是采用的方法不同而已。
本领域普通技术人员可以意识到，本文所描述的实施例中的算法步骤能够以电子硬件、或者计算机软件与电子硬件的结合来实现，具体实现方法取决于应用和设计条件。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (9)
1.一种鱼眼相机的光心计算方法，其特征在于，包括：
通过鱼眼相机拍摄具有若干横向线和若干竖向线的标定模板，获取与所述标定模板中横向线和竖向线的交点集A对应的畸变交点集B；
确定光心坐标的参考范围，利用参考范围内的各光心坐标和畸变参数表分别对畸变交点集B进行矫正，得到与各光心坐标一一对应的矫正交点集C；
获取与各矫正交点集C相对应的俯视图，并验证各俯视图关于中心的对称性；
选出关于中心对称性最高的俯视图，将与该俯视图相对应的光心坐标确定为最优光心坐标。
2.如权利要求1所述一种鱼眼相机的光心计算方法，其特征在于，畸变交点集B的获取包括如步骤：
利用鱼眼相机拍摄标定模板，获取畸变图；
采用最小二乘法对畸变图中曲线交点坐标进行拟合，得到曲线方程组；
求解方程组，得到畸变交点集B。
3.如权利要求2所述一种鱼眼相机的光心计算方法，其特征在于，鱼眼相机多次拍摄标定模板获取多张畸变图，将各张畸变图中曲线交点的平均坐标作为曲线交点坐标。
4.如权利要求1所述一种鱼眼相机的光心计算方法，其特征在于，俯视图的获取包括如下步骤：
计算矫正交点集C与交点集A之间的变换矩阵；
利用变换矩阵对矫正交点集C中所有矫正交点进行变换，得到矫正交点在俯视图所在平面的对应坐标；
根据矫正交点在俯视图所在平面的对应坐标绘制出俯视图；
找出俯视图的中心，验证俯视图关于中心的对称性。
5.如权利要求1所述一种鱼眼相机的光心计算方法，其特征在于，俯视图的获取包括如下步骤：
在矫正交点集C中挑选出四个位于角点位置的矫正交点；
计算四个位于角点位置的矫正交点与交点集A中对应交点之间的变换矩阵；
利用变换矩阵将与矫正交点集C对应的矫正畸变图直接变换成俯视图；
标出所有矫正交点在俯视图中的对应坐标；
找出俯视图的中心，验证俯视图关于中心的对称性。
6.如权利要求4或5任一项所述一种鱼眼相机的光心计算方法，其特征在于，利用如下函数验证俯视图关于中心的对称性：
argmin(abs(∑xleft-xmedian+xright-xmedian)+ abs(∑yup-ymedian+ybottom-ymedian))
其中，xmedian 为中心的x坐标值，xleft为中心左边竖线的x坐标值，xright为中心右边竖线的x坐标值，ymedian 为中心的y坐标值，yup为中心上边横线的y坐标值，ybottom为中心下边横线的y坐标值。
7.如权利要求1所述一种鱼眼相机的光心计算方法，其特征在于，所述标定模板表面平整，且所述标定模板表面设置在稳定的光照环境中。
8.如权利要求1所述一种鱼眼相机的光心计算方法，其特征在于，所述光心坐标的参考范围是鱼眼相机焦点所在区域，所述畸变参数表是由鱼眼相机的厂家所提供。
9.如权利要求8所述一种鱼眼相机的光心计算方法，其特征在于，所述光心坐标在参考范围内连续变化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910442040.4A CN110335192A (zh) | 2019-05-24 | 2019-05-24 | 一种鱼眼相机的光心计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910442040.4A CN110335192A (zh) | 2019-05-24 | 2019-05-24 | 一种鱼眼相机的光心计算方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110335192A true CN110335192A (zh) | 2019-10-15 |
Family
ID=68139860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910442040.4A Withdrawn CN110335192A (zh) | 2019-05-24 | 2019-05-24 | 一种鱼眼相机的光心计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110335192A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009120135A (ja) * | 2007-11-19 | 2009-06-04 | Alps Electric Co Ltd | 撮像装置 |
| CN102800084A (zh) * | 2012-06-20 | 2012-11-28 | 东南大学 | 一种直线目标的图像像主点坐标和畸变系数的测定方法 |
| CN106127701A (zh) * | 2016-06-16 | 2016-11-16 | 深圳市凌云视迅科技有限责任公司 | 鱼眼镜头图像畸变校正方法及装置 |
| CN106815869A (zh) * | 2016-10-28 | 2017-06-09 | 北京鑫洋泉电子科技有限公司 | 鱼眼相机的光心确定方法及装置 |
| CN107767422A (zh) * | 2017-09-18 | 2018-03-06 | 深圳开阳电子股份有限公司 | 一种鱼眼镜头的校正方法、装置及便携式终端 |
-
2019
- 2019-05-24 CN CN201910442040.4A patent/CN110335192A/zh not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009120135A (ja) * | 2007-11-19 | 2009-06-04 | Alps Electric Co Ltd | 撮像装置 |
| CN102800084A (zh) * | 2012-06-20 | 2012-11-28 | 东南大学 | 一种直线目标的图像像主点坐标和畸变系数的测定方法 |
| CN106127701A (zh) * | 2016-06-16 | 2016-11-16 | 深圳市凌云视迅科技有限责任公司 | 鱼眼镜头图像畸变校正方法及装置 |
| CN106815869A (zh) * | 2016-10-28 | 2017-06-09 | 北京鑫洋泉电子科技有限公司 | 鱼眼相机的光心确定方法及装置 |
| CN107767422A (zh) * | 2017-09-18 | 2018-03-06 | 深圳开阳电子股份有限公司 | 一种鱼眼镜头的校正方法、装置及便携式终端 |
Non-Patent Citations (2)
| Title |
|---|
| 陆晓燕: "基于全景拼接的泊车辅助系统研究", 《中国优秀硕士学位论文全文数据库-工程科技Ⅱ辑》 * |
| 陈永明等: "基于最小二乘法的拟合曲线CCD相机畸变校正", 《机电技术》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021103347A1 (zh) | 投影仪的梯形校正方法、装置、系统及可读存储介质 | |
| CN110057295B (zh) | 一种免像控的单目视觉平面距离测量方法 | |
| CN108805934B (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
| CN105096329B (zh) | 一种精确校正超广角摄像头图像畸变的方法 | |
| JP4095491B2 (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
| CN104392435B (zh) | 鱼眼相机标定方法及标定装置 | |
| CN106780388B (zh) | 一种线阵相机光学畸变矫正方法 | |
| CN109454634A (zh) | 一种基于平面图像识别的机器人手眼标定方法 | |
| WO2018196303A1 (zh) | 多方位投影的投影仪标定方法及装置 | |
| CN111540004A (zh) | 单相机极线校正方法及装置 | |
| CN110443879B (zh) | 一种基于神经网络的透视误差补偿方法 | |
| CN112734860B (zh) | 一种基于弧形幕先验信息的逐像素映射投影几何校正方法 | |
| CN106952219B (zh) | 一种基于外参数修正鱼眼像机的图像生成方法 | |
| CN109934878A (zh) | 一种基于相机坐标系的线性标定系统及其方法 | |
| CN109255819B (zh) | 基于平面镜的Kinect标定方法及装置 | |
| CN106886976B (zh) | 一种基于内参数修正鱼眼像机的图像生成方法 | |
| CN109727292B (zh) | 基于多摄像头-投影仪的互动投影系统及自动化标定方法 | |
| CN111325800A (zh) | 一种单目视觉系统俯仰角标定方法 | |
| CN106600549A (zh) | 鱼眼图像的矫正方法和装置 | |
| CN109087360A (zh) | 一种机器人相机外参的标定方法 | |
| CN113465573A (zh) | 单目测距方法、装置及智能装置 | |
| JP2011155412A (ja) | 投影システムおよび投影システムにおける歪み修正方法 | |
| CN107492080B (zh) | 免定标便捷的单目镜头图像径向畸变矫正方法 | |
| CN108053491A (zh) | 动态视角条件下实现平面目标三维跟踪和增强现实的方法 | |
| CN110335192A (zh) | 一种鱼眼相机的光心计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20191015 Assignee: Shenzhen Dechi micro vision technology Co.,Ltd. Assignor: SHENZHEN DESAY MICROELECTRONIC TECHNOLOGY Co.,Ltd. Contract record no.: X2020980002081 Denomination of invention: Optical center calculation method of fisheye camera License type: Exclusive License Record date: 20200509 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20191015 |
|
| WW01 | Invention patent application withdrawn after publication |