CN111429533A - 一种相机镜头畸变参数估计装置及方法 - Google Patents

一种相机镜头畸变参数估计装置及方法 Download PDF

Info

Publication number
CN111429533A
CN111429533A CN202010539740.8A CN202010539740A CN111429533A CN 111429533 A CN111429533 A CN 111429533A CN 202010539740 A CN202010539740 A CN 202010539740A CN 111429533 A CN111429533 A CN 111429533A
Authority
CN
China
Prior art keywords
image
distortion
parameters
lens
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010539740.8A
Other languages
English (en)
Other versions
CN111429533B (zh
Inventor
谭孝江
赵晓刚
李强
杨靖博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hailichuang Technology Co ltd
Original Assignee
Shanghai Hynitron Microelectronic Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hynitron Microelectronic Co ltd filed Critical Shanghai Hynitron Microelectronic Co ltd
Priority to CN202010539740.8A priority Critical patent/CN111429533B/zh
Publication of CN111429533A publication Critical patent/CN111429533A/zh
Application granted granted Critical
Publication of CN111429533B publication Critical patent/CN111429533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种相机镜头畸变参数估计装置及方法，包括棋盘格、光源、图像采集模块、畸变校正模块和参数估计模块；所述光源发出光照射所述棋盘格，经过棋盘格后的光传递至大批量生产的相机镜头中随机选择的样本镜头，使用图像采集模块获取棋盘格的近距离成像；畸变校正模块将采集到的像进行角点提取，计算并记录镜头的内部参数和畸变参数；参数估计模块将计算得到的镜头的内部参数和畸变参数进行最优化估计，进而得到批量镜头的估计参数。本发明能够降低生产成本，提高生产效率，提高检测精度，适合工业化生产。

Description

一种相机镜头畸变参数估计装置及方法
技术领域
本发明涉及视觉及图像处理技术领域，尤其涉及一种相机镜头畸变参数估计装置及方法。
背景技术
相机在安防、机器人、自动驾驶以及日常生活中等诸多行业中得以应用。相机的镜头是相机结构中最为重要的部件，它直接影响到相机实际成像效果。而由于透镜的固有特性——凸透镜汇聚光线、凹透镜发散光线，往往相机在成像时都有透视失真，这种失真对于成像质量是十分不利的。抑制由于透镜四周所产生的畸变失真直接影响到相机最终成像效果，改善视觉效果，更加真实的还原场景物体。
高档的相机镜头通常通过光学设计和特殊晶片材料来抑制镜头畸变，但仍然无法完全消除畸变，而普通的体积较小相机由于设计的空间有限无法从光路上进行改善，并且随着镜头的视场角（Field Of View, FOV）增加成像四周的畸变和失真会愈加严重。因此针对数字相机中，小体积镜头的畸变失真相抑制显得尤为重要。工业中批次量产镜头的数量多，并且各个镜头间具有差异，其个体间的镜头参数无法做到全部通用。已有的量产镜头畸变参数计算包括：首先需要采购专门的标定光箱，然后通过专业的数字采集工具，对光箱内棋盘格进行符合一定要求的成像，根据采集到的畸变图像计算出棋盘格X型角点（Cornerof X Type，CXT）。在提取到的角点基础上，采用相应的畸变失真模型计算出透镜畸变失真参数，即镜头内部参数。
但在工业大批量的量产要求下，逐个标定镜头参数需要巨大的人力与物力，延长了产品的量产周期和交货时间，极大的提高了工厂生产成本，因此较为准确地估计出批次镜头近似参数，在提高出货率的同时，保证镜头最终的成像质量，抑制镜头四周的畸变失真是一项非常重要的工作。
发明内容
本发明提出的一种相机镜头畸变参数估计方法及处理装置，以降低生产成本，提高生产效率，提高检测精度。
根据本发明的第一方面，提出一种相机镜头畸变参数估计装置，包括：
棋盘格、光源、图像采集模块、畸变校正模块和参数估计模块；
所述光源发出光照射所述棋盘格，经过棋盘格后的光传递至大批量生产的相机镜头中随机选择的样本镜头，使用图像采集模块获取棋盘格的近距离成像；畸变校正模块将采集到的像进行角点提取，利用自身设定公式
Figure 58298DEST_PATH_IMAGE001
，
Figure 881897DEST_PATH_IMAGE002
，
计算并记录镜头的内部参数和畸变参数，并将计算得到的镜头的内部参数和畸变参数传递至参数估计模块，其中，A为相机内部参数矩阵，其中s为缩放因子，u, v表示图像坐标系中的一点(u, v)的坐标，R为相机的旋转矩阵，T为相机的平移矩阵，x, y, z为空间中一点(x, y, z)的坐标，x d , y d 为畸变图像上一点(x d , y d )的坐标，r 2 =x 2+y 2，k 1 ,k 2 , k 3 分别是径向畸变的三个参数，p 1, p 2是切向畸变系数；参数估计模块将计算得到的镜头的内部参数和畸变参数进行最优化估计，进而得到批量镜头的估计参数。
根据本发明的第二方面，提出一种相机镜头畸变参数估计方法，包括步骤：
光源发出光照射棋盘格，经过棋盘格后的光传递至大批量生产的相机镜头中随机选择的样本镜头；
使用图像采集模块在所述样本镜头处获取棋盘格的近距离成像，并将成像传递至畸变校正模块；
所述畸变校正模块将采集到的像进行角点提取，根据公式
Figure 473415DEST_PATH_IMAGE003
，
Figure 324959DEST_PATH_IMAGE004
，
计算并记录镜头的内部参数和畸变参数，并将计算得到的镜头的内部参数和畸变参数传递至参数估计模块，其中，A为相机内部参数矩阵，其中s为缩放因子，u, v表示图像坐标系中的一点(u, v)的坐标，R为相机的旋转矩阵，T为相机的平移矩阵，x, y, z为空间中一点(x, y, z)的坐标，x d , y d 为畸变图像上一点(x d , y d )的坐标，r 2 =x 2+y 2，k 1 ,k 2 , k 3 分别是径向畸变的三个参数，p 1, p 2是切向畸变系数；以及
所述参数估计模块进行最优化估计，进而得到批量镜头的估计参数。
本发明规避了现有技术中需要建立单独的标定环境，并逐一对镜头进行成像采集图像计算出镜头参数，导致相机量产成本上升的问题。此外，本发明还克服了传统的CXT提取算法在模糊角点、分离角点、畸变处角点和棋盘格边缘角点检测准确度低、无法检测的问题。从而本发明适用于大批量镜头生产，能够具备较好的批量检测精准度，生产效率高，并大大降低成本。
另外，根据本发明的一个实施例，所述光源包括自然光源，所述自然光源照射棋盘格并反射至所述样本镜头；所述光源包括灯具光源，所述灯具光源照射棋盘格透射至所述样本镜头；使用自然光源时所述棋盘格的透光性低于使用灯具光源时所述棋盘格的透光性。
另外，根据本发明的一个实施例，所述畸变校正模块能够对畸变棋盘格图像的角点进行精准标注、随机分割图像以及使用分割结果训练网络。
另外，根据本发明的一个实施例，所述所述畸变校正模块将采集到的像进行角点提取中，包括：
1）进行深度神经网络训练：
1.1）首先构建网络训练数据集，随机选择多个样本镜头分别对所述棋盘格进行成像，获取图片后对所述多个样本的图片中的角点进行精确标注，并记录角点位置；
1.2）统计畸变图中相邻标注点的间距，并求出最小标注点间距，若最小间距值大于256个像素，则选用256作为裁减图像窗口，否则使用最小间距值的0.75倍作为裁减窗口w；
1.3）在样本畸变图片中初始化一个随机位置，以初始位置为裁减窗口w×w中心，滑动窗口将图像分割，若窗口内有X型角点，则根据初始化位置更新标注点输出；若窗口内没有标注点，则对应输出无效坐标(256, 256)；该步骤至少执行1次；
1.4）若裁减窗口w小于256，则对样本集的右下方添加黑边，将样本集尺寸扩展为256×256；
2）使用训练好的深度神经网络对采集到的像进行角点提取，涉及：
2.1）对图像进行分割预处理，根据拍摄图像距离设定图像裁剪尺寸，尺寸设定的依据包括图像中最小方格边长的像素长度，裁剪尺寸小于所述最小方格边长的像素长度，大于256×256，裁剪尺寸不足256×256的情况下，添加空白区域扩充到256×256尺寸；
2.2）裁剪出第一个窗口后，送入网络进行识别，若识别结果为有效的CXT输出，则根据裁剪窗口对应图像位置记录该CXT，然后以裁剪窗口宽移动窗口到下一个裁剪位置；
2.3）若网络输出不是有效CXT，则窗口的移动宽度为窗口宽度的0.5到0.75之间，以使得CXT出现两个窗口边缘时被有效检测出；
2.4）窗口移动到图像的宽度后，若依旧未能检测到CXT，则从第一个窗口位置开始，检测窗口在图像高度方向上移动1/2~3/4的窗口高度距离，若第一行中检测到有效CXT，则窗口向下移动窗口的高度距离；
2.5）重复2.2）~2.4）直到整个图像都被网络检测过后，即可获取所有CXT的坐标值。
超大FOV镜头相机由于图像中心的解析力远大于图像四周，从而导致其中心的亮度和清晰度都远大于四周，通常所表现差异有四周局部模糊，方格间角点粘连区域大，同时图像形状畸变严重，边缘模糊，这使得传统算法在进行阈值化处理图像方格粘连、方格边框提取偏差以及计算出的角点位置误差过大，并且后续难以再进行修正。同时图像边缘处，方格大部分被裁减时，传统算法为了克服噪声，将小块方格滤除，从而使得边缘角点无法检测出，但在畸变校正中，四周的角点对计算参数是十分重要的。而本发明通过进行深度神经网络训练，能够实现棋盘格角点的精准识别。
另外，根据本发明的一个实施例，所述步骤2.5）之后，还包括：采用opencv中亚像素角点求解算法求取出更加精确的角点坐标，以提高最终的棋盘格CXT精确度。
另外，根据本发明的一个实施例，所述计算并记录镜头的内部参数和畸变参数包括：
根据小孔成像模型计算出样本镜头的相机内部参数矩阵A，相机的旋转矩阵R和平移矩阵T，R、T矩阵构成了从世界坐标系到相机坐标系的投影矩阵P=R|T，
Figure 242099DEST_PATH_IMAGE005
其中
Figure 287416DEST_PATH_IMAGE006
分别是x、y，x、z，y、z之间的夹角，T是3×1的向量，相机内部参数矩阵为
Figure 682625DEST_PATH_IMAGE007
（3-2）
则从空间中一点(x, y, z)到图像坐标系中的一点(u, v)可表述为
Figure 762577DEST_PATH_IMAGE008
（3-3）
可得从世界坐标系到图像坐标系中的映射关系；
成像的畸变描述为
Figure 725984DEST_PATH_IMAGE009
Figure 993018DEST_PATH_IMAGE010
其中(x rd , y rd )是图像上径向畸变点位置，(x, y)是畸变校正后的新位置，(x td , y td )是图像上切向畸变点位置；
在畸变图像上一点(x d , y d )与非畸变点间的关系为
Figure 457497DEST_PATH_IMAGE011
根据式子（3-3）和（3-6）可计算出每个样本镜头内部参数以及畸变系数。
另外，根据本发明的一个实施例，所述所述参数估计模块进行最优化估计，进而得到批量镜头的估计参数包括：
在获得每个样本镜头内部参数以及畸变系数后，取图像中心点位置为镜头主点位置，所计算的相机焦距平均值作为通用焦距，则估算内部参数矩阵为：
Figure 391955DEST_PATH_IMAGE012
(4-1)
其中
Figure 650898DEST_PATH_IMAGE013
分别是横向和纵向的焦距平均值，单位为像素；
Figure 795440DEST_PATH_IMAGE014
分别表示图像中心点坐标的横向位置与纵向位置；
在畸变参数的优化过程中忽略切向畸变，令需要优化的径向畸变模型为：
Figure 63611DEST_PATH_IMAGE015
结合（4-1），距离主点位置的r计算如下：
Figure 852575DEST_PATH_IMAGE016
建立残差平方和函数为：
Figure 282420DEST_PATH_IMAGE017
以（4-4）作为求解（4-2）中k 1 , k 2 , k 3 的约束条件，分别对其求偏导得到（4-5），当（4-4）式取得最小值时，此时等式的偏导式子的值应等于“0”：
Figure 664990DEST_PATH_IMAGE018
(4-5)
其中m表示样本镜头数量，n表示样本镜头拍摄的CXT数量，则f j (r i )表示第j个样本在i个CXT处的径向畸变量，将(4-5)整理后向量化可得：
Figure 205693DEST_PATH_IMAGE019
则K=R -1 F；
将样本中所有的CXT坐标转化到距离图像主点的半径r后和径向可获得径向畸变的参数。
附图说明
图1为本发明实施例中相机镜头畸变参数估计装置的示意图；
图2为本发明实施例中棋盘格的示意图；
图3a为本发明实施例中同一样本镜头采集到的畸变图的图像中心位置的示意图；
图3b为本发明实施例中同一样本镜头采集到的畸变图的图像上边缘位置的示意图；
图3c为本发明实施例中同一样本镜头采集到的畸变图的图像下边缘位置的示意图；
图4为本发明实施例中用于CXT识别的深度卷积网络结构的示意图；
图5为本发明实施例中裁剪窗口的移动示意图；
图6为本发明实施例中相机镜头畸变参数估计方法的流程图；
图7为本发明实施例中一个求解结果示意图。
具体实施方式
下面将结合示意图对本发明的相机镜头畸变参数估计装置及方法进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
实施例1
本发明实施例1提供了一种相机镜头畸变参数估计装置。下面对本实施例的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。本实施例的示意图可参考图1，包括：
棋盘格、光源、图像采集模块、畸变校正模块和参数估计模块；
所述光源发出光照射所述棋盘格，经过棋盘格后的光传递至大批量生产的相机镜头中随机选择的样本镜头，使用图像采集模块获取棋盘格的近距离成像；畸变校正模块将采集到的像进行角点提取，利用自身设定公式
Figure 849164DEST_PATH_IMAGE020
，
Figure 715489DEST_PATH_IMAGE021
，
计算并记录镜头的内部参数和畸变参数，并将计算得到的镜头的内部参数和畸变参数传递至参数估计模块，其中，A为相机内部参数矩阵，其中s为缩放因子，u, v表示图像坐标系中的一点(u, v)的坐标，R为相机的旋转矩阵，T为相机的平移矩阵，x, y, z为空间中一点(x, y, z)的坐标，x d , y d 为畸变图像上一点(x d , y d )的坐标，r 2 =x 2+y 2，k 1 ,k 2 , k 3 分别是径向畸变的三个参数，p 1, p 2是切向畸变系数；参数估计模块将计算得到的镜头的内部参数和畸变参数进行最优化估计，进而得到批量镜头的估计参数。
由此，本发明实施例对相机镜头畸变参数估计方法的实现提供了结构上的保证。
实施例2
本发明实施例2提供了一种相机镜头畸变参数估计装置。下面对本实施例的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。本实施例可以是在实施例1的基础上进一步优化，其中相同或相似部分省略描述，具体包括：
所述棋盘格采用黑白相间的方格子，一张完整的棋盘格，其方格数量不限于图2中示例，但所绘制棋盘格CXT数量总和以超过5个为宜，这是根据需要求解相机的参数而决定的，例如在一个选择中，求解相机的4个内部参数和6个畸变参数，则至少需要十个方程，而每个CXT可提供两个方程，因此理论上一个视场平面下的棋盘格至少提供5个有效CXT即可求解相机内外参数。
可以理解的是，求解的相机参数并不限于4个内部参数和6个畸变参数，根据实际相机，可以有其他数量的内部参数和畸变参数，例如内部参数为3个、5个、6个等，畸变参数为4个、5个、7个、8个等，此处并不做特别限定。
棋盘格图纸形状不做限制。图2中标注距离满足l1=l2=l3，但不做具体长度限制，可根据标定距离调整标定棋盘格图纸大小和方格长度。所述棋盘格为纸张时，纸张平整四周无褶皱，棋盘格摆放平整，无凸起，打印清晰，角点明确无粘连。
所述光源包括自然光源，所述自然光源照射棋盘格并反射至所述样本镜头；所述光源包括灯具光源，所述灯具光源照射棋盘格透射至所述样本镜头；使用自然光源时所述棋盘格的透光性低于使用灯具光源时所述棋盘格的透光性。
具体的，例如使用自然光源照射棋盘格时，棋盘格打印材料为普通纸张；使用灯具光源从棋盘格后方投射时，则采用的棋盘格打印材料可以为透光性较好的材质，例如选择透光较好的PVC或玻璃片来打印棋盘格。
其中图1示意了自然光源和灯具光源都存在的结构，但是本领域技术人员可以理解，可以是只采用自然光源的结构，或者是只采用灯具光源的结构，亦或者该结构同时具备自然光源和灯具光源，但二者可以根据实际情况灵活选择使用。
另外，所述图像采集模块可以为传感器读取治具、手机、电脑、图像采集卡或其他嵌入式图像读取设备。实际操作中，可以从大批量生产的相机镜头中随机选择小部分样本镜头，使用所述图像采集模块获取棋盘格较近距离成像。
实施例3
本发明实施例3提供了一种相机镜头畸变参数估计装置。下面对本实施例的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。本实施例可以是在实施例1和/或实施例2的基础上进一步优化，其中相同或相似部分省略描述，具体包括：
所述畸变校正模块可以将采集到的棋盘格图像采用基于DCNN（深度神经网络训练）的角点识别算法进行角点提取，并可以进一步使用OpenCV接口计算并记录镜头的内部参数和畸变参数。所述畸变校正模块还能够对畸变棋盘格图像的角点进行精准标注、随机分割图像以及使用分割结果训练网络。
传统的棋盘格角点提取算法是通过识别出图像内方格位置，基于两个方格的相邻顶角位置计算出大概的角点坐标后，进一步在一定区域内使用海森矩阵提取区域内的精确角点。但该方法在实际应用中会存在一些问题，如图3a~图3c所示为同一样本镜头采集到的畸变图中不同部位。
如图3a~图3c中所示，超大FOV镜头相机由于图像中心的解析力远大于图像四周，从而导致其中心的亮度和清晰度都远大于四周，通常所表现差异有四周局部模糊，方格间角点粘连区域大，同时图像形状畸变严重，边缘模糊，这使得传统算法在进行阈值化处理图像方格粘连、方格边框提取偏差以及计算出的角点位置误差过大，并且后续难以再进行修正。同时图像边缘处，方格大部分被裁减时，传统算法为了克服噪声，将小块方格滤除，从而使得边缘角点无法检测出，但在畸变校正中，四周的角点对计算参数是十分重要的。
由于传统的角点提取算法无法很好的解决以上问题，本发明使得畸变校正模块能够基于深度卷积神经网络（Deep Convolutional Neural Network, DCNN）进行图像棋盘格角点识别，其中畸变校正模块在DCNN方面，具体包括：
1.1）能够构建网络训练数据集，可随机选择多个样本镜头分别对所述棋盘格进行成像，获取图片后对所述多个样本的图片中的角点进行精确标注，并记录角点位置；例如，为适应镜头畸变差异，可以随机选择5个样本镜头分别对所述的棋盘格环境进行成像，获取图片后对5个样本图片中的角点进行精确标注，并记录角点位置；可以理解的是，5个样本仅为示例，并不作为本发明的具体限定。
1.2）能够统计畸变图中相邻标注点的间距，并求出最小标注点间距，并且，若最小间距值大于256个像素，则选用256作为裁减图像窗口，否则使用最小0.75倍长度作为裁减窗口的宽高w。
1.3）可以在样本畸变图片中初始化一个随机位置，并以初始位置为裁减窗口w×w中心，滑动窗口将图像分割，若窗口内有X型角点，则根据初始化位置更新标注点输出；若窗口内没有标注点，则对应输出无效坐标(256, 256)；该功能至少可以执行1次，通过多次随机初始化位置，可以改变样本集训练CXT的输出位置，提高样本集数量，增强网络的泛化能力和鲁棒性。
1.4）能够针对裁减窗口进行调整，例如若裁减窗口w小于256，则对样本集的右下方添加黑边，将样本集尺寸扩展为256×256。
此外，本发明实施例还提供了一种用于CXT识别的深度卷积网络结构，如图4所示。该结构可以构架在所述畸变校正模块中，其中Conv：卷积层，MP：池化层，fully connect：全连接层，其具体结构及功能如下：
输入图片可以为数据集的原始尺寸256×256的灰度图像，第一隐含层是没有神经元的卷积层，使用的卷积核为如(2-1)所示，该内核kernal 1
Figure 178831DEST_PATH_IMAGE022
R 13x13 对“十”字型交叉点较为敏感，对该内核进行不同角度旋转可形成13种不同方向的卷积内核，分别使用13中内核对输入图像进行卷积然后做4倍的最大值池化，得到第一个卷积层的61×61×13输出。
Figure 788804DEST_PATH_IMAGE023
(2-1)
DCNN第二层使用如 (2-2)的内核计算敏感点的混合梯度值，对第一隐含层中的敏感点进行梯度卷积，而后通过结构为3×1的神经元。
Figure 909951DEST_PATH_IMAGE024
第二隐含层卷积内核采用全向的梯度算法作为内核，用于提取敏感点的二阶混合梯度特征，使用该内核后可对敏感点进行特征化，而后使用经过(2-3)的神经元函数对梯度特征做一次映射。
Figure 681598DEST_PATH_IMAGE025
(2-3)
其中y j 是该层的第j输出，w ij 是第j个神经元的第i个权值，θ j 是第j个神经元的阈值。
第三隐含层对第二隐含层输出做全卷积累加，其功能主要是对前向数据进行降维后做特征映射；第四隐含层对前向数据阵列做横向和纵向的梯度卷积，输出特征值的方向性，使用 (2-4)作为卷积内核。
Figure 897815DEST_PATH_IMAGE026
(2-4)
g j 是第上一层第j个神经元输出，h,v分别表示横纵方向。最后一个全连接层对上一层特征偏导做输出识别。
将所有数据集放入到上述设计的网络结构中，进行训练，训练采用误差反向传播方式和随机梯度下降方法来拟合收敛网络。训练误差被定义为
Figure 45900DEST_PATH_IMAGE027
(2-5)
其中E表示第j神经元产生的误差，t j 表示期望输出，y j 表示实际输出。训练过程为了找到合适的权重w ij 则计算E对w ij 的一阶偏导，如
Figure 663963DEST_PATH_IMAGE028
(2-6)
w hj 首先影响第j个神经元的输入O，然后再影响层输出，最后影响误差E，因此又有：
Figure 747457DEST_PATH_IMAGE029
(2-7)
根据选择的传递函数可以计算出每一层迭代的权值修正，阈值的修正原理和权值类似，最终训练直到训练误差几乎不再变化即可说明网络收敛。
该结构可以适用于本发明实施例中DCNN的训练。可以理解的是，本领域技术人员也可以采用其他结构进行DCNN训练。
相机工厂使用所述棋盘格环境，例如拍摄不少于20个样本模组的畸变图片，然后使用上一步骤中训练好的深度神经网络对每一个样本镜头分别进行棋盘格的畸变CXT位置识别，采集时图像成像距离需和网络训练时的图像采集距离保持一致。
所述畸变校正模块能够棋盘格图像进行角点提取，具体可以是对图像进行分割预处理。分割是首先需根据拍摄图像距离设定图像裁剪尺寸，尺寸设定依据图像中最小方格边长的像素长度来设定，裁剪尺寸必须小于该值，但大于等于256×256。裁剪尺寸不足256×256的情况下，应当裁剪下图像后，添加空白区域扩充到256×256尺寸。
如图5所示，裁剪窗口的移动规则，以从图像左上角起始为例：
1、裁剪出第一个窗口后，送入网络进行识别，若识别结果为有效的CXT输出，则根据裁剪窗口对应图像位置记录该CXT，然后以裁剪窗口宽移动窗口到下一个裁剪位置；
2、若网络输出不是有效CXT，则窗口的移动宽度为窗口宽度的0.5到0.75之间，以确保CXT出现两个窗口边缘而被有效检测出，如图5中方格300和方格302的垂直方向关系；
3、窗口移动到图像的宽度后，若依旧未能检测到CXT，则从第一个窗口位置开始，检测窗口在图像高度方向上移动1/2~3/4的窗口高度距离，若第一行中检测到有效CXT，则窗口向下移动窗口的高度距离。如此反复直到整个图像都被网络检测过后，即可获取所有CXT的坐标值，如图5中方格300和方框301的关系。
所述畸变校正模块还具有如下功能：
能够根据小孔成像模型计算出样本镜头的相机内部参数矩阵A，相机的旋转矩阵R和平移矩阵T，R、T矩阵构成了从世界坐标系到相机坐标系的投影矩阵P=R|T，
Figure 450970DEST_PATH_IMAGE030
（3-1）
其中
Figure 402746DEST_PATH_IMAGE031
分别是x、y，x、z，y、z之间的夹角，T是3×1的向量，相机内部参数矩阵为
Figure 875316DEST_PATH_IMAGE032
（3-2）
则从空间中一点(x, y, z)到图像坐标系中的一点(u, v)可表述为
Figure 988765DEST_PATH_IMAGE033
（3-3）
其中s为缩放因子。
所述畸变校正模块能够依据公式（3-1）~（3-3）获得从世界坐标系到图像坐标系中的映射关系。
进一步的，需要考虑实际的映射中，透镜有畸变失真，因而本发明实施例对映射点进行修正，镜头的径向畸变模型可由泰勒展开推导，由于径向畸变是对称畸变因而保留偶次幂级数，通常保留六次幂级数计算拟合精度基本满足实际需求；切向畸变是组合式镜头在安装中各个透镜不同轴所导致，一个圆形光线束在镜头后投影到平面上是椭圆形；因而，在所述畸变校正模块中，成像的畸变描述为
Figure 304209DEST_PATH_IMAGE034
（3-4）
Figure 794096DEST_PATH_IMAGE035
（3-5）
其中(x rd , y rd )是图像上径向畸变点位置，(x, y)是畸变校正后的新位置，r 2 =x 2+y 2，k 1 ,k 2 , k 3 分别是径向畸变的三个参数，(x td , y td )是图像上切向畸变点位置，p 1, p 2是切向畸变系数；式中坐标原点在图像主点处，因此距离主点越近，畸变程度越小。
则进一步的，可知在畸变图像上一点(x d , y d )与非畸变点间的关系为
Figure 386751DEST_PATH_IMAGE036
（3-6）
根据式子（3-3）和（3-6）可计算出每个样本镜头内部参数以及畸变参数，根据需要，可以只需记录镜头的内部参数和畸变参数。
实施例4
本发明实施例4提供了一种相机镜头畸变参数估计装置。下面对本实施例的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。本实施例可以是在实施例1~实施例3任意一个的基础上进一步优化，其中相同或相似部分省略描述，具体包括：
所述参数估计模块具有如下功能：
在获得每个样本镜头内部参数以及畸变系数后，取图像中心点位置为镜头主点位置，所计算的相机焦距平均值作为通用焦距，则估算内部参数矩阵为：
Figure 405523DEST_PATH_IMAGE037
(4-1)
其中
Figure 83629DEST_PATH_IMAGE038
分别是横向和纵向的焦距平均值，单位为像素；
Figure 252573DEST_PATH_IMAGE039
分别为图像中心坐标的横向位置和纵向位置；
对于畸变参数的估计则采用最小二乘法来最优化参数，计算出样本中的最优参数作为整批次镜头参数。在单透镜的镜头中，切向畸变的值非常之下，通常在10的-4次方幂数量级上，因此切向畸变系数p1, p2的估算可以采用平均的方法来获取。而径向畸变参数是镜头失真中最主要的原因，因此在畸变参数的优化过程中忽略切向畸变，令需要优化的径向畸变模型为：
Figure 699735DEST_PATH_IMAGE040
(4-2)
结合（4-1），距离主点位置的r计算如下：
Figure 420566DEST_PATH_IMAGE041
(4-3)
有效成像的CXT数量不低于5个，则所有样本镜头的CXT方程数量是大于未知数k，即求得最优畸变参数k的过程是求解一个超定方程。超定方程一般而言没有唯一解，为了让其尽量成立引入其偏导做最优化，建立残差平方和函数为：
Figure 212067DEST_PATH_IMAGE042
(4-4)
以（4-4）作为求解（4-2）中k 1 , k 2 , k 3 的约束条件，分别对其求偏导得到（4-5），当（4-4）式取得最小值时，此时等式的偏导式子的值应等于“0”：
Figure 43757DEST_PATH_IMAGE043
(4-5)
其中m表示样本镜头数量，n表示样本镜头拍摄的CXT数量，则f j (r i )表示第j个样本在i个CXT处的径向畸变量，将(4-5)整理后向量化可得：
Figure 611005DEST_PATH_IMAGE044
(4-6)
其中，
Figure 237158DEST_PATH_IMAGE045
；
则K=R -1 F；
将样本中所有的CXT坐标转化到距离图像主点的半径r后和径向可获得径向畸变的参数。
实施例5
本发明实施例5提供了一种相机镜头畸变参数估计方法。下面对本实施例的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。本实施例的示意图可参考图6，包括：
步骤S11，光源发出光照射棋盘格，经过棋盘格后的光传递至大批量生产的相机镜头中随机选择的样本镜头；
步骤S12，使用图像采集模块在所述样本镜头处获取棋盘格的近距离成像，并将成像传递至畸变校正模块；
步骤S13，所述畸变校正模块将采集到的像进行角点提取，根据公式
Figure 624277DEST_PATH_IMAGE046
，
Figure 135024DEST_PATH_IMAGE047
计算并记录镜头的内部参数和畸变参数，并将计算得到的镜头的内部参数和畸变参数传递至参数估计模块，其中，A为相机内部参数矩阵，其中s为缩放因子，u, v表示图像坐标系中的一点(u, v)的坐标，R为相机的旋转矩阵，T为相机的平移矩阵，x, y, z为空间中一点(x, y, z)的坐标，x d , y d 为畸变图像上一点(x d , y d )的坐标，r 2 =x 2+y 2，k 1 ,k 2 , k 3 分别是径向畸变的三个参数，p 1, p 2是切向畸变系数；以及
步骤S14，所述参数估计模块进行最优化估计，进而得到批量镜头的估计参数。
本实施例的方法，能够快速准确的进行相机镜头畸变参数估计，提高生产效率，适合工业大批量生产加工。
实施例6
本发明实施例6提供了一种相机镜头畸变参数估计方法，并且可以是在实施例5的基础上进一步优化，其中，相同或相似的部分省略其描述。下面对本实施例的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。本实施例的示意图可参考图6，包括：
对于步骤S13，所述畸变校正模块将采集到的像进行角点提取，计算并记录镜头的内部参数和畸变参数，并将计算得到的镜头的内部参数和畸变参数传递至参数估计模块。其中，所述畸变校正模块将采集到的像进行角点提取中，包括：
1）进行深度神经网络训练：
1.1）首先构建网络训练数据集，随机选择多个样本镜头分别对所述棋盘格进行成像，获取图片后对所述多个样本的图片中的角点进行精确标注，并记录角点位置；例如，为适应镜头畸变差异，可以随机选择5个样本镜头分别对所述的棋盘格环境进行成像，获取图片后对5个样本图片中的角点进行精确标注，并记录角点位置；可以理解的是，5个样本仅为示例，并不作为本发明的具体限定。
1.2）统计畸变图中相邻标注点的间距，并求出最小标注点间距，若最小间距值大于256个像素，则选用256作为裁减图像窗口，否则使用最小间距值的0.75倍作为裁减窗口w。
1.3）在样本畸变图片中初始化一个随机位置，以初始位置为裁减窗口w×w中心，滑动窗口将图像分割，若窗口内有X型角点，则根据初始化位置更新标注点输出；若窗口内没有标注点，则对应输出无效坐标(256, 256)；该步骤至少执行1次，通过多次随机初始化位置，可以改变样本集训练CXT的输出位置，提高样本集数量，增强网络的泛化能力和鲁棒性。
1.4）若裁减窗口w小于256，则对样本集的右下方添加黑边，将样本集尺寸扩展为256×256。
2）使用训练好的深度神经网络对采集到的像进行角点提取，涉及：
2.1）对图像进行分割预处理，根据拍摄图像距离设定图像裁剪尺寸，尺寸设定的依据包括图像中最小方格边长的像素长度，裁剪尺寸小于所述最小方格边长的像素长度，大于等于256×256，裁剪尺寸不足256×256的情况下，添加空白区域扩充到256×256尺寸。
2.2）请参考图5，裁剪出第一个窗口后，送入网络进行识别，若识别结果为有效的CXT输出，则根据裁剪窗口对应图像位置记录该CXT，然后以裁剪窗口宽移动窗口到下一个裁剪位置，如图5中方格300和方框301的关系；
2.3）若网络输出不是有效CXT，则窗口的移动宽度为窗口宽度的0.5到0.75之间，以使得CXT出现两个窗口边缘时被有效检测出；
2.4）窗口移动到图像的宽度后，若依旧未能检测到CXT，则从第一个窗口位置开始，检测窗口在图像高度方向上移动1/2~3/4的窗口高度距离，若第一行中检测到有效CXT，则窗口向下移动窗口的高度距离；
2.5）重复2.2）~2.4）直到整个图像都被网络检测过后，即可获取所有CXT的坐标值。
进一步的，在所述步骤2.5）之后，还包括：采用opencv中亚像素角点求解算法求取出更加精确的角点坐标，以提高最终的棋盘格CXT精确度。
所述畸变校正模块进行计算并记录镜头的内部参数和畸变参数包括：
根据小孔成像模型计算出样本镜头的相机内部参数矩阵A，相机的旋转矩阵R和平移矩阵T，R、T矩阵构成了从世界坐标系到相机坐标系的投影矩阵P=R|T，
Figure 556778DEST_PATH_IMAGE048
（3-1）
其中
Figure 353833DEST_PATH_IMAGE049
分别是x、y，x、z，y、z之间的夹角，T是3×1的向量，相机内部参数矩阵为
Figure 228248DEST_PATH_IMAGE050
， （3-2）
则从空间中一点(x, y, z)到图像坐标系中的一点(u, v)可表述为
Figure 401740DEST_PATH_IMAGE051
（3-3）
其中s为缩放因子，可得从世界坐标系到图像坐标系中的映射关系；
进一步的，需要考虑实际的映射中，透镜有畸变失真，因而本发明实施例对映射点进行修正，镜头的径向畸变模型可由泰勒展开推导，由于径向畸变是对称畸变因而保留偶次幂级数，通常保留六次幂级数计算拟合精度基本满足实际需求；切向畸变是组合式镜头在安装中各个透镜不同轴所导致，一个圆形光线束在镜头后投影到平面上是椭圆形；因而，在本步骤中，成像的畸变描述为
Figure 412421DEST_PATH_IMAGE052
（3-4）
Figure 770590DEST_PATH_IMAGE053
（3-5）
其中(x rd , y rd )是图像上径向畸变点位置，(x, y)是畸变校正后的新位置， r 2 =x 2+y 2，k 1 ,k 2 , k 3 分别是径向畸变的三个参数，(x td , y td )是图像上切向畸变点位置，p 1, p 2是切向畸变系数；式中坐标原点在图像主点处，因此距离主点越近，畸变程度越小。
在畸变图像上一点(x d , y d )与非畸变点间的关系为
Figure 132302DEST_PATH_IMAGE054
（3-6）
根据式子（3-3）和（3-6）可计算出每个样本镜头内部参数以及畸变系数，根据需要，可以只需记录镜头的内部参数和畸变参数。
对于步骤S14，所述参数估计模块进行最优化估计，进而得到批量镜头的估计参数。该步骤具体包括：
在获得每个样本镜头内部参数以及畸变系数后，取图像中心点位置为镜头主点位置，所计算的相机焦距平均值作为通用焦距，则估算内部参数矩阵为：
Figure 109485DEST_PATH_IMAGE055
(4-1)
其中
Figure 240252DEST_PATH_IMAGE056
分别是横向和纵向的焦距平均值，单位为像素；
Figure 520055DEST_PATH_IMAGE057
分别图像中心点坐标的横向位置和纵向位置；
对于畸变参数的估计则采用最小二乘法来最优化参数，计算出样本中的最优参数作为整批次镜头参数。在单透镜的镜头中，切向畸变的值非常之下，通常在10的-4次方幂数量级上，因此切向畸变系数p1, p2的估算可以采用平均的方法来获取。而径向畸变参数是镜头失真中最主要的原因，在畸变参数的优化过程中忽略切向畸变，令需要优化的径向畸变模型为：
Figure 369062DEST_PATH_IMAGE058
(4-2)
结合（4-1），距离主点位置的r计算如下：
Figure 149936DEST_PATH_IMAGE059
(4-3)
有效成像的CXT数量不低于5个，则所有样本镜头的CXT方程数量是大于未知数k，即求得最优畸变参数k的过程是求解一个超定方程。超定方程一般而言没有唯一解，为了让其尽量成立引入其偏导做最优化，建立残差平方和函数为：
Figure 135210DEST_PATH_IMAGE060
(4-4)
以（4-4）作为求解（4-2）中k 1 , k 2 , k 3 的约束条件，分别对其求偏导得到（4-5），当（4-4）取得最小值时，此时等式的偏导式子的值应等于“0”：
Figure DEST_PATH_IMAGE061
(4-5)
其中m表示样本镜头数量，n表示样本镜头拍摄的CXT数量，则f j (r i )表示第j个样本在i个CXT处的径向畸变量，将(4-5)整理后向量化可得：
Figure 333717DEST_PATH_IMAGE062
(4-6)
其中，
Figure DEST_PATH_IMAGE063
则K=R -1 F；
将样本中所有的CXT坐标转化到距离图像主点的半径r后带入上式计算可获得径向畸变的参数。
图7所示为一个求解结果样例。图中横轴表示从图像主点开始到图像四周，单位为像素；纵轴表示图像中一点的径向畸变；图中的点表示各样本镜头的图像中一点的径向畸变位置；黑色曲线表示估计出的径向畸变曲线。
上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (8)

1.一种相机镜头畸变参数估计装置，其特征在于，包括：
棋盘格、光源、图像采集模块、畸变校正模块和参数估计模块；
所述光源发出光照射所述棋盘格，经过棋盘格后的光传递至大批量生产的相机镜头中随机选择的样本镜头，使用图像采集模块获取棋盘格的近距离成像；畸变校正模块将采集到的像进行角点提取，利用自身设定公式
Figure 158428DEST_PATH_IMAGE001
，
Figure 872306DEST_PATH_IMAGE003
，
计算并记录镜头的内部参数和畸变参数，并将计算得到的镜头的内部参数和畸变参数传递至参数估计模块，其中，A为相机内部参数矩阵，其中s为缩放因子，u, v表示图像坐标系中的一点(u, v)的坐标，R为相机的旋转矩阵，T为相机的平移矩阵，x, y, z为空间中一点(x, y, z)的坐标，x d , y d 为畸变图像上一点(x d , y d )的坐标，r 2 =x 2+y 2，k 1 ,k 2 , k 3 分别是径向畸变的三个参数，p 1, p 2是切向畸变系数；参数估计模块将计算得到的镜头的内部参数和畸变参数进行最优化估计，进而得到批量镜头的估计参数。
2.如权利要求1所述的相机镜头畸变参数估计装置，其特征在于，所述光源包括自然光源，所述自然光源照射棋盘格并反射至所述样本镜头；所述光源包括灯具光源，所述灯具光源照射棋盘格透射至所述样本镜头；使用自然光源时所述棋盘格的透光性低于使用灯具光源时所述棋盘格的透光性。
3.如权利要求1所述的相机镜头畸变参数估计装置，其特征在于，所述畸变校正模块能够对畸变棋盘格图像的角点进行精准标注、随机分割图像以及使用分割结果训练网络。
4.一种相机镜头畸变参数估计方法，其特征在于，包括步骤：
光源发出光照射棋盘格，经过棋盘格后的光传递至大批量生产的相机镜头中随机选择的样本镜头；
使用图像采集模块在所述样本镜头处获取棋盘格的近距离成像，并将成像传递至畸变校正模块；
所述畸变校正模块将采集到的像进行角点提取，根据公式
Figure 652044DEST_PATH_IMAGE004
，
Figure 781674DEST_PATH_IMAGE005
，
计算并记录镜头的内部参数和畸变参数，并将计算得到的镜头的内部参数和畸变参数传递至参数估计模块，其中，A为相机内部参数矩阵，其中s为缩放因子，u, v表示图像坐标系中的一点(u, v)的坐标，R为相机的旋转矩阵，T为相机的平移矩阵，x, y, z为空间中一点(x, y, z)的坐标，x d , y d 为畸变图像上一点(x d , y d )的坐标，r 2 =x 2+y 2，k 1 ,k 2 , k 3 分别是径向畸变的三个参数，p 1, p 2是切向畸变系数；以及
所述参数估计模块进行最优化估计，进而得到批量镜头的估计参数。
5.如权利要求4所述的相机镜头畸变参数估计方法，其特征在于，所述所述畸变校正模块将采集到的像进行角点提取中，包括：
1）进行深度神经网络训练：
1.1）首先构建网络训练数据集，随机选择多个样本镜头分别对所述棋盘格进行成像，获取图片后对所述多个样本的图片中的角点进行精确标注，并记录角点位置；
1.2）统计畸变图中相邻标注点的间距，并求出最小标注点间距，若最小间距值大于256个像素，则选用256作为裁减图像窗口，否则使用最小间距值的0.75倍作为裁减窗口w；
1.3）在样本畸变图片中初始化一个随机位置，以初始位置为裁减窗口w×w中心，滑动窗口将图像分割，若窗口内有X型角点，则根据初始化位置更新标注点输出；若窗口内没有标注点，则对应输出无效坐标(256, 256)；该步骤至少执行1次；
1.4）若裁减窗口w小于256，则对样本集的右下方添加黑边，将样本集尺寸扩展为256×256；
2）使用训练好的深度神经网络对采集到的像进行角点提取，涉及：
2.1）对图像进行分割预处理，根据拍摄图像距离设定图像裁剪尺寸，尺寸设定的依据包括图像中最小方格边长的像素长度，裁剪尺寸小于所述最小方格边长的像素长度，大于等于256×256，裁剪尺寸不足256×256的情况下，添加空白区域扩充到256×256尺寸；
2.2）裁剪出第一个窗口后，送入网络进行识别，若识别结果为有效的CXT输出，则根据裁剪窗口对应图像位置记录该CXT，然后以裁剪窗口宽移动窗口到下一个裁剪位置；
2.3）若网络输出不是有效CXT，则窗口的移动宽度为窗口宽度的0.5到0.75之间，以使得CXT出现两个窗口边缘时被有效检测出；
2.4）窗口移动到图像的宽度后，若依旧未能检测到CXT，则从第一个窗口位置开始，检测窗口在图像高度方向上移动1/2~3/4的窗口高度距离，若第一行中检测到有效CXT，则窗口向下移动窗口的高度距离；
2.5）重复2.2）~2.4）直到整个图像都被网络检测过后，即可获取所有CXT的坐标值。
6.如权利要求5所述的相机镜头畸变参数估计方法，其特征在于，所述步骤2.5）之后，还包括：采用opencv中亚像素角点求解算法求取出更加精确的角点坐标，以提高最终的棋盘格CXT精确度。
7.如权利要求5所述的相机镜头畸变参数估计方法，其特征在于，所述计算并记录镜头的内部参数和畸变参数包括：
根据小孔成像模型计算出样本镜头的相机内部参数矩阵A，相机的旋转矩阵R和平移矩阵T，R、T矩阵构成了从世界坐标系到相机坐标系的投影矩阵P=R|T，
Figure 517417DEST_PATH_IMAGE007
其中
Figure 339880DEST_PATH_IMAGE008
分别是x、y，x、z，y、z之间的夹角，T是3×1的向量，相机内部参数矩阵为
Figure 341334DEST_PATH_IMAGE010
则从空间中一点(x, y, z)到图像坐标系中的一点(u, v)可表述为
Figure 336972DEST_PATH_IMAGE011
可得从世界坐标系到图像坐标系中的映射关系；
成像的畸变描述为
Figure 5850DEST_PATH_IMAGE012
Figure 733635DEST_PATH_IMAGE013
其中(x rd , y rd )是图像上径向畸变点位置，(x, y)是畸变校正后的新位置，(x td , y td )是图像上切向畸变点位置；
在畸变图像上一点(x d , y d )与非畸变点间的关系为
Figure 160068DEST_PATH_IMAGE014
根据式子（3-3）和（3-6）可计算出每个样本镜头内部参数以及畸变系数。
8.如权利要求7所述的相机镜头畸变参数估计方法，其特征在于，所述参数估计模块进行最优化估计，进而得到批量镜头的估计参数包括：
在获得每个样本镜头内部参数以及畸变系数后，取图像中心点位置为镜头主点位置，所计算的相机焦距平均值作为通用焦距，则估算内部参数矩阵为：
Figure 897080DEST_PATH_IMAGE015
其中
Figure 154886DEST_PATH_IMAGE016
分别是横向和纵向的焦距平均值，单位为像素；
Figure 381468DEST_PATH_IMAGE017
分别表示图像中心点坐标的横向位置和纵向位置；
在畸变参数的优化过程中忽略切向畸变，令需要优化的径向畸变模型为：
Figure 623094DEST_PATH_IMAGE018
结合（4-1），距离主点位置的r计算如下：
Figure 632638DEST_PATH_IMAGE019
建立残差平方和函数为：
Figure 698945DEST_PATH_IMAGE020
以（4-4）作为求解（4-2）中k 1 , k 2 , k 3 的约束条件，分别对其求偏导得到（4-5），当（4-4）式取得最小值时，此时等式的偏导式子的值应等于“0”：
Figure 34112DEST_PATH_IMAGE021
其中m表示样本镜头数量，n表示样本镜头拍摄的CXT数量，则f j (r i )表示第j个样本在i个CXT处的径向畸变量，将(4-5)整理后向量化可得：
Figure 497454DEST_PATH_IMAGE022
(4-6)
其中，
Figure DEST_PATH_IMAGE023
则K=R -1 F；
将样本中所有的CXT坐标转化到距离图像主点的半径r后和径向可获得径向畸变的参数。
CN202010539740.8A 2020-06-15 2020-06-15 一种相机镜头畸变参数估计装置及方法 Active CN111429533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010539740.8A CN111429533B (zh) 2020-06-15 2020-06-15 一种相机镜头畸变参数估计装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010539740.8A CN111429533B (zh) 2020-06-15 2020-06-15 一种相机镜头畸变参数估计装置及方法

Publications (2)

Publication Number Publication Date
CN111429533A true CN111429533A (zh) 2020-07-17
CN111429533B CN111429533B (zh) 2020-11-13

Family

ID=71551366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010539740.8A Active CN111429533B (zh) 2020-06-15 2020-06-15 一种相机镜头畸变参数估计装置及方法

Country Status (1)

Country Link
CN (1) CN111429533B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112135125A (zh) * 2020-10-28 2020-12-25 歌尔光学科技有限公司 相机内参测试方法、装置、设备及计算机可读存储介质
CN112288822A (zh) * 2020-09-22 2021-01-29 苏州艾微视图像科技有限公司 一种结合标定的摄像头主动对位方法
CN112465917A (zh) * 2020-11-30 2021-03-09 北京紫光展锐通信技术有限公司 镜头模组的畸变标定方法、系统、设备及存储介质
CN112561807A (zh) * 2020-11-26 2021-03-26 北京大学 一种基于卷积神经网络的端到端径向畸变校正方法
CN112907462A (zh) * 2021-01-28 2021-06-04 黑芝麻智能科技(上海)有限公司 超广角摄像器件畸变校正方法、系统及包括其的拍摄装置
CN113109259A (zh) * 2021-04-02 2021-07-13 珠海市怡信测量科技有限公司 一种图像的智能导航方法及装置
CN113687099A (zh) * 2021-08-25 2021-11-23 北京航空航天大学宁波创新研究院 一种基于激光线阵的piv图像标定装置及方法
CN114298923A (zh) * 2021-12-13 2022-04-08 吉林大学 一种用于机器视觉测量系统的镜头评估及图像恢复方法
CN115063380A (zh) * 2022-06-29 2022-09-16 东集技术股份有限公司 工业相机参数选择方法、装置、存储介质及计算机设备
CN115623302A (zh) * 2022-09-07 2023-01-17 广东省三目汽车电子有限公司 采用多阶函数调整放大倍数的摄像头制作方法及cms
CN116991298A (zh) * 2023-09-27 2023-11-03 子亥科技(成都)有限公司 一种基于对抗神经网络的虚拟镜头控制方法
CN118261992A (zh) * 2024-03-27 2024-06-28 珠海广浩捷科技股份有限公司 一种利用五面体进行摄像头立体标定方法
CN118483252A (zh) * 2024-07-16 2024-08-13 山东高速工程检测有限公司 一种既有裂缝长期测量的多参量监测装置及其自标定方法
CN118665344A (zh) * 2024-08-23 2024-09-20 成都赛力斯科技有限公司 电子后视镜调整方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107230234A (zh) * 2017-05-08 2017-10-03 上海工程技术大学 一种基于三线结构光的相机平面标定方法
CN108564120A (zh) * 2018-04-04 2018-09-21 中山大学 基于深度神经网络的特征点提取方法
CN108876749A (zh) * 2018-07-02 2018-11-23 南京汇川工业视觉技术开发有限公司 一种鲁棒的镜头畸变校正方法
CN109961485A (zh) * 2019-03-05 2019-07-02 南京理工大学 一种基于单目视觉进行目标定位的方法
CN110889829A (zh) * 2019-11-09 2020-03-17 东华大学 一种基于鱼眼镜头的单目测距方法
CN111047649A (zh) * 2018-10-15 2020-04-21 华东交通大学 一种基于最优偏振角的相机高精度标定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107230234A (zh) * 2017-05-08 2017-10-03 上海工程技术大学 一种基于三线结构光的相机平面标定方法
CN108564120A (zh) * 2018-04-04 2018-09-21 中山大学 基于深度神经网络的特征点提取方法
CN108876749A (zh) * 2018-07-02 2018-11-23 南京汇川工业视觉技术开发有限公司 一种鲁棒的镜头畸变校正方法
CN111047649A (zh) * 2018-10-15 2020-04-21 华东交通大学 一种基于最优偏振角的相机高精度标定方法
CN109961485A (zh) * 2019-03-05 2019-07-02 南京理工大学 一种基于单目视觉进行目标定位的方法
CN110889829A (zh) * 2019-11-09 2020-03-17 东华大学 一种基于鱼眼镜头的单目测距方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JESSICA&JIE: "相机标定原理", 《HTTPS://WWW.CNBLOGS.COM/JESSICA-JIE/P/6596450.HTML》 *
企鹅号: "相机标定和图像的畸变校正", 《HTTPS://CLOUD.TENCENT.COM/DEVELOPER/NEWS/155791》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288822A (zh) * 2020-09-22 2021-01-29 苏州艾微视图像科技有限公司 一种结合标定的摄像头主动对位方法
CN112135125A (zh) * 2020-10-28 2020-12-25 歌尔光学科技有限公司 相机内参测试方法、装置、设备及计算机可读存储介质
CN112561807A (zh) * 2020-11-26 2021-03-26 北京大学 一种基于卷积神经网络的端到端径向畸变校正方法
CN112561807B (zh) * 2020-11-26 2022-08-26 北京大学 一种基于卷积神经网络的端到端径向畸变校正方法
CN112465917A (zh) * 2020-11-30 2021-03-09 北京紫光展锐通信技术有限公司 镜头模组的畸变标定方法、系统、设备及存储介质
CN112465917B (zh) * 2020-11-30 2023-02-28 北京紫光展锐通信技术有限公司 镜头模组的畸变标定方法、系统、设备及存储介质
CN112907462A (zh) * 2021-01-28 2021-06-04 黑芝麻智能科技(上海)有限公司 超广角摄像器件畸变校正方法、系统及包括其的拍摄装置
US12142006B2 (en) 2021-01-28 2024-11-12 Black Sesame Technologies Inc. Distortion calibration method for ultra-wide angle imaging apparatus, system and photographing device including same
CN113109259A (zh) * 2021-04-02 2021-07-13 珠海市怡信测量科技有限公司 一种图像的智能导航方法及装置
CN113687099A (zh) * 2021-08-25 2021-11-23 北京航空航天大学宁波创新研究院 一种基于激光线阵的piv图像标定装置及方法
CN113687099B (zh) * 2021-08-25 2024-04-30 北京航空航天大学宁波创新研究院 一种基于激光线阵的piv图像标定装置及方法
CN114298923A (zh) * 2021-12-13 2022-04-08 吉林大学 一种用于机器视觉测量系统的镜头评估及图像恢复方法
CN114298923B (zh) * 2021-12-13 2024-09-13 吉林大学 一种用于机器视觉测量系统的镜头评估及图像恢复方法
CN115063380A (zh) * 2022-06-29 2022-09-16 东集技术股份有限公司 工业相机参数选择方法、装置、存储介质及计算机设备
CN115063380B (zh) * 2022-06-29 2024-11-19 东集技术股份有限公司 工业相机参数选择方法、装置、存储介质及计算机设备
CN115623302A (zh) * 2022-09-07 2023-01-17 广东省三目汽车电子有限公司 采用多阶函数调整放大倍数的摄像头制作方法及cms
CN116991298B (zh) * 2023-09-27 2023-11-28 子亥科技(成都)有限公司 一种基于对抗神经网络的虚拟镜头控制方法
CN116991298A (zh) * 2023-09-27 2023-11-03 子亥科技(成都)有限公司 一种基于对抗神经网络的虚拟镜头控制方法
CN118261992A (zh) * 2024-03-27 2024-06-28 珠海广浩捷科技股份有限公司 一种利用五面体进行摄像头立体标定方法
CN118483252A (zh) * 2024-07-16 2024-08-13 山东高速工程检测有限公司 一种既有裂缝长期测量的多参量监测装置及其自标定方法
CN118665344A (zh) * 2024-08-23 2024-09-20 成都赛力斯科技有限公司 电子后视镜调整方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111429533B (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111429533B (zh) 一种相机镜头畸变参数估计装置及方法
EP2678824B1 (en) Determining model parameters based on transforming a model of an object
Zheng et al. Single-image vignetting correction
CN111768452B (zh) 一种基于深度学习的非接触式自动贴图方法
WO2019154541A1 (en) Methods and apparatuses for object detection in a scene represented by depth data of a range detection sensor and image data of a camera
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN109035170B (zh) 基于单网格图分段映射的自适应广角图像校正方法及装置
CN112884682A (zh) 一种基于匹配与融合的立体图像颜色校正方法及系统
CN110889829A (zh) 一种基于鱼眼镜头的单目测距方法
KR100996897B1 (ko) 직선 핏팅에 의한 광각렌즈의 원주방향의 왜곡영상 보정 방법
CN114140527B (zh) 一种基于语义分割的动态环境双目视觉slam方法
CN113012234A (zh) 基于平面变换的高精度相机标定方法
CN116228780B (zh) 基于计算机视觉的硅片缺陷检测方法及系统
CN111738320A (zh) 基于模板匹配的遮挡工件识别方法
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN112652020B (zh) 一种基于AdaLAM算法的视觉SLAM方法
CN113808217A (zh) 一种实时的激光雷达和摄像头标定误差自修正方法及系统
CN118424232B (zh) 一种基于计算机视觉的水下结构测距系统
US12175691B1 (en) Method and device for mapping three-dimensional (3D) point cloud model based on deep learning
CN110969650B (zh) 一种基于中心投影的强度图像与纹理序列间的配准方法
CN111179271B (zh) 一种基于检索匹配的物体角度信息标注方法及电子设备
CN114998532B (zh) 一种基于数字图像重建的三维影像视觉传达优化方法
CN116758266A (zh) 一种指针式仪表的读数方法
CN116402904A (zh) 一种基于激光雷达间和单目相机的联合标定方法
CN115841668A (zh) 一种双目视觉苹果识别以及精准定位的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 411, 4th floor, main building, No. 835 and 937, Dangui Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 200131

Patentee after: Shanghai hailichuang Technology Co.,Ltd.

Address before: 201203 Room 411, 4th Floor, Main Building (1 Building) of Zhangjiang Guochuang Center, 899 Dangui Road, Pudong New Area, Shanghai

Patentee before: SHANGHAI HYNITRON MICROELECTRONIC Co.,Ltd.

CP03 Change of name, title or address