CN111145266A - 一种鱼眼相机标定方法、装置、鱼眼相机及可读存储介质 - Google Patents
一种鱼眼相机标定方法、装置、鱼眼相机及可读存储介质 Download PDFInfo
- Publication number
- CN111145266A CN111145266A CN201911326709.XA CN201911326709A CN111145266A CN 111145266 A CN111145266 A CN 111145266A CN 201911326709 A CN201911326709 A CN 201911326709A CN 111145266 A CN111145266 A CN 111145266A
- Authority
- CN
- China
- Prior art keywords
- calibration
- point
- line
- features
- fisheye camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000005457 optimization Methods 0.000 claims abstract description 96
- 238000012216 screening Methods 0.000 claims abstract description 38
- 238000004422 calculation algorithm Methods 0.000 claims description 50
- 238000001514 detection method Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 9
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种鱼眼相机标定方法，相较于现有技术仅通过特征点来形成标定参数的方案，本申请首先从对立体标定板拍摄得到的标定图像上，分别提取得到的点特征和线特征，并根据点和线之间的固有构成关系通过彼此之间是否满足约束关系的筛选操作，能够筛选出更准确的、更适合作为标定参数的特征点和特征线，从而提升后续通过非线性优化计算出的内外参数的精准度，在更高精准度的内外参数的指导下带来更佳的逆畸变处理效果。本申请还同时公开了一种鱼眼相机标定装置、鱼眼相机及可读存储介质，具有上述有益效果。
Description
技术领域
本申请涉及鱼眼镜头技术领域，特别涉及一种鱼眼相机标定方法、装置、鱼眼相机及可读存储介质。
背景技术
相较于普通镜头，鱼眼镜头拥有更大的视场角，因而在安防监控、全景摄像和机器人行进导航方面被广泛应用。在通过鱼眼镜头获得更大视场角对应的宽广视野的同时，鱼眼镜头所带来的图像畸变也是一个不容忽视的问题。
由于畸变后的图像不适合人眼直接观察，因此还需要对拍摄得到的图像进行逆畸变处理，指导如何进行逆畸变处理的过程被称为标定。
鱼眼相机在标定过程中，主要采用传统标定方法，传统标定方法是一种基于正确特征点与标准特征点之间映射关系的标定方法，但发现通过此方式处理后的图像仍存在一定的畸变。
因此，如何更好的去除鱼眼相机成像的畸变，给用户带来更好的显示效果，是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种鱼眼相机标定方法、装置、鱼眼相机及可读存储介质，旨在更好的去除鱼眼相机成像的畸变、给用户带来更好的显示效果。
为实现上述目的，本申请首先提供了一种鱼眼相机标定方法，包括：
对立体标定板拍摄得到标定图像；
分别从所述标定图像中提取得到各角点的点特征和由各所述角点构成直线的线特征；
对所述点特征和所述线特征按由点构线定理进行约束筛选，得到筛选后的特征点和特征线；
将筛选后的特征点和特征线作为非线性优化的标定参数计算相机的内外参数。
可选的，分别从所述标定图像中提取得到各角点的点特征和由各所述角点构成直线的线特征，包括：
利用Kitchen-Rosenfeld、Harris、KLT以及SUSAN中的任意一种角点检测算法从所述标定图像中提取得到所述点特征；
利用Hough、LineSegementDetector、FastLineDetector以及EDlines中的任意一种直线提取算法从所述标定图像中提取得到所述线特征。
可选的，对所述点特征和所述线特征按由点构线定理进行约束筛选处理，包括：
将所述线特征作为第一基准特征对所述点特征进行约束筛选，以将未处于所述线特征对应直线上的特征点滤除；
将所述点特征作为第二基准特征对所述线特征进行约束筛选，以滤除所述线特征中与所述点特征中的各特征点构成的基准直线斜率不一致的直线。
可选的，将筛选后的特征点和特征线作为非线性优化操作的标定参数计算相机的内外参数，包括：
将筛选后的特征点和特征线作为所述标定参数输入图优化算法；
控制所述图优化算法将所述标定参数在图优化框架下生成优化图；
控制所述图优化算法通过所述优化图计算得到所述内外参数。
可选的，将筛选后的特征点和特征线作为非线性优化的标定参数计算相机的内外参数后，还包括：
利用Levenberg-Marquadt算法对所述内外参数进行优化，得到优化内外参数。
可选的，得到优化内外参数之后，还包括：
利用所述优化内外参数对所述相机拍摄到的实际图像进行逆畸变处理。
可选的，对立体标定板拍摄得到标定图像，包括：
对由三个相互垂直的标定面组成的立体标定板拍摄得到所述标定图像。
为实现上述目的，本申请还提供了一种鱼眼相机标定装置，包括：
标定图像获取单元，用于对立体标定板拍摄得到标定图像；
点/线特征提取单元，用于分别从所述标定图像中提取得到各角点的点特征和由各所述角点构成直线的线特征；
约束筛选单元，用于对所述点特征和所述线特征按由点构线定理进行约束筛选，得到筛选后的特征点和特征线；
内外参数计算单元，用于将筛选后的特征点和特征线作为非线性优化的标定参数计算相机的内外参数。
可选的，所述点/线特征提取单元包括：
点特征提取子单元，用于利用Kitchen-Rosenfeld、Harris、KLT以及SUSAN中的任意一种角点检测算法从所述标定图像中提取得到所述点特征；
线特征提取子单元，用于利用Hough、LineSegementDetector、FastLineDetector以及EDlines中的任意一种直线提取算法从所述标定图像中提取得到所述线特征。
可选的，所述约束筛选单元包括：
线滤除错误点子单元，用于将所述线特征作为第一基准特征对所述点特征进行约束筛选，以将未处于所述线特征对应直线上的特征点滤除；
点滤除错误线子单元，用于将所述点特征作为第二基准特征对所述线特征进行约束筛选，以滤除所述线特征中与所述点特征中的各特征点构成的基准直线斜率不一致的直线。
可选的，所述内外参数计算单元包括：
标定参数输入子单元，用于将筛选后的特征点和特征线作为所述标定参数输入图优化算法；
优化图生成子单元，用于控制所述图优化算法将所述标定参数在图优化框架下生成优化图；
内外参数计算子单元，用于控制所述图优化算法通过所述优化图计算得到所述内外参数。
可选的，该鱼眼相机标定装置还包括：
内外参数再优化单元，用于在将筛选后的特征点和特征线作为非线性优化的标定参数计算相机的内外参数之后，利用Levenberg-Marquadt算法对所述内外参数进行优化，得到优化后内外参数。
可选的，该鱼眼相机标定装置还包括：
逆畸变处理单元，用于在得到优化后内外参数之后，利用所述优化后内外参数对所述相机拍摄得到的实际图像进行逆畸变处理。
可选的，所述标定图像获取单元包括：
标定图像获取子单元，用于拍摄得到由三个相互垂直的标定面组成的立体标定板的标定图像。
为实现上述目的，本申请第还提供了一种鱼眼相机，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述内容所描述的鱼眼相机标定方法的各步骤。
为实现上述目的，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述内容所描述的鱼眼相机标定方法的各步骤。
本申请提供的一种鱼眼相机标定方法，包括：对立体标定板拍摄得到标定图像；分别从所述标定图像中提取得到各角点的点特征和由各所述角点构成直线的线特征；对所述点特征和所述线特征按由点构线定理进行约束筛选，得到筛选后的特征点和特征线；将筛选后的特征点和特征线作为非线性优化的标定参数计算相机的内外参数。
根据本申请提供的鱼眼相机标定方法可以看出，相较于现有技术仅通过特征点来形成标定参数的方案，本申请首先从对立体标定板拍摄得到的标定图像上，分别提取得到的点特征和线特征，并根据点和线之间的固有构成关系通过彼此之间是否满足约束关系的筛选操作，能够筛选出更准确的、更适合作为标定参数的特征点和特征线，从而提升后续通过非线性优化计算出的内外参数的精准度，在更高精准度的内外参数的指导下带来更佳的逆畸变处理效果。本申请同时还提供了一种鱼眼相机标定装置、鱼眼相机及可读存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种鱼眼相机标定方法的流程图；
图2为本申请实施例提供的一种立体标定板的立体示意图；
图3为本申请实施例提供的鱼眼相机标定方法中一种点特征和线特征相互约束筛选的方法的流程图；
图4为本申请实施例提供的鱼眼相机标定方法中一种基于图优化理论的非线性优化处理方法的流程图；
图5为本申请实施例提供的一种图优化理论的原理示意图；
图6为本申请实施例提供的另一种鱼眼相机标定方法的流程图；
图7为本申请实施例提供的一种坐标系示意图；
图8为本申请实施例提供的一种鱼眼相机标定装置的结构框图。
具体实施方式
本申请的目的是提供一种鱼眼相机标定方法、装置、鱼眼相机及可读存储介质，旨在更好的去除鱼眼相机成像的畸变、给用户带来更好的显示效果。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
请参见图1，图1为本申请实施例提供的一种鱼眼相机标定方法的流程图，其包括以下步骤：
S101：对立体标定板拍摄得到标定图像；
本步骤旨在由鱼眼相机首先对立体标定板拍摄得到标定图像。其中，立体标定板是区别于平面标定板的另一种标定板，拥有比平面标定板数量更多的一次标定面，且多个标定面之间存在相交关系。应当理解的是，使用拥有数量更多的一次标定面的立体标定板的目的是为了减少传统标定过程中，需要对仅具有一个标定面的平面标定板进行的多次图像拍摄操作，从而提升工作效率。在此基础上，立体标定板拥有多种表现形式，例如圆筒形、折扇形、三平面相互垂直的形状等等，只要能够实现上述目的，任意形状均可。
在多种立体标定板的具体表现形式中，一种优选的立体标定板的结构示意图可参见图2，如图2所示，该立体标定板由三个相互垂直的标定平面组成，形如空间直角坐标系的建系的方式，每个标定平面上布满了棋格状的黑白标定格。正是因为三个标定平面之间相互垂直，因此任意标定平面上的标定格均不会被其他标定平面上的标定格遮挡，且全面的覆盖了每个方向，因此可以通过最少的标定图像拍摄次数来完成获取标定图像的过程，理想情况下，最少只需要一次即可。相比其它形式的立体标定板所需的拍摄次数，明显次数更少。
S102：分别从标定图像中提取得到各角点的点特征和由各角点构成直线的线特征；
在S101的基础上，本步骤旨在分别从标定图像中提取得到两类均可以用于后续作为标定参数的特征，分别为各角点的点特征和由各角点所构成直线的线特征。需要说明的是，线特征的获取并非是建立在点特征获取步骤获取到各角点之后，基于连接各角点得到的直线得到，而是采用完全独立的提取方式直接从标定图像中获取到的。
其中，角点是指对比度变化明显的点，具体的，在如图2所示的立体标定板中，角点具体指每个黑色棋格与其相邻的白色棋格相接的线上的每个点，即通过角点的特性来作为后续的标定参数。
具体的，提取点特征可通过Kitchen-Rosenfeld角点检测算法、Harris角点检测算法、KLT角点检测算法以及SUSAN角点检测算法中的任意一种得到，也可以同时分别使用多种不同的检测算法，再通过合适的方式(例如出现几率、分布距离差异程度等)综合不同检测算法的结果，此处并不做具体限定。
具体的，提取线特征可通过Hough转换法、LineSegementDetector算法、FastLineDetector算法以及EDlines算法中的任意一种得到，也可以同时分别使用多种不同的检测算法，再通过合适的方式(例如斜率差异程度等)综合不同检测算法的结果，此处并不做具体限定。
S103：对点特征和线特征按由点构线定理进行约束筛选，得到筛选后的特征点和特征线；
在S102的基础上，本步骤旨在对提取得到的点特征和线特征进行约束筛选，从而通过点和线之间存在的固有构成关系来筛选出更准确、更具有代表性的标定参数。
应当理解的是，按照由点构线的基本原理(即线是由许多个点构成)，两者之间应当服从最基本的拟合关系，即由多个点拟合得到的线应能够与其中一条提取出的线重合，或者至少相近(考虑到点拟合过程中存在的误差)，由此可以从是否满足约束方面筛选出一些异常的、错误的特征点。这是将线特征作为基准特征过滤点特征中不满足约束的特征点的方式，由于线特征也会存在错误，因此也存在另一种将点特征作为基准特征过滤线特征中不满足约束的特征线的方式。之所以存在相互约束的情况，也正是因为无论是点特征还是线特征都不是绝对的准确，无法挑选其中一方作为绝对的基准特征来衡量另一方，因此可以通过相互约束的方式通过几次迭代、过滤，从而筛选出更加准确、更加具有代表性的特征点和特征线。
简单来说，在实际情况下，完全可以将点特征和线特征中的任意一种作为基准特征来滤除另一种特征中存在的不满足约束的特征，从而得到本申请相对于现有技术提升标定参数的精准程度、进而计算得到更精准的内外参数、带来更好的逆畸变处理效果的目的。任选一种的方式也意味着仅需要一轮约束筛选操作，可以尽可能的提升筛选效率、缩短筛选耗时。
若在不在乎筛选耗时、更注重标定参数精确程度的场景下，还可以通过如图3所示的流程图提供的一种双基准特征的筛选方式，包括如下步骤：
S201：将线特征作为第一基准特征对点特征进行约束筛选，以将未处于线特征对应直线上的特征点滤除；
S202：将点特征作为第二基准特征对线特征进行约束筛选，以滤除线特征中与点特征中的各特征点构成的基准直线斜率不一致的直线。
如图3所示，这是一种分别将点特征和线特征均作为基准特征的约束筛选方式，从而通过相互的约束筛选得到更好的筛选效果，能够较好的滤除所选用单一基准特征中所包含的错误特征。进一步的，如图3所示的两步骤每当各执行一次，就可以各自基于筛选后的特征点和特征线得到新的点特征和线特征，并循环多次，直至滤除的数量小于预设数量。
S104：将筛选后的特征点和特征线作为非线性优化的标定参数计算相机的内外参数。
在S103的基础上，本步骤旨在将筛选后的特征点和特征线作为非线性优化的标定参数来计算相机的内外参数。在计算得到内外参数之后，鱼眼相机将按照此内外参数对后续拍摄得到的图像进行逆畸变处理，从而将拍摄得到的超广角图像转换为人眼可直接观察的图像，即去除由于鱼眼镜头本身特征所带来的图像畸变。
其中，非线性优化是一种区别于线性优化的参数优化方式，线性优化的最简单例子是可以通过求导的方式求得方程的最值，并明确确定最优解一定在最值中，因此能够线性优化的前提条件为各参数之间服从线性变化；而非线性优化则是针对各参数之间不服从线性变化的参数需求最优解提出的一种方法，常见的有非线性最小二乘、一阶梯度和二阶梯度法、高斯牛顿法、LM(Levenberg-Marquard)算法等，这些算法都是通过非线性参数的数学特征的某个方面给出寻求最优解的方式。
根据本申请提供的鱼眼相机标定方法可以看出，相较于现有技术仅通过特征点来形成标定参数的方案，本申请首先从对立体标定板拍摄得到的标定图像上，分别提取得到的点特征和线特征，并根据点和线之间的固有构成关系通过彼此之间是否满足约束关系的筛选操作，能够筛选出更准确的、更适合作为标定参数的特征点和特征线，从而提升后续通过非线性优化计算出的内外参数的精准度，在更高精准度的内外参数的指导下带来更佳的逆畸变处理效果。
在上述实施例的基础上，由于非线性参数之间的数学特征本就不明显，因此无论上述哪种非线性优化算法，都不仅需要复杂的数学计算，而且计算出的最优解还往往存在较大的误差。因此，为了尽可能的减少因为标定参数在非线性优化过程中受到的准确度损失、提升计算得到的内外参数的准确度，本实施例还提供了一种结合图优化理论来实现非线性优化的实现方案，请餐参见如图4所示的流程图，包括如下步骤：
S301：将筛选后的特征点和特征线作为标定参数输入图优化算法；
S302：控制图优化算法将标定参数在图优化框架下生成优化图；
在SLAM问题中，该优化图也被称为超图。
S303：控制图优化算法通过优化图计算得到内外参数；
优化图将通过多次迭代最终得到作为最优解的内外参数。
S304：利用Levenberg-Marquadt算法对内外参数进行优化，得到优化内外参数。
本步骤旨在利用Levenberg-Marquadt算法对上步骤得到的内外参数从另一个角度进行再优化，从而使得优化后的内外参数更加契合鱼眼相机标定的场景。
为便于理解本实施例所采用的图优化理论，此处对图优化理论进行说明：
图优化理论是为解决SLAM(Simultaneous Localization And Mapping，中文名为即时定位与地图构建)问题所提出的一个解决方式，该问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边移动一边逐步描绘出此环境完全的地图，其中，所谓完全的地图是指不受障碍行进到房间可进入的每个角落，进行图优化的数据类型为点云图像。
而所谓的图优化则是把常规的优化问题以图的形式来表述的一种新型优化方式。在SLAM问题中，实际图(graph)由顶点(Vertex)和边(Edge)组成，机器人的位姿是一个顶点(Vertex)，不同时刻位姿之间的关系构成边(Edge)，通过不断累积而成的顶点和边构成图(graph)结构，图优化的目标就是通过调整顶点的位姿最大可能的满足边(Edge)之间的约束。其中通过传感器累计信息构建图的过程在SLAM中称为前端，调整位姿满足约束的优化过程成为后端上是一种在图中，以顶点表示优化变量，以边表示观测方程(请参见如图5所示的图优化原理示意图)。
本实施例将常用于解决SLAM问题的图优化理论引入本申请针对的鱼眼镜头通过非线性优化计算内外参数的过程，旨在通过图优化的理论框架，结合基于标定参数计算最优的内外参数的过程，实现从图的角度来进行整个优化过程。应当理解的是，相比于常规的例如非线性最小二乘法的非线性优化算法，图优化算法从图的角度出发，更加契合非线性关系的参数的变换趋势，从而以更短的耗时得到精准度更高的最优解(即相机的内外参数)。
为加深理解，本申请还从结合具体应用场景，通过如6示出了一种鱼眼相机标定的具体方法：
1)将三个标定平面以相互垂直的方式制得如图2所示的立体标定板；
立体标定板由三块互相垂直的黑白棋盘格构成，标定板采用背光材质，其可结合固定光源的照射，在棋盘格的角点出保持较高的梯度变化，而本发明将这些棋盘格角点作为标定过程的采样点。立体标定板的标定区域即为其构成的正方形立体空间内，在标定板交界处，设置了颜色与标定板相异的界线，用以规划坐标系统。
2)将鱼眼相机在该立体标定板中进行图像采集，得到标定图像；
将鱼眼相机放置于上述描述的正方形立体空间中，通过观察实时捕获的图像，不断调整鱼眼相机在工作区域的位置及角度，从而使得棋盘格角点充分布满鱼眼视场内，此时进行图片采集得到标定图像。
3)对标定图像进行标定板特征提取操作，分别独立的提取得到点特征和线特征，之后再对点特征和线特征进行融合处理，以便于后续判断是否满足约束，此处具体选用了判断点特征是否满足对应线特征的约束的方式来对特征点进行筛选，即将线特征作为基准特征，将不满足约束的特征点剔除；
通过二值化算法，将图4中的坐标系统分割为三个单独的平面，然后再通过SIFT算法结合GPU加速，进行角点的提取；
以立体标定板的三条界线为世界坐标轴，建立坐标系统，进行坐标之间的映射；
通过EDlines算法提取标定板图像的线段特征，以线段端点坐标构成直线方程，对相应的点特征进行相交约束检测，从而判断点特征的准确程度。依据相交约束的检测的结果，对提取的点特征进行筛选，若标定板点特征与对应直线特征所构成的约束方程相背离，则认定其偏差较大，予以剔除。从而对标定板的特征信息进行优化。
4)将满足约束的特征点通过坐标映射的方式进行处理，以便后续依据图优化理论进行相机内外参数的求解。
具体的，本实施例在求解内外参数时采用如图7所示的成像模型，模型中涉及的各类别坐标系如下：(X,Y,Z)代表世界坐标系，(u”,v”)为感光面坐标，(x,y,z)为相机坐标，(u',v')为图像坐标。这四个坐标系为本专利求解内参、外参时所依赖的坐标系统。
如图7所示，设世界坐标系中存在一点P，其和世界坐标系原点O组成的向量定义为p，其在成像模型感光面上的投影点定义为P”，则本实施例定义其反投影过程如下式：
在上式中，λ代表的是尺度因子，f(ρ)代表的是非线性的投影函数，函数中包含着畸变参数，此式展开设计为以下形式：
f(ρ)＝a0+a1ρ+a2ρ2+…+anρn (公式2)
在其中
为投影点到成像中心的距离，而a0,a1,...an畸变系数。
此外，通过对图像坐标系和成像坐标系之间的进行平移和缩放可建立起两坐标系之间的关系，具体如下式：
其中uc、vc为两坐标系之间在水平和竖直方向上的偏移量。
以上为相机内参在标定过程中所涉及的数学公式，此外，还设计相机外参的标定，其中外参主要标定旋转矩阵R和平移矩阵T，两者构成了鱼眼相机的位姿。
在参数解算的数据获取阶段，需要在世界坐标系和图像坐标系中获得两两对应的多对坐标点。其中世界坐标系由标定板定义而得，图像坐标系通过图像检测获得。
对公式1两边进行叉乘，可得下式：
vj(r31Xj+r32Yj+r33Zj+t3)-f(ρj)(r21Xj+r22Yj+r23Zj+t2)＝0 (公式4)
f(ρj)(r11Xj+r12Yj+r13Zj+t1)-uj(r31Xj+r32Yj+r33Zj+t3)＝0 (公式5)
uj(r21Xj+r22Yj+r23Zj+t2)-vj(r11Xj+r12Yj+r13Zj+t1)＝0 (公式6)
因公式6为线性方程，因此可由此进行参数求解，但外参中的旋转矩阵中，向量之间有着紧密的约束关系，因此通过改进算法对其进行参数解算。首先选取立体坐标板上的一个平面进行外参的解算，因为此时值涉及旋转外参中的二维向量，因此可以排除约束关系，对线性方程进行求解。
以X-O-Y上的标定平面为例，在此面上的所有采样点的Z轴值均为0，故公式6可简化为：
uj(r21Xj+r22Yj+t2)-vj(r11Xj+r12Yj+t1)＝0 (公式7)
该式可以通过超定线性方程组的解法进行r11,r12,r21,r22,t1,t2的参数解算。最后可利于旋转外参矩阵内的正交约束关系，求出除t3以外的其他外参数。
接着将所有采集的样点数据作为输入，进行外参优化，其中优化方式采用效率较高且优化效果更为精确的图优化方式。在图优化框架中，点为待优化的变量，此处即为将要进行优化的外参数，边为进行优化所需的目标函数，此处优化过程如图5所示。
在外参优化中通过这种图优化的方式，可以使标定板上各采样点之间的关联关系融合在优化过程中，从而提高外参估计的准确性和优化效率。
外参优化完毕后，将已知外参量带入公式，然后同样以图优化的方式对畸变参数a0,a1,...an和平移量t3进行优化求解。
最后在通过非线性优化方法Levenberg-Marquadt对所有参数进行优化，由于在非线性优化过程中，初值的选取对优化结果有着较大影响，因此本发明定义c、d、e的初值分别为1、0、0，uc和vc的初值为图像的0.5倍。
因为情况复杂，无法一一列举进行阐述，本领域技术人员应能意识到根据本申请提供的基本方法原理结合实际情况可以存在很多的例子，在不付出足够的创造性劳动下，应均在本申请的保护范围内。
下面请参见图8，图8为本申请实施例提供的一种鱼眼相机标定装置的结构框图，该鱼眼相机标定装置可以包括：
标定图像获取单元100，用于对立体标定板拍摄得到标定图像；
点/线特征提取单元200，用于分别从所述标定图像中提取得到各角点的点特征和由各所述角点构成直线的线特征；
约束筛选单元300，用于对所述点特征和所述线特征按由点构线定理进行约束筛选，得到筛选后的特征点和特征线；
内外参数计算单元400，用于将筛选后的特征点和特征线作为非线性优化的标定参数计算相机的内外参数。
其中，该点/线特征提取单元200可以包括：
点特征提取子单元，用于利用Kitchen-Rosenfeld、Harris、KLT以及SUSAN中的任意一种角点检测算法从所述标定图像中提取得到所述点特征；
线特征提取子单元，用于利用Hough、LineSegementDetector、FastLineDetector以及EDlines中的任意一种直线提取算法从所述标定图像中提取得到所述线特征。
其中，该约束筛选单元300可以包括：
线滤除错误点子单元，用于将所述线特征作为第一基准特征对所述点特征进行约束筛选，以将未处于所述线特征对应直线上的特征点滤除；
点滤除错误线子单元，用于将所述点特征作为第二基准特征对所述线特征进行约束筛选，以滤除所述线特征中与所述点特征中的各特征点构成的基准直线斜率不一致的直线。
其中，该内外参数计算单元400可以包括：
标定参数输入子单元，用于将筛选后的特征点和特征线作为所述标定参数输入图优化算法；
优化图生成子单元，用于控制所述图优化算法将所述标定参数在图优化框架下生成优化图；
内外参数计算子单元，用于控制所述图优化算法通过所述优化图计算得到所述内外参数。
进一步的，该鱼眼相机标定装置还可以包括：
内外参数再优化单元，用于在将筛选后的特征点和特征线作为非线性优化的标定参数计算相机的内外参数之后，利用Levenberg-Marquadt算法对所述内外参数进行优化，得到优化后内外参数。
更进一步的，该鱼眼相机标定装置还可以包括：
逆畸变处理单元，用于在得到优化后内外参数之后，利用所述优化后内外参数对所述相机拍摄得到的实际图像进行逆畸变处理。
其中，该标定图像获取单元100可以包括：
标定图像获取子单元，用于拍摄得到由三个相互垂直的标定面组成的立体标定板的标定图像。
本实施例作为对应于上述方法实施例的装置实施例存在，具有方法实施例的全部有益效果，此处不再一一赘述。
基于上述实施例，本申请还提供了一种鱼眼相机，该鱼眼相机可以包括存储器和处理器，其中，该存储器中存有计算机程序，该处理器调用该存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然，该鱼眼相机还可以包括各种必要的网络接口、电源以及其它零部件等。
本申请还提供了一种可读存储介质，其上存有计算机程序，该计算机程序被执行终端或处理器执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种鱼眼相机标定方法，其特征在于，包括：
对立体标定板拍摄得到标定图像；
分别从所述标定图像中提取得到各角点的点特征和由各所述角点构成直线的线特征；
对所述点特征和所述线特征按由点构线定理进行约束筛选，得到筛选后的特征点和特征线；
将筛选后的特征点和特征线作为非线性优化的标定参数计算相机的内外参数。
2.根据权利要求1所述的鱼眼相机标定方法，其特征在于，分别从所述标定图像中提取得到各角点的点特征和由各所述角点构成直线的线特征，包括：
利用Kitchen-Rosenfeld、Harris、KLT以及SUSAN中的任意一种角点检测算法从所述标定图像中提取得到所述点特征；
利用Hough、LineSegementDetector、FastLineDetector以及EDlines中的任意一种直线提取算法从所述标定图像中提取得到所述线特征。
3.根据权利要求1所述的鱼眼相机标定方法，其特征在于，对所述点特征和所述线特征按由点构线定理进行约束筛选处理，包括：
将所述线特征作为第一基准特征对所述点特征进行约束筛选，以将未处于所述线特征对应直线上的特征点滤除；
将所述点特征作为第二基准特征对所述线特征进行约束筛选，以滤除所述线特征中与所述点特征中的各特征点构成的基准直线斜率不一致的直线。
4.根据权利要求1所述的鱼眼相机标定方法，其特征在于，将筛选后的特征点和特征线作为非线性优化操作的标定参数计算相机的内外参数，包括：
将筛选后的特征点和特征线作为所述标定参数输入图优化算法；
控制所述图优化算法将所述标定参数在图优化框架下生成优化图；
控制所述图优化算法通过所述优化图计算得到所述内外参数。
5.根据权利要求1所述的鱼眼相机标定方法，其特征在于，将筛选后的特征点和特征线作为非线性优化的标定参数计算相机的内外参数后，还包括：
利用Levenberg-Marquadt算法对所述内外参数进行优化，得到优化内外参数。
6.根据权利要求5所述的鱼眼相机标定方法，其特征在于，得到优化内外参数之后，还包括：
利用所述优化内外参数对所述相机拍摄到的实际图像进行逆畸变处理。
7.根据权利要求1至5任一项所述的鱼眼相机标定方法，其特征在于，对立体标定板拍摄得到标定图像，包括：
对由三个相互垂直的标定面组成的立体标定板拍摄得到所述标定图像。
8.一种鱼眼相机标定装置，其特征在于，包括：
标定图像获取单元，用于对立体标定板拍摄得到标定图像；
点/线特征提取单元，用于分别从所述标定图像中提取得到各角点的点特征和由各所述角点构成直线的线特征；
约束筛选单元，用于对所述点特征和所述线特征按由点构线定理进行约束筛选，得到筛选后的特征点和特征线；
内外参数计算单元，用于将筛选后的特征点和特征线作为非线性优化的标定参数计算相机的内外参数。
9.一种鱼眼相机，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于在执行所述计算机程序时实现如权利要求1至7任一项所述的鱼眼相机标定方法的各步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时实现如权利要求1至7任一项所述的鱼眼相机标定方法的各步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911326709.XA CN111145266B (zh) | 2019-12-20 | 2019-12-20 | 一种鱼眼相机标定方法、装置、鱼眼相机及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911326709.XA CN111145266B (zh) | 2019-12-20 | 2019-12-20 | 一种鱼眼相机标定方法、装置、鱼眼相机及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111145266A true CN111145266A (zh) | 2020-05-12 |
| CN111145266B CN111145266B (zh) | 2023-08-18 |
Family
ID=70519135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911326709.XA Active CN111145266B (zh) | 2019-12-20 | 2019-12-20 | 一种鱼眼相机标定方法、装置、鱼眼相机及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111145266B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822941A (zh) * | 2021-09-03 | 2021-12-21 | 大连中科创达软件有限公司 | 相机倾斜校准方法、装置、设备及存储介质 |
| CN115222825A (zh) * | 2022-09-15 | 2022-10-21 | 湖南视比特机器人有限公司 | 一种标定方法及其计算机存储介质和标定系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104240236A (zh) * | 2014-08-26 | 2014-12-24 | 中山大学 | 一种鱼眼镜头标定后鱼眼图像校正的方法 |
| CN104881866A (zh) * | 2015-04-30 | 2015-09-02 | 长安通信科技有限责任公司 | 一种扩展小孔成像模型的鱼眼相机矫正与标定方法 |
| CN108257183A (zh) * | 2017-12-20 | 2018-07-06 | 歌尔科技有限公司 | 一种相机镜头光轴校准方法和装置 |
| CN110189382A (zh) * | 2019-05-31 | 2019-08-30 | 东北大学 | 一种基于无共视区域的多双目相机运动标定方法 |
| CN110264528A (zh) * | 2019-06-25 | 2019-09-20 | 中国人民解放军国防科技大学 | 一种鱼眼镜头双目像机快速自标定方法 |
| CN110363818A (zh) * | 2018-04-11 | 2019-10-22 | 杭州海康机器人技术有限公司 | 双目视觉系统的异常检测方法及装置 |
-
2019
- 2019-12-20 CN CN201911326709.XA patent/CN111145266B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104240236A (zh) * | 2014-08-26 | 2014-12-24 | 中山大学 | 一种鱼眼镜头标定后鱼眼图像校正的方法 |
| CN104881866A (zh) * | 2015-04-30 | 2015-09-02 | 长安通信科技有限责任公司 | 一种扩展小孔成像模型的鱼眼相机矫正与标定方法 |
| CN108257183A (zh) * | 2017-12-20 | 2018-07-06 | 歌尔科技有限公司 | 一种相机镜头光轴校准方法和装置 |
| CN110363818A (zh) * | 2018-04-11 | 2019-10-22 | 杭州海康机器人技术有限公司 | 双目视觉系统的异常检测方法及装置 |
| CN110189382A (zh) * | 2019-05-31 | 2019-08-30 | 东北大学 | 一种基于无共视区域的多双目相机运动标定方法 |
| CN110264528A (zh) * | 2019-06-25 | 2019-09-20 | 中国人民解放军国防科技大学 | 一种鱼眼镜头双目像机快速自标定方法 |
Non-Patent Citations (2)
| Title |
|---|
| 吴泽俊;吴庆阳;张佰春;: "一种新的基于球面模型的鱼眼镜头标定方法", no. 05, pages 1 - 8 * |
| 林颖;龚小谨;刘济林;: "基于单位视球的鱼眼相机标定方法", no. 08, pages 1500 - 1507 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822941A (zh) * | 2021-09-03 | 2021-12-21 | 大连中科创达软件有限公司 | 相机倾斜校准方法、装置、设备及存储介质 |
| CN113822941B (zh) * | 2021-09-03 | 2023-12-19 | 大连中科创达软件有限公司 | 相机倾斜校准方法、装置、设备及存储介质 |
| CN115222825A (zh) * | 2022-09-15 | 2022-10-21 | 湖南视比特机器人有限公司 | 一种标定方法及其计算机存储介质和标定系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111145266B (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107507235B (zh) | 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法 | |
| CN110246221B (zh) | 真正射影像获得方法及装置 | |
| CN110969668A (zh) | 一种长焦双目相机的立体标定算法 | |
| Im et al. | High quality structure from small motion for rolling shutter cameras | |
| CN108717714A (zh) | 多相机标定方法、标定系统、存储介质、及电子设备 | |
| TWI587241B (zh) | Method, device and system for generating two - dimensional floor plan | |
| JP6683307B2 (ja) | 多数のカメラを用いた最適の球形映像獲得方法 | |
| CN104424640A (zh) | 对图像进行虚化处理的方法和装置 | |
| CN109658497B (zh) | 一种三维模型重建方法及装置 | |
| CN112686877A (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
| CN113763478B (zh) | 无人车相机标定方法、装置、设备、存储介质及系统 | |
| CN112288826A (zh) | 双目相机的标定方法、装置及终端 | |
| CN111145266B (zh) | 一种鱼眼相机标定方法、装置、鱼眼相机及可读存储介质 | |
| CN103824303A (zh) | 基于被摄物的位置、方向调整图像透视畸变的方法和装置 | |
| CA3233222A1 (en) | Method, apparatus and device for photogrammetry, and storage medium | |
| Bastanlar et al. | Multi-view structure-from-motion for hybrid camera scenarios | |
| JP4821009B2 (ja) | エッジ検出によるモデルマッチングを用いたカメラ校正方法 | |
| CN104794718A (zh) | 一种单图像ct机房监控摄像机标定的方法 | |
| CN111383264A (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| CN115457176A (zh) | 一种图像生成方法、装置、电子设备及存储介质 | |
| CN116921932A (zh) | 焊接轨迹识别方法、装置、设备及存储介质 | |
| CN113658279B (zh) | 相机内参和外参估算方法、装置、计算机设备及存储介质 | |
| CN111260735B (zh) | 一种单次拍摄的lidar与全景相机的外参数标定方法 | |
| CN112446926A (zh) | 一种激光雷达与多目鱼眼相机的相对位置标定方法及装置 | |
| CN110874820B (zh) | 一种物料仿真形变数据获取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |