CN113963068B - 一种镜像式单像机全向立体视觉传感器全局标定方法 - Google Patents

一种镜像式单像机全向立体视觉传感器全局标定方法 Download PDF

Info

Publication number
CN113963068B
CN113963068B CN202111251887.8A CN202111251887A CN113963068B CN 113963068 B CN113963068 B CN 113963068B CN 202111251887 A CN202111251887 A CN 202111251887A CN 113963068 B CN113963068 B CN 113963068B
Authority
CN
China
Prior art keywords
calibration
virtual binocular
virtual
binocular
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111251887.8A
Other languages
English (en)
Other versions
CN113963068A (zh
Inventor
刘洋
李小松
郭占社
伍雁雄
谭海曙
周富强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Hua Laboratory
Original Assignee
Ji Hua Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Hua Laboratory filed Critical Ji Hua Laboratory
Priority to CN202111251887.8A priority Critical patent/CN113963068B/zh
Publication of CN113963068A publication Critical patent/CN113963068A/zh
Application granted granted Critical
Publication of CN113963068B publication Critical patent/CN113963068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明涉及一种镜像式单像机全向立体视觉传感器全局标定方法，利用立体标定装置拍摄多虚拟双目标定图像并进行预处理，完成靶标有效区域筛选和靶标特征点中心提取及三角化；利用三角形网格对靶标特征点进行排序及对应匹配；基于镜像双目测量模型建立单虚拟双目局部标定模型，计算四对虚拟双目结构的相机内部参数以及左右相机间的旋转矩阵和平移向量，通过非线性优化得到最优解；建立多虚拟双目全局标定模型，选定参考坐标系，计算其余相机坐标系到参考坐标系的旋转矩阵和平移向量，利用李代数方法得到最优解，完成全局标定。本发明能够简化标定过程中的多次拍摄操作，实现全局参数的自动标定，提高镜像式全向立体视觉传感器的测量精度和测量效率。

Description

一种镜像式单像机全向立体视觉传感器全局标定方法
技术领域
本发明涉及传感器标定技术与视觉测量技术领域，具体涉及一种镜像式单像机全向立体视觉传感器全局标定方法。
背景技术
基于折反射成像原理的镜像式全向视觉测量系统能够在大视场范围内提供目标或者环境信息，因而在机器人导航，视觉监控，虚拟现实等领域广泛应用。但目前镜像式全向视觉传感器存在非单视点成像模型复杂、体积庞大、曲面镜成像畸变严重、多摄像机测量同步率低等问题，难以保证测量精度。结合四棱锥反射镜和单摄像机组成的镜像式全向立体视觉传感器，可以形成多对虚拟双目结构，能够克服传统立体视觉测量系统视场范围狭小的缺点，对于提高测量系统的测量精度、测量效率以及对未知环境快速适应能力具有重要意义。
每对虚拟双目结构都有各自的虚拟相机坐标系，为了实现全局测量，需要将每对虚拟双目结构的测量数据转换到相同的全局坐标系下，全局标定是实现传感器精确定位和测量的前提。对于基于四棱锥反射镜的单像机全向立体视觉传感器，全局标定任务主要集中在虚拟双目系统的内部参数以及系统结构参数的求取。内部参数为摄像机固有参数，结构参数反映不同摄像机坐标系之间的转换关系，包括每对虚拟双目内部两摄像机坐标系之间的平移向量和旋转矩阵，以及四对虚拟双目结构之间的全局转换关系。
现有镜像式视觉传感器标定方法多为两步法标定结合张正友的平面棋盘格标定法，需要手动移除折反射元件进行多次标定，标定过程繁琐；此外需要将标定装置放置在镜像反射后形成的虚拟相机的公共视场内移动多次后求解全局结构参数，不适用于无公共视场的多虚拟双目相机外参标定。
发明内容
本发明所要解决的技术问题是：克服现有技术的不足，提供一种镜像式单像机全向立体视觉传感器全局标定方法，能够避免折反射成像装置和单摄像机的反复拆装步骤，简化标定过程中的多次拍摄操作，实现全局参数的自动标定，从而提高镜像式全向立体视觉传感器的测量精度和测量效率。
本发明的技术解决方案是：一种镜像式单像机全向立体视觉传感器全局标定方法，其特征在于包括以下步骤：
S1：对镜像式单像机全向立体视觉传感器进行标定，在传感器四周放置基于圆点靶标的立体标定装置，传感器采集通过四棱锥反射镜反射形成的多虚拟双目标定图像，多虚拟双目标定图像由四对虚拟双目标定图像组成；对多虚拟双目标定图像进行预处理，完成靶标有效区域的筛选并提取靶标特征点中心的图像坐标；对多虚拟双目图像中的靶标特征点进行三角化，得到特征点三角网格；
S2：利用步骤S1中的三角形网格对特征点进行排序，确定四对虚拟双目标定图像的方位，完成多虚拟双目标定图像中靶标特征点坐标的对应匹配；
S3：基于镜像双目测量模型建立单虚拟双目局部标定模型，根据靶标特征点图像坐标和空间坐标，计算四对虚拟双目结构的相机内部参数以及左右相机间的旋转矩阵和平移向量；通过非线性优化得到单虚拟双目局部标定结果的最优解；
S4：建立多虚拟双目全局标定模型，选定一组虚拟双目结构的相机坐标系为参考坐标系，计算其余相机坐标系到参考坐标系的旋转矩阵和平移向量；利用李代数方法求解多虚拟双目标定结果的最优解，将所有虚拟双目结构统一到全局测量坐标系下，完成传感器的全局标定。
进一步的，步骤S1的具体操作步骤包括：
S101：布置基于圆点靶标的立体标定装置，固定靶标不动，调整传感器的姿态和位置，拍摄多幅不同视角下的多虚拟双目标定图像；
S102：对所述全局标定图像进行滤波去噪和二值化处理后检测图像边缘，通过椭圆拟合提取靶标特征点中心的图像坐标；
S103：提取靶标外围五边形轮廓，通过射线法判断提取到的靶标特征点图像坐标是否位于五边形轮廓内部，将位于同一个五边形内部的所有特征点放入同一个集合中，完成靶标特征点的初步定位和筛选；
S104：利用Delaunay三角剖分原理将多虚拟双目标定图像中的靶标特征点划分为规则三角形，通过顶角阈值约束剔除冗余三角形，得到筛选后的三角网格。
进一步的，步骤S2的具体操作步骤包括：
S201：对于标定图像中的每一对虚拟双目标定图像，选取步骤S1得到的三角形网格中作为三角形顶点的次数为1的特征点为起始点，寻找并排序靶标特征点中四个角点的坐标；
S202：根据共三角形约束和特征点连线斜率约束寻找三角形网格中其余靶标特征点的图像坐标并进行整体排序；
S203：确定四对虚拟双目标定图像的方位，完成多虚拟双目标定图像中靶标特征点坐标的对应匹配。
进一步的，步骤S3的具体操作步骤包括：
S301：单虚拟双目局部标定的待求解参数包括：四棱锥反射镜成像得到的四对虚拟双目结构的共同相机内参A，以及每对虚拟双目结构中左右相机之间的旋转矩阵Ri和平移向量Ti(i＝1,2,3,4)；
S302：基于镜像双目测量模型建立单虚拟双目局部标定模型，根据靶标特征点图像坐标和空间坐标，计算四对虚拟双目结构的相机内部参数A以及左右相机间的旋转矩阵Ri和平移向量Ti(i＝1,2,3,4)；
S303：通过非线性优化求解单虚拟双目局部标定参数的最优解。
进一步的，步骤S4的具体操作步骤包括：
S401：多虚拟双目全局标定的待求解参数为每对虚拟双目坐标系到参考坐标系的旋转矩阵
Figure BDA0003319655090000031
和平移向量
Figure BDA0003319655090000032
S402：建立多虚拟双目全局标定模型，选定一对虚拟双目结构的相机坐标系为参考坐标系，利用PNP算法求解参考坐标系和其余虚拟相机坐标系到对应的靶标坐标系的位姿关系，之后通过直接线性变换方法求解
Figure BDA0003319655090000033
和
Figure BDA0003319655090000034
的初值；
S403：基于李代数方法求解多虚拟双目局部标定参数的最优解，将所有虚拟双目结构统一到全局测量坐标系下，完成传感器的全局标定。
本发明与现有技术相比的优点在于：
(1)本发明针对镜像式单像机全向立体视觉传感器的全局标定问题，提出了单幅标定图像中多个靶标子区域的特征点对应匹配方法，建立了统一摄像机内部参数的单虚拟双目局部标定模型和多虚拟双目全局标定模型，并提出了一种基于圆点靶标的立体标定装置的单图像多虚拟双目全局标定方法，使用多个传感器测量姿态，通过非线性优化方法和李代数方法求解标定参数的最优解。本发明提出的全局标定方法避免了传统两步标定法中折反射成像装置与摄像机拆卸和组装的复杂步骤，简化了摄像机内参标定中的多次拍摄操作，并且实现了无重叠视场的多虚拟相机测量系统的外参标定，能够提高镜像式全向立体视觉传感器的测量精度和测量效率，具有良好的实用价值和有益的技术效果。
(2)本发明上述能够避免折反射成像装置和单摄像机的反复拆装步骤，简化标定过程中的多次拍摄操作，实现全局参数的自动标定，从而提高镜像式全向立体视觉传感器的测量精度和测量效率。
附图说明
图1为本发明中镜像式单像机全向立体视觉传感器全局标定方法流程图；
图2为本发明中靶标特征点对应匹配算法流程图；
图3为本发明中靶标特征点排序算法示意图；其中，(a)为寻找靶标特征点起始点示意图；(b)为寻找并排序靶标特征点角点示意图；(c)为寻找靶标特征点前两列点示意图；(d)为靶标特征点排序效果图；
图4为本发明中基于镜像双目测量模型的单虚拟双目局部标定模型示意图；
图5为本发明中多虚拟双目全局标定模型示意图。
具体实施方式
下面结合附图来详细说明本发明的具体实施例。
如图1所示，镜像式单像机全向立体视觉传感器全局标定方法，包括以下步骤：
S1：对镜像式单像机全向立体视觉传感器进行标定，在传感器四周放置基于圆点靶标的立体标定装置，传感器采集通过四棱锥反射镜反射形成的多虚拟双目标定图像，多虚拟双目标定图像由四对虚拟双目标定图像组成；对多虚拟双目标定图像进行预处理，完成靶标有效区域的筛选并提取靶标特征点中心的图像坐标；对多虚拟双目图像中的靶标特征点进行三角化，得到特征点三角网格；
具体的，S101：布置基于圆点靶标的立体标定装置，固定靶标不动，调整传感器的姿态和位置，拍摄多幅不同视角下的多虚拟双目标定图像。
为避免折反射成像畸变严重、多摄像机测量同步低等问题，传感器选用四棱锥反射镜为折反射元件，利用单摄像机拍摄多虚拟双目标定图像；为降低靶标设计、加工和自动提取的难度，传感器标定采用四个常用的左上角带有三角形标记且无其他结构要求的一般阵列圆点靶标，多虚拟双目标定图像由四对虚拟双目标定图像组成。
S102：对标定图像进行滤波去噪和二值化处理后检测图像边缘，通过椭圆拟合提取靶标特征点中心的图像坐标。
S103：提取靶标外围五边形轮廓，通过射线法判断提取到的靶标特征点图像坐标是否位于五边形轮廓内部，将位于同一个五边形内部的所有特征点放入同一个集合中，完成靶标特征点的初步定位和筛选。
S104：利用Delaunay三角剖分原理将八个子区域内的靶标特征点集划分为规则三角形，通过顶角阈值约束剔除冗余三角形，得到筛选后的三角网格。
步骤S2：利用三角形网格对特征点进行排序，确定靶标特征点方位，完成八个子区域中特征点坐标的对应匹配，靶标点排序及匹配算法流程如图2所示。
具体的，S201：如图3中(a)所示，对于标定图像中的每一对虚拟双目标定图像，选取步骤S1得到的三角形网格中作为三角形顶点的次数为1的特征点为起始点，寻找并排序靶标特征点中四个角点的坐标。
四个角点的提取和排序方法为，选取作为三角形顶点的次数为1的特征点为起始点P0之后，找到距离P0最远的点作为对角线上的角点P1，将剩余特征点中与P0和P1连线夹角的余弦值最小的点作为另一条对角线上的角点P2，最后将距离P2最远的点作为另一个角点P3。找到靶标四个角点后，利用左上方黑色三角形标记对角点重新排序，将距离黑色三角形斜边中点最近的点作为P0，将距离P0点最远的角点作为P2，将满足约束
Figure BDA0003319655090000051
的靶标图像作为左虚拟相机标定图像，将满足约束
Figure BDA0003319655090000052
的靶标图像作为右虚拟相机标定图像，角点排序结果如图3中的(b)所示。
S202：根据共三角形约束和特征点连线斜率约束寻找三角形网格中其余靶标特征点的图像坐标并进行整体排序。
具体的，根据相邻靶标特征点为同一三角形顶点的共三角形约束关系，以及靶标同一行或者同一列相邻点连线斜率近似相等的斜率约束关系，可以从起始点开始寻找前两列特征点。由于靶标特征点的四个角点已经找到，近似计算出第一行特征点的斜率kr1和第一列特征点的斜率kc1：
Figure BDA0003319655090000053
其中，
Figure BDA0003319655090000054
分别为特征点P0，P1和P2的图像坐标，对于特征点序列为m×n的圆点靶标，起始点P0即为第一列的第一个点P11，经过角点排序的起始点可能存在于一个或两个三角形内。如图3中的(c)所示，首先对所有三角形序列进行遍历，找到与P11属于同一个三角形的所有特征点Pij并计算特征点与连线的斜率kij，设置阈值k0，分别满足条件|kij-kc1|<k0和|kij-kr1|<k0的特征点即为第一列第二个特征点P21和第二列第一个特征点P12。遍历剩下的特征点和三角形，以同样方式寻找第二列第二个点P22，进一步得到第二列相邻点连线斜率kc2和优化的第一列相邻点连线斜率k'c1：
Figure BDA0003319655090000055
其中，
Figure BDA0003319655090000056
分别为特征点P11，P12，P21和P22的图像坐标。按照上述方法依次寻找与前两列特征点满足共三角形约束和连线斜率约束|kij-k'c1|<k0，|kij-kc2|<k0的特征点，从而找到前两列剩余的点，以及每一行特征点连线斜率kri：
Figure BDA0003319655090000061
其中，
Figure BDA0003319655090000062
分别为靶标序列第i行中第一个和第二个特征点的图像坐标，同样依次寻找满足与每行特征点满足共三角形约束和连线斜率约束|kij-kri|<k0的特征点，由此完成所有特征点的排序，排序结果如图3中的(d)所示。
S203：确定四对虚拟双目标定图像的方位，完成多虚拟双目标定图像中靶标特征点坐标的对应匹配。
S3：基于镜像双目测量模型建立单虚拟双目局部标定模型，根据靶标特征点图像坐标和空间坐标，计算四对虚拟双目结构的相机内部参数以及左右相机间的旋转矩阵和平移向量，通过非线性优化得到单虚拟双目局部标定结果的最优解。
具体的，S301：基于镜像双目测量模型建立单虚拟双目局部标定模型，单摄像机经四棱锥反射镜反射后得到八个内参和镜头畸变系数相同的虚拟相机，即四对内参相同的虚拟双目结构，以一对虚拟双目结构为例，如图4所示，建立图像坐标系Oul-uv，空间点Pw在世界坐标系Ow-xWyWzW下的齐次坐标为
Figure BDA0003319655090000063
其两个像点pl和pr在图像坐标系下的齐次坐标分别为
Figure BDA0003319655090000064
在两相机坐标系中的齐次坐标分别为
Figure BDA0003319655090000065
以左右虚拟相机光心为原点，分别建立左右虚拟相机坐标系Ocl-xlylzl，Ocr-xryrzr。
单虚拟双目局部标定的待求解参数包括：四棱锥反射镜成像得到的四对虚拟双目结构的共同相机内参A，以及每对虚拟双目结构中左右相机之间的旋转矩阵Ri和平移向量Ti(i＝1,2,3,4)。
S302：利用单虚拟双目局部标定模型求解未知参数，根据透视投影模型可以得到空间点Pw的世界坐标到两虚拟相机坐标系的转换关系：
Figure BDA0003319655090000066
两虚拟相机坐标系之间的转换关系：
Figure BDA0003319655090000067
以及虚拟相机坐标系到图像坐标系的转换关系，其中sl、sr为比例因子：
Figure BDA0003319655090000071
rl、rr分别为实际图像点坐标p′l、p'r到左、右虚拟相机主点之间的距离，考虑一阶和二阶径向畸变σ1，σ2的实际图像点为：
Figure BDA0003319655090000072
改变传感器位姿，获取多对虚拟双目图像中特征点的图像坐标及对应的世界坐标，根据上式进行线性近似，获得初始的内参矩阵A以及四对虚拟双目结构参数Ri和Ti(i＝1,2,3,4)。
S303:通过非线性优化求解单虚拟双目局部标定参数的最优解。
具体的，为了得到最优的标定参数，根据张正友的论文“A flexible newtechnique for camera calibration.IEEE Transactions on Pattern Analysis andMachine Intelligence[J].2000,22(11):1330-1334”，通过构造重投影误差最小的目标函数：
Figure BDA0003319655090000073
其中，n为靶标特征点个数，g为传感器获取的单虚拟双目图像的数量，通过非线性优化可以得到单虚拟双目局部标定参数的最优解。
S4：建立多虚拟双目全局标定模型，选定一组虚拟双目结构的相机坐标系为参考坐标系，计算其余相机坐标系到参考坐标系的旋转矩阵和平移向量；利用李代数方法求解多虚拟双目标定结果的最优解，将所有虚拟双目结构统一到全局测量坐标系下，完成传感器的全局标定。
具体的，S401：如图5所示，选定任意两个虚拟相机坐标系Oc1-xc1yc1zc1，Oc2-xc2yc2zc2以及出现在对应的虚拟相机视场中平面靶标的坐标系Ot1-xt1yt1zt1，Ot2-xt2yt2zt2。靶标2上一点P在上述坐标系下的齐次坐标分别表示为Pc1，Pc2，Pt1，Pt2。
选定Oc1-xc1yc1zc1为参考坐标系，多虚拟双目全局标定的待求解参数为每对虚拟双目坐标系到参考坐标系的旋转矩阵
Figure BDA0003319655090000074
和平移向量
Figure BDA0003319655090000075
S402：根据多虚拟双目全局标定模型，
Figure BDA0003319655090000076
和
Figure BDA0003319655090000077
为图5中两虚拟相机坐标系之间的旋转矩阵和平移向量，
Figure BDA0003319655090000078
和
Figure BDA0003319655090000079
为两靶标坐标系之间的旋转矩阵和平移向量，则点P在靶标1坐标系和靶标2坐标系下的坐标满足关系：
Figure BDA00033196550900000710
根据相机成像模型，通过虚拟相机坐标系和靶标坐标系之间的位姿关系得出Pt2到Pt1的转换关系：
Figure BDA0003319655090000081
根据式(9)和式(10)可得：
Figure BDA0003319655090000082
其中，靶标坐标系到虚拟相机坐标系的转换关系
Figure BDA0003319655090000083
和
Figure BDA0003319655090000084
可以通过PNP算法计算得到，因此对于剩余的24个未知量，保持靶标位置固定，调整传感器位姿2次以上即可线性求解
Figure BDA0003319655090000085
和
Figure BDA0003319655090000086
的初值。按照上述方法，求解其余虚拟双目坐标系到参考坐标系
Figure BDA0003319655090000087
和
Figure BDA0003319655090000088
S403：基于李代数方法求解多虚拟双目局部标定参数的最优解。
具体的，根据式(11)可以得出理想情况下
Figure BDA0003319655090000089
和
Figure BDA00033196550900000810
的表达式：
Figure BDA00033196550900000811
由于上述旋转矩阵都为正交矩阵，基于李代数方法在特殊正交群SO(3)空间内完成上述矩阵的相关运算，李群空间中上述矩阵之间的李代数距离表示为：
Figure BDA00033196550900000812
优化目标函数为：
Figure BDA00033196550900000813
其中，k为传感器位姿改变次数，通过迭代求解上述目标函数求解
Figure BDA00033196550900000814
和
Figure BDA00033196550900000815
之后，将计算结果重新代入式(11)中可得到
Figure BDA00033196550900000816
重复上述求解步骤得到其余虚拟双目结构到参考坐标系的结构参数
Figure BDA00033196550900000817
和
Figure BDA00033196550900000818
将所有虚拟双目结构统一到全局测量坐标系下，从而完成多虚拟双目结构的全局标定。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (1)

1.一种镜像式单像机全向立体视觉传感器全局标定方法，其特征在于：包括以下步骤：
S1：对镜像式单像机全向立体视觉传感器进行标定，在传感器四周放置基于圆点靶标的立体标定装置，传感器采集通过四棱锥反射镜反射形成的多虚拟双目标定图像，多虚拟双目标定图像由四对虚拟双目标定图像组成；对多虚拟双目标定图像进行预处理，完成靶标有效区域的筛选并提取靶标特征点中心的图像坐标；对多虚拟双目图像中的靶标特征点进行三角化，得到特征点三角形网格；
S2：利用步骤S1中的三角形网格对特征点进行排序，确定四对虚拟双目标定图像的方位，完成多虚拟双目标定图像中靶标特征点坐标的对应匹配；
S3：基于镜像双目测量模型建立单虚拟双目局部标定模型，根据靶标特征点图像坐标和空间坐标，计算四对虚拟双目结构的相机内部参数以及左右相机间的旋转矩阵和平移向量；通过非线性优化得到单虚拟双目局部标定结果的最优解；
S4：建立多虚拟双目全局标定模型，选定一组虚拟双目结构的相机坐标系为参考坐标系，计算其余相机坐标系到参考坐标系的旋转矩阵和平移向量；利用李代数方法求解多虚拟双目标定结果的最优解，将所有虚拟双目结构统一到全局测量坐标系下，完成传感器的全局标定；
所述步骤S1具体操作步骤包括：
S101：布置基于圆点靶标的立体标定装置，固定靶标不动，调整传感器的姿态和位置，拍摄多幅不同视角下的多虚拟双目标定图像；
S102：对所述多虚拟双目标定图像进行滤波去噪和二值化处理后检测图像边缘，通过椭圆拟合提取靶标特征点中心的图像坐标；
S103：提取靶标外围五边形轮廓，通过射线法判断提取到的靶标特征点图像坐标是否位于五边形轮廓内部，将位于同一个五边形内部的所有特征点放入同一个集合中，完成靶标特征点的初步定位和筛选；
S104：利用Delaunay三角剖分原理将多虚拟双目标定图像中的靶标特征点划分为规则三角形，通过顶角阈值约束剔除冗余三角形，得到筛选后的三角形网格；
所述步骤S2具体步骤包括：
S201：对于标定图像中的每一对虚拟双目标定图像，选取步骤S1得到的三角形网格中作为三角形顶点的次数为1的特征点为起始点，寻找并排序靶标特征点中四个角点的坐标；
S202：根据共三角形约束和特征点连线斜率约束寻找三角形网格中其余靶标特征点的图像坐标并进行整体排序；
S203：确定四对虚拟双目标定图像的方位，完成多虚拟双目标定图像中靶标特征点坐标的对应匹配；
所述步骤S3具体步骤包括：
S301：单虚拟双目局部标定的待求解参数包括：四棱锥反射镜成像得到的四对虚拟双目结构的共同相机内参A，以及每对虚拟双目结构中左右相机之间的旋转矩阵R i 和平移向量T i ，i=1,2,3,4；
S302：基于镜像双目测量模型建立单虚拟双目局部标定模型，根据靶标特征点图像坐标和空间坐标，计算四对虚拟双目结构的相机内部参数A以及左右相机间的旋转矩阵R i 和平移向量T i ；
S303：通过非线性优化求解单虚拟双目局部标定参数的最优解；
所述步骤S4具体步骤包括：
S401：多虚拟双目全局标定的待求解参数为每对虚拟双目结构的相机坐标系到参考坐标系的旋转矩阵
Figure DEST_PATH_IMAGE001
和平移向量
Figure 148214DEST_PATH_IMAGE002
，j=1,2,3；
S402：建立多虚拟双目全局标定模型，选定一对虚拟双目结构的相机坐标系为参考坐标系，利用PNP算法求解参考坐标系和其余虚拟双目结构的相机坐标系到对应的靶标坐标系的位姿关系，之后通过直接线性变换方法求解
Figure 277844DEST_PATH_IMAGE001
和
Figure 826637DEST_PATH_IMAGE002
的初值；
S403：基于李代数方法求解多虚拟双目全局标定参数的最优解，将所有虚拟双目结构统一到全局测量坐标系下，完成传感器的全局标定。
CN202111251887.8A 2021-10-25 2021-10-25 一种镜像式单像机全向立体视觉传感器全局标定方法 Active CN113963068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111251887.8A CN113963068B (zh) 2021-10-25 2021-10-25 一种镜像式单像机全向立体视觉传感器全局标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111251887.8A CN113963068B (zh) 2021-10-25 2021-10-25 一种镜像式单像机全向立体视觉传感器全局标定方法

Publications (2)

Publication Number Publication Date
CN113963068A CN113963068A (zh) 2022-01-21
CN113963068B true CN113963068B (zh) 2022-08-23

Family

ID=79467542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111251887.8A Active CN113963068B (zh) 2021-10-25 2021-10-25 一种镜像式单像机全向立体视觉传感器全局标定方法

Country Status (1)

Country Link
CN (1) CN113963068B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862990B (zh) * 2022-04-22 2024-04-30 网易（杭州）网络有限公司 一种镜像参数获取方法、装置、电子设备及存储介质
CN114742905B (zh) * 2022-06-13 2022-09-27 魔视智能科技(武汉)有限公司 一种多相机参数标定方法、装置、设备及存储介质
CN116862999B (zh) * 2023-09-04 2023-12-08 华东交通大学 一种双摄像机三维测量的标定方法、系统、设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104864855A (zh) * 2015-06-08 2015-08-26 北京航空航天大学 一种单像机全向立体视觉传感器及其设计方法
CN107121109A (zh) * 2017-06-12 2017-09-01 北京航空航天大学 一种基于前镀膜平面镜的结构光参数标定装置及方法
WO2017161608A1 (zh) * 2016-03-21 2017-09-28 完美幻境(北京)科技有限公司 一种相机几何标定处理方法及装置
CN110375739A (zh) * 2019-06-26 2019-10-25 中国科学院深圳先进技术研究院 一种移动端视觉融合定位方法、系统及电子设备
CN112434709A (zh) * 2020-11-20 2021-03-02 西安视野慧图智能科技有限公司 基于无人机实时稠密三维点云和dsm的航测方法及系统
CN113192097A (zh) * 2021-07-05 2021-07-30 季华实验室 工业零件位姿识别方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129384B (zh) * 2021-03-31 2024-03-19 南京航空航天大学 基于一维编码靶标的双目视觉系统灵活标定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104864855A (zh) * 2015-06-08 2015-08-26 北京航空航天大学 一种单像机全向立体视觉传感器及其设计方法
WO2017161608A1 (zh) * 2016-03-21 2017-09-28 完美幻境(北京)科技有限公司 一种相机几何标定处理方法及装置
CN107121109A (zh) * 2017-06-12 2017-09-01 北京航空航天大学 一种基于前镀膜平面镜的结构光参数标定装置及方法
CN110375739A (zh) * 2019-06-26 2019-10-25 中国科学院深圳先进技术研究院 一种移动端视觉融合定位方法、系统及电子设备
CN112434709A (zh) * 2020-11-20 2021-03-02 西安视野慧图智能科技有限公司 基于无人机实时稠密三维点云和dsm的航测方法及系统
CN113192097A (zh) * 2021-07-05 2021-07-30 季华实验室 工业零件位姿识别方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于一维标定物的相机标定技术研究》;覃镇波;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20200115(第1期);C028-444 *

Also Published As

Publication number Publication date
CN113963068A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
CN113963068B (zh) 一种镜像式单像机全向立体视觉传感器全局标定方法
CN108921901B (zh) 一种基于精密二轴转台和激光跟踪仪的大视场相机标定方法
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
CN107492127B (zh) 光场相机参数标定方法、装置、存储介质和计算机设备
CN108416812B (zh) 一种单摄像机镜像双目视觉系统的标定方法
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN105379264A (zh) 用于成像设备建模与校准的系统和方法
CN112802124B (zh) 多台立体相机的标定方法及装置、电子设备及存储介质
CN109341668B (zh) 基于折射投影模型和光束追踪法的多相机测量方法
CN114004901B (zh) 多相机标定方法、装置、终端设备及可读存储介质
CN110310338A (zh) 一种基于多中心投影模型的光场相机标定方法
CN111709985B (zh) 一种基于双目视觉的水下目标测距方法
CN110874854A (zh) 一种基于小基线条件下的大畸变广角相机双目摄影测量方法
CN112562014A (zh) 相机标定方法、系统、介质及装置
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN113963067B (zh) 一种采用小靶标对大视场视觉传感器进行标定的标定方法
CN116625258A (zh) 链条间距测量系统及链条间距测量方法
CN109544642B (zh) 一种基于n型靶标的tdi-ccd相机参数标定方法
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
CN111739103A (zh) 一种基于单点标定物的多相机标定系统
CN107941241B (zh) 一种用于航空摄影测量质量评价的分辨率板及其使用方法
CN111968182B (zh) 一种双目相机非线性模型参数的标定方法
CN111383264A (zh) 一种定位方法、装置、终端及计算机存储介质
CN116740187A (zh) 一种无重叠视场多相机联合标定方法
CN116205993A (zh) 一种用于3d aoi的双远心镜头高精度标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant