CN116188602A - 水下多目视觉三维成像系统高精度标定方法 - Google Patents

水下多目视觉三维成像系统高精度标定方法 Download PDF

Info

Publication number
CN116188602A
CN116188602A CN202310456365.4A CN202310456365A CN116188602A CN 116188602 A CN116188602 A CN 116188602A CN 202310456365 A CN202310456365 A CN 202310456365A CN 116188602 A CN116188602 A CN 116188602A
Authority
CN
China
Prior art keywords
image
camera
coordinates
parameters
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310456365.4A
Other languages
English (en)
Inventor
胡浩
王惠刚
樊黎明
赵维娜
张永庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Research Institute Of Northwest Polytechnic University
Original Assignee
Qingdao Research Institute Of Northwest Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Research Institute Of Northwest Polytechnic University filed Critical Qingdao Research Institute Of Northwest Polytechnic University
Priority to CN202310456365.4A priority Critical patent/CN116188602A/zh
Publication of CN116188602A publication Critical patent/CN116188602A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Abstract

本发明提供了水下多目视觉三维成像系统高精度标定方法，属于水下成像技术领域，该水下多目视觉三维成像系统高精度标定方法包括建立图像点与三维点关系；将已关联的三维点平面化后，通过三维点和图像点之间的仿射关系进行图像参数向量的计算；预估相机内外参数；进行第一次全局捆绑调整；将标定物上大量分布的非编码标志点匹配识别，应用到调整计算中；引入了相对外参数的相机模型，计算相对外参数；进行第二全局调整后统一标定相机的坐标系；该标定方法能够解决水下成像时光穿过介质时发生折射而导致的图像失真，造成标定过程误差大的问题。

Description

水下多目视觉三维成像系统高精度标定方法
技术领域
本发明属于水下成像技术领域，具体而言，涉及水下多目视觉三维成像系统高精度标定方法。
背景技术
在过去几十年中，海洋勘探在海洋学、海洋地质学、水下考古、环境监测、电缆铺设、石油和天然气钻探、海上风电场和海上工业等不同领域显著增加。近年来，水下三维重建已成为海洋探测研究的热点之一。在水下环境中有多种获取距离和几何信息的技术，例如声纳导航和测距（SONAR）以及光学检测和测距（cebrian2016low）。其中，光学技术仍然是最适合近距离测量的技术，测量距离可达20米，激光三角测量传感器等。一些通常适用于水下测量的光测技术包括立体视觉（buschinelli）2016水下）、同时定位和测绘（SLAM）、激光三角测量法（moore2001 intercalibration）等。
现有技术中，对于水下成像，光在穿过水、玻璃和空气时发生折射，水下图像失真，标定过程误差大。
发明内容
有鉴于此，本发明提供一种多目视觉三维成像系统高精度标定方法，能够解决水下成像时光穿过水、玻璃以及空气时发生折射而导致的图像失真，造成标定过程误差大的问题。
本发明是这样实现的：
本发明提供水下多目视觉三维成像系统高精度标定方法，其中，具体操作步骤包括：
S10：建立图像坐标与三维坐标的关系，在标定物的表面粘贴上若干标志点，所述标志点一部分进行编码，形成编码标志点，另一部分部不编码，组成非编码标志点；每个所述编码标志点以及所述非编码标志点的在图像上的图像坐标与实际的三维坐标一一对应，所述编码标志点以及所述非编码标志点的三维坐标为已知；
S20：对图像进行预处理，将所述编码标志点的三维坐标平面化，通过所述编码标志点三维坐标与图像坐标的仿射关系择优进行图像参数向量的计算；
S30：预估相机内外参数，通过所述图像参数向量反求出相机的内参数和每一幅图像的外参数；
S40：进行第一次全局捆绑调整，当相机的内参数以及图像的外参数预估获得后，利用所述编码标志点的三维坐标对相机进行第一次全局捆绑调整；
S50：增加约束条件，在相机内参数以及图像外参数调整后将所述非编码标志点的图像坐标与三维坐标进行匹配识别，将其引入调整计算中，增加最终优化方程的约束条件和已知量；
S60：计算相机相对外参数的初值，引入相对外参数的相机模型，在最终全局调整之前计算每个相机的相对外参数的初值，增加最终捆绑调整的准确度和稳定性；
S70：进行第二次全局捆绑调整，在所有参数初值准备完毕后，调整图像坐标以及部分三维坐标，在调整完毕后应用比例尺；
S80：对水下多目视觉三维成像系统进行标定，选择其中一个相机作为参考基准，统一所有标定相机的坐标系，对水下多目视觉三维成像系统进行高精度标定。
所述图像坐标与所述三维坐标的构建基于小孔成像模型和共线方程。
在上述技术方案的基础上，本发明的水下多目视觉三维成像系统高精度标定方法还可以做如下改进:
其中，所述第一次全局捆绑调整基于控制变量法对相机的内参数以及图像的外参数进行调整，具体操作步骤包括：
固定相机内参数和所述编码标志点的三维坐标，调整每一幅图像的外参数；
固定每一幅图像的外参数以及所述编码标志点的三维坐标，调整每个相机的内参数；
固定所述编码标志点的三维坐标，调整相机内参数和每一幅图像的外参数；
其中，所述第二次全局捆绑调整的具体操作步骤包括：
将已知的所述标定物的三维坐标进行固定，对与所述标定物的三维坐标对应的图像坐标进行标定，调整相机内参数和每一幅图像的外参数；
引入新的所述标定点，对未知三维坐标的标定点的图像坐标与三维坐标进行标定，再次调整相机内参数和每一幅图像的外参数；
引入高阶畸变模型，调整多层介质折射引起的误差，将这些误差进行总体优化；
在相机内参数和每一幅图像的外参数调整好的基础上应用比例尺，对水下多目视觉三维成像系统的实际物体和图像进行高精度对应。
其中，镜头的畸变包括径向畸变、偏心畸变、像平面畸变等，采用的所述高阶畸变模型为：其中，
Figure SMS_1
；
其中，Δx和Δy分别为畸变的水平变化以及竖直变化，Δxr和Δyr为径向畸变的水平变化以及竖直变化，Δxi和Δyi为偏心畸变的水平变化以及竖直变化，Δxp和Δyp为像平面畸变的水平变化以及竖直变化；
其中，
Figure SMS_2
；
式中：K1、K2、K3为径向畸变参数；B1、B2为偏心畸变参数；E1、E2为像平面畸变参数；
Figure SMS_3
；/>
Figure SMS_4
；/>
Figure SMS_5
；
式中的Cx以及Cy为常数。
其中，所述编码标志点的三维坐标平面化的具体操作步骤包括：
第一步，关联三维坐标点拟合平面；
第二步，将不在所述拟合平面上的三维坐标去掉；
第三步，建立所述拟合平面的局部坐标系；
第四步，将所述拟合平面上的三维坐标转化所述局部坐标系上。
其中，所述通过编码标志点的三维坐标与图像坐标的仿射关系进行图像参数向量的计算的具体操作步骤包括：
根据所述编码标志点的已知三维坐标平面化后的数据与图像坐标进行对应，获取所述编码标志点的三维坐标与图像坐标的仿射关系；
选取部分图像编码标志点，进行图像参数向量机选，具体步骤为：
选取部分图像编码标志点，导入相机全参数平面线性估计算法进行图像参数向量机选；
其中，将局部坐标系的坐标对其到所述拟合平面，其中面法线方向为Z轴，将所有局部坐标系的坐标转化世界坐标系上的坐标为：
Figure SMS_6
；
定义从局部坐标系
Figure SMS_7
到世界坐标系/>
Figure SMS_8
的关系式为：
Figure SMS_9
。
其中，所述通过图像参数向量反求出相机的内参数和每一幅图像的外参数的具体操作步骤包括：
由于初值是估计得到，不考虑图像的畸变，导入共线方程简化得到：
Figure SMS_10
；
由于该方程不能用线性方法直接求解，定义一个向量参数：
Figure SMS_11
；
该向量包含封装上式中的位置参数，将共线方程可转化为一个递归的线性方程：
Figure SMS_12
；
其中：
Figure SMS_13
；
Figure SMS_14
；
对上述线性方程进行化简，具体步骤如下：
首先，对于所有图像求解包含
Figure SMS_15
参数的线性方程，然后，通过所有图像的/>
Figure SMS_16
求解相机的内参数和每一幅图像的外参数；
对于上式，每一幅图像有8个未知数，因此只要标定物上存在4个三维坐标并且在图像上存在可以识别的对应的4个图像坐标，通过最小二乘方法即可求解8个未知数，将上式简化成矩阵形式如下：
Figure SMS_17
；
通过矩阵求解可以获得：
Figure SMS_18
；
其中：
Figure SMS_19
；
Figure SMS_20
；
所述相机全参数平面线性估计算法为视觉测量中的常用方法，通过上述步骤将参数组
Figure SMS_21
求解；由于/>
Figure SMS_22
参数组存在于每一幅图像上，需要进一步计算处理才能获得相机的内参数。上式中对于每一幅图像存在三个内参未知数/>
Figure SMS_23
，六个外参未知数/>
Figure SMS_24
；
Figure SMS_25
在每一幅图像上数据已知，通过因式分解可推导出一种参数分离算法；由于旋转矩阵/>
Figure SMS_26
为标准正交阵，将线性方程进行简化：
Figure SMS_27
；
其中：
Figure SMS_28
；
通过最小二乘的方法进行求解，获得
Figure SMS_29
，直接反解出相机的内参数：
Figure SMS_30
；
计算每一幅图像的外参数，平移矩阵计算公式为：
Figure SMS_31
；
旋转矩阵计算公式为：
Figure SMS_32
；
对上式进行处理获得的
Figure SMS_33
矩阵进行SVD分解获得新的旋转矩阵为：
Figure SMS_34
。
其中，所述将非编码标志点的图像坐标与三维坐标进行匹配识别，将其引入调整计算中，增加最终优化方程的约束条件和已知量的具体操作步骤包括：
在通过编码标志点确定的相机内外参数的线性方程中将所述非编码标志点的三维坐标导入，反求解出非编码标志点的图像坐标，将求解出的图像坐标与实际对应的图像坐标进行比较，将两者之间的差别导入相机内外参数的线性方程中作为约束条件，提高精准性。
其中，所述统一所有标定相机的坐标系的具体操作步骤包括：
在多相机标定时采集
Figure SMS_36
(/>
Figure SMS_37
)幅图像，对每个相机的每幅标定图像标定计算得到一组外参数：/>
Figure SMS_38
和/>
Figure SMS_39
,其中/>
Figure SMS_40
为相机编号，/>
Figure SMS_41
为图像序列编号,/>
Figure SMS_42
,
Figure SMS_35
；
选用第一个相机为原点坐标系
Figure SMS_43
,/>
Figure SMS_44
,/>
Figure SMS_45
是一个3×3单位矩阵,/>
Figure SMS_46
是3×1空向量，然后，将其他图像转换到/>
Figure SMS_47
；
再将其他相机的外参数（旋转、平移矩阵）转换到原点坐标系：
Figure SMS_48
；
多相机的全局外参数通过下式计算：
Figure SMS_49
；
其中,
Figure SMS_50
,/>
Figure SMS_51
。
其中，所述编码标志点与所述非编码标志点均粘贴在水下物体的各个表面，所述编码标志点与所述非编码标志点交叉均匀分布。
其中，所述编码标志点具备ID，三维重建无需匹配，所述非编码标志点无ID，在三维重建时需要图像匹配处理。
与现有技术相比较，本发明提供的水下多目视觉三维成像系统高精度标定方法的有益效果是：通过建立图像坐标与三维坐标的关系，将实际物体与相机所拍摄图像进行对应，方便对相机进行标定，提高标定的精准性；通过将标志点分为编码标志点与非编码标志点，实现编码标志点的标定以及非编码标志点的调整，提高标定的准确度；通过对图像进行预处理，得到图像参数向量，实现图像与实际物体的结合；通过预估相机内外参数，方便对相机进行初步标定；通过第一次全局捆绑调整，实现对水下多目视觉三维成像系统的基本标定；通过增加约束条件，提高标定的精准性；通过计算相机相对外参数的初值，增加最终捆绑调整的准确度和稳定性；通过进行第二次全局捆绑调整，对水下多目视觉三维成像系统进行高精度标定；能够解决水下成像时光穿过水、玻璃以及空气时发生折射而导致的图像失真，造成标定过程误差大的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为水下多目视觉三维成像系统高精度标定方法的具体操作步骤。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要理解的是，术语中心、纵向、横向、长度、宽度、厚度、上、下、前、后、左、右、竖直、水平、顶、底、内、外、顺时针、逆时针等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
如图1所示，是本发明提供的水下多目视觉三维成像系统高精度标定方法的步骤流程图，在该方法中，具体操作步骤包括：
S10：建立图像坐标与三维坐标的关系，在标定物的表面粘贴上若干标志点，标志点一部分进行编码，形成编码标志点，另一部分不编码，组成非编码标志点；每个编码标志点以及非编码标志点的在图像上的图像坐标与实际的三维坐标一一对应，编码标志点以及非编码标志点的三维坐标为已知；
S20：对图像进行预处理，将编码标志点的三维坐标平面化，通过编码标志点三维坐标与图像坐标的仿射关系择优进行图像参数向量的计算；
S30：预估相机内外参数，通过图像参数向量反求出相机的内参数和每一幅图像的外参数；
S40：进行第一次全局捆绑调整，当相机的内参数以及图像的外参数预估获得后，利用编码标志点的三维坐标对相机进行第一次全局捆绑调整；
S50：增加约束条件，在相机内参数以及图像外参数调整后将非编码标志点的图像坐标与三维坐标进行匹配识别，将其引入调整计算中，增加最终优化方程的约束条件和已知量；
S60：计算相机相对外参数的初值，引入相对外参数的相机模型，在最终全局调整之前计算每个相机的相对外参数的初值，增加最终捆绑调整的准确度和稳定性；
S70：进行第二次全局捆绑调整，在所有参数初值准备完毕后，调整图像坐标以及部分三维坐标，在调整完毕后应用比例尺；
S80：对水下多目视觉三维成像系统进行标定，选择其中一个相机作为参考基准，统一所有标定相机的坐标系，对水下多目视觉三维成像系统进行高精度标定。
所述图像坐标与所述三维坐标的构建基于小孔成像模型和共线方程。
其中，在上述技术方案中，第一次全局捆绑调整基于控制变量法对相机的内参数以及图像的外参数进行调整，具体操作步骤包括：
固定相机内参数和编码标志点的三维坐标，调整每一幅图像的外参数；
固定每一幅图像的外参数以及编码标志点的三维坐标，调整每个相机的内参数；
固定编码标志点的三维坐标，调整相机内参数和每一幅图像的外参数；
相机内参数和图像外参数调整的具体操作步骤，可以采用公开号为
Figure SMS_52
的中国发明（CN202010570282.4 一种基于单点标定物的多相机标定系统）专利中的思路，在本方案中可以如下步骤进行处理：
根据所有相机的共视场关系建立多相机系统的无向图，确定任意相机相对于参考相机的最优级联路径，结合两两标定参数转化求出统一的参考相机坐标系下所有相机的内外参，并使用BA捆绑调整优化。
其中，在上述技术方案中，第二次全局捆绑调整的具体操作步骤包括：
将已知的标定物的三维坐标进行固定，对与标定物的三维坐标对应的图像坐标进行标定，调整相机内参数和每一幅图像的外参数；
引入新的标定点，对未知三维坐标的标定点的图像坐标与三维坐标进行标定，再次调整相机内参数和每一幅图像的外参数；
引入高阶畸变模型，调整多层介质折射引起的误差，将这些误差进行总体优化；
在相机内参数和每一幅图像的外参数调整好的基础上应用比例尺，对水下多目视觉三维成像系统的实际物体和图像进行高精度对应；
其中，镜头的畸变包括径向畸变、偏心畸变、像平面畸变等，采用的所述高阶畸变模型为：其中，
Figure SMS_53
；
其中，Δx和Δy分别为畸变的水平变化以及竖直变化，Δxr和Δyr为径向畸变的水平变化以及竖直变化，Δxi和Δyi为偏心畸变的水平变化以及竖直变化，Δxp和Δyp为像平面畸变的水平变化以及竖直变化；
其中，
Figure SMS_54
；
式中：K1、K2、K3为径向畸变参数；B1、B2为偏心畸变参数；E1、E2为像平面畸变参数；
Figure SMS_55
；/>
Figure SMS_56
；/>
Figure SMS_57
；
式中的Cx以及Cy为常数。
其中，在上述技术方案中，编码标志点的三维坐标平面化的具体操作步骤包括：
第一步，关联三维坐标点拟合平面；
第二步，将不在所述拟合平面上的三维坐标去掉；
第三步，建立所述拟合平面的局部坐标系；
第四步，将所述拟合平面上的三维坐标转化所述局部坐标系上。
其中，在上述技术方案中，通过编码标志点的三维坐标与图像坐标的仿射关系进行图像参数向量的计算的具体操作步骤包括：
根据编码标志点的已知三维坐标平面化后的数据与图像坐标进行对应，获取编码标志点的三维坐标与图像坐标的仿射关系；
选取部分图像编码标志点，导入相机全参数平面线性估计算法进行图像参数向量机选；
其中，将局部坐标系的坐标对其到所述拟合平面，其中面法线方向为Z轴，将所有局部坐标系的坐标转化世界坐标系上的坐标为：
Figure SMS_58
；
定义从局部坐标系
Figure SMS_59
到世界坐标系/>
Figure SMS_60
的关系式为：
Figure SMS_61
。
其中，在上述技术方案中，通过图像参数向量反求出相机的内参数和每一幅图像的外参数的具体操作步骤包括：
由于初值是估计得到，不考虑图像的畸变，导入共线方程简化得到：
Figure SMS_62
；
由于该方程不能用线性方法直接求解，定义一个向量参数：
Figure SMS_63
；
该向量包含封装上式中的位置参数，将共线方程可转化为一个递归的线性方程：
Figure SMS_64
；
其中：
Figure SMS_65
；
Figure SMS_66
；
对上述线性方程进行化简，具体步骤如下：
首先，对于所有图像求解包含
Figure SMS_67
参数的线性方程，然后，通过所有图像的/>
Figure SMS_68
求解相机的内参数和每一幅图像的外参数；
对于上式，每一幅图像有8个未知数，因此只要标定物上存在4个三维坐标并且在图像上存在可以识别的对应的4个图像坐标，通过最小二乘方法即可求解8个未知数，将上式简化成矩阵形式如下：
Figure SMS_69
；
通过矩阵求解可以获得：
Figure SMS_70
；
其中：
Figure SMS_71
；
Figure SMS_72
；
所述相机全参数平面线性估计算法为视觉测量中的常用方法，通过上述步骤将参数组
Figure SMS_73
求解；由于/>
Figure SMS_74
参数组存在于每一幅图像上，需要进一步计算处理才能获得相机的内参数。上式中对于每一幅图像存在三个内参未知数/>
Figure SMS_75
，六个外参未知数/>
Figure SMS_76
；
Figure SMS_77
在每一幅图像上数据已知，通过因式分解可推导出一种参数分离算法；由于旋转矩阵/>
Figure SMS_78
为标准正交阵，将线性方程进行简化：
Figure SMS_79
；
其中：
Figure SMS_80
；
通过最小二乘的方法进行求解，获得
Figure SMS_81
，直接反解出相机的内参数：
Figure SMS_82
；
计算每一幅图像的外参数，平移矩阵计算公式为：
Figure SMS_83
；
旋转矩阵计算公式为：
Figure SMS_84
；
由于以上算法流程没有保证旋转矩阵
Figure SMS_85
的正交性，因此最后的结果需进行一次正交化处理；对上式进行处理获得的/>
Figure SMS_86
矩阵进行SVD分解获得新的旋转矩阵为：
Figure SMS_87
。
其中，在上述技术方案中，将非编码标志点的图像坐标与三维坐标进行匹配识别，将其引入调整计算中，增加最终优化方程的约束条件和已知量的具体操作步骤包括：
在通过编码标志点确定的相机内外参数的线性方程中将所述非编码标志点的三维坐标导入，反求解出非编码标志点的图像坐标，将求解出的图像坐标与实际对应的图像坐标进行比较，将两者之间的差别导入相机内外参数的线性方程中作为约束条件，提高精准性。
其中，在上述技术方案中，所述统一所有标定相机的坐标系的具体操作步骤包括：
在多相机标定时采集
Figure SMS_88
(/>
Figure SMS_89
)幅图像，对每个相机的每幅标定图像标定计算得到一组外参数：/>
Figure SMS_90
和/>
Figure SMS_91
,其中/>
Figure SMS_92
相机编号，/>
Figure SMS_93
图像序列编号,/>
Figure SMS_94
,/>
Figure SMS_95
；
选用第一个相机为原点坐标系
Figure SMS_96
,/>
Figure SMS_97
,/>
Figure SMS_98
是一个3×3单位矩阵,/>
Figure SMS_99
是3×1空向量)，然后，将其他图像转换到/>
Figure SMS_100
；
再将其他相机的外参数（旋转、平移矩阵）转换到原点坐标系）：
Figure SMS_101
；
多相机的全局外参数通过下式计算：
Figure SMS_102
；
其中,
Figure SMS_103
,/>
Figure SMS_104
。
其中，在上述技术方案中，编码标志点与非编码标志点均粘贴在水下物体的各个表面，编码标志点与非编码标志点交叉均匀分布。
其中，在上述技术方案中，所述编码标志点具备ID，三维重建无需匹配，所述非编码标志点无ID，在三维重建时需要图像匹配处理。
具体的，本发明的原理是：建立图像坐标与三维坐标的关系，在标定物的表面粘贴上若干标志点，所述标志点一部分进行编码，形成编码标志点，另一部分不编码，组成非编码标志点；每个所述编码标志点以及所述非编码标志点的在图像上的图像坐标与实际的三维坐标一一对应，所述编码标志点以及所述非编码标志点的三维坐标为已知；对图像进行预处理，将所述编码标志点的三维坐标平面化，通过所述三维点与所述图像点的仿射关系择优进行图像参数向量的计算；预估相机内外参数，通过所述图像参数向量反求出相机的内参数和每一幅图像的外参数；进行第一次全局捆绑调整，当相机的内参数以及图像的外参数预估获得后，利用所述编码标志点的三维坐标对相机进行第一次全局捆绑调整；增加约束条件，在相机内参数以及图像外参数调整后将所述非编码标志点的图像坐标与三维坐标进行匹配识别，将其引入调整计算中，增加最终优化方程的约束条件和已知量；计算相机相对外参数的初值，引入相对外参数的相机模型，在最终全局调整之前计算每个相机的相对外参数的初值，增加最终捆绑调整的准确度和稳定性；进行第二次全局捆绑调整，在所有参数初值准备完毕后，调整图像坐标以及部分三维坐标，在调整完毕后应用比例尺；对水下多目视觉三维成像系统进行标定，选择其中一个相机作为参考基准，统一所有标定相机的坐标系，对水下多目视觉三维成像系统进行高精度标定。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.水下多目视觉三维成像系统高精度标定方法，其特征在于，具体操作步骤包括：
S10：建立图像坐标与三维坐标的关系，在标定物的表面粘贴上若干标志点，所述标志点一部分进行编码，形成编码标志点，另一部分不编码，组成非编码标志点；每个所述编码标志点以及所述非编码标志点的在图像上的图像坐标与实际的三维坐标一一对应，所述编码标志点以及所述非编码标志点的三维坐标为已知；
S20：对图像进行预处理，将所述编码标志点的三维坐标平面化，通过所述编码标志点三维坐标与图像坐标的仿射关系择优进行图像参数向量的计算；
S30：预估相机内外参数，通过所述图像参数向量反求出相机的内参数和每一幅图像的外参数；
S40：进行第一次全局捆绑调整，当相机的内参数以及图像的外参数预估获得后，利用所述编码标志点的三维坐标对相机进行第一次全局捆绑调整；
S50：增加约束条件，在相机内参数以及图像外参数调整后将所述非编码标志点的图像坐标与三维坐标进行匹配识别，将其引入调整计算中，增加最终优化方程的约束条件和已知量；
S60：计算相机相对外参数的初值，引入相对外参数的相机模型，在最终全局调整之前计算每个相机的相对外参数的初值，增加最终捆绑调整的准确度和稳定性；
S70：进行第二次全局捆绑调整，在所有参数初值准备完毕后，调整图像坐标以及部分三维坐标，在调整完毕后应用比例尺；
S80：对水下多目视觉三维成像系统进行标定，选择其中一个相机作为参考基准，统一所有标定相机的坐标系，对水下多目视觉三维成像系统进行高精度标定。
2.根据权利要求1所述的水下多目视觉三维成像系统高精度标定方法，其特征在于，所述第一次全局捆绑调整为基于控制变量法对相机的内参数以及图像的外参数进行调整，具体操作步骤包括：
固定相机内参数和所述编码标志点的三维坐标，调整每一幅图像的外参数；
固定每一幅图像的外参数以及所述编码标志点的三维坐标，调整每个相机的内参数；
固定所述编码标志点的三维坐标，调整相机内参数和每一幅图像的外参数。
3.根据权利要求1所述的水下多目视觉三维成像系统高精度标定方法，其特征在于，所述第二次全局捆绑调整的具体操作步骤包括：
将已知的所述标定物的三维坐标进行固定，对与所述标定物的三维坐标对应的图像坐标进行标定，调整相机内参数和每一幅图像的外参数；
引入新的所述标定点，对未知三维坐标的标定点的图像坐标与三维坐标进行标定，再次调整相机内参数和每一幅图像的外参数；
引入高阶畸变模型，调整多层介质折射引起的误差，将这些误差进行总体优化；
在相机内参数和每一幅图像的外参数调整好的基础上应用比例尺，对水下多目视觉三维成像系统的实际物体和图像进行高精度对应。
4.根据权利要求1所述的水下多目视觉三维成像系统高精度标定方法，其特征在于，所述编码标志点的三维坐标平面化的具体操作步骤包括：
第一步，关联三维坐标点拟合平面；
第二步，将不在所述拟合平面上的三维坐标去掉；
第三步，建立所述拟合平面的局部坐标系；
第四步，将所述拟合平面上的三维坐标转化所述局部坐标系上。
5.根据权利要求4所述的水下多目视觉三维成像系统高精度标定方法，其特征在于，所述通过所述编码标志点三维坐标与图像坐标的仿射关系择优进行图像参数向量的计算的具体操作步骤包括：
根据所述编码标志点的已知三维坐标平面化后的数据与图像坐标进行对应，获取所述编码标志点的三维坐标与图像坐标的仿射关系；
选取部分图像编码标志点，导入相机全参数平面线性估计算法进行图像参数向量机选；
其中，将局部坐标系的坐标对其到所述拟合平面，其中面法线方向为Z轴，将所有局部坐标系的坐标转化世界坐标系上的坐标为：
Figure QLYQS_1
；
定义从局部坐标系
Figure QLYQS_2
到世界坐标系/>
Figure QLYQS_3
的关系式为：
Figure QLYQS_4
。
6.根据权利要求5所述的水下多目视觉三维成像系统高精度标定方法，其特征在于，通过所述图像参数向量反求出相机的内参数和每一幅图像的外参数的具体操作步骤包括：
导入共线方程简化得到：
Figure QLYQS_5
；
定义一个向量参数：
Figure QLYQS_6
；
所述向量参数包含封装上式中的位置参数，将共线方程可转化为一个递归的线性方程：
Figure QLYQS_7
；
其中：
Figure QLYQS_8
；/>
Figure QLYQS_9
；
对上述线性方程进行化简，具体步骤如下：
首先，对于所有图像求解包含
Figure QLYQS_10
参数的线性方程，然后，通过所有图像的/>
Figure QLYQS_11
求解相机的内参数和每一幅图像的外参数；
对于上式，每一幅图像有8个未知数，因此只要标定物上存在4个三维坐标并且在图像上存在可以识别的对应的4个图像坐标，通过最小二乘方法即可求解8个未知数，将上式简化成矩阵形式如下：
Figure QLYQS_12
；
通过矩阵求解可以获得：
Figure QLYQS_13
；
其中：
Figure QLYQS_14
；
Figure QLYQS_15
；
所述相机全参数平面线性估计算法为视觉测量中的常用方法，通过上述步骤将参数组
Figure QLYQS_16
求解；由于/>
Figure QLYQS_17
参数组存在于每一幅图像上，需要进一步计算处理才能获得相机的内参数；上式中对于每一幅图像存在三个内参未知数/>
Figure QLYQS_18
，六个外参未知数/>
Figure QLYQS_19
；
Figure QLYQS_20
在每一幅图像上数据已知，通过因式分解可推导出一种参数分离算法；由于旋转矩阵/>
Figure QLYQS_21
为标准正交阵，将线性方程进行简化：/>
Figure QLYQS_22
；
其中：
Figure QLYQS_23
；
通过最小二乘的方法进行求解，获得
Figure QLYQS_24
，直接反解出相机的内参数：
Figure QLYQS_25
；
计算每一幅图像的外参数，平移矩阵计算公式为：
Figure QLYQS_26
；
旋转矩阵计算公式为：
Figure QLYQS_27
；
对上式进行处理获得的
Figure QLYQS_28
矩阵进行SVD分解获得新的旋转矩阵为：
Figure QLYQS_29
。
7.根据权利要求1所述的水下多目视觉三维成像系统高精度标定方法，其特征在于，所述将所述非编码标志点的图像坐标与三维坐标进行匹配识别，将其引入调整计算中，增加最终优化方程的约束条件和已知量的具体操作步骤包括：在通过编码标志点确定的相机内外参数的线性方程中将所述非编码标志点的三维坐标导入，反求解出非编码标志点的图像坐标，将求解出的图像坐标与实际对应的图像坐标进行比较，将两者之间的差别导入相机内外参数的线性方程中作为约束条件，提高精准性。
8.所述根据权利要求6所述的水下多目视觉三维成像系统高精度标定方法，其特征在于，所述统一所有标定相机的坐标系的具体操作步骤包括：
在多相机标定时采集
Figure QLYQS_30
幅图像，其中/>
Figure QLYQS_31
，对每个相机的每幅标定图像标定计算得到一组外参数：/>
Figure QLYQS_32
和/>
Figure QLYQS_34
,其中/>
Figure QLYQS_35
是相机编号，/>
Figure QLYQS_36
是图像序列编号,/>
Figure QLYQS_37
,/>
Figure QLYQS_33
；选用第一个相机为原点坐标系/>
Figure QLYQS_38
,/>
Figure QLYQS_39
,/>
Figure QLYQS_40
是一个3×3单位矩阵,/>
Figure QLYQS_41
是3×1空向量，然后，将其他图像转换到/>
Figure QLYQS_42
；
其中，多相机的全局外参数通过下式计算：
Figure QLYQS_43
；
其中,
Figure QLYQS_44
,/>
Figure QLYQS_45
，所述相机的外参数为旋转参数和平移矩阵。
9.根据权利要求1所述的水下多目视觉三维成像系统高精度标定方法，其特征在于，所述编码标志点与所述非编码标志点均粘贴在水下物体的各个表面，所述编码标志点与所述非编码标志点交叉均匀分布。
10.根据权利要求9所述的水下多目视觉三维成像系统高精度标定方法，其特征在于，所述编码标志点具备ID，三维重建无需匹配，所述非编码标志点无ID，在三维重建时需要图像匹配处理。
CN202310456365.4A 2023-04-26 2023-04-26 水下多目视觉三维成像系统高精度标定方法 Pending CN116188602A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310456365.4A CN116188602A (zh) 2023-04-26 2023-04-26 水下多目视觉三维成像系统高精度标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310456365.4A CN116188602A (zh) 2023-04-26 2023-04-26 水下多目视觉三维成像系统高精度标定方法

Publications (1)

Publication Number Publication Date
CN116188602A true CN116188602A (zh) 2023-05-30

Family

ID=86452518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310456365.4A Pending CN116188602A (zh) 2023-04-26 2023-04-26 水下多目视觉三维成像系统高精度标定方法

Country Status (1)

Country Link
CN (1) CN116188602A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034238A (zh) * 2010-12-13 2011-04-27 西安交通大学 基于光学成像测头和视觉图结构的多摄像机系统标定方法
CN105973161A (zh) * 2016-06-17 2016-09-28 西安交通大学 一种桨叶的三维全场变形测量方法
CN106910221A (zh) * 2017-02-04 2017-06-30 景致三维（江苏）股份有限公司 一种全局标定的方法及装置
CN107218928A (zh) * 2017-05-12 2017-09-29 西北工业大学 一种复杂多管路系统检测方法
CN114663520A (zh) * 2022-02-25 2022-06-24 北京信息科技大学 一种超大范围视觉测量的双相机联合标定方法及系统
CN115540775A (zh) * 2022-09-30 2022-12-30 新拓三维技术(深圳)有限公司 一种ccd单相机的3d视频引伸计

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034238A (zh) * 2010-12-13 2011-04-27 西安交通大学 基于光学成像测头和视觉图结构的多摄像机系统标定方法
CN105973161A (zh) * 2016-06-17 2016-09-28 西安交通大学 一种桨叶的三维全场变形测量方法
CN106910221A (zh) * 2017-02-04 2017-06-30 景致三维（江苏）股份有限公司 一种全局标定的方法及装置
CN107218928A (zh) * 2017-05-12 2017-09-29 西北工业大学 一种复杂多管路系统检测方法
CN114663520A (zh) * 2022-02-25 2022-06-24 北京信息科技大学 一种超大范围视觉测量的双相机联合标定方法及系统
CN115540775A (zh) * 2022-09-30 2022-12-30 新拓三维技术(深圳)有限公司 一种ccd单相机的3d视频引伸计

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAO HU等: "A four-camera viedogrammetric system for 3-D motion measurement of deformable object", 《OPTICS AND LASERS IN ENGINEERING》, vol. 50, no. 5, pages 800 - 811, XP028398277, DOI: 10.1016/j.optlaseng.2011.12.011 *
唐正宗等: "用于三维变形测量的数字图像相关系统", 《光学精密工程》, vol. 18, no. 10, pages 2244 - 2253 *
胡浩等: "大视场多像机视频测量系统的全局标定", 《光学精密工程》, vol. 20, no. 2, pages 369 - 378 *

Similar Documents

Publication Publication Date Title
CN108510551B (zh) 一种远距离大视场条件下相机参数的标定方法及系统
CN109579695B (zh) 一种基于异构立体视觉的零件测量方法
CN106650701B (zh) 基于双目视觉的室内阴影环境下障碍物检测方法及装置
CN107543496B (zh) 一种双目立体视觉三维坐标测量方法
CN110223355B (zh) 一种基于双重极线约束的特征标志点匹配方法
CN110672020A (zh) 一种基于单目视觉的立木高度测量方法
CN110455222B (zh) 一种高精度旋转角测量方法、装置及设备
CN109341668B (zh) 基于折射投影模型和光束追踪法的多相机测量方法
CN111709985B (zh) 一种基于双目视觉的水下目标测距方法
CN109297436A (zh) 双目线激光立体测量基准标定方法
CN112929626B (zh) 一种基于智能手机影像的三维信息提取方法
CN113129384B (zh) 基于一维编码靶标的双目视觉系统灵活标定方法
CN109785370A (zh) 一种基于空间时间序列模型的弱纹理图像配准方法
CN113119129A (zh) 一种基于标准球的单目测距定位方法
CN112762899A (zh) 一种激光点云加bim模型在可视化变电站中与视频信息的融合方法
CN116188558B (zh) 基于双目视觉的立体摄影测量方法
CN113963067B (zh) 一种采用小靶标对大视场视觉传感器进行标定的标定方法
CN113888641A (zh) 一种基于机器视觉和深度学习的立木胸径测量方法
CN111415305A (zh) 恢复三维场景的方法、计算机可读存储介质及无人机
CN109341588B (zh) 一种双目结构光三系统法视角加权的三维轮廓测量方法
CN110487254B (zh) 一种用于rov的水下目标尺寸快速测量方法
CN111524193B (zh) 一种物体二维尺寸的测量方法及测量装置
CN111611525B (zh) 基于物方匹配高程偏差迭代修正的遥感数据高程解算方法
CN115790539B (zh) 一种合作靶标水下摄影测量方法
CN116188602A (zh) 水下多目视觉三维成像系统高精度标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230530