CN107767420A - 一种水下立体视觉系统的标定方法 - Google Patents
一种水下立体视觉系统的标定方法 Download PDFInfo
- Publication number
- CN107767420A CN107767420A CN201710703365.4A CN201710703365A CN107767420A CN 107767420 A CN107767420 A CN 107767420A CN 201710703365 A CN201710703365 A CN 201710703365A CN 107767420 A CN107767420 A CN 107767420A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- camera
- refraction
- msup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Lenses (AREA)
Abstract
本发明公开一种水下立体视觉系统的标定方法，包括如下步骤：S101、在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对特征点进行畸变校正；S102、根据折射光路的几何关系构造代价函数，任意选取立体视觉系统中的一个相机并对该相机的折射参数进行标定；S103、根据已完成标定的相机的折射参数，基于上述代价函数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参。本发明使用平面标定板，提高了标定精度；基于多层折射模型，不存在系统误差，描述精度高，既能用于水下单相机的折射参数标定，也能用于水下立体视觉系统及水下多相机系统折射参数和外参的标定。
Description
技术领域
本发明涉及水下相机标定技术领域，尤其涉及一种水下立体视觉系统的标定方法。
背景技术
在水下环境中，成像光线将依次通过水、滤波片、空气这三层折射介质。现有的方法常将传统的相机模型应用到这种折射系统中，使用径向畸变系数来校正折射造成的偏差。然而，折射对不同像素点产生偏差的影响是不同的，使用传统的相机模型会产生明显的误差，尤其是在水下这种高折射率的环境中。传统水下相机标定普遍存在标定方法错复杂，标定耗时长，标定精度低，无法进行水下立体视觉标定的问题。
发明内容
本发明的目的在于通过一种水下立体视觉系统的标定方法，来解决以上背景技术部分提到的问题。
为达此目的，本发明采用以下技术方案：
一种水下立体视觉系统的标定方法，其包括如下步骤：
S101、在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对所述特征点进行畸变校正；
S102、根据折射光路的几何关系构造代价函数，任意选取立体视觉系统中的一个相机并对该相机的折射参数进行标定；
S103、根据步骤S102中已完成标定的相机的折射参数，基于上述代价函数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参。
特别地，所述步骤S101包括：在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对所述特征点进行畸变校正，得到校正后特征点的坐标，根据所述校正后特征点的坐标和相机的内参矩阵计算得到第一介质层光路的方向。
特别地，所述步骤S102包括：基于物点到折射主轴的距离构造代价函数，基于所述代价函数进行优化标定出相机的折射参数。
特别地，所述步骤S103还包括：根据已完成标定的相机的折射参数，对水下多相机系统中未标定相机的折射参数进行标定，直至标定出多相机系统中所有相机的折射参数和外参。
特别地，所述步骤S102具体包括：设折射参数包括(A d μr t)，其中A 为折射平面的法线方向；d为矢量，表示各个介质层的厚度；μ也是矢量，表示各个介质层的折射率；r和t也是矢量，表示平面标定板图像在世界坐标系的姿态和位置；在有M幅图像存在时，r＝[r1r2 … rM]，rm为每幅图像的罗德里格旋转向量，m＝1,2,…,M；
折射主轴为经过相机光心C垂直于折射平面的射线，设物点P在世界坐标系下的坐标为Pw，在相机坐标系下的坐标为Pc，物点P到折射主轴的距离Pc⊥表示为：
Pc⊥＝Pc-dot(Pc,A)A (1)
设共有K个介质层，物点P到折射主轴的距离Pc⊥又可以表示为：
其中B为光路平面上与折射平面的法线方向A正交的单位向量，dot()表示矢量点积；
由以上两式(1)、(2)可得：
其中R，t为相机外参，vk为第k个介质层的光线的方向矢量，θk为vk与A的夹角；
Pc＝RPw+t (4)
v0为第一介质层下光路的方向，v0根据步骤S101得到的校正后特征点的坐标 m和相机的内参矩阵K计算得到：
相机的内参矩阵K为如下形式，fx和fy为等效焦距，x0和y0为主点位置：
其中公式(6)为斯涅尔(Snell)折射定律，可以展开为：
当步骤S101中立体视觉系统拍摄M幅平面标定板的图像时，每幅图像有N个特征点点时，根据(3)构造的代价函数为：
因此，相机的折射参数的求解即为以下非线性优化过程：
(A d μ r t)＝argmin||F|| (12)。
特别地，所述步骤S103具体包括：根据步骤S102中已完成标定的相机的折射参数，使用标定得到的平面标定板图像在世界坐标系的姿态和位置位置参数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参，过程如下：
设所述已完成标定的相机为一号相机，标定一号相机时得到的平面标定板图像在世界坐标系的姿态和位置[R1 R2 … Rn]，[t1 t2 … tn]；设一号相机相对于二号相机的姿态和位置为[Rr tr]，则所述平面标定板图像在二号相机坐标系下的姿态和位置为[RrR1RrR2 … RrRn]，[Rrt1+tr Rrt2+tr … Rrtn+tr]；
使用上述公式(10)作为代价函数进行优化标定出二号相机的折射参数即：
(A d μ Rr tr)＝argmin||F|| (13)
重复上述过程，逐个完成对立体视觉系统中所有未标定相机的折射参数及立体视觉系统的外参的标定。
本发明提出的水下立体视觉系统的标定方法在标定时，使用平面标定板而非立体标定板，平面标定板相比立体标定板精度高，提高了标定精度。本发明基于多层折射模型，不存在系统误差，描述精度高，根据折射光路的几何关系构造代价函数，将标定问题转化为优化问题，能准确标定出相机光心到折射平面的距离、各个介质层的厚度、各个介质层的折射率以及水下立体视觉系统的外参。本发明能够广泛应用于海洋工程、水下探测、水下高精度测量等场合。本发明既能用于水下单相机的折射参数的标定，也能用于水下立体视觉系统及水下多相机系统的折射参数和外参的标定。本发明不用使用反向投影误差作为代价函数，避开了高次方程的求解或者是大量的数值迭代，显著减小了计算量，标定效率高，整个标定过程在一台普通PC上运行时间不超过2s。
附图说明
图1为本发明实施例提供的水下立体视觉系统的标定方法流程图；
图2为本发明实施例提供的水下立体视觉拍摄图片的示意图；
图3为本发明实施例提供的多层折射示意图；
图4为本发明实施例提供的标定结果图；
图5为本发明实施例提供的标定结果图；
图6为本发明实施例提供的标定结果图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容理解的更加透彻全面。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参照图1所示，图1为本发明实施例提供的水下立体视觉系统的标定方法流程图。
本实施例中水下立体视觉系统的标定方法包括如下步骤：
S101、在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对所述特征点进行畸变校正。其中，对相机的内参进行标定的方法如下：构成立体视觉系统的相机需要在空气中进行预标定，可以使用任何基于小孔相机模型的标定方法，目前常用的方法为相机的“张正有标定法”。
标定折射参数前，需要对构成的立体视觉系统的相机的内参在空气中进行预标定，标定完成后，在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对所述特征点进行畸变校正，得到校正后特征点的坐标，根据所述校正后特征点的坐标和相机的内参矩阵计算得到第一介质层光路的方向。
S102、根据折射光路的几何关系构造代价函数，任意选取立体视觉系统中的一个相机并对该相机的折射参数进行标定。
基于物点到折射主轴的距离的两种表达方式(下文的公式(1)、公式(2)) 构造代价函数，基于所述代价函数使用“Trust-region”进行非线性优化标定出相机的折射参数，具体过程如下：
设折射参数包括(A d μ r t)，其中A为折射平面的法线方向；d为矢量，表示各个介质层的厚度；μ也是矢量，表示各个介质层的折射率；r和t也是矢量，表示平面标定板图像在世界坐标系的姿态和位置；在有M幅图像存在时， r＝[r1 r2 … rM]，rm为每幅图像的罗德里格旋转向量，m＝1,2,…,M。对一般水下情形而言，界面法向(折射平面的法线方向)A的初始值可以直接取相机主轴方向，介质层厚度d只需给出第一层和第二层的粗略估计即可。折射率μ的初值可取材料折射率的大致估计值。r和t的初始值可以直接使用一般情况下的PnP算法进行粗略计算给出。
考虑从相机光心到物点的一条光路，定义折射主轴为经过相机光心C垂直于折射平面的射线，设物点P在世界坐标系下的坐标为Pw，在相机坐标系下的坐标为Pc，物点P到折射主轴的距离Pc⊥表示为：
Pc⊥＝Pc-dot(Pc,A)A (1)
设共有K个介质层，物点P到折射主轴的距离Pc⊥又可以表示为：
其中B为光路平面上与折射平面的法线方向A正交的单位向量，dot()表示矢量点积；
由以上两式(1)、(2)可得：
其中R，t为相机外参，vk为第k个介质层的光线的方向矢量，θk为vk与A的夹角；
Pc＝RPw+t (4)
v0为第一介质层下光路的方向，v0根据步骤S101得到的校正后特征点的坐标 m和相机的内参矩阵K计算得到：
相机的内参矩阵K为如下形式，fx和fy为等效焦距，x0和y0为主点位置：
其中公式(6)为斯涅尔(Snell)折射定律，可以展开为：
当步骤S101中立体视觉系统拍摄M幅平面标定板的图像时，每幅图像有N个特征点点时，根据(3)构造的代价函数为：
因此，相机的折射参数的求解即为以下非线性优化过程：
(A d μ r t)＝argmin||F|| (12)。
S103、根据步骤S102中已完成标定的相机的折射参数，基于上述代价函数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参。在本实施例中也可以根据已完成标定的相机的折射参数，对水下多相机系统中未标定相机的折射参数进行标定，直至标定出多相机系统中所有相机的折射参数和外参。
根据步骤S102中已完成标定的相机的折射参数，使用标定得到的平面标定板图像在世界坐标系的姿态和位置位置参数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参，过程如下：
设所述已完成标定的相机为一号相机，标定一号相机时得到的平面标定板图像在世界坐标系的姿态和位置[R1 R2 … Rn]，[t1 t2 … tn]；设一号相机相对于二号相机的姿态和位置为[Rr tr]，则所述平面标定板图像在二号相机坐标系下的姿态和位置为[RrR1RrR2 … RrRn]，[Rrt1+tr Rrt2+tr … Rrtn+tr]；
使用上述公式(10)作为代价函数进行优化标定出二号相机的折射参数即：
(A d μ Rr tr)＝argmin||F|| (13)
重复上述过程，逐个完成对立体视觉系统中所有未标定相机的折射参数及立体视觉系统的外参的标定。其中，立体视觉系统的外参指的是两个相机或者多个相机之间的相对位置和姿态，立体视觉系统的折射参数指的是(13)式中左边的参数。
下面结合水下双相机标定的实例对本发明的实施方案做具体描述：
第一步：如图2所示，水下双相机立体视觉系统拍摄位于水中的棋盘格标定板(平面标定板的一种)。任意选定4-6个位置拍摄几组图像，保证拍摄到的棋盘格大致位于相机视野中间。
第二步：使用Harris角点检测法提取拍摄到图像的角点坐标(即特征点)，然后使用预先标定的单相机参数对角点坐标做去畸变处理。设图像的编号为 m(m＝1,2,…,M)，图像上角点的编号为n(n＝1,2,…,N)。
第三步：先标定其中一个相机，设为一号相机，另外一个设为二号相机。首先选择待标定折射参数的初值，可取法线初值A0＝[0 0 1]T，距离初值可给出大致范围内的任一值，折射率初值可取μ0＝[1 1.5 1.33]，拍摄图像的位置和姿态初值可使用平面PnP方法粗略计算得到。对一号相机拍摄的任意一个“像点- 物点”对，参照图3，使用上述公式(4)-公式(7)计算中间参数，并使用公式(10)构造代价函数。
因此，单相机的标定问题即为公式(11)式所表示的优化问题。使用“Trust-region”法求解该优化问题，设置迭代终止条件为两次迭代的代价函数之差小于10-6。优化过程结束后即得到了一号相机的折射参数。其中，“Trust-region”法是最优化理论中的一种基础优化方法，它的基本优化思路是通过一定的准则首先确定待优化矢量位移的大小，然后在位移大小确定的区域中确定位移的方向，该算法具体的原理和方法在任何“最优化”数学教材中均有详细介绍。
第四步：开始标定二号相机同时标定立体视觉系统的外参。仿照第三步的方法给出待标定参数的估计初值，有所不同的是在这一步要给出立体视觉系统外参的估计初值。方法为：任选一幅二号相机的图像，使用平面PnP方法粗略计算该图像的位置和姿态，设为R2′，t2′；使用一号相机标定得到的该图像的位置和姿态R1，t1来估算立体视觉系统的外参。设外参定义为一号相机相对于二号相机的位置和姿态，估计初值用Rr′，tr′表示
Rr′＝R2′R1 T (14)
tr′＝t2′-Rr′t1 (15)
二号相机及立体视觉系统的外参标定问题即为以下优化问题
(A d μ Rr tr)＝argmin||F||
使用上述标定过程标定得到的结果如图4至图6所示。
本发明提出的技术方案在标定时，使用平面标定板而非立体标定板，平面标定板相比立体标定板精度高，提高了标定精度。本发明基于多层折射模型，不存在系统误差，描述精度高，根据折射光路的几何关系构造代价函数，将标定问题转化为优化问题，能准确标定出相机光心到折射平面的距离、各个介质层的厚度、各个介质层的折射率以及水下立体视觉系统的外参。本发明能够广泛应用于海洋工程、水下探测、水下高精度测量等场合。本发明既能用于水下单相机的折射参数的标定，也能用于水下立体视觉系统及水下多相机系统的折射参数和外参的标定。本发明不用使用反向投影误差作为代价函数，避开了高次方程的求解或者是大量的数值迭代，显著减小了计算量，标定效率高，整个标定过程在一台普通PC上运行时间不超过2s。
本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (6)
1.一种水下立体视觉系统的标定方法，其特征在于，包括如下步骤：
S101、在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对所述特征点进行畸变校正；
S102、根据折射光路的几何关系构造代价函数，任意选取立体视觉系统中的一个相机并对该相机的折射参数进行标定；
S103、根据步骤S102中已完成标定的相机的折射参数，基于上述代价函数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参。
2.根据权利要求1所述的水下立体视觉系统的标定方法，其特征在于，所述步骤S101包括：在水下环境中，使用由内参已知的相机构成的立体视觉系统拍摄若干平面标定板的图像，提取所述图像的特征点，并对所述特征点进行畸变校正，得到校正后特征点的坐标，根据所述校正后特征点的坐标和相机的内参矩阵计算得到第一介质层光路的方向。
3.根据权利要求2所述的水下立体视觉系统的标定方法，其特征在于，所述步骤S102包括：基于物点到折射主轴的距离构造代价函数，基于所述代价函数进行优化标定出相机的折射参数。
4.根据权利要求3所述的水下立体视觉系统的标定方法，其特征在于，所述步骤S103还包括：根据已完成标定的相机的折射参数，对水下多相机系统中未标定相机的折射参数进行标定，直至标定出多相机系统中所有相机的折射参数和外参。
5.根据权利要求4所述的水下立体视觉系统的标定方法，其特征在于，特别地，所述步骤S102具体包括：设折射参数包括(A d μ r t)，其中A为折射平面的法线方向；d为矢量，表示各个介质层的厚度；μ也是矢量，表示各个介质层的折射率；r和t也是矢量，表示平面标定板图像在世界坐标系的姿态和位置；在有M幅图像存在时，r＝[r1 r2 … rM]，rm为每幅图像的罗德里格旋转向量，m＝1,2,…,M；
折射主轴为经过相机光心C垂直于折射平面的射线，设物点P在世界坐标系下的坐标为Pw，在相机坐标系下的坐标为Pc，物点P到折射主轴的距离Pc⊥表示为：
Pc⊥＝Pc-dot(Pc,A)A (1)
设共有K个介质层，物点P到折射主轴的距离Pc⊥又可以表示为：
<mrow>
<msub>
<mi>P</mi>
<mrow>
<mi>c</mi>
<mo>&perp;</mo>
</mrow>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>K</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>d</mi>
<mi>k</mi>
</msub>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mo>(</mo>
<msub>
<mi>&theta;</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mi>B</mi>
<mo>+</mo>
<mrow>
<mo>(</mo>
<mi>d</mi>
<mi>o</mi>
<mi>t</mi>
<mo>(</mo>
<mrow>
<msub>
<mi>P</mi>
<mi>c</mi>
</msub>
<mo>,</mo>
<mi>A</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>K</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>d</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>&theta;</mi>
<mi>K</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>B</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中B为光路平面上与折射平面的法线方向A正交的单位向量，dot()表示矢量点积；
由以上两式(1)、(2)可得：
<mrow>
<mo>(</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>K</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>d</mi>
<mi>k</mi>
</msub>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mo>(</mo>
<msub>
<mi>&theta;</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
<mo>)</mo>
<mi>B</mi>
<mo>+</mo>
<mo>(</mo>
<mi>d</mi>
<mi>o</mi>
<mi>t</mi>
<mo>(</mo>
<mrow>
<msub>
<mi>P</mi>
<mi>c</mi>
</msub>
<mo>,</mo>
<mi>A</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>K</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>d</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mo>(</mo>
<msub>
<mi>&theta;</mi>
<mi>K</mi>
</msub>
<mo>)</mo>
<mi>B</mi>
<mo>-</mo>
<msub>
<mi>P</mi>
<mi>c</mi>
</msub>
<mo>+</mo>
<mi>d</mi>
<mi>o</mi>
<mi>t</mi>
<mo>(</mo>
<msub>
<mi>P</mi>
<mi>c</mi>
</msub>
<mo>,</mo>
<mi>A</mi>
<mo>)</mo>
<mi>A</mi>
<mo>=</mo>
<mn>0</mn>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中R，t为相机外参，vk为第k个介质层的光线的方向矢量，θk为vk与A的夹角；
Pc＝RPw+t (4)
<mrow>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>&theta;</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<msqrt>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msup>
<mrow>
<mo>(</mo>
<mi>d</mi>
<mi>o</mi>
<mi>t</mi>
<mo>(</mo>
<mrow>
<msub>
<mi>v</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<mi>A</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mrow>
<mi>d</mi>
<mi>o</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<mi>A</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>v</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<mfrac>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<msub>
<mi>&mu;</mi>
<mi>k</mi>
</msub>
</mfrac>
<mo>,</mo>
<mi>A</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>B</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>&times;</mo>
<msub>
<mi>v</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
<mo>&times;</mo>
<mi>A</mi>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>&times;</mo>
<msub>
<mi>v</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<mi>A</mi>
<mo>|</mo>
<mo>|</mo>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
v0为第一介质层下光路的方向，v0根据步骤S101得到的校正后特征点的坐标m和相机的内参矩阵K计算得到：
<mrow>
<msub>
<mi>v</mi>
<mn>0</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mi>K</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mi>m</mi>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>K</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mi>m</mi>
<mo>|</mo>
<mo>|</mo>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
相机的内参矩阵K为如下形式，fx和fy为等效焦距，x0和y0为主点位置：
<mrow>
<mi>K</mi>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<msub>
<mi>f</mi>
<mi>y</mi>
</msub>
</mtd>
<mtd>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
其中公式(6)为斯涅尔(Snell)折射定律，可以展开为：
<mrow>
<msub>
<mi>v</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<msub>
<mi>&mu;</mi>
<mi>k</mi>
</msub>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mfrac>
<msub>
<mi>v</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<mfrac>
<msub>
<mi>&mu;</mi>
<mi>k</mi>
</msub>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mfrac>
<mi>d</mi>
<mi>o</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<mi>A</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<msub>
<mi>&mu;</mi>
<mi>k</mi>
</msub>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mfrac>
<mi>d</mi>
<mi>o</mi>
<mi>t</mi>
<mo>(</mo>
<mrow>
<msub>
<mi>v</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<mi>A</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>-</mo>
<mrow>
<mo>(</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<msub>
<mi>&mu;</mi>
<mi>k</mi>
</msub>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mi>d</mi>
<mi>o</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>k</mi>
</msub>
<mo>,</mo>
<msub>
<mi>v</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
当步骤S101中立体视觉系统拍摄M幅平面标定板的图像时，每幅图像有N个特征点点时，根据公式(3)构造的代价函数为：
<mrow>
<mi>F</mi>
<mo>=</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>|</mo>
<mo>|</mo>
<mrow>
<mo>(</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>K</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>d</mi>
<mi>k</mi>
</msub>
<mi>tan</mi>
<mo>(</mo>
<mrow>
<msup>
<msub>
<mi>&theta;</mi>
<mi>k</mi>
</msub>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msup>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<msup>
<mi>B</mi>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msup>
<mo>+</mo>
<mrow>
<mo>(</mo>
<mi>d</mi>
<mi>o</mi>
<mi>t</mi>
<mo>(</mo>
<mrow>
<msup>
<msub>
<mi>P</mi>
<mi>c</mi>
</msub>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msup>
<mo>,</mo>
<mi>A</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>K</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>d</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>tan</mi>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>&theta;</mi>
<mi>k</mi>
</msub>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msup>
<mo>)</mo>
</mrow>
<msup>
<mi>B</mi>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msup>
<mo>-</mo>
<msup>
<msub>
<mi>P</mi>
<mi>c</mi>
</msub>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msup>
<mo>+</mo>
<mi>d</mi>
<mi>o</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>P</mi>
<mi>c</mi>
</msub>
<mrow>
<mi>n</mi>
<mo>,</mo>
<mi>m</mi>
</mrow>
</msup>
<mo>,</mo>
<mi>A</mi>
<mo>)</mo>
</mrow>
<mi>A</mi>
<mo>|</mo>
<mo>|</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
因此，相机的折射参数的求解即为以下非线性优化过程：
(A d μ r t)＝argmin||F|| (12)。
6.根据权利要求5所述的水下立体视觉系统的标定方法，其特征在于，所述步骤S103具体包括：根据步骤S102中已完成标定的相机的折射参数，使用标定得到的平面标定板图像在世界坐标系的姿态和位置位置参数标定立体视觉系统中未标定相机的折射参数及立体视觉系统的外参，过程如下：
设所述已完成标定的相机为一号相机，标定一号相机时得到的平面标定板图像在世界坐标系的姿态和位置[R1 R2 … Rn]，[t1 t2 … tn]；设一号相机相对于二号相机的姿态和位置为[Rr tr]，则所述平面标定板图像在二号相机坐标系下的姿态和位置为[RrR1 RrR2 …RrRn]，[Rrt1+tr Rrt2+tr … Rrtn+tr]；
使用上述公式(10)作为代价函数进行优化标定出二号相机的折射参数即：
(A d μ Rr tr)＝argmin||F|| (13)
重复上述过程，逐个完成对立体视觉系统中所有未标定相机的折射参数及立体视觉系统的外参的标定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710703365.4A CN107767420B (zh) | 2017-08-16 | 2017-08-16 | 一种水下立体视觉系统的标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710703365.4A CN107767420B (zh) | 2017-08-16 | 2017-08-16 | 一种水下立体视觉系统的标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107767420A true CN107767420A (zh) | 2018-03-06 |
| CN107767420B CN107767420B (zh) | 2021-07-23 |
Family
ID=61264986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710703365.4A Active CN107767420B (zh) | 2017-08-16 | 2017-08-16 | 一种水下立体视觉系统的标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107767420B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507242A (zh) * | 2017-08-16 | 2017-12-22 | 华中科技大学无锡研究院 | 一种基于光场模型的多层折射系统成像模型构建方法 |
| CN109242908A (zh) * | 2018-07-12 | 2019-01-18 | 中国科学院自动化研究所 | 用于水下双目视觉测量系统的标定方法 |
| CN109490251A (zh) * | 2018-10-26 | 2019-03-19 | 上海大学 | 基于光场多层折射模型的水下折射率自标定方法 |
| CN110533702A (zh) * | 2019-08-12 | 2019-12-03 | 上海大学 | 一种基于光场多层折射模型的水下双目视觉立体匹配方法 |
| CN112419410A (zh) * | 2020-11-20 | 2021-02-26 | 北京航空航天大学 | 一种基于水下斯涅尔窗口边缘辨识的水平姿态确定方法 |
| CN113592950A (zh) * | 2019-12-27 | 2021-11-02 | 深圳市瑞立视多媒体科技有限公司 | 基于光学动捕的大空间环境下多相机标定方法及相关设备 |
| CN113705388A (zh) * | 2021-08-13 | 2021-11-26 | 国网湖南省电力有限公司 | 基于摄像信息实时定位多人空间位置的方法及系统 |
| CN113744346A (zh) * | 2020-04-02 | 2021-12-03 | 深圳市瑞立视多媒体科技有限公司 | 大空间环境下边扫场边标定方法、装置、设备及存储介质 |
| CN117407636A (zh) * | 2023-12-13 | 2024-01-16 | 深圳大学 | 一种水下成像折射率动态修正方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678742A (zh) * | 2015-12-29 | 2016-06-15 | 哈尔滨工业大学深圳研究生院 | 一种水下相机标定方法 |
| CN105698767A (zh) * | 2015-12-30 | 2016-06-22 | 哈尔滨工业大学深圳研究生院 | 一种基于视觉的水下测量方法 |
| CN105787997A (zh) * | 2016-03-27 | 2016-07-20 | 中国海洋大学 | 水下高精度三维重建装置及方法 |
-
2017
- 2017-08-16 CN CN201710703365.4A patent/CN107767420B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678742A (zh) * | 2015-12-29 | 2016-06-15 | 哈尔滨工业大学深圳研究生院 | 一种水下相机标定方法 |
| CN105698767A (zh) * | 2015-12-30 | 2016-06-22 | 哈尔滨工业大学深圳研究生院 | 一种基于视觉的水下测量方法 |
| CN105787997A (zh) * | 2016-03-27 | 2016-07-20 | 中国海洋大学 | 水下高精度三维重建装置及方法 |
Non-Patent Citations (3)
| Title |
|---|
| TALI TREIBITZ ET AL.: "Flat Refractive Geometry", 《IEEE》 * |
| XIDA CHEN ET AL.: "Two-View Camera Housing Parameters Calibration for Multi-Layer Flat Refractive Interface", 《IEEE》 * |
| 张强 等: "基于粒子群优化的水下成像系统标定", 《光子学报》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507242A (zh) * | 2017-08-16 | 2017-12-22 | 华中科技大学无锡研究院 | 一种基于光场模型的多层折射系统成像模型构建方法 |
| CN107507242B (zh) * | 2017-08-16 | 2021-02-26 | 华中科技大学无锡研究院 | 一种基于光场模型的多层折射系统成像模型构建方法 |
| CN109242908A (zh) * | 2018-07-12 | 2019-01-18 | 中国科学院自动化研究所 | 用于水下双目视觉测量系统的标定方法 |
| CN109242908B (zh) * | 2018-07-12 | 2021-08-03 | 中国科学院自动化研究所 | 用于水下双目视觉测量系统的标定方法 |
| CN109490251A (zh) * | 2018-10-26 | 2019-03-19 | 上海大学 | 基于光场多层折射模型的水下折射率自标定方法 |
| CN110533702A (zh) * | 2019-08-12 | 2019-12-03 | 上海大学 | 一种基于光场多层折射模型的水下双目视觉立体匹配方法 |
| CN110533702B (zh) * | 2019-08-12 | 2023-04-18 | 上海大学 | 一种基于光场多层折射模型的水下双目视觉立体匹配方法 |
| CN113592950B (zh) * | 2019-12-27 | 2023-06-16 | 深圳市瑞立视多媒体科技有限公司 | 基于光学动捕的大空间环境下多相机标定方法及相关设备 |
| CN113592950A (zh) * | 2019-12-27 | 2021-11-02 | 深圳市瑞立视多媒体科技有限公司 | 基于光学动捕的大空间环境下多相机标定方法及相关设备 |
| CN113744346B (zh) * | 2020-04-02 | 2023-06-23 | 深圳市瑞立视多媒体科技有限公司 | 大空间环境下边扫场边标定方法、装置、设备及存储介质 |
| CN113744346A (zh) * | 2020-04-02 | 2021-12-03 | 深圳市瑞立视多媒体科技有限公司 | 大空间环境下边扫场边标定方法、装置、设备及存储介质 |
| CN112419410A (zh) * | 2020-11-20 | 2021-02-26 | 北京航空航天大学 | 一种基于水下斯涅尔窗口边缘辨识的水平姿态确定方法 |
| CN113705388A (zh) * | 2021-08-13 | 2021-11-26 | 国网湖南省电力有限公司 | 基于摄像信息实时定位多人空间位置的方法及系统 |
| CN113705388B (zh) * | 2021-08-13 | 2024-01-12 | 国网湖南省电力有限公司 | 基于摄像信息实时定位多人空间位置的方法及系统 |
| CN117407636A (zh) * | 2023-12-13 | 2024-01-16 | 深圳大学 | 一种水下成像折射率动态修正方法 |
| CN117407636B (zh) * | 2023-12-13 | 2024-04-02 | 深圳大学 | 一种水下成像折射率动态修正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107767420B (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107767420A (zh) | 一种水下立体视觉系统的标定方法 | |
| Tang et al. | A precision analysis of camera distortion models | |
| CN108765328B (zh) | 一种高精度多特征平面模板及其畸变优化和标定方法 | |
| CN105678742B (zh) | 一种水下相机标定方法 | |
| Agrawal et al. | A theory of multi-layer flat refractive geometry | |
| CN104616292B (zh) | 基于全局单应矩阵的单目视觉测量方法 | |
| US9739603B2 (en) | Calibration device, calibration method, and non-transitory computer-readable recording medium | |
| US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
| CN101351823B (zh) | 用于产生三维形状数据的方法和用于产生三维形状数据的设备 | |
| CN107749979A (zh) | 一种投影机左右梯形校正方法 | |
| CN101577004B (zh) | 一种极线矫正方法、装置和系统 | |
| CN109405765A (zh) | 一种基于散斑结构光的高精度深度计算方法及系统 | |
| Jordt | Underwater 3D reconstruction based on physical models for refraction and underwater light propagation | |
| CN110345921B (zh) | 立体视场视觉测量及垂轴像差和轴向像差校正方法及系统 | |
| CN106982312A (zh) | 多光圈相机系统及其操作方法 | |
| CN106091984A (zh) | 一种基于线激光的三维点云数据获取方法 | |
| JPH10124658A (ja) | 神経回路網を利用したカメラの映像歪補正方法 | |
| CN101882306B (zh) | 一种表面凹凸物体照片的高精度拼接方法 | |
| CN106643563B (zh) | 一种桌面式大视场三维扫描装置及方法 | |
| Gu et al. | Three birds, one stone: Unified laser-based 3-D reconstruction across different media | |
| CN105716581B (zh) | 基于双介质摄影技术的水下物点坐标确定方法和装置 | |
| CN107680139A (zh) | 一种远心双目立体视觉测量系统的通用性标定方法 | |
| CN106846416A (zh) | 单机分束双目被动立体视觉精确重构与细分拟合方法 | |
| CN102156986A (zh) | 近红外摄像机的标定方法 | |
| Huang et al. | A single-shot-per-pose camera-projector calibration system for imperfect planar targets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180306 Assignee: Jiangsu Jihui Huake Intelligent Equipment Technology Co., Ltd. Assignor: Wuxi research institute of the Central China University of Science and Technology Contract record no.: X2019980000288 Denomination of invention: Underwater stereoscopic vision system calibration method License type: Common License Record date: 20191023 |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |