CN116977445A - 一种基于动态双目视觉的海洋柱桩姿态检测方法 - Google Patents

一种基于动态双目视觉的海洋柱桩姿态检测方法 Download PDF

Info

Publication number
CN116977445A
CN116977445A CN202310948014.5A CN202310948014A CN116977445A CN 116977445 A CN116977445 A CN 116977445A CN 202310948014 A CN202310948014 A CN 202310948014A CN 116977445 A CN116977445 A CN 116977445A
Authority
CN
China
Prior art keywords
camera
coordinate system
axis
ocean
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310948014.5A
Other languages
English (en)
Inventor
杨硕
李杏华
马鹏飞
隋海琛
黄银国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202310948014.5A priority Critical patent/CN116977445A/zh
Publication of CN116977445A publication Critical patent/CN116977445A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00—Measuring inclination, e.g. by clinometers, by levels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于动态双目视觉的海洋柱桩姿态检测方法，包括以下步骤：双目相机内参标定；第一相机坐标系与双轴倾角传感器坐标系标定；第一相机坐标系与世界坐标系静态标定；双目相机外参标定；第一相机和第二相机坐标系与世界坐标系的动态标定；第一相机和第二相机拍摄的海洋柱桩轴线方程提取：使用所拍摄海洋柱桩的图像，提取每张图像海洋柱桩两端的直线，将两条直线拟合成为一条直线，获取到相机像素坐标系海洋柱桩轴线的斜率与截距；海洋柱桩轴线分别与第一相机和第二相机的焦点形成平面方程的求取；海洋柱桩姿态信息的计算。

Description

一种基于动态双目视觉的海洋柱桩姿态检测方法
技术领域
本发明涉及机器视觉技术领域，具体是一种基于动态双目视觉的海洋柱桩姿态检测方法。
背景技术
海上风力资源丰富，风速较陆地更高且更稳定。海洋环境中的开阔水域为风力发电机组的安装提供了更好的条件，使其能够利用更强劲、持续的海风，从而实现大规模的风力发电。海洋柱桩是通过固定在海床上，为风力发电机组安全地运行提供稳定的支撑结构，并有效减少由于海洋环境变化而引起机械应力和振动的影响。准确检测海洋柱桩的姿态可以发现结构问题和潜在的结构破坏风险，采取相应的维修和加固措施，确保海洋结构物的安全性和可靠性。因此，海洋柱桩的姿态检测成为海洋风电工程的重点。
目前，海洋柱桩安装的测量方式主要依赖传统的人工安装倾角传感器，这存在着测量人员和设备落海的风险。非接触式的测量方法，如激光雷达等，容易受到天气变化的影响。由于海浪的干扰，传统的静态双目视觉测量方法无法满足测量条件的要求。
综上，针对当前测量方式效率低、自动化程度不高、人员劳动强度大等问题，提出了一种基于动态双目视觉的海洋柱桩姿态检测方法。
发明内容
本发明提供了一种基于动态双目视觉的海洋柱桩姿态检测方法。通过将传统的双目视觉与双轴倾角传感器有机结合，实现了对海洋柱桩姿态的准确检测，使得在海浪的动态冲击下仍能可靠运作。相比传统双目视觉需要张贴特征标志物的方法，该技术无需对海洋柱桩进行特殊处理，通过选取海洋柱桩特征线提取轴线，得到海洋柱桩与标准竖直轴之间的夹角，实现对于海洋柱桩的姿态检测。该方法确保了测量精度的情况下，提升了工作人员的安全性。技术方案如下：
一种基于动态双目视觉的海洋柱桩姿态检测方法，其技术方案包括以下步骤：
步骤(1)，双目相机内参标定：在标定场中，使用张正友棋盘格标定法，获得第一相机和第二相机的内参数与畸变系数；
步骤(2)，第一相机坐标系与双轴倾角传感器坐标系标定：在标定场中，将双轴倾角传感器与第一相机的位置进行固定；使用全站仪和第一相机分别提取公共视野中靶标的三维信息与像素信息，进行多次PnP标定，并记录下每次标定过程双轴倾角传感器角度输出；设双轴倾角传感器的X轴和Y轴输出角度为αi、βi，存在标准水平面XLOYL；设标准水平面XLOYL围绕XL轴旋转ωi，然后围绕YL轴旋转角度得到与当前双轴倾角坐标系平行的平面，令围绕YL轴旋转/>角度与双轴倾角传感器的X轴输出角度αi相等，得到如下角度转换关系：
基于上述角度转换关系，求解双轴倾角坐标系到第一相机坐标系的旋转矩阵Rsc；
步骤(3)，第一相机坐标系与世界坐标系静态标定：使船体与标准地面相对静止，将已经标定好位置关系的第一相机与双轴倾角传感器稳定地安装到船体上，并且在合适的位置安装好第二相机；建立世界坐标系OXWYWZW，世界坐标系的OZW轴始终与标准水平面垂直且竖直向上，OXW轴与两个相机中心的连线在标准水平面上的投影平行，OZW轴向量与OXW轴向量进行叉乘的方向即为OYW轴方向；
使用全站仪与第一相机分别提取公共视野靶标的三维点和像素点，以PnP标定的方式，计算出世界坐标系到第一相机坐标系之间的初始旋转矩阵、平移矩阵，记为Rwl_0、Twl_0，并且记录下此时双轴倾角传感器的角度X轴与Y轴的角度输出α0、β0，作为双轴倾角传感器的初始角度输出；根据步骤(2)角度转换关系，得到ω0、
步骤(4)，双目相机外参标定：使船体静止，在双目相机的公共视野之中拍摄多张靶标图像，求解出第一相机坐标系到第二相机坐标系的旋转矩阵R和平移矩阵T；
步骤(5)，第一相机和第二相机坐标系与世界坐标系的动态标定：调整船体平台的位置，将船体平台靠近海洋柱桩；对于每一次的双目相机拍摄，同时记录双轴倾角传感器角度输出，设i为双目相机的第i次拍摄，双轴倾角传感器的X轴和Y轴角度输出为αi、βi，i＞0，根据步骤(2)角度转换关系可得ωi、i＞0；结合步骤(3)中获得的初始角度输出求取的ω0、/>得到世界坐标系到第一相机坐标系的旋转矩阵Rwl_i、平移矩阵Twl_i，i＞0；再由步骤(4)获取的第一相机坐标系到第二相机坐标系的旋转矩阵R、平移矩阵T，可得世界坐标系到第二相机坐标系的旋转矩阵Rwr_i、平移矩阵Twr_i，i＞0；
步骤(6)，第一相机和第二相机拍摄的海洋柱桩轴线方程提取：使用步骤(5)中第一相机和第二相机拍摄海洋柱桩的图像，提取每张图像海洋柱桩两端的直线，将两条直线拟合成为一条直线，获取到相机像素坐标系海洋柱桩轴线的斜率与截距；
步骤(7)，海洋柱桩轴线分别与第一相机和第二相机的焦点形成平面方程的求取：使用步骤(6)获取的每个相机像素坐标系下海洋柱桩轴线斜率与截距，结合步骤(1)相机的内参数与步骤(5)世界坐标系到第一相机和第二相机坐标系的旋转矩阵、平移矩阵，求取在世界坐标系中海洋柱桩轴线与每个相机焦点形成平面方程；
步骤(8)，海洋柱桩姿态信息的计算：根据步骤(7)求解出的海洋柱桩的轴线方程，将海洋柱桩轴线分别与第一相机和第二相机的焦点构成平面的法向量进行叉乘，获得海洋柱桩轴线l在世界坐标系之中的向量；由轴线向量l获得轴线在世界坐标系之中的姿态。
进一步地，步骤(2)中，求解双轴倾角坐标系到第一相机坐标系的旋转矩阵Rsc方法如下：
设双轴倾角传感器的X轴和Y轴输出角度为αi、βi，存在标准水平面XLOYL；设标准水平面XLOYL围绕XL轴旋转ωi，然后围绕YL轴旋转角度得到与当前双轴倾角坐标系平行的平面，令围绕YL轴旋转/>角度与双轴倾角传感器的X轴输出角度αi相等，得到如下角度转换关系：
设全站仪坐标系到第一相机坐标系的旋转矩阵为Rqc_i，双轴倾角传感器坐标系到第一相机坐标系的旋转矩阵为Rsc；
设Rqc_i的逆矩阵则可得求取Rsc元素公式：
利用靶标将全站仪与第一相机进行PnP标定，得到全站仪坐标系到第一相机坐标系的旋转矩阵Rqc_i，并记录下每次双轴倾角传感器角度输出αi、βi，进而求解出双轴倾角坐标系到第一相机坐标系的旋转矩阵Rsc。
进一步地，步骤(5)中，设传感器坐标系之中的三维点为(xsi,ysi,zsi)，i＝0,1,2，……，其中，i＝0时，代表步骤(3)的静态标定状况下的传感器坐标系中三维点坐标；i＞0时，代表步骤(5)动态标定状况下，传感器坐标系中三维点坐标为双目相机的第i次拍摄时的传感器坐标系中三维点坐标；得到静态三维点(xs0,ys0,zs0)到动态三维点(xsi,ysi,zsi)的转换过程；
由旋转矩阵关系：
得到世界坐标系到第一相机坐标系的旋转矩阵为
结合步骤(4)可知，求解船体动态过程世界坐标系到第二相机坐标系的旋转矩阵Rwr_i＝RRwl_i、平移矩阵Twr_i＝T+RTwl_i。
进一步地，步骤(6)的方法如下：
设拍摄的一张相机图像中海洋柱桩两端的直线像素坐标系方程为
设两条直线的斜率分别为k1、k2与截距b1、b2，拟合直线的斜率与截距为k、b；由于两条相交直线的角平分线存在两条，提取海洋柱桩的轴线过程分为如下三种情况；
情况一：k1＝k2，两条直线不相交，则k＝k1＝k2，
情况二：k1≠k2且k1*k2>0，两条直线相交，交点为可知/>
情况三：k1≠k2且k1*k2≤0，两条直线相交，交点为可知/>
通过上述三种情况，可以得到每张图像之中拟合的海洋柱桩轴线方程v＝ku+b；记录海洋柱桩轴线在第一相机像素坐标系中的斜率kL与截距bL，在第二相机像素坐标系中的斜率kR与截距bR。
进一步，步骤(7)的方法如下：
设海洋柱桩轴线上的某一点的世界坐标为(Xw,Yw,Zw)，在第一相机像素坐标的成像为(u1,v1)，第一相机的内参矩阵为ML，可得如下关系：
进一步进行转换可以得知：
可得如下转化关系：
设第一相机坐标系所测海洋柱桩轴线上存在像素点(ua,va)、(ub,vb)，其对应的世界坐标系分别为(Xa,Ya,Za)、(Xb,Yb,Zb)，可知：
由第一相机像素坐标系可得斜率由第一相机像素坐标系下海洋柱桩轴线为v＝kLu+bL，可得
进一步进行变换可得
可知第一相机确定海洋柱桩的轴线所在世界坐标系中的平面方程为
同理，第二相机的内参矩阵为MR，可知
由其第二相机像素坐标系下海洋柱桩轴线为v＝kRu+bR，可知第二相机之中的确定海洋柱桩的轴线所在世界坐标系中平面方程为
综上，海洋柱桩轴线在世界坐标系中所在直线的一般方程为
进一步地，步骤(8)海洋柱桩姿态信息的计算方法如下：
根据步骤(7)求解出的海洋柱桩的轴线方程，将海洋柱桩轴线分别与第一相机和第二相机的焦点构成平面的法向量进行叉乘，获得海洋柱桩轴线在世界坐标系之中的轴向向量：
由轴线向量l得到轴线在世界坐标系之中的姿态：设轴线向量海洋柱桩轴线与世界坐标系中OZw轴之间的角度记为轴向角，由于海洋柱桩与世界坐标系中竖直轴OZw之间的角度θ≥0°，/>
本发明实现了对大型海洋柱桩的姿态信息进行检测，相比传统的柱桩姿态检测方法，具有高度自动化、降低人力劳动强度以及远距离无接触测量的特点。相对于传统的静态双目视觉检测方式，可以实现在动态双目测量、不用在贴放特征点情况下，便可以得到海洋柱桩姿态信息。
附图说明
图1为本发明实施的基于双目视觉的海洋柱桩姿态检测方法流程示意图；
图2为本发明双轴倾角传感器与相机固定装置示意图；
图3为本发明双轴倾角传感器与标准旋转角关系示意图；
图4为本发明双轴倾角传感器与相机标定装置示意图；
图5为本发明实施的相机外参标定示意图；
图6为本发明实施的海洋柱桩姿态视觉检测装置空间分布示意图；
图7为本发明实施的海洋柱桩在相机像素坐标系中成像示意图；
图8为本发明实施的海洋柱桩轴线在第一相机和第二相机成像过程示意图。
附图标记说明：1-相机；2-双轴倾角传感器与相机固定装置；3-双轴倾角传感器；4-全站仪；5-棋盘格标定板；6-第一相机；7-相机镜头；8-双轴倾角传感器；9-相机固定平台；10-双轴倾角传感器传输线；11-第一相机传输线；12-电脑主机；13-显示屏；14-全站仪；15-全站仪支架；16-第二相机；17-第二相机传输线接口；18-标靶；19-海洋柱桩；20-海洋柱桩边缘线；21-海洋柱桩轴线；22-第一相机焦点；23-海洋柱桩轴线第一相机成像；24-第二相机焦点；25-海洋柱桩轴线第二相机成像；
具体实施方式
如图1所示，本发明实施方式公开了一种基于动态双目视觉的海洋柱状姿态检测方法，结合附图对本发明进一步说明，参阅图1，包括以下步骤：
步骤(1)，双目相机内参标定：在标定场之中，双目相机分别拍摄一系列的棋盘格标定板的图片。通过捕获包含已知标定板的多个角度和位置下的图像，并运用相应的张正友棋盘格标定算法，计算相机的内参矩阵M和畸变系数D。
D＝[d1,d2,p1,p2,d3]
其中，为水平方向的像素尺寸，/>为竖直方向的像素尺寸，u0为水平方向上的主点坐标，v0为竖直方向上的主点坐标，f为相机焦距，d1、d2、d3为径向畸变系数，p1、p2为切向畸变系数。
在本次实施方案中，每个相机拍摄的棋盘格规格为9*11，黑白格宽度为30cm的棋盘格共计20张图像，得到的第一相机和第二相机的内参矩阵分别为
第一相机和第二相机镜头的畸变误差为
DL＝[-0.07794494245021506,0.0802940909720152,-0.0008260688651301911,-0.0001261240070349837,0.4251335594716272]
DR＝[-0.08499056488213746,0.2384806547288482,-0.0005699086674039354,0.0001310003886636932,-0.5062749242126027]
步骤(2)，第一相机坐标系与双轴倾角传感器坐标系标定：参阅图2装置，将第一相机与双轴倾角传感器以相对位置固定的方式结合到一起。2015年陈洋等人在光学学报发表的文章《视觉与倾角传感器组合相对位姿测量方法》中，提及一种将双轴倾角传感器的角度输出转化为特定旋转角的方式。如图3所示，设倾角传感器的X轴和Y轴输出角度为αi、βi，存在标准水平面XLOYL。设标准水平面XLOYL围绕XL轴旋转ωi，然后围绕YL轴旋转角度可以得到与当前双轴倾角坐标系平行的平面。令围绕YL轴旋转/>角度与双轴倾角传感器的X轴输出角度αi相等，可以得到如下角度转换关系
可以得到如下角度转换关系
《视觉与倾角传感器组合相对位姿测量方法》文章中，提及一种标定双轴倾角坐标系与相机坐标系旋转矩阵的方法。设全站仪坐标系到第一相机坐标系的旋转矩阵为Rqc_i，双轴倾角坐标系到第一相机坐标系的旋转矩阵为Rsc。
设Rqc_i的逆矩阵则可得求取Rsc元素公式
在第一相机与全站仪的公共视场之中安放多个靶标，第一相机提取出靶标的像素信息，使用全站仪提取出每个靶标在世界坐标系之中的三维信息，使用PnP标定算法求取全站仪坐标系到第一相机坐标系的旋转矩阵Rqc_i，并记录下每次双轴倾角传感器角度输出αi、βi，可以求解出双轴倾角坐标系到第一相机坐标系的旋转矩阵Rsc。
在本次实施方案中，使用装置参阅图4，使用PnP标定法得到全站仪坐标系到第一相机坐标系的旋转矩阵与双轴倾角传感器的输出角度，本次实验进行了三次测量得到旋转矩阵与双轴倾角传感器输出角度分别为
进而得知双轴倾角坐标系到第一相机坐标系的旋转矩阵为
步骤(3)，第一相机坐标系与世界坐标系静态标定：参阅图5，船体靠近岸边，使船体与标准水平面保持相对静止状态。将步骤(2)已经标定好的第一相机与双轴倾角传感器以及固定装置整体稳定地安装到船体上，并在适当的位置稳定安装好第二相机。建立世界坐标系OXWYWZW，世界坐标系的OZW轴始终与标准水平面垂直且竖直向上，OXW轴与两个相机中心的连线在标准水平面上的投影平行，OZW轴向量与OXW轴向量进行叉乘的方向即为OYW轴方向。
利用第一相机、全站仪和标靶进行PnP标定，得到世界坐标系转换到第一相机坐标系的旋转矩阵、平移矩阵，记为Rwl_0、Twl_0，并且记录下此时双轴倾角传感器的角度X轴与Y轴的角度输出α0、β0，作为双轴倾角传感器的初始角度输出；根据步骤(2)角度转换关系，得到ω0、
在本次实施方案中，世界坐标系到第一相机坐标系之间的旋转矩阵、平移矩阵为
同时记录下此时双轴倾角传感器的X轴与Y轴的输出角度
步骤(4)，双目相机外参标定：参阅图5，船体平台静止时，第一相机和第二相机同时捕捉岸上的靶标图像，提取靶标像素点信息，通过精确计算和标定，获取第一相机坐标系到第二相机坐标系的旋转矩阵R和平移矩阵T。
在本次实施方案中，双目相机公共视野同时拍摄标定靶标图像共计40张，双目标定得到第一相机坐标系到第二相机坐标系的旋转矩阵、平移矩阵为
步骤(5)，第一相机和第二相机坐标系与世界坐标系的动态标定：参阅图6，调整船体平台的位置，将船体平台靠近海洋柱桩。由于海浪的冲击等，船体是实时动态的。对于每一次的双目相机拍摄，同时记录双轴倾角传感器角度输出，设i为双目相机的第i次拍摄，双轴倾角传感器的X轴和Y轴角度输出为αi、βi，i＞0，根据步骤(2)角度转换关系可得ωi、结合步骤(3)中获得的初始角度输出求取的ω0、/>得到世界坐标系到第一相机坐标系的旋转矩阵Rwl_i、平移矩阵Twl_i，i＞0；再由步骤(4)获取的第一相机坐标系到第二相机坐标系的旋转矩阵R、平移矩阵T，可得世界坐标系到第二相机坐标系的旋转矩阵Rwr_i、平移矩阵Twr_i，i＞0。
设传感器坐标系之中的三维点为(xsi,ysi,zsi)，i＝0,1,2，……，其中，i＝0时，代表步骤(3)的静态标定状况下的传感器坐标系中三维点坐标，i＞0时，代表步骤(5)动态标定状况下，传感器坐标系中三维点坐标为双目相机的第i次拍摄时的传感器坐标系中三维点坐标。设在世界坐标系之中的三维点为(Xw,Yw,Zw)；步骤(3)中船体相对水平面静止时刻，由初始双轴倾角传感器的角度X轴与Y轴的角度输出值获取得到ω0、则
船体平台靠近海洋柱桩，则
船体相对于水平面静止到船体平台靠近海洋柱桩后，前、后两个状态双轴倾角传感器坐标系的转换关系
船体平台靠近海洋柱桩后，传感器坐标系到世界坐标系旋转过程为
从而得到世界坐标系到第一相机坐标系的旋转矩阵为
结合步骤(4)可知，根据上述信息求解船体动态过程世界坐标系到第二相机坐标系的旋转矩阵Rwr_i＝RRwl_i、平移矩阵Twr_i＝T+RTwl_i。
在本次实施方案之中，以双轴倾角传感器的角度为例。
此时世界坐标系到第一相机坐标系旋转矩阵、平移矩阵：
世界坐标系到第二相机坐标系旋转矩阵、平移矩阵：
步骤(6)，第一相机和第二相机拍摄的海洋柱桩轴线方程提取：用步骤(5)中第一相机和第二相机拍摄海洋柱桩的图像。对第一相机和第二相机所拍摄的海洋柱桩图像进行Canny边缘检测，使用霍夫直线检测方式检测图像之中直线。参阅图7，选取图像之中海洋柱桩两端的边缘直线，将两条直线拟合成为一条直线，获取到相机像素坐标系海洋柱桩轴线的斜率与截距。
设拍摄的一张相机图像中海洋柱桩两端的直线像素坐标系方程为
设两条直线的斜率分别为k1、k2与截距b1、b2，拟合直线的斜率与截距为k、b。由于两条相交直线的角平分线存在两条，提取海洋柱桩的轴线过程分为如下三种情况。
情况一：k1＝k2，两条直线不相交，则k＝k1＝k2，
情况二：k1≠k2且k1*k2>0，两条直线相交，交点为可知/>
情况三：k1≠k2且k1*k2≤0，两条直线相交，交点为可知/>
通过上述三种情况，可以得到每张图像之中拟合的海洋柱桩轴线方程v＝ku+b。记录海洋柱桩轴线在第一相机像素坐标系中的斜率kL与截距bL，在第二相机像素坐标系中的斜率kR与截距bR。
在本次实施方案之中，海洋柱桩轴线在第一相机像素坐标系和第二相机像素坐标系中的斜率与截距为
步骤(7)，海洋柱桩轴线分别与第一相机和第二相机的焦点形成平面方程的求取：参阅图8，使用步骤(6)获取的每个相机像素坐标系下海洋柱桩轴线斜率与截距，结合步骤(1)相机的内参数与步骤(5)世界坐标系到第一相机和第二相机坐标系的旋转矩阵、平移矩阵，求取在世界坐标系中海洋柱桩轴线与每个相机焦点形成平面方程。
设海洋柱桩轴线上的某一点的世界坐标为(Xw,Yw,Zw)，在第一相机像素坐标的成像为(u1,v1)，第一相机的内参矩阵为ML，第一相机的尺度因子s1，可得如下关系：
进一步进行转换可以得知：
可得如下转化关系：
设第一相机坐标系所测海洋柱桩轴线上存在像素点(ua,va)、(ub,vb)，其对应的世界坐标系分别为(Xa,Ya,Za)、(Xb,Yb,Zb)，可知：
由第一相机像素坐标系可得斜率由第一相机像素坐标系下海洋柱桩轴线为v＝kLu+bL，可得
进一步进行变换可得
可知第一相机确定海洋柱桩的轴线所在世界坐标系中的平面方程为
同理，第二相机的内参矩阵为MR，可知
由其第二相机像素坐标系下海洋柱桩轴线为v＝kRu+bR，可知第二相机之中的确定海洋柱桩的轴线所在世界坐标系中平面方程为
综上可知，海洋柱桩轴线在世界坐标系中所在直线的一般方程为
在本次实施方案之中，海洋柱桩轴线在世界坐标系中所在直线的一般方程为
步骤(8)，海洋柱桩姿态信息的计算：根据步骤(7)求解出的海洋柱桩的轴线方程，将第一相机和第二相机的焦点分别与海洋柱桩轴线构成平面的法向量进行叉乘，即可获得海洋柱桩轴线l在世界坐标系之中的向量。
由步骤(7)第一相机和第二相机的焦点分别与海洋柱桩轴线构成平面的法向量为
可知，海洋柱桩轴线l在世界坐标系之中的向量为
由轴线向量l可以推导得出轴线在世界坐标系之中的姿态。海洋柱桩轴线与世界坐标系中OZw轴之间的角度记为轴向角，由于海洋柱桩与世界坐标系中竖直轴OZw之间的角度θ≥0°，根据以上信息，便可以知道海洋柱桩的倾斜情况，进而调节海洋柱桩的姿态达到标准程度。
在本次实施方案之中，海洋柱桩轴线在世界坐标系轴线向量为
此时海洋柱桩的轴向角度为4.31594°。在本次实施方案之中，经过多次测试不同角度的柱桩轴向角度，误差控制在±0.3°以内，满足精度的要求。

Claims (6)

1.一种基于动态双目视觉的海洋柱桩姿态检测方法，其技术方案包括以下步骤：
步骤(1)，双目相机内参标定：在标定场中，使用张正友棋盘格标定法，获得第一相机和第二相机的内参数与畸变系数；
步骤(2)，第一相机坐标系与双轴倾角传感器坐标系标定：在标定场中，将双轴倾角传感器与第一相机的位置进行固定；使用全站仪和第一相机分别提取公共视野中靶标的三维信息与像素信息，进行多次PnP标定，并记录下每次标定过程双轴倾角传感器角度输出；设双轴倾角传感器的X轴和Y轴输出角度为αi、βi，存在标准水平面XLOYL；设标准水平面XLOYL围绕XL轴旋转ωi，然后围绕YL轴旋转角度得到与当前双轴倾角坐标系平行的平面，令围绕YL轴旋转/>角度与双轴倾角传感器的X轴输出角度αi相等，得到如下角度转换关系：
基于上述角度转换关系，求解双轴倾角坐标系到第一相机坐标系的旋转矩阵Rsc；
步骤(3)，第一相机坐标系与世界坐标系静态标定：使船体与标准地面相对静止，将已经标定好位置关系的第一相机与双轴倾角传感器稳定地安装到船体上，并且在合适的位置安装好第二相机；建立世界坐标系OXWYWZW，世界坐标系的OZW轴始终与标准水平面垂直且竖直向上，OXW轴与两个相机中心的连线在标准水平面上的投影平行，OZW轴向量与OXW轴向量进行叉乘的方向即为OYW轴方向；
使用全站仪与第一相机分别提取公共视野靶标的三维点和像素点，以PnP标定的方式，计算出世界坐标系到第一相机坐标系之间的初始旋转矩阵、平移矩阵，记为Rwl_0、Twl_0，并且记录下此时双轴倾角传感器的角度X轴与Y轴的角度输出α0、β0，作为双轴倾角传感器的初始角度输出；根据步骤(2)角度转换关系，得到ω0、
步骤(4)，双目相机外参标定：使船体静止，在双目相机的公共视野之中拍摄多张靶标图像，求解出第一相机坐标系到第二相机坐标系的旋转矩阵R和平移矩阵T；
步骤(5)，第一相机和第二相机坐标系与世界坐标系的动态标定：调整船体平台的位置，将船体平台靠近海洋柱桩；对于每一次的双目相机拍摄，同时记录双轴倾角传感器角度输出，设i为双目相机的第i次拍摄，双轴倾角传感器的X轴和Y轴角度输出为αi、βi，i＞0，根据步骤(2)角度转换关系可得ωi、i＞0；结合步骤(3)中获得的初始角度输出求取的ω0、得到世界坐标系到第一相机坐标系的旋转矩阵Rwl_i、平移矩阵Twl_i，i＞0；再由步骤(4)获取的第一相机坐标系到第二相机坐标系的旋转矩阵R、平移矩阵T，可得世界坐标系到第二相机坐标系的旋转矩阵Rwr_i、平移矩阵Twr_i，i＞0；
步骤(6)，第一相机和第二相机拍摄的海洋柱桩轴线方程提取：使用步骤(5)中第一相机和第二相机拍摄海洋柱桩的图像，提取每张图像海洋柱桩两端的直线，将两条直线拟合成为一条直线，获取到相机像素坐标系海洋柱桩轴线的斜率与截距；
步骤(7)，海洋柱桩轴线分别与第一相机和第二相机的焦点形成平面方程的求取：使用步骤(6)获取的每个相机像素坐标系下海洋柱桩轴线斜率与截距，结合步骤(1)相机的内参数与步骤(5)世界坐标系到第一相机和第二相机坐标系的旋转矩阵、平移矩阵，求取在世界坐标系中海洋柱桩轴线与每个相机焦点形成平面方程；
步骤(8)，海洋柱桩姿态信息的计算：根据步骤(7)求解出的海洋柱桩的轴线方程，将海洋柱桩轴线分别与第一相机和第二相机的焦点构成平面的法向量进行叉乘，获得海洋柱桩轴线l在世界坐标系之中的向量；由轴线向量l获得轴线在世界坐标系之中的姿态。
2.根据权利要求1所述的海洋柱桩姿态检测方法，其特征在于，步骤(2)中，求解双轴倾角坐标系到第一相机坐标系的旋转矩阵Rsc方法如下：
设双轴倾角传感器的X轴和Y轴输出角度为αi、βi，存在标准水平面XLOYL；设标准水平面XLOYL围绕XL轴旋转ωi，然后围绕YL轴旋转角度得到与当前双轴倾角坐标系平行的平面，令围绕YL轴旋转/>角度与双轴倾角传感器的X轴输出角度αi相等，得到如下角度转换关系：
设全站仪坐标系到第一相机坐标系的旋转矩阵为Rqc_i，双轴倾角传感器坐标系到第一相机坐标系的旋转矩阵为Rsc；
设Rqc_i的逆矩阵则可得求取Rsc元素公式：
利用靶标将全站仪与第一相机进行PnP标定，得到全站仪坐标系到第一相机坐标系的旋转矩阵Rqc_i，并记录下每次双轴倾角传感器角度输出αi、βi，进而求解出双轴倾角坐标系到第一相机坐标系的旋转矩阵Rsc。
3.根据权利要求1所述的海洋柱桩姿态检测方法，其特征在于，步骤(5)中，设传感器坐标系之中的三维点为(xsi,ysi,zsi)，i＝0,1,2，……，其中，i＝0时，代表步骤(3)的静态标定状况下的传感器坐标系中三维点坐标；i＞0时，代表步骤(5)动态标定状况下，传感器坐标系中三维点坐标为双目相机的第i次拍摄时的传感器坐标系中三维点坐标；得到静态三维点(xs0,ys0,zs0)到动态三维点(xsi,ysi,zsi)的转换过程；
由旋转矩阵关系：
得到世界坐标系到第一相机坐标系的旋转矩阵为
结合步骤(4)可知，求解船体动态过程世界坐标系到第二相机坐标系的旋转矩阵Rwr_i＝RRwl_i、平移矩阵Twr_i＝T+RTwl_i。
4.根据权利要求1所述的海洋柱桩姿态检测方法，其特征在于，步骤(6)的方法如下：
设拍摄的一张相机图像中海洋柱桩两端的直线像素坐标系方程为
设两条直线的斜率分别为k1、k2与截距b1、b2，拟合直线的斜率与截距为k、b；由于两条相交直线的角平分线存在两条，提取海洋柱桩的轴线过程分为如下三种情况；
情况一：k1＝k2，两条直线不相交，则k＝k1＝k2，
情况二：k1≠k2且k1*k2>0，两条直线相交，交点为可知/>
情况三：k1≠k2且k1*k2≤0，两条直线相交，交点为可知/>
通过上述三种情况，可以得到每张图像之中拟合的海洋柱桩轴线方程v＝ku+b；记录海洋柱桩轴线在第一相机像素坐标系中的斜率kL与截距bL，在第二相机像素坐标系中的斜率kR与截距bR。
5.根据权利要求1所述的海洋柱桩姿态检测方法，其特征在于，步骤(7)的方法如下：
设海洋柱桩轴线上的某一点的世界坐标为(Xw,Yw,Zw)，在第一相机像素坐标的成像为(u1,v1)，第一相机的内参矩阵为ML，第一相机的尺度因子为s1，可得如下关系：
进一步进行转换可以得知：
可得如下转化关系：
设第一相机坐标系所测海洋柱桩轴线上存在像素点(ua,va)、(ub,vb)，其对应的世界坐标系分别为(Xa,Ya,Za)、(Xb,Yb,Zb)，可知：
由第一相机像素坐标系可得斜率由第一相机像素坐标系下海洋柱桩轴线为v＝kLu+bL，可得
进一步进行变换可得
可知第一相机确定海洋柱桩的轴线所在世界坐标系中的平面方程为
同理，第二相机的内参矩阵为MR，可知
由其第二相机像素坐标系下海洋柱桩轴线为v＝kRu+bR，可知第二相机之中的确定海洋柱桩的轴线所在世界坐标系中平面方程为
综上，海洋柱桩轴线在世界坐标系中所在直线的一般方程为
6.根据权利要求1所述的海洋柱桩姿态检测方法，其特征在于，步骤(8)海洋柱桩姿态信息的计算方法如下：
根据步骤(7)求解出的海洋柱桩的轴线方程，将海洋柱桩轴线分别与第一相机和第二相机的焦点构成平面的法向量进行叉乘，获得海洋柱桩轴线在世界坐标系之中的轴向向量：
由轴线向量l得到轴线在世界坐标系之中的姿态：设轴线向量海洋柱桩轴线与世界坐标系中OZw轴之间的角度记为轴向角，由于海洋柱桩与世界坐标系中竖直轴OZw之间的角度θ≥0°，/>
CN202310948014.5A 2023-07-31 2023-07-31 一种基于动态双目视觉的海洋柱桩姿态检测方法 Pending CN116977445A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310948014.5A CN116977445A (zh) 2023-07-31 2023-07-31 一种基于动态双目视觉的海洋柱桩姿态检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310948014.5A CN116977445A (zh) 2023-07-31 2023-07-31 一种基于动态双目视觉的海洋柱桩姿态检测方法

Publications (1)

Publication Number Publication Date
CN116977445A true CN116977445A (zh) 2023-10-31

Family

ID=88470909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310948014.5A Pending CN116977445A (zh) 2023-07-31 2023-07-31 一种基于动态双目视觉的海洋柱桩姿态检测方法

Country Status (1)

Country Link
CN (1) CN116977445A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117989992A (zh) * 2024-02-01 2024-05-07 中交第三航务工程局有限公司 一种大直径海上风电管桩半径大小的测量方法
CN118442973A (zh) * 2024-07-05 2024-08-06 天津水运工程勘察设计院有限公司 基于双目视觉靶标自识别跟踪的海上导管架施工定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117989992A (zh) * 2024-02-01 2024-05-07 中交第三航务工程局有限公司 一种大直径海上风电管桩半径大小的测量方法
CN118442973A (zh) * 2024-07-05 2024-08-06 天津水运工程勘察设计院有限公司 基于双目视觉靶标自识别跟踪的海上导管架施工定位方法

Similar Documents

Publication Publication Date Title
CN109035320B (zh) 基于单目视觉的深度提取方法
CN109146980A (zh) 基于单目视觉的优化的深度提取和被动测距方法
CN102243323B (zh) 基于视频探测的岩质边坡稳定性分析方法
CN110146030A (zh) 基于棋盘格标志法的边坡表面变形监测系统和方法
CN102096923A (zh) 鱼眼标定方法和装置
CN113240747B (zh) 一种基于计算机视觉的户外结构振动位移自动化监测方法
CN116977445A (zh) 一种基于动态双目视觉的海洋柱桩姿态检测方法
CN110807815B (zh) 基于两组相互正交平行线对应消失点的快速水下标定方法
US20230105991A1 (en) Method of imaging a wind turbine rotor blade
CN111260736B (zh) 一种空间相机内参在轨实时标定方法
CN108269234A (zh) 一种全景相机镜头姿态估计方法及全景相机
CN114136544A (zh) 基于高速视频测量的水下振动模拟测试系统及测试方法
CN114463444A (zh) 非接触式相对位姿检测方法及系统
CN112833791B (zh) 一种自旋转线结构光扫描系统时空标定方法
CN114119670A (zh) 一种基于智能手机获取河流视频的流速测量方法
Firoozfam et al. A multi-camera conical imaging system for robust 3D motion estimation, positioning and mapping from UAVs
CN111080718A (zh) 一种用于720度环境探测的摄像模组标定方法及设备
CN206480054U (zh) 一种大视角的深度相机拼接装置
O'Byrne et al. Evaluation of camera calibration techniques for quantifying deterioration
Mullenders Design of a motion monitoring system for unmanned offshore topside installation based on real-time visual object tracking using drones and fixed cameras on an sscv
CN114910241B (zh) 一种用于风洞模型姿态测量的风洞坐标系转换方法
CN118334099B (zh) 一种开放海面场景海上目标深度估计方法及其系统
CN116147583B (zh) 基于类星图匹配的乏燃料水池运维设备定位方法及系统
Syafiq et al. 3D INDOOR CORRIDOR MAPPING WITH CALIBRATED ROPS OF A MULTI-FISHEYE CAMERA-RIG
Bodenmann et al. Visual mapping of internal pipe walls using sparse features for application on board Autonomous Underwater Vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination