CN118442973A - 基于双目视觉靶标自识别跟踪的海上导管架施工定位方法 - Google Patents
基于双目视觉靶标自识别跟踪的海上导管架施工定位方法 Download PDFInfo
- Publication number
- CN118442973A CN118442973A CN202410896220.0A CN202410896220A CN118442973A CN 118442973 A CN118442973 A CN 118442973A CN 202410896220 A CN202410896220 A CN 202410896220A CN 118442973 A CN118442973 A CN 118442973A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- positioning
- jacket
- target
- ship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000010276 construction Methods 0.000 title claims abstract description 63
- 239000011159 matrix material Substances 0.000 claims abstract description 44
- 238000013519 translation Methods 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 19
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 5
- 238000009434 installation Methods 0.000 description 13
- 238000005259 measurement Methods 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003345 natural gas Substances 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Landscapes
- Navigation (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
本发明提出了一种基于双目视觉靶标自识别跟踪的海上导管架施工定位方法。该方法通过准备左、右相机并建立相机坐标系,固定N个定位靶标到导管架上,确定靶标在导管架坐标系中的位置偏移量。在施工船上设置GNSS定位定向仪和全站仪,计算船体坐标系到大地坐标系的旋转矩阵和平移矩阵。利用自定义靶标识别检测算法结合Staple算法,实时检测、跟踪导管架上的N个定位靶标,使用最小二乘法实时计算靶标在船体坐标系下的三维信息,并转化到大地坐标系。根据N个定位靶标的三维信息和位置偏移量,计算得到导管架的位置和艏向数据。该方法实现了定位自动化、精准度高、工作效率提高和安全风险降低的效果。
Description
技术领域
本发明属于海洋工程技术领域,尤其涉及一种基于双目视觉靶标自识别跟踪的海上导管架施工定位方法。
背景技术
海洋中蕴藏着丰富的资源,包括石油、天然气、风能和潮汐能等。合理开发和利用海上能源,需要稳固的平台支撑结构。海上导管架作为一种常见的平台支撑结构,能够提供稳定的支撑和抗风浪能力。它利用三桩基础、四桩基础、吸力桶基础等形式,将自身固定在海底。这一设计使得海上导管架能够在恶劣的海洋环境中保持稳定,减少平台摇晃和倾斜,从而提供安全的工作环境。随着海洋开发向深水化、大型化方向发展,海上导管架将越来越多地被采用。
在海洋开发中,导管架安装施工过程中的准确定位是非常关键的,定位的准确情况直接影响到后续水下生产系统的安装和使用。导管架是由中空的桩柱和连接桩柱的纵横杆组成,其上面搭接固定式平台,在安置过程中,导管架先在陆地预制好后,拖运到海上安装就位。一般情况下,浅水导管架用立式吊装下水安装方法;深水导管架重量大,用滑移下水安装方法;特定条件下使用平吊下水漂浮,扶正安装方法。在导管架的安装施工过程中,需要实时进行导管架的位置和艏向测量。
目前海上导管架施工过程中的位置、艏向测量主要采用全站仪结合GNSS定位定向仪的方式来进行监测。一种方式是导管架下水距离海底仅有数米时,定位人员携带设备乘坐交通艇登上导管架,将GNSS定位定向仪安装到导管架上,将数据通过长线缆或无线通讯等形式传输到施工船舶,增加了工作时间和安全风险,导致对作业人员的素质有较高的要求。另一种方式是先采用全站仪获取导管架在施工船体坐标系下的三维位置,然后通过船舶上的GNSS定位定向仪将船体坐标系下的坐标转换到大地坐标系。全站仪观测法因为其测量原理过程相对较为简单,而且较为容易控制精度,是目前较为通用的一种方法,但是全站仪只能在测量平台(施工船舶)较为平稳的条件下作业,对作业窗口要求比较高,同时需要多人多台全站仪同步观测,极大限制了作业的效率。
可以看出,传统的海上导管架施工定位方法存在以下不足:首先,人工操作需求高。目前的定位方法通常涉及定位人员登上导管架安装设备,然后将GNSS定位定向仪安装到导管架上。这一过程增加了工作时间和安全风险,对作业人员的素质要求较高。定位人员需要在海上环境中操作设备,需要有足够的技能和经验,以确保安全和准确性。此外,由于需要定位人员登上导管架,操作过程中还存在高处作业的风险,增加了作业的危险性和不确定性。其次,操作复杂。传统的全站仪观测法需要在施工船舶相对平稳的条件下进行操作。这要求船舶在海上保持相对稳定,这在海洋环境中并不总是可行的。海上的天气和海洋条件可能会导致船舶的晃动和摇摆,影响全站仪的测量精度。此外,全站仪观测法还需要多人多台全站仪同步观测,这限制了作业的效率。需要协调和同步多台设备的工作,增加了操作的复杂性和难度。
综上所述,传统的海上导管架施工定位方法存在着人工操作需求高、工作效率低、安全风险大的问题。针对这些问题,需要提出一种更为高效、精准且安全的定位方法,以满足海上导管架施工的需求。
发明内容
针对现有技术存在的问题,本发明提供了一种解决传统海上导管架施工定位方法存在的人工操作需求高和操作复杂的问题的基于双目视觉靶标自识别跟踪的海上导管架施工定位方法。
本发明是这样实现的,一种基于双目视觉靶标自识别跟踪的海上导管架施工定位方法,其特征在于包括以下步骤:
S1、准备左、右相机并获取左、右相机的内参数,分别建立左、右相机坐标系;
S2、建立导管架坐标系,将N个定位靶标固定到导管架上,确定每个定位靶标在导管架坐标系中的位置偏移量;
S3、建立船体坐标系,在施工船上设置GNSS定位定向仪和全站仪,确定GNSS定位定向仪和全站仪在船体坐标系中的位置偏移量及艏向偏移量,将左、右相机固定安装于施工船靠近导管架就位位置一侧,相机距离导管架30-50m,左、右相机视场夹角为70°-110°;
S4、在左、右相机前方的公共视角内布置一个移动靶标,分别拍摄N次移动靶标在不同位置的图像,利用全站仪记录下所述移动靶标在船体坐标系下的三维信息,得到船体坐标系到左、右相机坐标系的旋转矩阵和平移矩阵;
S5、利用自定义靶标识别检测算法,提取位于导管架上的定位靶标在左、右相机之中的像素信息;并使用Staple算法实时跟踪定位靶标;
S6、使用最小二乘法,实时计算定位靶标在施工船的船体坐标系下的三维信息;
S7、将定位靶标在船体坐标系中的三维信息转化为大地坐标系中的三维信息;
S8、根据定位靶标的三维信息、位置偏移量,得到导管架的实时大地坐标和艏向。
在上述技术方案中,优选的,所述定位靶标为中心为黑白角点的Aruco定位靶标;通过Aruco定位靶标检测结合黑白角点识别算法对Aruco定位靶标的中心定位,获取每个Aruco定位靶标的中心角点位置,使用Staple算法实时跟踪Aruco定位靶标的黑白中心角点,使用最小二乘法实时计算定位靶标的中心的黑白角点在施工船的船体坐标系下的三维信息,将所述定位靶标的中心的黑白角点在船体坐标系中的三维信息转化为大地坐标系中的三维信息。
在上述技术方案中,优选的,使用棋盘格标定法分别获得左、右相机的内参数,相机的内参矩阵K如下所示:
表示方向和方向一个像素分别占用长度单位的大小,表示相机的主点坐标,表示相机焦距的大小,设左、右相机的内参矩阵分别为。
在上述技术方案中,优选的,将10个Aruco定位靶标均匀分布固定在导管架的各个桩腿上;建立以导管架中心为坐标原点、以导管架主方向为纵轴、导管架右舷方向为横轴的导管架坐标系;建立以船尾中心为坐标原点、以施工船的船头方向为纵轴、以施工船的右舷为横轴的船体坐标系。
在上述技术方案中,优选的,分别在左、右相机前拍摄6次移动靶标在不同位置的图像作为数据,使用直接线性变换标定算法,得到船体坐标系到左、右相机坐标系的旋转矩阵、平移矩阵;
设移动靶标中心在船体坐标系中的位置由全站仪测得:
,
移动靶标中心在相机坐标系之中的同步投影点为:
,
尺度因子,求解其相机的外旋转矩阵、平移矩阵;
过程为:
,
整理得:
,
式中,m 11 -m 34为空间坐标系与像素坐标系之间的关系系数;
根据线性求解方程得到船体坐标系到相机坐标系的旋转矩阵、平移矩阵。
在上述技术方案中,优选的,所述定位靶标中心的黑白角点的检测采用两种高斯核滤波器对图像进行处理,分别是与图像平行和与图像成45°的滤波器对图像中像素进行处理,每个滤波器设有四个高斯核,分别为,对其进行卷积处理得到,其中,
,
其中,其中,和分别代表原型i的两种角点形式的可能性,为卷积处理的求和平均,是判断像素点是否为角点的概率,当大于设定的阈值时,将其视为黑白角点中心。
在上述技术方案中,优选的,设有10个定位靶标,定位靶标在船体坐标系下的三维信息为:
,
得到如下公式:
,
将上式简化为:
,
其中,A与B都是为已知量,则式中X的最小二乘解为:
,
得到各个定位靶标的中心点在船体坐标系下的三维坐标。
在上述技术方案中,优选的,实时获取GNSS定位定向仪的两个定位天线帽GNSS1和GNSS2在大地坐标系中的三维信息,同时代入GNSS定位定向仪在船体坐标系中的偏移量,通过布尔莎公式进行平移和旋转,将定位靶标的黑白角点中心点在船体坐标系下的三维信息修正到大地坐标系;
布尔莎公式表示为:
,
进一步表示:
,
其中,是已知可进行求解的,为船体坐标系到大地坐标系的平移矩阵,为船体坐标系到大地坐标系的旋转角;采用最小二乘法实时求解得到船体坐标系到大地坐标系的平移矩阵与旋转角,得到船体坐标系之中的定位靶标在大地坐标系中的实时坐标数据。
优点和效果
本发明基于双目视觉立体成像原理,利用双目相机同时提取海上导管架上10个定位靶标中心的黑白像素,通过船体坐标系到双目相机的旋转矩阵与平移矩阵,实现靶标中心在船体坐标系中的三维坐标的精确计算。随后,利用GNSS定位定向仪将船体坐标系实时转换到大地坐标系,进而得到靶标中心在大地坐标系中的三维坐标,从而实现了海上导管架的精确定位。
通过该方法,可以实时准确地获取导管架的三维坐标和艏向数据,从而指导海上导管架的安装施工作业。本方法选用Aruco靶标ID作为靶标标识,利用黑白中心角点识别检测提取算法和Staple靶标追踪算法,实现了对靶标位置的自动化连续求取。相比传统方法,本发明具有以下优点和效果:
1、自动化定位:采用双目视觉靶标自动识别跟踪技术,实现了对海上导管架位置的自动化定位,不再需要定位人员登上导管架进行操作,测量开始后不需要人工参与和后处理计算,大大降低了人工操作的需求,提高了施工效率。
2、精准度高:通过双目相机获取的靶标中心黑白像素,结合船体坐标系到双目相机的旋转矩阵与平移矩阵,以及GNSS定位定向仪将船体坐标系转换到大地坐标系的精确计算,实现了对导管架位置的高精度测量,确保了施工的准确定位。
3、工作效率提高:自动化的靶标识别与跟踪技术大大提高了海上导管架安装施工的工作效率。相比传统的全站仪观测法,本方法对施工船舶的平稳条件要求较低,也不需要多人多台全站仪同步观测,降低了对作业窗口的要求,提高了作业的效率。
4、安全风险降低:本方法不再需要定位人员登上导管架进行操作,减少了高处作业的风险,同时也降低了作业中的不确定性,提高了施工的安全性。
综上所述,基于双目视觉靶标自识别跟踪的海上导管架施工定位方法,通过自动化定位、提高精准度、提高工作效率和降低安全风险等方面的优点和效果,为海上导管架的安装施工提供了一种更为高效、精准且安全的定位方法。
附图说明
图1为本发明所述的定位方法流程示意图;
图2为本发明实施的设备装置布置分布示意图;
图3为本发明实施的定位系统设备连接示意图;
图4为本发明实施的带有Aruco定位靶标的海上导管架的立体图;
图5为本发明实施的带有Aruco定位靶标的海上导管架俯视示意图;
图6为本发明使用的Aruco定位靶标示意图;
图7为本发明使用的中心黑白角点示意图;
图8为本发明实施的Aruco定位靶标中心黑白角点左、右相机成像示意图;
图9为本发明实施的船体坐标系到大地坐标系的转换示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为解决传统海上导管架施工定位方法存在的人工操作需求高和操作复杂的问题,本发明特提供一种基于双目视觉靶标自识别跟踪的海上导管架施工定位方法,本施工定位方法实现了定位自动化、精准度高、工作效率提高和安全风险降低的效果,为海上导管架的安装施工提供了更为高效、精准且安全的定位解决方案。
为了进一步说明本发明的结构,结合附图详细说明书如下:
请参阅图1和图2,一种基于双目视觉靶标自识别跟踪的海上导管架施工定位方法,其特征在于包括以下步骤:
S1、准备左、右相机并获取左、右相机的内参数,分别建立左、右相机坐标系;
S2、建立导管架坐标系,将N个定位靶标固定到导管架上,确定每个定位靶标在导管架坐标系中的位置偏移量;
S3、建立船体坐标系,在施工船上设置GNSS定位定向仪和全站仪,确定GNSS定位定向仪和全站仪在船体坐标系中的位置偏移量及艏向偏移量,将左、右相机固定安装于施工船靠近导管架就位位置一侧,相机距离导管架30-50m之间,左、右相机视场夹角为70°-110°之间;
S4、在左、右相机前方的公共视角内布置一个移动靶标,分别拍摄N次移动靶标在不同位置的图像,利用全站仪记录下所述移动靶标在船体坐标系下的三维信息,得到船体坐标系到左、右相机坐标系的旋转矩阵和平移矩阵;
S5、利用自定义靶标识别检测算法,提取位于导管架上的定位靶标在左、右相机之中的像素信息;并使用Staple算法实时跟踪定位靶标;
S6、使用最小二乘法,实时计算定位靶标在施工船的船体坐标系下的三维信息;
S7、将定位靶标在船体坐标系中的三维信息转化为大地坐标系中的三维信息;
S8、根据定位靶标的三维信息、位置偏移量,得到导管架的实时大地坐标和艏向。
具体的,
S1、获取左、右相机的内部参数,即相机内参标定。
相机内参标定是指通过对相机进行的标定操作,获取相机的内部参数,包括焦距、主点坐标以及镜头畸变等参数。这些内部参数是相机成像过程中的固有属性,对于后续的图像处理和计算具有重要的作用。在本实施例中,相机内参标定通过在陆地标定场中使用棋盘格标定法,分别获取左、右相机的内参数,其中相机畸变系数被忽略。
具体的,在陆地标定场中,使用张正友棋盘格标定法,分别获得左、右相机的内参数。相机镜头选用低畸变镜头,相机畸变系数忽略不计。相机的内参矩阵K如下所示:
,
表示方向和方向一个像素分别占用长度单位的大小,表示相机的主点坐标,表示相机焦距的大小。设左、右相机的内参矩阵分别为。
S2、建立导管架的坐标系:如图4、图5所示,将10个Aruco定位靶标均匀分布固定在导管架的各个桩腿上。定位靶标对应的ID由小到大进行自行定义编码为1-10。
建立以导管架中心为坐标原点(0,0,0),以导管架主方向(A-B方向)为纵轴、导管架右舷方向(1-2方向)为横轴的导管架坐标系。使用全站仪和钢尺准确测量导管架的船型参数,包括长、宽、高,每个定位靶标中心点在导管架坐标系中的三维位置(又称偏移量)。
S3、建立船体的坐标系:如图2所示,GNSS定位定向仪的定位天线帽分别为GNSS1和GNSS2,将GNSS1和GNSS2布置在施工船的船尾和施工船的船头,将两台相机、一台无棱镜全站仪固定安装于靠近导管架就位位置一侧,两台相机与导管架就位位置之间的距离30-50m,左、右相机视场夹角为70°-110°之间。
建立以施工船的船尾中心为坐标原点(0,0,0),以施工船的船头方向为纵轴、以船舶右舷为横轴的船体坐标系。使用全站仪和钢尺准确测量施工船舶的船型参数,此参数包括船长、船宽,定位天线帽GNSS1、GNSS2和全站仪在船体坐标系中的位置(又称偏移量)。
S4、相机坐标系与船体坐标系标定:如图2所示,在左、右相机正前方的公共视角内,设计6个不同位置,布置1个移动靶标依次在上述位置固定。6个不同位置的横向分布范围应不小于20m,纵向分布范围应不小于10m。将全站仪在船体坐标系中的位置输入全站仪,并使其角度设定与船舶艏向一致,通过测量定位天线帽GNSS1、GNSS2位置对全站仪精度进行检核。在水面比较平静、船体晃动可以忽略时,采用全站仪和左、右相机同步进行6次以上移动靶标中心位置的测量,以实现相机坐标系与船体坐标系的标定。选取6组数据,使用直接线性变换标定算法(Direct Linear Transformation,DTL),得到船体坐标系到左、右相机坐标系的旋转矩阵R、平移矩阵T。
设移动靶标中心在船体坐标系中的位置由无棱镜全站仪测得:
,
移动靶标中心在相机坐标系之中的同步投影点为:
,
尺度因子,求解其相机的外参矩阵、。
过程如下所示:
进一步整理可得:
,
即:
,
式中,m 11 -m 34为空间坐标系与像素坐标系之间的关系系数。
上述方程一共6组,根据线性求解方程可得船体坐标系到相机坐标系的旋转矩阵与平移矩阵。
设船体坐标系到左、右相机坐标系的旋转矩阵分别为,平移矩阵分别为。
令
,
,
标定完成后,双目相机测量的像素点坐标输出为船体坐标系。
S5、定位靶标角点自动识别、提取与跟踪:海上导管架吊装或滑移入水后,进行扶正操作。当导管架上的定位靶标进入双目相机的视场后,利用自定义靶标识别检测算法,提取位于导管架上的定位靶标在左、右相机之中的像素信息,自定义的靶标识别检测算法是目前已知的基于深度学习的计算机视觉技术,用于识别和检测图像或视频中的特定自定义目标或靶标。通过Aruco标靶检测结合黑白角点识别算法,对靶标中心精确定位,准确获取每个靶标的中心角点位置。使用Staple算法实时跟踪首帧识别到的各个Aruco标靶,仅检测跟踪到的Aruco靶标内部的黑白中心角点,规避了检测整张图像角点所带来的时间浪费。
如图6所示,Aruco标靶是一种背景为黑色的正方形,正方形内部的白色图案用来表示标记的唯一性,并且存储一些信息。Aruco的黑色边框有利于图形标记的检测,由于不同的Aruco码有唯一的ID,可将不同的Aruco码作为标靶特定的标识。考虑到标靶的尺寸影响,选用预定义词典规格为4*4的Aruco码作为靶标标识。
对于每次成功检测到标靶,将按从左上、右上、右下和左下的顺序检测标靶的四个角点,并以Aruco对角线交点像素作为靶标中心点位置。但当靶标存在弯曲或褶皱的情况下,则难以得到靶标的中心点精确坐标。为了解决这个问题,本发明中使用的Aruco靶标选择了中心角点为黑白角点的靶标,如图7所示,结合使用黑白角点提取算法,将靶标中心进一步提取,便可以得到精确的靶标中心角点的像素信息。
定位靶标的中心的黑白角点的检测采用的是两种高斯核滤波器对图像进行处理,分别是与图像平行和与图像成45°的滤波器对图像中像素进行处理。每个滤波器有四个高斯核,分别为,对其进行卷积处理得到。其中:
,
其中,和分别代表原型i的两种角点形式的可能性,为卷积处理的求和平均,是判断像素点是否为角点的概率,当大于设定的阈值时,将其视为黑白角点中心。判断该角点中心的像素与Aruco对角线交点像素的距离最近时,则将其视为靶标的三维定位点。综合考虑相机视角、像素与相机镜头焦距,这种方式进行选取的像素满足相机像素提取的要求。
通过提取Aruco靶标的ID与中心黑白角点的定位,实现靶标标识的自定义与中心黑白角点的精确提取。设左、右相机提取出来的同一黑白中心点的像素分别为:
。
Staple算法是基于HOG模板梯度特征描述目标外观和颜色直方图描述目标颜色属性,通过将这两种特征进行融合,适应不同跟踪环境,可同时对10个靶标进行跟踪。公式步骤如下所示:
其中,其中,为目标模板描述函数,为目标颜色描述函数,R(x)为目标的整体描述函数,为模板窗口中像素的集合,是模板在位置的权重,是在位置的梯度特征。是颜色在目标模型直方图之中的频率,是在位置的颜色直方图中颜色的概率。是一个用于平衡两种特征的权重参数。
S6、实时计算船体坐标系中定位靶标的三维信息:如图8所示,设10个定位靶标点在船体坐标系下的三维信息为,可得如下公式:
,
将上式简写为:
,
其中,A与B都是可以通过计算得出,为已知量,则式中X的最小二乘解为:
,
计算得到的就是各个定位靶标中心点在船体坐标系下的三维坐标。
S7、将定位靶标的船体坐标转化为大地坐标:如图3所示,将所有设备进行正确的连接,实时得到定位天线帽GNSS1和GNSS2在真实大地坐标系之中三维信息,同时代入GNSS1和GNSS2在船体坐标系中的偏移量,通过布尔莎公式进行平移和旋转,将定位靶标黑白角点中心点在船体坐标系下的三维信息修正到大地坐标系。
如图9所示,布尔莎公式表示为:
,
进一步表示:
,
其中,是已知可进行求解的,为船体坐标系到大地坐标系的平移矩阵,为船体坐标系到大地坐标系的旋转角。
采用最小二乘法便可以实时求解得到船体坐标系到大地坐标系的平移矩阵与旋转角,进而可知船体坐标系之中的靶标点在大地坐标系中实时坐标数据。
S8、实时计算导管架的位置和艏向数据,指导施工安装作业:根据10个靶标在导管架坐标系中的位置偏移量和各自的大地坐标,可推算得到多组导管架中心点的大地坐标、导管架主方向(即艏向)。消除粗差后,对多组数据求取平均值,作为导管架的当前位置和艏向数据,计算与设计要求的位置和方位偏差值,并告知施工指挥人员进行位置和方位的调整。若跟踪测量过程中,导管架位置和方位在设计偏差范围内时,导管架会被慢慢下放,直到导管架下放到海底。
本发明的特点及有益效果:本发明基于双目视觉立体成像原理,每次可以同时提取海上导管架上10个定位靶标中心的黑白像素,利用船体坐标系到双目相机的旋转矩阵与平移矩阵,得到靶标中心在船体坐标系中的三维坐标。然后利用GNSS定位定向仪将船体坐标系实时转换到大地坐标系,进而得到靶标中心在大地坐标系中的三维坐标。最后利用10个靶标中心在导管架上的位置偏移量,计算得到导管架的当前三维坐标和艏向数据,用于指导海上导管架的安装施工作业。
本方法通过选用Aruco靶标ID作为靶标标识与黑白中心角点提取及Staple算法靶标追踪,可以自动化的求取靶标在大地坐标系中的三维位置,大大提高了海上导管架安装施工的工作效率与检测精度,降低了安全风险。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于双目视觉靶标自识别跟踪的海上导管架施工定位方法,其特征在于包括以下步骤:
S1、准备左、右相机并获取左、右相机的内参数,分别建立左、右相机坐标系;
S2、建立导管架坐标系,将N个定位靶标固定到导管架上,确定每个定位靶标在导管架坐标系中的位置偏移量;
S3、建立船体坐标系,在施工船上设置GNSS定位定向仪和全站仪,确定GNSS定位定向仪和全站仪在船体坐标系中的位置偏移量及艏向偏移量,将左、右相机固定安装于施工船靠近导管架就位位置一侧,相机距离导管架30-50m,左、右相机的视场夹角为70°-110°;
S4、在左、右相机前方的公共视角内布置一个移动靶标,分别拍摄N次移动靶标在不同位置的图像,利用全站仪记录下所述移动靶标在船体坐标系下的三维信息,得到船体坐标系到左、右相机坐标系的旋转矩阵和平移矩阵;
S5、利用自定义靶标识别检测算法,提取位于导管架上的定位靶标在左、右相机之中的像素信息;并使用Staple算法实时跟踪定位靶标;
S6、使用最小二乘法,实时计算定位靶标在施工船的船体坐标系下的三维信息;
S7、将定位靶标在船体坐标系中的三维信息转化为大地坐标系中的三维信息;
S8、根据定位靶标的三维信息、位置偏移量,得到导管架的实时大地坐标和艏向。
2.根据权利要求1所述的基于双目视觉靶标自识别跟踪的海上导管架施工定位方法,其特征在于:所述定位靶标为中心为黑白角点的Aruco定位靶标;通过Aruco定位靶标检测结合黑白角点识别算法对Aruco定位靶标的中心定位,获取每个Aruco定位靶标的中心角点位置,使用Staple算法实时跟踪Aruco定位靶标的黑白中心角点,使用最小二乘法实时计算定位靶标的中心的黑白角点在施工船的船体坐标系下的三维信息,将所述定位靶标的中心的黑白角点在船体坐标系中的三维信息转化为大地坐标系中的三维信息。
3.根据权利要求1所述的基于双目视觉靶标自识别跟踪的海上导管架施工定位方法,其特征在于:使用棋盘格标定法分别获得左、右相机的内参数,相机的内参矩阵K如下所示:
表示方向和方向一个像素分别占用长度单位的大小,表示相机的主点坐标,表示相机焦距的大小,设左、右相机的内参矩阵分别为。
4.根据权利要求2所述的基于双目视觉靶标自识别跟踪的海上导管架施工定位方法,其特征在于:将10个Aruco定位靶标均匀分布固定在导管架的各个桩腿上;建立以导管架中心为坐标原点、以导管架主方向为纵轴、导管架右舷方向为横轴的导管架坐标系;建立以船尾中心为坐标原点、以施工船的船头方向为纵轴、以施工船的右舷为横轴的船体坐标系。
5.根据权利要求2所述的基于双目视觉靶标自识别跟踪的海上导管架施工定位方法,其特征在于:分别在左、右相机前拍摄6次移动靶标在不同位置的图像作为数据,使用直接线性变换标定算法,得到船体坐标系到左、右相机坐标系的旋转矩阵、平移矩阵;
设移动靶标中心在船体坐标系中的位置由全站仪测得:
,
移动靶标中心在相机坐标系之中的同步投影点为:
,
尺度因子,求解其相机的外旋转矩阵、平移矩阵;
过程为:
,
整理得:
,
式中,m 11 -m 34为空间坐标系与像素坐标系之间的关系系数,根据线性求解方程得到船体坐标系到相机坐标系的旋转矩阵、平移矩阵。
6.根据权利要求2所述的基于双目视觉靶标自识别跟踪的海上导管架施工定位方法,其特征在于:所述定位靶标中心的黑白角点的检测采用两种高斯核滤波器对图像进行处理,分别是与图像平行和与图像成45°的滤波器对图像中像素进行处理,每个滤波器设有四个高斯核,分别为,对其进行卷积处理得到,其中,
,
其中,和分别代表原型i的两种角点形式的可能性,为卷积处理的求和平均,是判断像素点是否为角点的概率,当大于设定的阈值时,将其视为黑白角点中心。
7.根据权利要求6所述的基于双目视觉靶标自识别跟踪的海上导管架施工定位方法,其特征在于:设有10个定位靶标,定位靶标在船体坐标系下的三维信息为:
,
得到如下公式:
,
将上式简化为:
,
其中,A与B都是为已知量,则式中X的最小二乘解为:
,
得到各个定位靶标的中心点在船体坐标系下的三维坐标。
8.根据权利要求1所述的基于双目视觉靶标自识别跟踪的海上导管架施工定位方法,其特征在于:实时获取GNSS定位定向仪的两个定位天线帽GNSS1和GNSS2在大地坐标系中的三维信息,同时代入GNSS定位定向仪在船体坐标系中的偏移量,通过布尔莎公式进行平移和旋转,将定位靶标的黑白角点中心点在船体坐标系下的三维信息修正到大地坐标系;
布尔莎公式表示为:
,
进一步表示:
,
其中,是已知可进行求解的,为船体坐标系到大地坐标系的平移矩阵,为船体坐标系到大地坐标系的旋转角;采用最小二乘法实时求解得到船体坐标系到大地坐标系的平移矩阵与旋转角,得到船体坐标系之中的定位靶标在大地坐标系中的实时坐标数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410896220.0A CN118442973B (zh) | 2024-07-05 | 2024-07-05 | 基于双目视觉靶标自识别跟踪的海上导管架施工定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410896220.0A CN118442973B (zh) | 2024-07-05 | 2024-07-05 | 基于双目视觉靶标自识别跟踪的海上导管架施工定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN118442973A true CN118442973A (zh) | 2024-08-06 |
CN118442973B CN118442973B (zh) | 2024-09-27 |
Family
ID=92319885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410896220.0A Active CN118442973B (zh) | 2024-07-05 | 2024-07-05 | 基于双目视觉靶标自识别跟踪的海上导管架施工定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118442973B (zh) |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106931962A (zh) * | 2017-03-29 | 2017-07-07 | 武汉大学 | 一种基于gpu‑sift的实时双目视觉定位方法 |
CN108801274A (zh) * | 2018-04-16 | 2018-11-13 | 电子科技大学 | 一种融合双目视觉和差分卫星定位的地标地图生成方法 |
CN110646016A (zh) * | 2019-11-11 | 2020-01-03 | 北京航空航天大学 | 基于经纬仪与视觉辅助柔性基线分布式pos标校方法和装置 |
CN111551151A (zh) * | 2020-06-04 | 2020-08-18 | 江苏集萃智能光电系统研究所有限公司 | 基于双目视觉的临近空间飞行器相对位姿测量方法及装置 |
CN114382102A (zh) * | 2020-10-22 | 2022-04-22 | 天津市海王星海上工程技术股份有限公司 | 一种海上固定式结构物基础负压筒及安装方法 |
CN115683110A (zh) * | 2022-10-21 | 2023-02-03 | 中交上海航道局有限公司 | 一种建立室内绝对坐标系的方法和系统 |
CN115949094A (zh) * | 2022-12-26 | 2023-04-11 | 深圳大学 | 一种沉管隧道安装测控系统 |
CN116399321A (zh) * | 2023-03-27 | 2023-07-07 | 浙江大学 | 基于双目视觉、imu和agps融合的户外移动机器人导航方法 |
CN116823960A (zh) * | 2023-05-16 | 2023-09-29 | 中冶宝钢技术服务有限公司 | 无重叠视场的视觉系统标定方法 |
CN116977445A (zh) * | 2023-07-31 | 2023-10-31 | 天津大学 | 一种基于动态双目视觉的海洋柱桩姿态检测方法 |
CN117197241A (zh) * | 2023-09-14 | 2023-12-08 | 上海智能制造功能平台有限公司 | 一种基于多目视觉的机器人末端绝对位姿高精度跟踪方法 |
CN117452426A (zh) * | 2023-08-21 | 2024-01-26 | 山东科技大学 | 一种基于水上激光雷达和水下双目相机的目标探测方法 |
CN117450999A (zh) * | 2023-12-18 | 2024-01-26 | 深圳大学 | 打桩船的桩体定位装置和方法 |
WO2024045632A1 (zh) * | 2022-08-31 | 2024-03-07 | 华南理工大学 | 基于双目视觉和imu的水下场景三维重建方法及设备 |
CN117928491A (zh) * | 2024-01-16 | 2024-04-26 | 同济大学 | 一种多站组网视觉跟踪的监测系统及监测方法 |
CN118129746A (zh) * | 2024-04-12 | 2024-06-04 | 江苏师范大学 | 一种gnss/惯性/视觉的车辆组合导航方法 |
CN118258378A (zh) * | 2024-03-28 | 2024-06-28 | 华中科技大学 | 一种融合gnss信号的多模态高精度鲁棒位姿估计方法和系统 |
-
2024
- 2024-07-05 CN CN202410896220.0A patent/CN118442973B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106931962A (zh) * | 2017-03-29 | 2017-07-07 | 武汉大学 | 一种基于gpu‑sift的实时双目视觉定位方法 |
CN108801274A (zh) * | 2018-04-16 | 2018-11-13 | 电子科技大学 | 一种融合双目视觉和差分卫星定位的地标地图生成方法 |
CN110646016A (zh) * | 2019-11-11 | 2020-01-03 | 北京航空航天大学 | 基于经纬仪与视觉辅助柔性基线分布式pos标校方法和装置 |
CN111551151A (zh) * | 2020-06-04 | 2020-08-18 | 江苏集萃智能光电系统研究所有限公司 | 基于双目视觉的临近空间飞行器相对位姿测量方法及装置 |
CN114382102A (zh) * | 2020-10-22 | 2022-04-22 | 天津市海王星海上工程技术股份有限公司 | 一种海上固定式结构物基础负压筒及安装方法 |
WO2024045632A1 (zh) * | 2022-08-31 | 2024-03-07 | 华南理工大学 | 基于双目视觉和imu的水下场景三维重建方法及设备 |
CN115683110A (zh) * | 2022-10-21 | 2023-02-03 | 中交上海航道局有限公司 | 一种建立室内绝对坐标系的方法和系统 |
CN115949094A (zh) * | 2022-12-26 | 2023-04-11 | 深圳大学 | 一种沉管隧道安装测控系统 |
CN116399321A (zh) * | 2023-03-27 | 2023-07-07 | 浙江大学 | 基于双目视觉、imu和agps融合的户外移动机器人导航方法 |
CN116823960A (zh) * | 2023-05-16 | 2023-09-29 | 中冶宝钢技术服务有限公司 | 无重叠视场的视觉系统标定方法 |
CN116977445A (zh) * | 2023-07-31 | 2023-10-31 | 天津大学 | 一种基于动态双目视觉的海洋柱桩姿态检测方法 |
CN117452426A (zh) * | 2023-08-21 | 2024-01-26 | 山东科技大学 | 一种基于水上激光雷达和水下双目相机的目标探测方法 |
CN117197241A (zh) * | 2023-09-14 | 2023-12-08 | 上海智能制造功能平台有限公司 | 一种基于多目视觉的机器人末端绝对位姿高精度跟踪方法 |
CN117450999A (zh) * | 2023-12-18 | 2024-01-26 | 深圳大学 | 打桩船的桩体定位装置和方法 |
CN117928491A (zh) * | 2024-01-16 | 2024-04-26 | 同济大学 | 一种多站组网视觉跟踪的监测系统及监测方法 |
CN118258378A (zh) * | 2024-03-28 | 2024-06-28 | 华中科技大学 | 一种融合gnss信号的多模态高精度鲁棒位姿估计方法和系统 |
CN118129746A (zh) * | 2024-04-12 | 2024-06-04 | 江苏师范大学 | 一种gnss/惯性/视觉的车辆组合导航方法 |
Non-Patent Citations (1)
Title |
---|
YILIN XIE等: "《Integrated Multi-Sensor Real Time Pile Positioning Model and Its Application for Sea Piling》", 《REMOTE SENSING》, 3 October 2020 (2020-10-03), pages 1 - 16 * |
Also Published As
Publication number | Publication date |
---|---|
CN118442973B (zh) | 2024-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105842724B (zh) | 一种船舶辅助泊岸方法和系统 | |
WO2016112714A1 (zh) | 一种船舶辅助泊岸方法和系统 | |
CN113627473B (zh) | 基于多模态传感器的水面无人艇环境信息融合感知方法 | |
CN105184816A (zh) | 基于usv的视觉检测和水面目标追踪系统及其检测追踪方法 | |
CN110053743A (zh) | 一种用于水下精准测量的遥控机器人 | |
CN108366227A (zh) | 一种海事智能化巡航中无人机的应用平台 | |
CN114926739B (zh) | 内河航道水上水下地理空间信息无人化协同采集处理方法 | |
CN114782905A (zh) | 一种基于视频监控的船舶吃水深度检测方法 | |
CN103256921A (zh) | 一种潮间带危险区地形测量方法 | |
CN106403901A (zh) | 一种浮标姿态测量装置及方法 | |
JP5152913B2 (ja) | 洋上監視システムおよび方法 | |
CN112101222A (zh) | 一种基于无人艇多模态传感器的海面三维目标检测方法 | |
CN113253285B (zh) | 定点式三维全景成像声呐系统升级为走航式系统的方法 | |
CN118442973B (zh) | 基于双目视觉靶标自识别跟踪的海上导管架施工定位方法 | |
KR102261665B1 (ko) | 자동 탐색 장치, 자동 탐색 방법 및 이를 구비하는 잠수정 | |
CN107505611A (zh) | 舰船光电侦察设备视频距离估算实时修正方法 | |
CN116958265A (zh) | 一种基于双目视觉的船舶位姿测量方法及系统 | |
CN114720989B (zh) | 一种双目视觉与声呐协同探测方法及一体化跨域探测系统 | |
CN115830140A (zh) | 一种海上近程光电监控方法、系统、介质、设备及终端 | |
CN113450598B (zh) | 基于红外视频的船舶辅助航行方法及系统 | |
CN115471782A (zh) | 一种面向无人艇的红外舰船目标检测方法及装置 | |
CN114445572A (zh) | 一种基于DeeplabV3+的陌生海域中障碍物即时定位与地图构建方法 | |
CN107941220A (zh) | 一种基于视觉的无人船海天线检测与导航方法和系统 | |
CN114463444A (zh) | 非接触式相对位姿检测方法及系统 | |
CN114500719B (zh) | 一种带天体定位功能的手机及天体定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |