CN114742941A - 水下清洗机器人的实时全景成像方法和装置 - Google Patents

Abstract

本发明公开了一种水下清洗机器人的实时全景成像方法和装置，包括：基于清洗机器人在海洋导管上的工作场景构建全景成像的三维投影曲面；实时获取清洗机器人上的相机采集的多角度图像，拼接多角度图像得到拼接全景图；对拼接全景图进行导管边缘检测以得到实时导管边缘线；基于实时导管边缘线上的像素点、单应性矩阵以及基准导管边缘线上的像素点构建变换等式，求解变换等式以得到单应性矩阵包含的实时旋转角度；根据实时旋转角度从纹理映射库中调取与实时旋转角度对应的纹理映射矩阵，基于该纹理映射矩阵将拼接图映射到三维投影曲面，实现全景成像。该方法和装置能够提高海洋导管架类场景的全景成像的效率和准确性。

Description

水下清洗机器人的实时全景成像方法和装置

技术领域

本发明属于全景成像领域，具体涉及一种水下清洗机器人的实时全景成像方法和装置。

背景技术

海上石油平台作为开采海洋石油气资源的重要装备得到了长足发展。导管架是大多数海上石油平台不可或缺的支撑结构，其长期浸泡在海水中，成为海洋生物繁殖和生长的温床。大量诸如海蛎子、藤壶等海生物生长在导管架表面，这些海生物附着在导管架表面，它们在新陈代谢过程中，会产生各种化学物质，其中的酸类物质对导管架有很大的腐蚀性，导致导管架的使用寿命降低。为了缓解海洋生物对导管架产生的不良影响，对海上石油平台的导管架表面附着的海生物进行定期清洗是至关重要的。

水下清洗机器人能够实现对海上石油平台的导管架表面附着的海生物进行定期清洗。但是现有的水下清洗机器人采用的是反射式全景成像系统，通过在清洗机器人顶部安装一个反射镜方式实现机器人在管道上位姿等图像信息的获取。但是这种方式在实际中遇到了很大的问题，首先，机器人通过反射镜看到的视野范围很小，只能观察到机器周围20cm范围内图像信息。其次，在清洗机器人顶部加装反射镜的方式，会造成整机高度边高，在遇到浪涌情况下，清洗机器人受冲击力大，容易造成机器人脱离壁面、掉落海中等危险情况的发生，机器人的越障性能，跨管性能也有很大的局限性。

采用三维全景成像技术替代反射镜方式以解决上述问题。三维全景成像技术通过对现有场景进行多角度拍摄，并将多幅图片进行拼接融合，最终投影到一个曲面上，形成一种类似真实世界的效果。三维全景成像技术主要分为柱状全景与球形360°全景两种。柱状全景将沿着水平方向拍摄的环视图片投影到一个柱状的平面上，然后将视角放置在柱体内部，达到水平去全景的目的。球形360°全景在则沿着水平与垂直两个方向进行多角度环视拍摄，最终的成像曲面是一个球形，即是具有无数个对称轴的投影曲面，扩大了成像视角。

但是在海洋导管架类场景下，投影面只相对于x轴和y轴对称。当清洗机器人在圆管上处于不同的姿态时，清洗机器人的各个相机视角是是不相同的，相机与三维模型之间的映射关系也是不同的，简单地直接利用建立的投影曲面和全景图像之间的映射关系，是不足以将图像纹理正确地映射到投影曲面，以得到正确全景图像。

发明内容

鉴于上述技术问题，本发明的目的是提供一种水下清洗机器人的实时全景成像方法和装置，通过实时检测清洗机器人在管道上的姿态，并根据姿态实时调整纹理映射关系，以将图像纹理正确地映射到投影曲面上，实现在海洋导管架类场景的全景成像。

为实现上述发明目的，实施例提供了一种水下清洗机器人的实时全景成像方法，包括以下步骤：

基于清洗机器人在海洋导管上的工作场景构建全景成像的三维投影曲面；

实时获取清洗机器人上的相机采集的多张图像，拼接多张图像得到拼接全景图；

对拼接全景图进行导管边缘检测以得到实时导管边缘线；

基于实时导管边缘线上的像素点、单应性矩阵以及基准导管边缘线上的像素点构建变换等式，求解变换等式以得到单应性矩阵包含的实时旋转角度；

根据实时旋转角度从纹理映射库中调取与实时旋转角度对应的纹理映射矩阵，基于该纹理映射矩阵将拼接图映射到三维投影曲面，实现全景成像。

在一个实施例中，构建的投影曲面为以半球曲面为基准，利圆柱截取半球曲面形成的曲面，优选地，在截取时，圆柱高度与半球曲面的直径平行。

在一个实施例中，采用EDLines算法对拼接全景图进行导管边缘检测，针对检测得到的线段采用阈值检测方式以筛选长的线段作为实时导管边缘线。

在一个实施例中，实时获取4个相机采集的4个方向的图像，拼接4个图像得到拼接全景图。

在一个实施例中，所述三维投影曲面内还建有清洗机器人模型，在获得实时旋转角度后，根据实时旋转角度对清洗机器人模型进行位姿调整，以获得完整实时全景图。

为实现上述发明目的，另一实施例提供了水下清洗机器人的实时全景成像装置，包括：

三维投影曲面构建模块，用于基于清洗机器人在海洋导管上的工作场景构建全景成像的三维投影曲面；

拼接全景图构建模块，用于实时获取清洗机器人上的相机采集的多角度图像，拼接多角度图像得到拼接全景图；

边缘检测模块，用于对拼接全景图进行导管边缘检测以得到实时导管边缘线；

实时旋转角度计算模块，用于基于实时导管边缘线上的像素点、单应性矩阵以及基准导管边缘线上的像素点构建变换等式，求解变换等式以得到单应性矩阵包含的实时旋转角度；

全景成像模块，用于根据实时旋转角度从纹理映射库中调取与实时旋转角度对应的纹理映射矩阵，基于该纹理映射矩阵将拼接图映射到三维投影曲面，实现全景成像。

与现有技术相比，本发明具有的有益效果至少包括：

通过实时采集多角度图像拼接得到拼接全景图后，边缘检测得到实时导管边缘线，基于实时导管边缘线与基准导管边缘线的像素点关于单应性矩阵的映射关系，构建变换等式，通过求解变换等式得到实时旋转角度，利用事先构建的纹理映射库调用对应的纹理映射矩阵进行全景成像，能够提高海洋导管架类场景的全景成像的效率和准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的水下清洗机器人的实时全景成像方法的流程图；

图2是实施例提供的三维投影曲面；

图3是实施例提供的导管边缘检测的示意图，其中，(a)为拼接全景图，(b)为边缘检测结果图，(c)为阈值筛选检测导管直线，(d)为实时导管边缘线；

图4是实施例提供的不同状态机器人尺寸关系；

图5是实施例提供的水下清洗机器人的实时全景成像装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了解决清洗机器人在海洋圆管场景下全景成像不实时导致的全景成像不准确的问题。实施例提供了一种水下清洗机器人的实时全景成像方法。

图1是实施例提供的水下清洗机器人的实时全景成像方法的流程图。如图1所示，实施例提供的水下清洗机器人的实时全景成像方法，包括以下步骤：

步骤1，基于清洗机器人在海洋导管上的工作场景构建全景成像的三维投影曲面。

实施例中，清洗机器人带有多个用于采集图像的相机，具体可以分布于前后左右四个方向的相机，用于采集不同角度的图像。清洗机器人爬行与海洋导管上，海洋导管一般为圆筒状，因此构建的投影曲面为以半球曲面为基准，利圆柱截取半球曲面形成的曲面，如图2所示，具体地构建过程为：

圆柱的曲面方程为：x₁ ²+y₁ ²＝r，球面的曲面方程为：

当y₁＞y₂时，投影曲面由下式组成，用于绘制柱面纹理：

上式中，i,j为曲面节点的序列，(x,y,z)为投影曲面的空间坐标，r为柱面半径，h为柱面高度，m₁为轴向顶点数量，n₁为圆周方向顶点数量。

当y₁＞y₂时，投影曲面由下式组成，用于绘制球面纹理：

上式中，R为球面半径，r₁为某一高度下曲面圆形的半径，由

计算求得，m为经线数量，n₂为纬线数量。

步骤2，实时获取清洗机器人上的相机采集的多张图像，拼接多张图像得到拼接全景图。

实施例中，采用多线程控制多个相机同步采集多张图像，需要说明的是，在实际采集过程中，多个相机与导管之间的角度是相同的，以保证拼接全景图的准确定。该角度可以设为45°、60°、120°以及135°，不同角度得到的拼接全景图不一样。

实施例中，采用二维全景成像技术拼接多张图像形成拼接全景图。具体包括：对多张图像进行相机畸变校正、局部特征点检测，特征点匹配、图像拼接，接缝处融化处理得到拼接全景图。

步骤3，对拼接全景图进行导管边缘检测以得到实时导管边缘线。

实施例中，首先，采用EDLines算法对拼接全景图进行导管边缘检测，检测边缘点后，利用直线度准则，最小二乘直线拟合法，从生成的像素链中提取线段，然后，采用针对检测得到的线段采用阈值检测方式以筛选长的线段作为实时导管边缘线，如图3所示。该边缘检测方式速度快，准确性高。

步骤4，基于实时导管边缘线上的像素点、单应性矩阵以及基准导管边缘线上的像素点构建变换等式，求解变换等式以得到单应性矩阵包含的实时旋转角度。

实施例中，对导管进行边缘检测之后，提取导管边缘线之后就可以通过单应性变换得到相机与导管之间的夹角，调整三维成像中清洗机器人在导管上的位姿以及纹理映射矩阵，从而达到实时显示全景图像的目的。

实施例中，构建的变换等式为：

q_b＝H_baq_a

其中，q_b表示实时导管边缘线上的像素点坐标，q_a表示基准边缘线上的像素点坐标，H_ba表示单应性矩阵，由像素平面b和像素平面a对应的两个相机的旋转矩阵R_ba和平移矩阵t_ab、两个相机内参数矩阵K_a和K_b、像素平面参数(

d_a)组成，其中，

表示像素平面a的法向量的转置，d_a表示极坐标中到极点的距离，单应性矩阵H_ba为：

清洗机器人导管上运动过程中，清洗机器人坐标空间与导管坐标空间在x,y方向上没有相对运动，即清洗机器人中心与导管中心始终保持对齐状态。清洗机器人只会发生旋转以及由于清洗机器人姿态的变换产生的沿导管半径方向移动的，如图4所示，其中，(a)为竖直状态示意图，(b)为竖直状态尺寸关系图，(c)为水平状态示意图，(d)为水平状态尺寸关系图。

当机器人分别在竖直状态下和水平状态下时，分别对应机器人与圆管在径向上的距离最大和最下极限。由图4可知：

其中，R_c为导管半径，r为清洗机器人轮径，W为清洗机器人左轮和右轮轴向距离，L为清洗机器人前轮中心与后轮中心距离；因此，有平移向量t_ab＝[0 0 z]。

在不同的导管场景下运行全景成像算法时，z_max公式中唯一的变量为导管半径R_c。

清洗机器人的各个参数如表1：

表1

将清洗机器人各个参数代入z_max公式，并对R求导发现，z_max是关于R单调递减的，因此，当R最小时，z_max最大。此种场景下中，清洗机器人沿着清洗机器人径向方向上的唯一最大，对清洗机器人旋转角度的求解的影响也最大。在全景成像系统中，清洗机器人视点与圆管之间的距离大于1000mm。相比于最大位移，忽略清洗机器人的运动，因此平移向量t_ab＝(0,0,0)。上述式可以简化为：

简化后，旋转矩阵R_ba为：

R_ba＝K_b ^-1H_baK_a

K_a与K_b为相机的内参矩阵，表示为：

f_xa,f_xb,f_ya,f_yb为相机的焦距参数，u_0a,v_0a,u_0b,v_0b为主点位移向量，进行投影变换矩阵时，两相机焦距参数f_x，f_y均等于1，位移向量u_0a,v_0a,u_0b,v_0b为拼接全景图长度和宽度的一半；

又已知旋转矩阵的表达式为：

则求解得到：

其中，α、β、γ分别表示x,y,z方向上的旋转角度。

步骤5，根据实时旋转角度从纹理映射库中调取与实时旋转角度对应的纹理映射矩阵，基于该纹理映射矩阵将拼接图映射到三维投影曲面，实现全景成像。

当清洗机器人在导管上处于不同的姿态时，清洗机器人的各个相机视角是是不相同的，相机与三维投影曲面之间的映射关系也是不同的，因此需要能够实时检测机器人在圆管上的姿态并根据姿态实时调整纹理映射关系，才能实现在海洋导管架类场景的全景成像。

实时三维成像时，根据实时旋转角度从纹理映射库中调取与实时旋转角度对应的纹理映射矩阵，基于该纹理映射矩阵将拼接图映射到三维投影曲面，实现全景成像。

需要说明的是，纹理映射库中的纹理映射矩阵是通过OpenGL纹理映射原理映射得到的，具体地，纹理映射过程包括：在进行纹理映射之前，需要建立三维点和像素之间的映射关系，它们之间的映射关系是通过纹理坐标来实现的。通过指定一个三维模型上若干关键点的纹理坐标，使得三维点和二维像素之间一一对应起来，其余的点通过片元着色器插值处理，就能实现图片的完整映射。纹理坐标的取值范围为0～1，纹理图片的左下角为纹理坐标的原点。

实施例中，三维投影曲面内还建有清洗机器人模型，在获得实时旋转角度后，根据实时旋转角度对清洗机器人模型进行位姿调整，以获得完整实时全景图。

上述实施例提供的水下清洗机器人的实时全景成像方法，通过实时检测清洗机器人在管道上的姿态，并根据姿态实时调整纹理映射关系，以将图像纹理正确地映射到投影曲面上，实现在海洋导管架类场景的全景成像。

图5是实施例提供的水下清洗机器人的实时全景成像装置的结构示意图。如图5所示，实施例提供的实时全景成像装置，包括：

三维投影曲面构建模块，用于基于清洗机器人在海洋导管上的工作场景构建全景成像的三维投影曲面；

拼接全景图构建模块，用于实时获取清洗机器人上的相机采集的多角度图像，拼接多角度图像得到拼接全景图；

边缘检测模块，用于对拼接全景图进行导管边缘检测以得到实时导管边缘线；

实时旋转角度计算模块，用于基于实时导管边缘线上的像素点、单应性矩阵以及基准导管边缘线上的像素点构建变换等式，求解变换等式以得到单应性矩阵包含的实时旋转角度；

全景成像模块，用于根据实时旋转角度从纹理映射库中调取与实时旋转角度对应的纹理映射矩阵，基于该纹理映射矩阵将拼接图映射到三维投影曲面，实现全景成像。

需要说明的是，上述实施例提供的水下清洗机器人的实时全景成像装置在进行实时全景成像时，应以上述各功能模块的划分进行举例说明，可以根据需要将上述功能分配由不同的功能模块完成，即在终端或服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的水下清洗机器人的实时全景成像装置与水下清洗机器人的实时全景成像方法实施例属于同一构思，其具体实现过程详见水下清洗机器人的实时全景成像方法实施例，这里不再赘述。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种水下清洗机器人的实时全景成像方法，其特征在于，包括以下步骤：

基于清洗机器人在海洋导管上的工作场景构建全景成像的三维投影曲面；

实时获取清洗机器人上的相机采集的多张图像，拼接多张图像得到拼接全景图；

对拼接全景图进行导管边缘检测以得到实时导管边缘线；

基于实时导管边缘线上的像素点、单应性矩阵以及基准导管边缘线上的像素点构建变换等式，求解变换等式以得到单应性矩阵包含的实时旋转角度；

根据实时旋转角度从纹理映射库中调取与实时旋转角度对应的纹理映射矩阵，基于该纹理映射矩阵将拼接图映射到三维投影曲面，实现全景成像。

2.根据权利要求1所述的水下清洗机器人的实时全景成像方法，其特征在于，构建的投影曲面为以半球曲面为基准，利圆柱截取半球曲面形成的曲面，在截取时，圆柱高度与半球曲面的直径平行。

3.根据权利要求1所述的水下清洗机器人的实时全景成像方法，其特征在于，采用EDLines算法对拼接全景图进行导管边缘检测，针对检测得到的线段采用阈值检测方式以筛选长的线段作为实时导管边缘线。

4.根据权利要求1所述的水下清洗机器人的实时全景成像方法，其特征在于，构建的变换等式为：

q_b＝H_baq_a

其中，q_b表示实时导管边缘线上的像素点坐标，q_a表示基准边缘线上的像素点坐标，H_ba表示单应性矩阵，由像素平面b和像素平面a对应的两个相机的旋转矩阵R_ba和平移矩阵t_ab、两个相机内参数矩阵K_a和K_b、像素平面参数

组成，其中，

表示像素平面a的法向量的转置，d_a表示极坐标中到极点的距离，单应性矩阵H_ba为：

5.根据权利要求4所述的水下清洗机器人的实时全景成像方法，其特征在于，在求解变换等式时，令t_ab＝(0,0,0)，则单应性矩阵H_ba简化为：

简化后，旋转矩阵R_ba为：

R_ba＝K_b ^-1H_baK_a

K_a与K_b为相机的内参矩阵，表示为：

f_xa,f_xb,f_ya,f_yb为相机的焦距参数，u_0a,v_0a,u_0b,v_0b为主点位移向量，进行投影变换矩阵时，两相机焦距参数f_x，f_y均等于1，位移向量u_0a,v_0a,u_0b,v_0b为拼接全景图长度和宽度的一半；

又已知旋转矩阵的表达式为：

则求解得到：

其中，α、β、γ分别表示x,y,z方向上的旋转角度。

6.根据权利要求1所述的水下清洗机器人的实时全景成像方法，其特征在于，实时获取4个相机采集的4个方向的图像，拼接4个图像得到拼接全景图。

7.根据权利要求1所述的水下清洗机器人的实时全景成像方法，其特征在于，所述三维投影曲面内还建有清洗机器人模型，在获得实时旋转角度后，根据实时旋转角度对清洗机器人模型进行位姿调整，以获得完整实时全景图。

8.一种水下清洗机器人的实时全景成像装置，其特征在于，包括：

三维投影曲面构建模块，用于基于清洗机器人在海洋导管上的工作场景构建全景成像的三维投影曲面；

拼接全景图构建模块，用于实时获取清洗机器人上的相机采集的多角度图像，拼接多角度图像得到拼接全景图；

边缘检测模块，用于对拼接全景图进行导管边缘检测以得到实时导管边缘线；

实时旋转角度计算模块，用于基于实时导管边缘线上的像素点、单应性矩阵以及基准导管边缘线上的像素点构建变换等式，求解变换等式以得到单应性矩阵包含的实时旋转角度；

全景成像模块，用于根据实时旋转角度从纹理映射库中调取与实时旋转角度对应的纹理映射矩阵，基于该纹理映射矩阵将拼接图映射到三维投影曲面，实现全景成像。

Images