CN114926739B - 内河航道水上水下地理空间信息无人化协同采集处理方法 - Google Patents

Abstract

本发明公开了一种内河航道水上水下地理空间信息无人化协同采集处理方法，包括以下步骤：步骤1、对测量图像的航道整治建筑物弱纹理信息提取和内河两岸水路边界的边界线分割提取；步骤2、对内河航道全域地形地貌测量，同步采集水下地形数据和声呐图像；步骤3、获得水下声学点云数据；步骤4、将内河航道多源地理空间信息进行数字重构，构建内河航道及航道整治建筑物水上水下信息的实景三维场景与可视化呈现。本发明解决了航道整治建筑物损毁发生具有隐蔽性和突发性的问题，使航道整治建筑物服役状态监测更全面，掌握损毁发生的总体情况，快速有效获取服役状态信息，并对难以发现航道整治建筑物损毁状况及时预警，实现对航道设施稳定运维和修复措施。

Description

内河航道水上水下地理空间信息无人化协同采集处理方法

技术领域

本发明属于水运工程测量技术领域，具体涉及内河航道水上水下地理空间信息无人化协同采集处理方法。

背景技术

内河航道及航道整治建筑物是航运功能发挥的保障，以长江中下游干线航道为例，长江中下游干线航道建设是水运建设的重点，然而近年来由于长江上游控制性水库群的建成投运，径流来沙锐减，长江中下游干流河道输沙量大幅减少，三峡水库运行后2003～2020年大通站输沙量只有1950～2002年的不到30％，长江中下游水沙条件发生明显变化，水体含沙量大幅降低，河道发生长距离沿程冲刷，河床不稳定导致有些河段航道整治建筑物功能降低或发生损毁，同时部分河段河势调整比较剧烈，水流顶冲点的变化和近岸河床的冲刷下切，导致崩岸频发。据统计，截止2020年12月底，长江干线航道下游已竣工验收的航道整治建筑物共有218，根据2021年航道整治建筑物技术状况类别评定，有多处航道整治建筑物发生一定的损毁；

整治建筑物的损坏不仅会降低整治功能发挥，还会进一步改变建筑物周边流场，加大、加速损坏或形成新的破坏，危及航道安全，因此必须及时进行修复。航道整治建筑物修复的关键是及时发现，查明损毁状况，由于航道整治建筑物损毁发生具有隐蔽性和突发性，传统监测手段难以及时准确地发现航道整治建筑物损毁状况并及时预警；

近年来，以无人机、无人船、有缆水下机器人(ROV)、无缆水下机器人 (AUV)为代表的各类载体平台，通过搭载多种传感器，在气象、环保、测绘等领域崭露头角，单一载体搭载监测设备的信息采集系统在内河航道设施监测方面也开展了应用；目前，受无人船和ROV抗流能力的限制，涉水无人载体的应用主要集中在海洋、湖泊和中小河流等弱流水域，在通航河段强流复杂条件下的应用较少，更缺乏针对航道设施水上、水下信息立体化综合采集系统；为提升内河航道设施突发状况下应急反应能力，对采集的数据实时，高精度提出了更高的要求，亟需一种内河航道水上水下地理空间信息无人化协同采集处理方法来解决现有问题。

发明内容

本发明的目的在于提供一种内河航道水上水下地理空间信息无人化协同采集处理方法，以解决内河航道水上水下地理空间信息无人化协同无法高精度采集的问题。

为实现上述目的，本发明提供如下技术方案：

一种内河航道水上水下地理空间信息无人化协同采集处理方法，包括以下步骤：

步骤1、采集内河两岸测量图像，对测量图像的航道整治建筑物弱纹理信息提取和内河两岸水路边界的边界线分割提取；

步骤2、对内河航道全域地形地貌测量，同步采集水下地形数据和声呐图像，并使用GNSS全球卫星导航系统同步打标；

步骤3、定点抵近式扫描整治建筑物水下立面结构信息，获得水下声学点云数据；

步骤4、将内河航道多源地理空间信息，进行水上水下多重环境叠加的数字重构及场景反演，并构建内河航道及航道整治建筑物水上水下信息的实景三维场景与可视化呈现。

步骤1中，所述航道整治建筑物弱纹理信息提取方法的步骤包括：

步骤11、使用超像素分割方法对测量图像进行分割获得超像素；所述超像素分割算法将CIELAB颜色空间和XY坐标位置信息组成五维特征空间，再根据像素颜色和空间位置特征的相似性为度量准则对图像的像素进行聚类，生成若干个超像素区域；

步骤12、根据超像素的颜色特征及纹理特征使用向量分类方法进行水陆分割；

步骤13、实现水体的连续化，通过叠加处理获得目标疑似区域；

步骤14、将连续化水体和目标疑似区域映射到超像素分割结果中，利用航道整治建筑物与水体间的空间关系特征实现航道整治建筑物区域的提取。

步骤4中，所述数字重构方法包括：

步骤41、对无人机倾斜摄影测量的三维模型数字重构，修复无人机空三加密成果和初始化重建三维模型进行模型的，使用倾斜摄影影像与空三成果数据，对建模区域内三维模型细节整饰、纹理修补，通过颜色、亮度、形状及连续性属性确定水面范围，并消除确定弱纹理波段范围内的特定波长；

步骤42、对无人船多波束地形测量的三维模型数字重构，编辑校准改正、声速改正、潮位改正、吃水改正以及滤波处理的数据；

步骤43、对ROV的水下整治建筑物扫描，在分站扫测采集数据后，点云去噪、配准与拼接，通过测站的坐标系为基准将其他测站数据拼接到该坐标系下；

步骤44、水上水下多源点云数据融合拼接，按照粗拼接到精拼接的过程进行，在精拼接前通过手动调整目标站点的自由度参数，或以单个坐标轴为基准，多次修正平移距离参数和旋转角度参数，逐步靠近理想的拼接精度，在点云数据拼接、滤波完成后，进行RGB着色渲染。

步骤4中，所述无人化作业协同显示方法包括：

步骤45、数据配置管理，通过三维地理信息平台，使用数据分块与索引组织存储管理，模型简化、纹理压缩、共享与合并，配置管理二维点、线、面形式的基础地理信息数据、DEM数据、DOM数据、倾斜摄影数据、三维点云数据；

步骤46、场景控制，建立直观立体浏览水上、水面、水底的建构筑物、航道设施设备、水面、水底地形地貌层面的360度角度的浏览方式，查看数据的空间相互关系；

步骤47、多无人平台测量设备、定位设备等与现场作业服务器间的通讯管理，通过定位、姿态设备数据，将设备抽象成虚拟的设备类，每个设备对象具有相应的属性特征，并通过ORM对象关系映射的方式将各个对象保存在数据库中，实现设备配置信息的存取；

步骤48、数据融合计算，将测量设备布设、角点、中心点关键特征点，在系统中以模型坐标系中的坐标提供，通过数据融合计算模块按照坐标系层次结构分级，将关键特征点由模型局部坐标系至世界地理坐标系的转换；

步骤49、作业过程中，通过数据通讯管理传输到作业服务器中，经过数据融合计算，获得无人平台的实时位置姿态信息以及扫测覆盖信息，使用双缓冲绘图、消息队列、三维仿射变换可视化控制，将多无人平台、无人平台扫测范围动态目标以及水底地形、地貌静态目标，实时显示在场景中直观展现各个目标之间的相对关系。

所述定点抵近式扫描整治建筑物水下立面结构信息的获取方法包括，使用强抗流ROV，在其上搭载水下三维声学成像声呐，航行至航道整治建筑物水下立面底部，以座底式方式定点抵近式扫描立面结构信息，其中，所述强抗流ROV为扁平流线型结构，设置自动缆轴协同控制系统、动力定位系统，并安装可调的观察底座。

所述无人船的前后均衡的侧面积投影分布和圆舭型断面设计。

采集内河两岸测量图像的方法包括：

使用多旋翼无人机搭载机械补偿光学系统的变焦镜头，形成无人机图像采集系统，地面操作人员控制所述的无人机图像采集系统飞行至100m～150m 高度，使变焦镜头变焦至成像角度覆盖内河两岸。

所述超像素分割方法包括以下步骤：

步骤111、将RGB颜色空间转换到CIELAB颜色空间，先通过下列公式将RGB转换到XYZ空间，

再通过以下公式转换到LAB空间，

式中，L*、a*、b*分别为颜色空间的值；x和y代表二维空间的水平和垂直位置；t为函数f的自变量；转换完成后，可获得每个像素在五维空间的位置[L*,a*,b*,x,y]；

步骤112、初始化种子点，设K为定义的超像素个数，N为待分割图像的像素数，则每个超像素的大小为N/K，两个相邻种子点间的距离为

将种子点移动到以其为中心的3×3范围内梯度值最小的位置，同时给每个种子点分配一个单独的标签；

步骤113、相似度衡量，在2S×2S范围内计算每个像素i与其距离最近的种子点的相似程度D_i，将最相似种子点的标签赋予像素i，迭代该过程直至收敛，像素的五维空间位置表示为[L*,a*,b*,x,y]，L*a*b*有范围限制而xy无范围限制，对五维空间位置进行归一化处理，归一化后的相似度D'表示为：

式中，d_c为像素之间的颜色差异；d_xy像素间的空间距离；k为任一像素点； i为种子点；m是平衡参数，用于衡量颜色距离与空间距离在相似性度量中的比重，值越大聚类越紧密；S是种子点的间距，对在种子点周围2S×2S范围内对像素点进行聚类搜索；其中，平衡参数均设置为m＝10；l、a、b为代表颜色空间的值；x和y代表二维空间的水平和垂直位置；

步骤114、通过图像检测方法提取弱纹理信息，所述图像检测方法步骤包括：使用二维高斯函数与目标图像进行卷积运算以得到平滑后的图像，二维高斯函数G(x，y)为：

高斯函数与目标图像的卷积公式为：R(x，y)＝G(x，y，σ)*f(x，y)；

以上两式中，σ为高斯函数的标准差，其大小的变化可以改变图像的平滑程度；x和y代表二维空间的水平和垂直位置；R(x，y)为高斯函数与输入图像进行卷积运算之后的图像；f(x，y)为输入图像；“*”代表卷积运算；

计算梯度幅值和方向，利用Sobel梯度模板分别计算图像在像素点f(x，y) 处x和y方向上的偏导数，其在x方向上的偏导数I_x为：

I_x＝R(x，y-1)+2R(x+1，y)+R(x-1，y+1)-R(x-1，y-1)-2R(x-1，y)-R(x-1，y+1)；

在y方向上的偏导数I_y为：

I_y＝R(x-1，y+1)+2R(x，y+1)+R(x+1，y+1)-R(x-1，y-1)-2R(x，y-1)-R(x+1，y-1)

式中：R(x，y)为像素点(x，y)处的像素值；

利用二范数计算其梯度幅值O所得：

其梯度方向为：

θ＝arctan(Iy/Ix）；

通过阀值滤除噪声或颜色变化引起的小的梯度值，保留大的梯度值。

所述向量分类方法包括：

设圆形与三角形为两类样本：

{(x_i，y_i)，i＝1，2，...，n，x∈Rⁿ，y∈[±1]}，使用线性分类方程表示超平面，如果该超平面可正确分类训练集且具备分类间隔，则需满足下列公式的约束；

(ω·x)+b＝0

y_i[(ω·x_i)+b]≥1

根据两直线间的距离可以计算出分类间隔为2/||ω||，为了使两类样本的距离最大化并满足上述公式的约束，引入拉格朗日函数：

其中，a_j≥0为拉格朗日乘子，通过求偏置b和权值向量ω的偏导数并使它们的值为零，计算出拉格朗日函数的极小值，将最优分类超平面转换成对偶公式：

假设a_j ^*为最优解，则最优权值向量ω^*和最优偏置b^*可分别表示为：

根据全局最优解得到最优分类函数为：

所述颜色特征的提取包括：

通过非线性变换得到RGB颜色空间，从RGB转换到HSV的计算公式为：

式中，H、S、V分别为即色相、饱和度和亮度的值；提取每个超像素中所有像元在H、S、V三个分量中的均值作为超像素的颜色特征，计算方式如下：

其中，H_cm、S_cm、V_cm分别表示超像素cm在色调、饱和度和亮度3各分量的颜色特征值；同理，H_xj、S_xj、V_xj别表示像元xj相应分量中的颜色特征值；

所述纹理特征提取的方法包括：使图像(x,y)在θ方向上，距离为

的两个分别灰度级分别为i和j的像素同时出现的概率 P(i,j,δ,θ)；定义为：

P(i，j，δ，θ)＝{[(x，y)，(x+dx，y+dy)]|f(x，y)＝i，f(x+dx，y+dy)＝j}；

θ取0度、45度、90度和135度四个方向，而δ的取值为1，使用能量、对比度、熵和相关性这4个特征来进行纹理特征表达；上述4个特征的计算方式如下：

式中，p(i,j)为归一化后的P(i,j)；μ_x、μ_x和σ_x、σ_x分别是p_x、p_y的均值和方差；Asm表示能量又称为角二阶矩，是灰度共生矩阵各元素的平方和，反映了图像中纹理的粗糙程度；C表示对比度，是灰度共生矩阵中主对角线附近的惯性矩；En表示熵；Cov表示相关性。

本发明的技术效果和优点：该内河航道水上水下地理空间信息无人化协同采集处理方法，通过对采集数据的数据，提高了数据的精度，解决了航道整治建筑物损毁发生具有隐蔽性和突发性的问题，使航道整治建筑物服役状态监测更全面，通过监测范围和频次掌握损毁发生的总体情况，快速有效获取服役状态信息，并对难以发现航道整治建筑物损毁状况及时预警，实现对航道设施稳定运维和修复措施，为航道整治建筑物损毁应急监测和预警修复提供高精度基础数据和实时数据；同时针对内河航道设施突发状况下应急反应能力弱，实现了通航河段强流复杂条件下航道设施水上、水下信息立体化综合采集系统的内河航道设施服役状态信息便捷快速采集。

附图说明

图1为本发明的流程示意图；

图2为本发明航道整治建筑物弱纹理信息提取方法的步骤图；

图3为内河航道水上水下地理空间信息无人化协同采集处理系统图；

图4是内河航道水上水下地理空间信息无人化作业过程与成果协同显示截面图；

图5是内河航道水上水下地理空间信息无人化协同采集作业实景示意图；

图6是内河航道水上水下地理空间信息无人化协同采集成果融合处理后叠加效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了如图1和图3中所示的一种内河航道水上水下地理空间信息无人化协同采集处理方法，包括以下步骤：

步骤1、采集内河两岸测量图像，对测量图像的航道整治建筑物弱纹理信息提取和内河两岸水路边界的边界线分割提取；

本实施例中，利用多旋翼无人机搭载机械补偿光学系统的变焦镜头，形成无人机图像采集系统，地面操作人员控制所述的无人机图像采集系统飞行至100～150m高度，控制所述的变焦镜头变焦至成像角度能够覆盖内河两岸为宜，采集无人机倾斜摄影测量图像，对图像进行超像素空间关系特征的航道整治建筑物弱纹理信息提取和内河两岸水路边界的边界线分割提取；

所述航道整治建筑物弱纹理信息提取方法的步骤包括：如图2所示；

步骤11、使用超像素分割方法对测量图像进行分割获得超像素；所述超像素分割算法将CIELAB颜色空间和XY坐标位置信息组成五维特征空间，再根据像素颜色和空间位置特征的相似性为度量准则对图像的像素进行聚类，生成若干个超像素区域；

步骤12、根据超像素的颜色特征及纹理特征使用向量分类方法进行水陆分割；

所述超像素分割方法包括以下步骤：

步骤111、将RGB颜色空间转换到CIELAB颜色空间，先通过下列公式将RGB转换到XYZ空间，

通过以下公式转换到LAB空间，

式中，L*、a*、b*分别为颜色空间的值；x和y代表二维空间的水平和垂直位置；t为函数f的自变量；转换完成后，可获得每个像素在五维空间的位置[L*,a*,b*,x,y]。

步骤112、初始化种子点，设K为定义的超像素个数，N为待分割图像的像素数，则每个超像素的大小为N/K，两个相邻种子点间的距离为

将种子点移动到以其为中心的3×3范围内梯度值最小的位置，同时给每个种子点分配一个单独的标签；

步骤113、相似度衡量，在2S×2S范围内计算每个像素i与其距离最近的种子点的相似程度D_i，将最相似种子点的标签赋予像素i，迭代该过程直至收敛，像素的五维空间位置表示为[L^*,a^*,b^*,x,y]，L^*a^*b^*有范围限制而xy无范围限制，对五维空间位置进行归一化处理，归一化后的相似度D'表示为：

式中，d_c为像素之间的颜色差异；d_xy像素间的空间距离；k为任一像素点； i为种子点；m是平衡参数，用于衡量颜色距离与空间距离在相似性度量中的比重，值越大聚类越紧密；S是种子点的间距，对像素点进行聚类的时候并不是在整幅图像范围内进行搜索，而仅仅在种子点周围2S×2S范围内对像素点进行聚类搜索，有效的降低了计算量，进而提高效率；

利用超像素分割方法进行图像分割的关键在于超像素数目K的选择，而该参数的确定往往需要人为设定，如果设定的值不合适就会导致图像的分割结果不够准确，对图像进行超像素分割，该方法在进行超像素分割前，能够基于颜色信息自动获取图像所需超像素数目，对图像进行超像素分割时，平衡参数均设置为m＝10；

步骤114、通过图像检测方法提取弱纹理信息，为了从航道整治建筑物图像中有效的提取出弱纹理信息，使用二维高斯函数与目标图像进行卷积运算以得到平滑后的图像，二维高斯函数G(x,y)为：

高斯函数与目标图像的卷积公式为：R(x，y)＝G(x，y，σ)*f(x，y)；

式中：σ为高斯函数的标准差，其大小的变化可以改变图像的平滑程度， R(x,y)为高斯函数与输入图像进行卷积运算之后的图像；f(x,y)为输入图像；“*”代表卷积运算,将高斯函数转化为高斯滤波模板，可以提高运算效率。

计算梯度幅值和方向，利用Sobel梯度模板分别计算图像在像素点f(x，y) 处x和y方向上的偏导数，其在x方向上的偏导数I_x为：

I_x＝R(x，y-1)+2R(x+1，y)+R(x-1，y+1)-R(x-1，y-1)-2R(x-1，y)-R(x-1，y+1)；

在y方向上的偏导数I_y为：

I_y＝R(x-1，y+1)+2R(x，y+1)+R(x+1，y+1)-R(x-1，y-1)-2R(x，y-1)-R(x+1，y-1)

式中：R(x，y)为像素点(x，y)处的像素值；

利用二范数计算其梯度幅值O所得：

其梯度方向为：

θ＝arctan(Iy/Ix)；

通过阀值滤除噪声或颜色变化引起的小的梯度值，保留大的梯度值；梯度值变化大于阈值的图像位置被认为是边缘，从而具备弱纹理检测能力；

所述向量分类方法包括：

设圆形与三角形为两类样本{(x_i，y_i)，i＝1，2，...，n，x∈Rⁿ，y∈[±1]}，则可用线性分类方程表示超平面，如果该超平面可正确分类训练集且具备分类间隔，则需满足下式的约束；

(ω·x)+b＝0

y_i[(ω·x_i)+b]≥1

根据两直线间的距离可以计算出分类间隔为2/||ω||，为了使两类样本的距离最大化并满足上式的约束，需要引入拉格朗日函数：

其中，a_j≥0为拉格朗日乘子，通过求偏置b和权值向量ω的偏导数并使它们的值为零，

计算出拉格朗日函数的极小值，则上述最优分类超平面的问题就转变相应的对偶问题：

假设a_j ^*为最优解，则最优权值向量ω^*和最优偏置b_j ^*可分别表示为：

根据全局最优解可以得到最优分类函数为：

所述颜色特征的提取包括：

颜色特征是图像中最直观和最主要的信息之一，相较于其他特征来说，颜色特征计算简单且具有较好的鲁棒性，无人机获取的图像是基于RGB颜色空间进行表示的，但是RGB空间是一种不均匀的颜色空间，图像中任意两点颜色的知觉差异与它们的距离不一致，因此RGB不适合用于图像颜色特征的提取，与RGB颜色空间不同，HSV颜色空间是面向视觉感知的颜色模型，符合人眼对颜色的感觉，而且表示方式适用于图像处理；

HSV颜色空间的颜色特征提取；

本实施例中，基于HSV颜色空间进行颜色特征提取，HSV颜色空间能够较好的描述颜色的三个基本属性：色调(Hue)、饱和度(Saturation)和亮度 (Value)，HSV颜色空间可以用一个倒置的圆锥体表示，竖直的长轴代表亮度，亮度仅与光照强度相关，用来表示人眼感受到的明暗程度；离开长轴的距离代表饱和度，饱和度与白光加入的比例相关，用来表示颜色的深浅；围绕长轴的角度代表色调，色调与混合光谱中的主要波长相关，用来表示颜色属性；

HSV颜色空间是由RGB颜色空间通过非线性变换得到的，从RGB转换到HSV的计算公式为：

颜色特征提取；

由于无人机图像经过分割后形成了一个个超像素对象，对于每个超像素来说，每个超像素的特征是其包含的所有像元的综合表现；提取每个超像素中所有像元在H、S、V三个分量中的均值作为超像素的颜色特征，计算方式如下：

其中，H_cm、S_cm、V_cm分别表示超像素cm在色调、饱和度和亮度3各分量的颜色特征值；同理，H_xj、S_xj、V_xj别表示像元xj相应分量中的颜色特征值；

纹理是描绘区域特征的一种重要方法，主要反映了图像中的同质现象；

本实施例中，通过矩阵进行超像素纹理特征提取，描述图像(x,y)在θ方向上，距离为

的两个分别灰度级分别为i和j的像素同时出现的概率P(i,j,δ,θ)。用数学公式可定义为：

P(i，jδ，θ)＝{[(x，y)，(x+dx，y+dy)]|f(x，y)＝i，f(x+dx，d+dy)＝j}；

θ取0度、45度、90度和135度这四个方向，而δ的取值一般情况为1，对称矩阵，通过其可导出14种纹理特征，但由于计算量很大，使用能量、对比度、熵和相关性这4个特征来进行纹理特征表达，根据超像素的标签值计算该区域内的共生矩阵，上述4个特征的计算方式如下：

式中，p(i,j)为归一化后的P(i,j)；μ_x、μ_x和σ_x、σ_x分别是p_x、p_y的均值和方差；Asm表示能量又称为角二阶矩，是灰度共生矩阵各元素的平方和，反映了图像中纹理的粗糙程度；C表示对比度，是灰度共生矩阵中主对角线附近的惯性矩，反映了纹理沟纹的深浅，对比度越大纹理沟纹越深；En表示熵，反映了纹理的复杂程度，熵越大图像中纹理信息越丰富；Cov表示相关性，描述了灰度共生矩阵元素在行或列方向上的相似程度，反映了纹理的一致性；

步骤13、实现水体的连续化，通过叠加处理获得目标疑似区域；

步骤14、将连续化水体和目标疑似区域映射到超像素分割结果中，利用航道整治建筑物与水体间的空间关系特征实现航道整治建筑物区域的提取。

步骤2、对内河航道全域地形地貌测量，同步采集水下地形数据和声呐图像，并使用GNSS全球卫星导航系统同步打标；本实施例中，利用强抗流双片体无人船，在船体中部布置声呐舱，搭载多波束声呐和侧扫声呐，对内河航道全域进行无人化地形地貌测量，同步采集水下地形数据和声呐图像，并采用GNSS全球卫星导航系统同步打标，所述的水下地形数据有包含平面坐标X，Y和深度Z信息，将其用GIS软件加工处理为DEM模型，所述的水下声呐图像可以用国际标准格式xtf进行解码，将其镶嵌处理为带有准确地理编码信息的声学地貌图像；

步骤3、定点抵近式扫描整治建筑物水下立面结构信息，获得水下声学点云数据；所述定点抵近式扫描整治建筑物水下立面结构信息的获取方法包括，使用强抗流ROV，在其上搭载水下三维声学成像声呐，航行至航道整治建筑物水下立面底部，以座底式方式定点抵近式扫描立面结构信息，其中，所述强抗流ROV为扁平流线型结构，航速和抗流性能显著提升，设置自动缆轴协同控制系统、动力定位系统，并安装可调的观察底座，显著提高了操作便捷性和座底稳定性；

步骤4、将内河航道多源地理空间信息，进行水上水下多重环境叠加的数字重构及场景反演，并构建内河航道及航道整治建筑物水上水下信息的实景三维场景与可视化呈现；

本实施例中，对融合处理后的内河航道多源地理空间信息，进行水上水下多重环境叠加的数字重构及场景反演，并基于自主开发的无人化作业三维协同显示系统，对内河航道及航道整治建筑物水上水下信息进行实景三维场景构建与可视化呈现；

所述数字重构方法包括：

步骤41、对无人机倾斜摄影测量的三维模型数字重构，修复无人机空三加密成果和初始化重建三维模型进行模型的，使用倾斜摄影影像与空三成果数据，对建模区域内三维模型细节整饰、纹理修补，通过颜色、亮度、形状及连续性属性确定水面范围，并消除确定弱纹理波段范围内的特定波长；

本实施例中，基于无人机倾斜摄影测量的三维模型数字重构，主要是基于无人机空三加密成果和初始化重建三维模型进行模型的修复，结合倾斜摄影影像与空三成果数据，以人工干预的方式对建模区域内三维模型进行细节整饰、纹理修补，实现精细化建模，在处理水面弱纹理问题时，计算机基于颜色、亮度、形状及连续性等属性来确定水面范围，通过确定弱纹理波段范围进行特定波长消除处理。处理倒影及光晕水面问题时需要全人工方式进行处理。

步骤42、基于无人船多波束地形测量的三维模型数字重构，对无人船多波束地形测量的三维模型数字重构，编辑校准改正、声速改正、潮位改正、吃水改正以及滤波处理的数据；

本实施例中，所述无人船在传统的双体船型的基础上优化了片体结构和外形，采用前后均衡的侧面积投影分布和圆舭型断面设计，能够有效破开波浪和侧流，抑制船体摆艏，具有显著强流条件下的稳定性

步骤43、对ROV的水下整治建筑物扫描，在分站扫测采集数据后，点云去噪、配准与拼接，通过测站的坐标系为基准将其他测站数据拼接到该坐标系下；

本实施例中，基于ROV的水下整治建筑物扫描，在分站扫测采集数据后，进行点云去噪，然后进行点云配准与拼接，即采用相对配准的方式，即以某一个测站的坐标系为基准将其他测站数据拼接到该坐标系下；

步骤44、水上水下多源点云数据融合拼接，按照粗拼接到精拼接的过程进行，在精拼接前通过手动调整目标站点的自由度参数，或以单个坐标轴为基准，多次修正平移距离参数和旋转角度参数，逐步靠近理想的拼接精度，在点云数据拼接、滤波完成后，进行RGB着色渲染；

本实施例中，水上水下多源点云数据融合拼接，按照粗拼接-精拼接的过程进行，在精拼接前通过手动调整目标站点的自由度参数，或以单个坐标轴为基准，多次修正平移距离参数和旋转角度参数，逐步靠近理想的拼接精度，在点云数据拼接、滤波完成后，进行RGB着色渲染，增强内河航道设施形态的直观描述；

所述无人化作业协同显示方法包括：

步骤45、数据配置管理，通过三维地理信息平台，使用数据分块与索引组织存储管理，模型简化、纹理压缩、共享与合并，配置管理二维点、线、面形式的基础地理信息数据、DEM数据、DOM数据、倾斜摄影数据、三维点云数据；

本实施例中，数据配置管理，面向内河航道三维场景，基于三维地理信息平台，采用数据分块与索引组织存储管理，模型简化、纹理压缩、共享与合并等数据处理技术，多线程、内存池、对象池、LOD调度等三维渲染方法，实现二维点、线、面形式的基础地理信息数据、DEM数据、DOM数据、倾斜摄影数据、三维点云数据等多源多类型异构数据的配置管理；

步骤46、场景控制，建立直观立体浏览水上、水面、水底的建构筑物、航道设施设备、水面、水底地形地貌层面的360度角度的浏览方式，查看数据的空间相互关系；

步骤47、多无人平台测量设备、定位设备等与现场作业服务器间的通讯管理，通过定位、姿态设备数据，将设备抽象成虚拟的设备类，每个设备对象具有相应的属性特征，并通过ORM对象关系映射的方式将各个对象保存在数据库中，实现设备配置信息的存取；

步骤48、数据融合计算，将测量设备布设、角点、中心点关键特征点，在系统中以模型坐标系中的坐标提供，通过数据融合计算模块按照坐标系层次结构分级，将关键特征点由模型局部坐标系至世界地理坐标系的转换；

步骤49、作业过程中，通过数据通讯管理传输到作业服务器中，经过数据融合计算，获得无人平台的实时位置姿态信息以及扫测覆盖信息，利用双缓冲绘图、消息队列、三维仿射变换可视化控制技术，将多无人平台、无人平台扫测范围动态目标以及水底地形、地貌等静态目标，实时显示在场景中，直观展现各个目标之间的相对关系。

本实施例中，作业过程中，无人船、无人机、ROV等多无人平台的测控实时信息，通过数据通讯管理传输到作业服务器中，经过数据融合计算，获得无人平台的实时位置姿态信息以及扫测覆盖信息，利用双缓冲绘图、消息队列、三维仿射变换等可视化控制技术，将多无人平台、无人平台扫测范围等动态目标以及水底地形、地貌等静态目标，实时显示在场景中，直观展现各个目标之间的相对关系，实现了内河航道设计无人化采集过程中多无人平台三维空间定位，真实反映现场实时作业态势。

参见图4，是根据本发明的流程设计与应用需要，自主开发的内河航道水上水下地理空间信息无人化作业过程与成果协同显示管理系统计算机程序，该系统面向内河航道三维场景，基于三维地理信息平台，从基础数据成果搜集与处理、无人船、ROV与无人机等多无人平台测量数据成果融合可视化的角度出发，设计并实现了数据配置管理功能模块，实现了空中、水上、水下多源多类型异构数据的三维可视化，构建了内河航道三维场景。该系统统一了无人机、无人船、ROV的作业场景，将实际应用到的无人化载体的虚拟模型置于三维场景之中，实现了场景控制、数据通讯管理、数据融合计算、作业过程三维可视化、屏显内容分发、测线布设与航迹管理、实时信息显示与管理等协同化功能。

参见图5，以实景图示的方式，示意了在存在丁坝等航道整治建筑物的内河水域，同步应用无人机摄影测量、无人船水深测量和ROV水下结构精细化探测，并同步进行无人载体实时位置通讯的水上水下地理空间信息无人化协同采集作业状态。

参见图6，是通过二维点、线、面形式的基础地理信息数据、DEM数据、 DOM数据、倾斜摄影数据、三维点云数据等多源多类型异构数据的融合处理，对数字正射影像、倾斜摄影图像、侧扫声呐图像、多波束晕染图像等，进行影像融合、波段重组、镶嵌等操作，融合为连续完整的水上水下影像数据叠加与拼合。

本发明：1、规划了无人机、无人船、水下机器人ROV搭载特定的传感器组合式采集内河航道水上水下地理空间信息要素的方法与作业流程；2、关于采集数据的处理，从上百种数据处理方法中探索出了适合于处理本发明采集到的数据的方法，将处理方法开发并组合后，形成了基础数据处理技术体系；3、在2的基础上，开发了专门的协同化作业系统，对无人化协同作业采集过程和最终成果进行了三维可视化展示。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种内河航道水上水下地理空间信息无人化协同采集处理方法，其特征在于：包括以下步骤：

步骤1、采集内河两岸测量图像，对测量图像的航道整治建筑物弱纹理信息提取和内河两岸水路边界的边界线分割提取；

步骤2、对内河航道全域地形地貌测量，同步采集水下地形数据和声呐图像，并使用GNSS全球卫星导航系统同步打标；

步骤3、定点抵近式扫描整治建筑物水下立面结构信息，获得水下声学点云数据；

步骤4、将内河航道多源地理空间信息，进行水上水下多重环境叠加的数字重构及场景反演，并构建内河航道及航道整治建筑物水上水下信息的实景三维场景与可视化呈现；步骤1中，所述航道整治建筑物弱纹理信息提取方法的步骤包括：

步骤11、使用超像素分割方法对测量图像进行分割获得超像素；所述超像素分割算法将CIELAB 颜色空间和XY 坐标位置信息组成五维特征空间，再根据像素颜色和空间位置特征的相似性为度量准则对图像的像素进行聚类，生成若干个超像素区域；

步骤12、根据超像素的颜色特征及纹理特征使用向量分类方法进行水陆分割；

步骤13、实现水体的连续化，通过叠加处理获得目标疑似区域；

步骤14、将连续化水体和目标疑似区域映射到超像素分割结果中，利用航道整治建筑物与水体间的空间关系特征实现航道整治建筑物区域的提取；

步骤4中，无人化作业协同显示方法包括：

步骤45、数据配置管理，通过三维地理信息平台，使用数据分块与索引组织存储管理，模型简化、纹理压缩、共享与合并，配置管理二维点、线、面形式的基础地理信息数据、DEM数据、DOM数据、倾斜摄影数据、三维点云数据；

步骤46、场景控制，建立直观立体浏览水上、水面或水底的建构筑物、航道设施设备以及水面或水底地形地貌层面的360度角度的浏览方式，查看数据的空间相互关系；

步骤47、多无人平台测量设备、定位设备与现场作业服务器间的通讯管理，通过定位、姿态设备数据，将设备抽象成虚拟的设备类，每个设备对象具有相应的属性特征，并通过ORM对象关系映射的方式将各个对象保存在数据库中，实现设备配置信息的存取；

步骤48、数据融合计算，将测量设备布设、角点、中心点关键特征点，在系统中以模型坐标系中的坐标提供，通过数据融合计算模块按照坐标系层次结构分级，将关键特征点由模型局部坐标系至世界地理坐标系的转换；

步骤49、作业过程中，通过数据通讯管理传输到作业服务器中，经过数据融合计算，获得无人平台的实时位置姿态信息以及扫测覆盖信息，使用双缓冲绘图、消息队列、三维仿射变换可视化控制，将多无人平台、无人平台扫测范围动态目标以及水底地形、地貌静态目标，实时显示在场景中直观展现各个目标之间的相对关系。

2.根据权利要求1所述的一种内河航道水上水下地理空间信息无人化协同采集处理方法，其特征在于：步骤4中，所述数字重构方法包括：

步骤41、对无人机倾斜摄影测量的三维模型数字重构，修复无人机空三加密成果和初始化重建三维模型进行模型的，使用倾斜摄影影像与空三成果数据，对建模区域内三维模型细节整饰、纹理修补，通过颜色、亮度、形状及连续性属性确定水面范围，并消除确定弱纹理波段范围内的特定波长；

步骤42、对无人船多波束地形测量的三维模型数字重构，编辑校准改正、声速改正、潮位改正、吃水改正以及滤波处理的数据；

步骤43、对ROV的水下整治建筑物扫描，在分站扫测采集数据后，点云去噪、配准与拼接，通过测站的坐标系为基准将其他测站数据拼接到该坐标系下；

步骤44、水上水下多源点云数据融合拼接，按照粗拼接到精拼接的过程进行，在精拼接前通过手动调整目标站点的自由度参数，或以单个坐标轴为基准，多次修正平移距离参数和旋转角度参数，逐步靠近理想的拼接精度，在点云数据拼接、滤波完成后，进行RGB着色渲染。

3.根据权利要求1所述的一种内河航道水上水下地理空间信息无人化协同采集处理方法，其特征在于：所述定点抵近式扫描整治建筑物水下立面结构信息的获取方法包括，使用强抗流ROV，在其上搭载水下三维声学成像声呐，航行至航道整治建筑物水下立面底部，以座底式方式定点抵近式扫描立面结构信息，其中，所述强抗流ROV为扁平流线型结构，设置自动缆轴协同控制系统、动力定位系统，并安装可调的观察底座。

4.根据权利要求2所述的一种内河航道水上水下地理空间信息无人化协同采集处理方法，其特征在于：所述无人船的前后均衡的侧面积投影分布和圆舭型断面设计。

5.根据权利要求1所述的一种内河航道水上水下地理空间信息无人化协同采集处理方法，其特征在于：所述采集内河两岸测量图像的方法包括：

使用多旋翼无人机搭载机械补偿光学系统的变焦镜头，形成无人机图像采集系统，地面操作人员控制所述的无人机图像采集系统飞行至100m-150m高度，使变焦镜头变焦至成像角度覆盖内河两岸。

6.根据权利要求1所述的一种内河航道水上水下地理空间信息无人化协同采集处理方法，其特征在于：所述超像素分割方法包括以下步骤：

步骤111、将RGB 颜色空间转换到CIELAB 颜色空间，先通过下列公式将RGB 转换到XYZ空间，

；再通过以下公式转换到LAB 空间，

；式中，/>

、/>

、/>

分别为颜色空间的值；

和/>

代表二维空间的水平和垂直位置；t为函数f的自变量，转换完成后，即可获得每个像素在五维空间的位置[/>

,/>

,/>

,/>

,/>

]；

步骤112、初始化种子点，设

为定义的超像素个数，/>

为待分割图像的像素数，则每个超像素的大小为/>

，两个相邻种子点间的距离为/>

，将种子点移动到以其为中心的3×3 范围内梯度值最小的位置，同时给每个种子点分配一个单独的标签；

步骤113、相似度衡量，在

范围内计算每个像素/>

与其距离最近的种子点的相似程度/>

，将最相似种子点的标签赋予像素/>

，迭代该过程直至收敛，像素的五维空间位置表示为[/>

,/>

,/>

,/>

,/>

]， />

有范围限制而/>

无范围限制，对五维空间位置进行归一化处理，归一化后的相似度/>

表示为：

式中，/>

为像素之间的颜色差异；/>

为像素间的空间距离；/>

为任一像素点；/>

为种子点；/>

是平衡参数，用于衡量颜色距离与空间距离在相似性度量中的比重，值越大聚类越紧密；/>

是种子点的间距，对在种子点周围/>

范围内对像素点进行聚类搜索；其中，平衡参数均设置为/>

=10；l、a、b为代表颜色空间的值；x和y代表二维空间的水平和垂直位置；

步骤114、通过图像检测方法提取弱纹理信息，所述图像检测方法步骤包括：使用二维高斯函数与目标图像进行卷积运算以得到平滑后的图像，二维高斯函数G(x,y)为：

；高斯函数与目标图像的卷积公式为：

；以上两式中，/>

为高斯函数的标准差，其大小的变化可以改变图像的平滑程度；x和y代表二维空间的水平和垂直位置；R(x,y)为高斯函数与输入图像进行卷积运算之后的图像；f(x,y)为输入图像；“*”代表卷积运算；计算梯度幅值和方向，利用Sobel 梯度模板分别计算图像在像素点f(x,y)处x 和y 方向上的偏导数，其在x 方向上的偏导数/>

为:

；在y 方向上的偏导数/>

为:

式中：R(x,y)为像素点(x,y)处的像素值；

利用二范数计算其梯度幅值

所得:/>

；其梯度方向为：/>

；

通过阀值滤除噪声或颜色变化引起的小的梯度值，保留大的梯度值。

7.根据权利要求1所述的一种内河航道水上水下地理空间信息无人化协同采集处理方法，其特征在于：所述向量分类方法包括：

设圆形与三角形为两类样本：

，使用线性分类方程表示超平面，如果该超平面可正确分类训练集且具备分类间隔，则需满足下列公式 的约束，/>

根据两直线间的距离可以计算出分类间隔为/>

，为了使两类样本的距离最大化并满足上述公式的约束，引入拉格朗日函数：/>

其中，

为拉格朗日乘子，通过求偏置/>

和权值向量/>

的偏导数并使它们的值为零，计算出拉格朗日函数的极小值，将最优分类超平面转换成对偶公式：

假设/>

为最优解，则最优权值向量/>

和最优偏置/>

可分别表示为：

根据全局最优解得到最优分类函数为：

。

8.根据权利要求1所述的一种内河航道水上水下地理空间信息无人化协同采集处理方法，其特征在于：所述颜色特征的提取包括：

通过非线性变换得到RGB 颜色空间，从RGB 转换到HSV 的计算公式为：

式中，H、S、V分别为即色相、饱和度和亮度的值，提取每个超像素中所有像元在H、S、V三个分量中的均值作为超像素的颜色特征，计算方式如下：

；其中，/>

、/>

、/>

分别表示超像素/>

在色调、饱和度和亮度3各分量的颜色特征值；同理，/>

、/>

、/>

分别表示像元/>

相应分量中的颜色特征值；

所述纹理特征提取的方法包括：使图像

在/>

方向上，距离为/>

的两个分别灰度级分别为/>

和/>

的像素同时出现的概率/>

；定义为：

；

取0 度、45 度、90 度和135 度四个方向，而/>

的取值为1，使用能量、对比度、熵和相关性这4 个特征来进行纹理特征表达，上述4 个特征的计算方式如下：

式中，/>

为归一化后的/>

；/>

、/>

和/>

、

分别是/>

、/>

的均值和方差；Asm 表示能量又称为角二阶矩，是灰度共生矩阵各元素的平方和，反映了图像中纹理的粗糙程度；/>

表示对比度，是灰度共生矩阵中主对角线附近的惯性矩，/>

表示熵，Cov 表示相关性。

Images