CN114858226A - 一种无人机山洪流量测量方法、装置及设备 - Google Patents

一种无人机山洪流量测量方法、装置及设备 Download PDF

Info

Publication number
CN114858226A
CN114858226A CN202210782991.8A CN202210782991A CN114858226A CN 114858226 A CN114858226 A CN 114858226A CN 202210782991 A CN202210782991 A CN 202210782991A CN 114858226 A CN114858226 A CN 114858226A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
point cloud
obtaining
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210782991.8A
Other languages
English (en)
Other versions
CN114858226B (zh
Inventor
刘炳义
李玉琳
嵇莹
刘维高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Dashuiyun Technology Co ltd
Original Assignee
Wuhan Dashuiyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Dashuiyun Technology Co ltd filed Critical Wuhan Dashuiyun Technology Co ltd
Priority to CN202210782991.8A priority Critical patent/CN114858226B/zh
Publication of CN114858226A publication Critical patent/CN114858226A/zh
Application granted granted Critical
Publication of CN114858226B publication Critical patent/CN114858226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F1/00—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Abstract

本发明提供一种无人机山洪流量测量方法、装置及设备，包括获取离线激光点云地图；获取在线点云数据，根据IMU数据和无人机初始位置得到无人机预测位姿；遍历在线点云数据，选取关键点，根据关键点和预测位姿得到在线点云中的特征描述符；划分无人机的预测位姿周围的空间得到解空间，进行坐标变换得到离线点云中的特征描述符；通过边缘化匹配概率得到估计偏移量，得到无人机的位移，进行无人机自定位；根据无人机的世界坐标得到像素的世界坐标；根据像素的世界坐标得到粒子的位移情况，得到流速，根据断面信息得到流量，利用深度学习实现对无人机精确定位，推得相机的位置，得到像素的位置，快速获取山洪流量。

Description

一种无人机山洪流量测量方法、装置及设备
技术领域
本发明涉及流场测量技术领域，具体涉及一种无人机山洪流量测量方法、装置及设备。
背景技术
中国是洪涝灾害频发的国家，洪涝灾害还会带来其它的自然灾害，严重威胁广大人民群众的生命财产安全。在洪水来临前后提供河流表面流量数据对大洪水防汛决策的时效性，降低灾害带来的损失具有十分重要的意义。因此，深入开展洪涝表面流速测量研究，是防灾减灾研究的重要组成部分，对流域防洪规划，江河洪泛区土地的合理利用以及区域经济可持续性发展都具有重大意义。
洪水期间，传统的设备如缆道铅鱼，无法下水作业，同时，如果流速过大，走航式ADCP也无法安全地进行测量。因为测量难度高，测到的流量精度也不够准确，常错失抢测洪峰时机，暴雨易发区河流洪水陡涨陡落，常规测速方法很难满足大洪水防汛决策时效性。
随着计算机视觉领域和无人机领域的发展，无人机测流逐渐被应用到山洪流量监测中，目前应用的无人机测流方法主要有直接测量法，由飞手控制操作无人机起飞，飞到断面上并悬停，利用雷达流速仪对流速进行测量，待到完成所有垂线的流速测量后，由飞手操控无人机返回地面，通过地面PC机测流软件自动完成流量计算。岸基视频辅助定位法，通过在岸边建立辅助标定摄像机对无人机进行三维定位，得到三维坐标系，将每帧图片与三维定位坐标系建立映射计算水流流速。还有通过设置漂浮盘或抛洒示踪粒子的方式，计算视频中漂浮盘或示踪粒子的位移估计流速。
无人机测流方法适用于山洪流量监测，但是基于机载雷达测速仪进行测量的方式，只能测量水面点流速，无法覆盖完整断面，测量结果无法代表断面实际流量，且无人机在山洪期间存在抖动，定位不精准，对测量结果有较大的影响；基于岸基辅助的无人机视频测流方法，需要提前进行人工标定，洪水期间较为危险，且标定精度直接影响测量精度，此外洪水过大时，岸基辅助易被损毁，无法进行图像采集；使用漂浮盘进行流速测量时，在流速过大时，漂浮盘会反向牵引无人机，导致无人机坠河无法进行图像采集和流速的测量；基于无人机抛洒示踪粒子法，在飞行过程中容易存在偏航，高空风速，飞手影响等因素导致定位不准，致使计算结果不精确。
以上所述的机载摄影测流方法虽然适用在山洪流量监测中，但是，一方面存在只能测量断面点流速，需要进行人工标定，洪水期间进行人工标定十分复杂和危险。同时还会存在设备损毁，无法测量的情况；另一方面存在航线偏移，高空风速，飞手影响对无人机定位产生影响。无人机的位置和相机矩阵对计算流速有着至关重要的影响，但是洪水期间无人机高精度定位难度大，人工标定困难，设备再次安装复杂且不安全，无法进行高精度的流场测量。
发明内容
为了解决现有基于无人机的山洪流量测量方法中存在的问题，本发明提出了一种无人机山洪流量测量方法。
一种无人机山洪流量测量方法，包括以下步骤：
步骤S1、获取待测河道区域离线激光点云地图；
步骤S2、获取在线点云数据，根据IMU数据和无人机初始位置得到无人机预测位姿；
步骤S3、遍历每一帧所有的在线点云数据，选取关键点，根据关键点和预测位姿得到在线点云中的特征描述符；
步骤S4、划分无人机的预测位姿周围的空间得到解空间，进行坐标变换得到离线点云中的特征描述符；
步骤S5、通过边缘化匹配概率得到估计偏移量，得到无人机的位移，进行无人机自定位；
步骤S6、根据无人机的世界坐标得到像素的世界坐标；
步骤S7、根据像素的世界坐标得到粒子的位移情况，得到流速，根据断面信息得到流量。
进一步地，所述步骤S1中，采用无人机搭载三维激光扫描仪，保持高度不变沿待测河道区域从上游到下游往复飞行，在飞行过程中采集获得待测河道区域离线点云数据，多次采集同一待测河道区域的离线点云数据，使用体素网格化滤波对点云数据进行降采样，进行语义分割，剔除动态物，对多次采集同一区域的离线点云数据进行融合，得到离线激光点云地图。
进一步地，所述步骤S2具体包括：
步骤S201、采用无人机携带三维激光扫描仪、摄像机、惯性传感器和示踪粒子，沿 预设航线从上游河道中轴向下游飞行，在待测河道区域均匀抛洒示踪粒子，待测河道区域 包括完整的断面信息和至少五米的岸边信息，通过摄像机采集待测河道区域表面水流的视 频；通过三维激光扫描仪获取每一帧的在线点云数据，通过惯性传感器获取IMU的数据与无 人机初始位置
Figure 833279DEST_PATH_IMAGE001
；
步骤S202、通过IMU的数据计算连续激光雷达帧之间的增量运动情况，生成无人机 的预测位姿
Figure 422523DEST_PATH_IMAGE002
，其中，
Figure 936681DEST_PATH_IMAGE003
表示无人机的空间位置，
Figure 253262DEST_PATH_IMAGE004
表示无人机的空间姿态。
进一步地，所述步骤S3具体包括：
步骤S301、遍历每一帧所有的在线点云数据，估算每个点云邻域内的点的线性度 和反射值，挑选出具有线性度高和反射值低的点作为候选点，对候选点进行由高到低的排 序，选取线性度高和反射值低的候选点作为关键点，用
Figure 802055DEST_PATH_IMAGE005
来表示关键点，其中
Figure 545889DEST_PATH_IMAGE006
表示关键点的地理信息，
Figure 281764DEST_PATH_IMAGE007
表示关键点的反射强度，关键点和其它的点存在一定 的空间距离；
步骤S302、利用
Figure 215085DEST_PATH_IMAGE008
方法对每一帧的在线点云数据进行处理，对每个关键点提 取其邻域内的
Figure 352805DEST_PATH_IMAGE009
个点，将每个关键点
Figure 536049DEST_PATH_IMAGE010
的邻域数据和无人机的预测位姿
Figure 759220DEST_PATH_IMAGE011
输入
Figure 417603DEST_PATH_IMAGE012
算法，将输入数据划分为
Figure 675409DEST_PATH_IMAGE013
维中的离散空 间，
Figure 777357DEST_PATH_IMAGE014
分别表示为
Figure 737092DEST_PATH_IMAGE015
维的大小，得到
Figure 746636DEST_PATH_IMAGE016
个特征描述符
Figure 62211DEST_PATH_IMAGE017
。
进一步地，所述步骤S4具体包括：
步骤S401、将无人机的预测位姿
Figure 381066DEST_PATH_IMAGE018
周围的空间按照
Figure 782091DEST_PATH_IMAGE019
六个维度划分得到解空间：
Figure 50786DEST_PATH_IMAGE020
其中，
Figure 283184DEST_PATH_IMAGE021
表示
Figure 726935DEST_PATH_IMAGE022
坐标变换值的集合，
Figure 661262DEST_PATH_IMAGE023
表示
Figure 215871DEST_PATH_IMAGE024
坐标变换值的集合，
Figure 302776DEST_PATH_IMAGE025
表示
Figure 166696DEST_PATH_IMAGE026
坐标 变换值的集合，
Figure 339051DEST_PATH_IMAGE027
表示
Figure 681040DEST_PATH_IMAGE028
坐标变换值的集合，
Figure 888030DEST_PATH_IMAGE029
表示
Figure 673583DEST_PATH_IMAGE030
坐标变换值的集合，
Figure 585432DEST_PATH_IMAGE031
表示
Figure 278582DEST_PATH_IMAGE032
坐 标变换值的集合，
Figure 12182DEST_PATH_IMAGE033
表示
Figure 280222DEST_PATH_IMAGE034
维度大小，
Figure 364852DEST_PATH_IMAGE035
表示
Figure 127272DEST_PATH_IMAGE036
维度大小，
Figure 230226DEST_PATH_IMAGE037
表示
Figure 888740DEST_PATH_IMAGE038
维度大小，
Figure 975514DEST_PATH_IMAGE039
表示
Figure 10466DEST_PATH_IMAGE040
维 度大小，
Figure 46555DEST_PATH_IMAGE041
表示
Figure 875971DEST_PATH_IMAGE042
维度大小，
Figure 644514DEST_PATH_IMAGE043
表示
Figure 483157DEST_PATH_IMAGE044
维度大小；
步骤S402、将在线点云数据按照下式变换到离线点云地图中，将变换后的坐标再次进行特征描述符提取：
Figure 357441DEST_PATH_IMAGE046
Figure 826599DEST_PATH_IMAGE047
Figure 169856DEST_PATH_IMAGE048
Figure 264720DEST_PATH_IMAGE049
Figure 9822DEST_PATH_IMAGE050
Figure 446620DEST_PATH_IMAGE051
Figure 464123DEST_PATH_IMAGE052
其中，
Figure 644569DEST_PATH_IMAGE053
为变换后的离线点云中的坐标，
Figure 244177DEST_PATH_IMAGE054
为在线点云中的坐标，
Figure 307336DEST_PATH_IMAGE055
为每次获取数据的角度变化值，
Figure 359605DEST_PATH_IMAGE056
为坐标变化值。
进一步地，步骤S501、对于每一帧所有的特征描述符在一个偏移量
Figure 343742DEST_PATH_IMAGE057
的概率为
Figure 250387DEST_PATH_IMAGE058
，其中，
Figure 28987DEST_PATH_IMAGE059
表示偏移处
Figure 834132DEST_PATH_IMAGE060
的第
Figure 605648DEST_PATH_IMAGE061
个特征描述符 的匹配概率；
通过对数似然法减少溢出，可以得到：
Figure 117532DEST_PATH_IMAGE062
其中，
Figure 785142DEST_PATH_IMAGE063
表示在线点云与离线点云地图之间偏移
Figure 546425DEST_PATH_IMAGE064
处的总体匹配成本；
将匹配成本
Figure 137943DEST_PATH_IMAGE065
转换为归一化值概率
Figure 22110DEST_PATH_IMAGE066
，将概率偏移量
Figure 345775DEST_PATH_IMAGE067
边缘化为的 概率向量可以得到概率向量
Figure 859933DEST_PATH_IMAGE068
、
Figure 238831DEST_PATH_IMAGE069
、
Figure 459728DEST_PATH_IMAGE070
、
Figure 282190DEST_PATH_IMAGE071
、
Figure 470595DEST_PATH_IMAGE072
；
步骤S502、将概率向量
Figure 138337DEST_PATH_IMAGE073
、
Figure 276057DEST_PATH_IMAGE074
、
Figure 253109DEST_PATH_IMAGE075
、
Figure 476280DEST_PATH_IMAGE076
、
Figure 885396DEST_PATH_IMAGE077
作为五个独立参数 输入
Figure 395399DEST_PATH_IMAGE078
，输出估计偏移量
Figure 497347DEST_PATH_IMAGE079
；
估计偏移量
Figure 207814DEST_PATH_IMAGE080
的计算方程为：
Figure 466626DEST_PATH_IMAGE081
Figure 782201DEST_PATH_IMAGE082
Figure 851788DEST_PATH_IMAGE083
Figure 502081DEST_PATH_IMAGE084
Figure 49737DEST_PATH_IMAGE085
Figure 282135DEST_PATH_IMAGE086
根据前一帧无人机的位置与估计偏移量得到飞行中每帧无人机的世界坐标
Figure 709575DEST_PATH_IMAGE087
的计算方程；
Figure 660213DEST_PATH_IMAGE089
其中，
Figure 744318DEST_PATH_IMAGE090
为获得的帧数。
进一步地，所述步骤S6中，无人机拍摄获取视频图像矩阵
Figure 565643DEST_PATH_IMAGE091
，间隔
Figure 977033DEST_PATH_IMAGE092
帧（每 帧间隔时间
Figure 336339DEST_PATH_IMAGE093
）提取1帧得到测流图像矩阵
Figure 225797DEST_PATH_IMAGE094
，每帧无人机的世界坐标
Figure 636050DEST_PATH_IMAGE095
计算测流图像矩阵上任意像素点的世界坐标
Figure 202030DEST_PATH_IMAGE096
；
对于第i帧像素坐标
Figure 596102DEST_PATH_IMAGE097
，其对应的世界坐标为
Figure 554831DEST_PATH_IMAGE098
，相机外参
Figure 803278DEST_PATH_IMAGE099
，相机内参
Figure 556471DEST_PATH_IMAGE100
，焦距
Figure 703418DEST_PATH_IMAGE101
，像素宽度
Figure 390139DEST_PATH_IMAGE102
，像素长度
Figure 306142DEST_PATH_IMAGE103
，像素坐标系的中心点
Figure 433498DEST_PATH_IMAGE104
，无人机高度
Figure 51430DEST_PATH_IMAGE105
，无人 机姿态角
Figure 86382DEST_PATH_IMAGE106
，旋转矩阵
Figure 856892DEST_PATH_IMAGE107
，平移向量
Figure 951887DEST_PATH_IMAGE108
为已知参数；
Figure 260378DEST_PATH_IMAGE109
Figure 99021DEST_PATH_IMAGE110
Figure 724037DEST_PATH_IMAGE111
像素坐标上的一点
Figure 442463DEST_PATH_IMAGE112
转换到图像坐标上为
Figure 520141DEST_PATH_IMAGE113
，
Figure 428054DEST_PATH_IMAGE114
Figure 628616DEST_PATH_IMAGE115
Figure 65413DEST_PATH_IMAGE116
其中，
Figure 82917DEST_PATH_IMAGE117
为相机比例变量。
进一步地，所述步骤S7具体包括：
步骤S701、对测流图像矩阵的每帧图像进行划分，划分为均匀的矩形窗口，窗口尺 寸
Figure 997783DEST_PATH_IMAGE118
，窗口灰度函数分别为
Figure 862971DEST_PATH_IMAGE119
，
Figure 470670DEST_PATH_IMAGE120
，计算连续两帧内所有示踪粒子位移量对 应的互相关系数
Figure 975469DEST_PATH_IMAGE121
，计算公式：
Figure 959606DEST_PATH_IMAGE123
其中，
Figure 413721DEST_PATH_IMAGE124
为最大互相关系数值，M、N均为窗口尺寸，
Figure 644851DEST_PATH_IMAGE125
、
Figure 449996DEST_PATH_IMAGE126
均为窗口灰度 函数，
Figure 972244DEST_PATH_IMAGE127
为对应窗口内粒子运动产生的位移量；
Figure 736325DEST_PATH_IMAGE128
最大值对应的为前后两帧中的同一粒子，测流图像中连续两帧图像的像素坐 标
Figure 951406DEST_PATH_IMAGE129
和
Figure 165218DEST_PATH_IMAGE130
，根据前后两帧粒子的移动距离：
Figure 491158DEST_PATH_IMAGE131
Figure 919865DEST_PATH_IMAGE132
其中，
Figure 492797DEST_PATH_IMAGE133
均为粒子移动距离；
和帧间时间
Figure 272535DEST_PATH_IMAGE134
计算第
Figure 339848DEST_PATH_IMAGE135
帧位移情况
Figure 872329DEST_PATH_IMAGE136
；
Figure 632475DEST_PATH_IMAGE137
Figure 368350DEST_PATH_IMAGE138
步骤S702、通过测流图像中连续两帧图像的像素坐标
Figure 479832DEST_PATH_IMAGE139
和
Figure 883132DEST_PATH_IMAGE140
和连续 两帧图片的世界坐标
Figure 610916DEST_PATH_IMAGE141
和
Figure 21038DEST_PATH_IMAGE142
算图片空间分辨率；
Figure 758050DEST_PATH_IMAGE143
Figure 202806DEST_PATH_IMAGE144
步骤S703、利用第i帧图片的世界坐标信息
Figure 101492DEST_PATH_IMAGE145
对第i帧位移情况
Figure 15222DEST_PATH_IMAGE146
计算得到世界坐标下的瞬时位移情况
Figure 274034DEST_PATH_IMAGE147
；
计算方式如下：
Figure 386346DEST_PATH_IMAGE148
通过断面的水流速度为：
Figure 455933DEST_PATH_IMAGE149
按照上述方法对一段时间获取的所有图片计算均值，得到时均流速：
Figure 843577DEST_PATH_IMAGE150
通过断面的流量
Figure 922391DEST_PATH_IMAGE151
为：
Figure 92472DEST_PATH_IMAGE152
其中，
Figure 316649DEST_PATH_IMAGE153
为水道断面面积，由测量的水位信息与获取图像信息得到，单位为
Figure 267288DEST_PATH_IMAGE154
。
一种无人机山洪流量测量装置，包括离线激光点云地图获取模块1、在线点云数据获取模块2、特征提取模块3、无人机定位模块4、像素定位模块5和流量确定模块6；
离线激光点云地图获取模块1，用于获取待测河道区域离线激光点云地图；
在线点云数据获取模块2，用于获取每一帧的在线点云数据，且获取IMU的数据与无人机初始位置，并生成无人机的预测位姿；
特征提取模块3，用于遍历每一帧所有的在线点云数据，选取关键点，根据关键点和预测位姿得到在线点云中的特征描述符，且划分无人机的预测位姿周围的空间得到解空间，进行坐标变换得到离线点云中的特征描述符；
无人机定位模块4，用于通过边缘化匹配概率得到估计偏移量，得到无人机的位移，进行无人机自定位；
像素定位模块5，用于根据无人机的世界坐标得到像素的世界坐标；
流量确定模块6，用于根据像素的世界坐标得到粒子的位移情况，得到流速，根据断面信息得到流量。
一种无人机山洪流量测量设备，包括无人机、处理器和用于存储能够在处理器上运行的计算机程序的存储器，无人机携带三维激光扫描仪、摄像机、惯性传感器和示踪粒子，处理器用于运行计算机程序时，执行所述的一种无人机山洪流量测量方法的步骤。
与现有技术相比，本发明具有以下优点和有益效果：
本发明所述的一种无人机山洪流量测量方法、装置及设备，不受航线偏移，高空风速，飞手等因素对实际结果产生的影响，也不受洪水的影响，通过建立待测河道区域离线激光点云地图，进而通过获取在线点云数据，根据IMU数据和无人机初始位置得到无人机预测位姿，进行特征提取后，通过边缘化匹配概率得到估计偏移量，得到无人机的位移，进行无人机自定位，能够通过深度学习计算无人机的精确位置。
本发明所述的一种无人机山洪流量测量方法、装置及设备，无需标定就可以完成像素坐标和世界坐标的对应转换。
附图说明
图1为本发明无人机山洪流量测量方法的流程图。
图2为本发明无人机携带三维激光扫描仪、摄像机、惯性传感器和示踪粒子的示意框图。
图3为本发明无人机山洪流量测量设备的示意框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种无人机山洪流量测量方法，包括以下步骤：
步骤S1、获取待测河道区域离线激光点云地图。
预先获取离线激光点云地图，方便后续步骤在线激光点云与其匹配，提升定位精度。
步骤S2、获取在线点云数据，根据IMU数据和无人机初始位置得到无人机预测位姿。
通过IMU数据计算得到预测位姿可以得到无人机飞行的姿态，便于后续步骤将在线激光点云的坐标变换到离线激光点云地图中，以及可以推算无人机行驶的状态，了解外力因素对无人机行驶路线的影响。
步骤S3、遍历每一帧所有的在线点云数据，选取关键点，根据关键点和预测位姿得到在线点云中的特征描述符、
获取特征描述符可以方便在线激光点云数据与离线激光点云数据更快更好的匹配（例如特征明显的物体进行快速的匹配，避免搜索全局进行匹配，提高程序运行速度），提升定位精度。
步骤S4、划分无人机的预测位姿周围的空间得到解空间，进行坐标变换得到离线点云中的特征描述符。
减少无人机飞行中外力影响带来的误差。
步骤S5、通过边缘化匹配概率得到估计偏移量，得到无人机的位移，进行无人机自定位。
完成无人机自定位，通过无人机的定位结果，求解任意像素坐标，不需要进行人工标定。
步骤S6、根据无人机的世界坐标得到像素的世界坐标。
步骤S7、根据像素的世界坐标得到粒子的位移情况，得到流速，根据断面信息得到流量，从而实现全断面的流速测量。
目前无人机测流会遇到高空风速，飞手影响，GPS信号弱这样的问题，因此本发明提供一种无人机山洪流量测量方法，获取离线激光点云地图后，在实际测量山洪流量过程中，采用无人机搭载摄像机和三维激光扫描仪，摄像机拍摄水流视频，在待测河道区域通过三维激光扫描仪获取每一帧的在线点云数据和无人机初始位置，生成无人机的预测位姿；遍历每一帧所有的在线点云数据，选取线性程度高和反射值低的候选点作为关键点，进行特征提取，将在线点云数据变换到离线激光点云地图，在线点云数据和离线激光点云地图之间无人机的精确位置，对无人机进行精确定位，进而可以推得相机的位置，通过世界坐标系、水流视频中的图片以及像素坐标系转换可以得到像素的具体位置，从而计算流速，不需要标定。
本发明所述步骤S1中，采用无人机搭载三维激光扫描仪，保持高度不变沿待测河道区域从上游到下游往复飞行，在飞行过程中采集获得待测河道区域离线点云数据，多次采集同一待测河道区域的离线点云数据，使用体素网格化滤波对点云数据进行降采样，进行语义分割，剔除动态物，对多次采集同一区域的离线点云数据进行融合，得到离线激光点云地图。
其中，本发明实施例中，使用
Figure 821897DEST_PATH_IMAGE155
算法进行语义分割，剔除动态物，对多次采集 同一区域的离线点云数据进行融合。
本发明所述步骤S2中具体包括：
步骤S201、采用无人机携带三维激光扫描仪、摄像机、惯性传感器和示踪粒子，沿 预设航线从上游河道中轴向下游飞行，在待测河道区域均匀抛洒示踪粒子，待测河道区域 包括完整的断面信息和至少五米的岸边信息，通过摄像机采集待测河道区域表面水流的视 频；通过三维激光扫描仪获取每一帧的在线点云数据，通过惯性传感器获取IMU的数据与无 人机初始位置
Figure 158069DEST_PATH_IMAGE156
。
为实现全断面测量，得到无人机预测位姿提供基础。
步骤S202、通过IMU的数据计算连续激光雷达帧之间的增量运动情况，生成无人机 的预测位姿
Figure 303880DEST_PATH_IMAGE011
，其中，
Figure 413918DEST_PATH_IMAGE157
表示无人机的空间位置，
Figure 83803DEST_PATH_IMAGE158
表示无人机的空间姿态。
得到无人机飞行的姿态，便于后续步骤将在线激光点云的坐标变换到离线激光点云地图中，以及可以推算无人机行驶的状态，了解外力因素对无人机行驶路线的影响。
所述步骤S3具体包括：
步骤S301、遍历每一帧所有的在线点云数据，估算每个点云邻域内的点的线性度 和反射值，挑选出具有线性度高和反射值低的点作为候选点，对候选点进行由高到低的排 序，选取线性度高和反射值低的候选点作为关键点，用
Figure 759635DEST_PATH_IMAGE159
来表示关键点，其中
Figure 810768DEST_PATH_IMAGE160
表示关键点的地理信息，
Figure 660299DEST_PATH_IMAGE161
表示关键点的反射强度，关键点和其它的点存在 一定的空间距离。
通过设置步骤S301，一方面可以通过特征点快速建立激光点云三维模型，另一方面方便提取特征描述符。
步骤S302、利
Figure 822290DEST_PATH_IMAGE162
用
Figure 133055DEST_PATH_IMAGE163
方法对每一帧的在线点云数据 进行处理，对每个关键点提取其邻域内的
Figure 89510DEST_PATH_IMAGE164
个点，将每个关键点
Figure 705299DEST_PATH_IMAGE165
的邻域数据 和无人机的预测位姿输入
Figure 716986DEST_PATH_IMAGE166
算法，将输入数据划分为
Figure 570672DEST_PATH_IMAGE167
维中的 离散空间，
Figure 760345DEST_PATH_IMAGE168
分别表示为
Figure 378277DEST_PATH_IMAGE019
维的大小，得到
Figure 616492DEST_PATH_IMAGE169
个特征描述 符
Figure 387002DEST_PATH_IMAGE170
。
通过维度划分方便从各个角度考量提取特征描述符，获取特征描述符可以方便在线激光点云数据与离线激光点云数据更快更好的匹配（例如特征明显的物体进行快速的匹配，避免搜索全局进行匹配，提高程序运行速度），提升定位精度。
所述步骤S4具体包括：
步骤S401、将无人机的预测位姿
Figure 734194DEST_PATH_IMAGE171
周围的空间按照
Figure 527838DEST_PATH_IMAGE015
六个维度划分得到解空间：
Figure 366481DEST_PATH_IMAGE173
其中，
Figure 240765DEST_PATH_IMAGE174
表示
Figure 772240DEST_PATH_IMAGE175
坐标变换值的集合，
Figure 849917DEST_PATH_IMAGE176
表示
Figure 679202DEST_PATH_IMAGE036
坐标变换值的集合，
Figure 158725DEST_PATH_IMAGE177
表示
Figure 64364DEST_PATH_IMAGE178
坐 标变换值的集合，
Figure 144184DEST_PATH_IMAGE179
表示
Figure 793472DEST_PATH_IMAGE180
坐标变换值的集合，
Figure 393080DEST_PATH_IMAGE181
表示
Figure 733537DEST_PATH_IMAGE182
坐标变换值的集合，
Figure 723489DEST_PATH_IMAGE183
表示
Figure 222473DEST_PATH_IMAGE184
坐标变换值的集合，
Figure 879850DEST_PATH_IMAGE185
表示
Figure 924029DEST_PATH_IMAGE186
维度大小，
Figure 447284DEST_PATH_IMAGE187
表示
Figure 438373DEST_PATH_IMAGE188
维度大小，
Figure 746995DEST_PATH_IMAGE189
表示
Figure 149026DEST_PATH_IMAGE190
维度大小，
Figure 175888DEST_PATH_IMAGE191
表示
Figure 501827DEST_PATH_IMAGE192
维度大小，
Figure 385994DEST_PATH_IMAGE193
表示
Figure 771976DEST_PATH_IMAGE182
维度大小，
Figure 20555DEST_PATH_IMAGE194
表示
Figure 337136DEST_PATH_IMAGE184
维度大小；
步骤S402、将在线点云数据按照下式变换到离线点云地图中，将变换后的坐标再次进行特征描述符提取：
Figure 885929DEST_PATH_IMAGE196
Figure 177233DEST_PATH_IMAGE197
Figure 365637DEST_PATH_IMAGE198
Figure 502221DEST_PATH_IMAGE199
Figure 889208DEST_PATH_IMAGE200
Figure 616993DEST_PATH_IMAGE201
Figure 840164DEST_PATH_IMAGE202
其中，
Figure 767056DEST_PATH_IMAGE203
为变换后的离线点云中的坐标，
Figure 24862DEST_PATH_IMAGE204
为在线点云中的坐 标，
Figure 126810DEST_PATH_IMAGE205
为每次获取数据的角度变化值，
Figure 86545DEST_PATH_IMAGE206
为坐标变化值。
所述步骤S5具体包括：
步骤S501、对于每一帧所有的特征描述符在一个偏移量
Figure 564931DEST_PATH_IMAGE207
的概率为
Figure 411664DEST_PATH_IMAGE208
，其中，
Figure 933781DEST_PATH_IMAGE209
表示偏移处
Figure 131544DEST_PATH_IMAGE210
的第
Figure 397310DEST_PATH_IMAGE211
个特征描述符的匹配概率；
通过对数似然法减少溢出，可以得到：
Figure 98549DEST_PATH_IMAGE213
其中，
Figure 604617DEST_PATH_IMAGE065
表示在线点云与离线点云地图之间偏移
Figure 479557DEST_PATH_IMAGE064
处的总体匹配成本；
将匹配成本
Figure 830904DEST_PATH_IMAGE214
转换为归一化值概率
Figure 917808DEST_PATH_IMAGE215
，将概率偏移量
Figure 781728DEST_PATH_IMAGE215
边缘化为的概 率向量可以得到概率向量
Figure 954083DEST_PATH_IMAGE216
、
Figure 312383DEST_PATH_IMAGE217
、
Figure 237483DEST_PATH_IMAGE075
、
Figure 819774DEST_PATH_IMAGE218
、
Figure 479425DEST_PATH_IMAGE219
；
步骤S502、将概率向量
Figure 625105DEST_PATH_IMAGE220
、
Figure 686602DEST_PATH_IMAGE074
、
Figure 174215DEST_PATH_IMAGE221
、
Figure 499324DEST_PATH_IMAGE222
、
Figure 261744DEST_PATH_IMAGE223
作为五个 独立参数输入
Figure 115430DEST_PATH_IMAGE224
，输出估计偏移量
Figure 554371DEST_PATH_IMAGE225
；
估计偏移量
Figure 860718DEST_PATH_IMAGE226
的计算方程为：
Figure 161250DEST_PATH_IMAGE227
Figure 181027DEST_PATH_IMAGE228
Figure 479284DEST_PATH_IMAGE229
Figure 335245DEST_PATH_IMAGE230
Figure 626418DEST_PATH_IMAGE231
Figure 251434DEST_PATH_IMAGE232
根据前一帧无人机的位置与估计偏移量得到飞行中每帧无人机的世界坐标
Figure 782910DEST_PATH_IMAGE233
的计算方程；
Figure 316047DEST_PATH_IMAGE235
其中，
Figure 692801DEST_PATH_IMAGE236
为获得的帧数。
所述步骤S6中，无人机拍摄获取视频图像矩阵
Figure 437904DEST_PATH_IMAGE237
，间隔
Figure 123969DEST_PATH_IMAGE238
帧（每帧间隔 时间
Figure 892205DEST_PATH_IMAGE239
）提取1帧得到测流图像矩阵
Figure 338229DEST_PATH_IMAGE240
，每帧无人机的世界坐标
Figure 921526DEST_PATH_IMAGE241
计算测流图像矩阵上任意像素点的世界坐标
Figure 529225DEST_PATH_IMAGE242
；
对于第i帧像素坐标
Figure 784757DEST_PATH_IMAGE243
，其对应的世界坐标为
Figure 18161DEST_PATH_IMAGE244
，相机外参
Figure 472276DEST_PATH_IMAGE245
，相机 内参
Figure 250877DEST_PATH_IMAGE246
，焦距
Figure 245902DEST_PATH_IMAGE247
，像素宽度
Figure 33729DEST_PATH_IMAGE248
，像素长度
Figure 811192DEST_PATH_IMAGE249
，像素坐标系的中心点
Figure 213224DEST_PATH_IMAGE250
，无人机高度
Figure 505665DEST_PATH_IMAGE251
，无人机姿态角
Figure 18555DEST_PATH_IMAGE252
，旋转矩阵
Figure 447262DEST_PATH_IMAGE253
，平移向量
Figure 36506DEST_PATH_IMAGE254
为已知参数；
Figure 534353DEST_PATH_IMAGE255
Figure 663983DEST_PATH_IMAGE256
Figure 150459DEST_PATH_IMAGE257
像素坐标上的一点
Figure 162802DEST_PATH_IMAGE258
转换到图像坐标上为
Figure 164256DEST_PATH_IMAGE259
，
Figure 284527DEST_PATH_IMAGE261
Figure 687827DEST_PATH_IMAGE262
Figure 353294DEST_PATH_IMAGE263
其中，
Figure 294575DEST_PATH_IMAGE264
为相机比例变量。
所述步骤S7具体包括：
步骤S701、对测流图像矩阵的每帧图像进行划分，划分为均匀的矩形窗口，窗口尺 寸
Figure 766007DEST_PATH_IMAGE265
，窗口灰度函数分别为
Figure 210764DEST_PATH_IMAGE266
，
Figure 375029DEST_PATH_IMAGE267
，计算连续两帧内所有示踪粒子位移量对 应的互相关系数
Figure 288758DEST_PATH_IMAGE268
，计算公式：
Figure 562219DEST_PATH_IMAGE269
其中，
Figure 877793DEST_PATH_IMAGE270
为最大互相关系数值，M、N均为窗口尺寸，
Figure 947381DEST_PATH_IMAGE125
、
Figure 863253DEST_PATH_IMAGE267
均为窗口灰 度函数，
Figure 614171DEST_PATH_IMAGE271
为对应窗口内粒子运动产生的位移量；
Figure 830258DEST_PATH_IMAGE124
最大值对应的为前后两帧中的同一粒子，测流图像中连续两帧图像的像素坐 标
Figure 336326DEST_PATH_IMAGE272
和
Figure 959068DEST_PATH_IMAGE273
，根据前后两帧粒子的移动距离：
Figure 825262DEST_PATH_IMAGE274
Figure 646587DEST_PATH_IMAGE275
其中，
Figure 526818DEST_PATH_IMAGE276
均为粒子移动距离；
和帧间时间
Figure 889054DEST_PATH_IMAGE277
计算第
Figure 44092DEST_PATH_IMAGE278
帧位移情况
Figure 438033DEST_PATH_IMAGE279
；
Figure 223586DEST_PATH_IMAGE280
Figure 539030DEST_PATH_IMAGE281
步骤S702、通过测流图像中连续两帧图像的像素坐标
Figure 497759DEST_PATH_IMAGE282
和
Figure 480627DEST_PATH_IMAGE283
和连续 两帧图片的世界坐标
Figure 499399DEST_PATH_IMAGE284
和
Figure 380767DEST_PATH_IMAGE285
算图片空间分辨率；
Figure 333067DEST_PATH_IMAGE286
Figure 249071DEST_PATH_IMAGE287
步骤S703、利用第i帧图片的世界坐标信息
Figure 360115DEST_PATH_IMAGE288
对第
Figure 994359DEST_PATH_IMAGE289
帧位移情况
Figure 498152DEST_PATH_IMAGE290
计算得到世界坐标下的瞬时位移情况
Figure 721192DEST_PATH_IMAGE291
；
计算方式如下：
Figure 550608DEST_PATH_IMAGE292
通过断面的水流速度为：
Figure 124677DEST_PATH_IMAGE293
按照上述方法对一段时间获取的所有图片计算均值，得到时均流速：
Figure 963320DEST_PATH_IMAGE294
通过断面的流量
Figure 588337DEST_PATH_IMAGE295
为：
Figure 309693DEST_PATH_IMAGE296
其中，
Figure 652949DEST_PATH_IMAGE297
为水道断面面积，由测量的水位信息与获取图像信息得到，单位为
Figure 498546DEST_PATH_IMAGE298
。
综上所述，本发明所述的一种无人机山洪流量测量方法，不受航线偏移，高空风速，飞手等因素对实际结果产生的影响，也不受洪水的影响，通过建立待测河道区域离线激光点云地图，进而通过获取在线点云数据，根据IMU数据和无人机初始位置得到无人机预测位姿，进行特征提取后，通过边缘化匹配概率得到估计偏移量，得到无人机的位移，进行无人机自定位，能够通过深度学习计算无人机的精确位置。
本发明所述的一种无人机山洪流量测量方法，无需标定就可以完成像素坐标和世界坐标的对应转换。
为了实现本发明实施例的方法，本发明实施例还提供一种无人机山洪流量测量装置，如图3所示，该装置包括：离线激光点云地图获取模块1、在线点云数据获取模块2、特征提取模块3、无人机定位模块4、像素定位模块5和流量确定模块6。其中，
离线激光点云地图获取模块1，用于获取待测河道区域离线激光点云地图；
在线点云数据获取模块2，用于获取每一帧的在线点云数据，且获取IMU的数据与无人机初始位置，并生成无人机的预测位姿；
特征提取模块3，用于遍历每一帧所有的在线点云数据，选取关键点，根据关键点和预测位姿得到在线点云中的特征描述符，且划分无人机的预测位姿周围的空间得到解空间，进行坐标变换得到离线点云中的特征描述符；
无人机定位模块4，用于通过边缘化匹配概率得到估计偏移量，得到无人机的位移，进行无人机自定位；
像素定位模块5，用于根据无人机的世界坐标得到像素的世界坐标；
流量确定模块6，用于根据像素的世界坐标得到粒子的位移情况，得到流速，根据断面信息得到流量。
其中，所述离线激光点云地图是无人机搭载三维激光扫描仪，保持高度不变沿待测河道区域从上游到下游往复飞行，在飞行过程中采集获得待测河道区域离线点云数据，多次采集同一待测河道区域的离线点云数据，使用体素网格化滤波对点云数据进行降采样，进行语义分割，剔除动态物，对多次采集同一区域的离线点云数据进行融合后获得。
通过摄像机采集待测河道区域表面水流的视频；通过三维激光扫描仪获取每一帧 的在线点云数据，通过惯性传感器获取IMU的数据与无人机初始位置
Figure 227336DEST_PATH_IMAGE299
，通 过IMU的数据计算连续激光雷达帧之间的增量运动情况，生成无人机的预测位姿
Figure 929713DEST_PATH_IMAGE300
。
本发明还提供一种无人机山洪流量测量设备，包括无人机、处理器和用于存储能够在处理器上运行的计算机程序的存储器，无人机携带三维激光扫描仪、摄像机、惯性传感器和示踪粒子，处理器用于运行计算机程序时，执行上述方法的步骤。
实际应用时，离线激光点云地图获取模块1、在线点云数据获取模块2、特征提取模块3、无人机定位模块4、像素定位模块5和流量确定模块6，可以由无人机山洪流量测量设备中的处理器、无人机以及无人机上携带三维激光扫描仪、摄像机、惯性传感器和示踪粒子来实现。当然，处理器需要运行存储器中的计算机程序来实现它的功能。
需要说明的是：上述实施例提供的无人机山洪流量测量设备在进行无人机山洪流量测量时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的无人机山洪流量测量装置与无人机山洪流量测量方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本发明实施例提供的无人机山洪流量测量设备包括：至少一个处理器、存储器、用户接口，至少一个网络接口。处理器、存储器、用户接口，至少一个网络接口通过总线系统耦合在一起。可以理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
其中，用户接口可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
本发明实施例中的存储器用于存储各种类型的数据以支持无人机山洪流量测量设备的操作。这些数据的示例包括：用于在无人机山洪流量测量设备上操作的任何计算机程序。
本发明实施例揭示的无人机山洪流量测量方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，无人机山洪流量测量方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP，DigitalSignalProcessor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成本发明实施例提供的无人机山洪流量测量方法的步骤。
在示例性实施例中，无人机山洪流量测量设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex ProgrammableLogicDevice)、FPGA、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或者其他电子元件实现，用于执行前述方法。
在一应用示例中，无人机山洪流量测量设备包括无人机和笔记本电脑，无人机携带三维激光扫描仪、摄像机、惯性传感器和示踪粒子，笔记本电脑用于运行计算机程序时，实现前述任一实施例所述的无人机山洪流量测量方法。
可以理解，存储器可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，RandomAccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random AccessMemory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random AccessMemory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在示例性实施例中，本发明实施例还提供了一种存储介质，即计算机存储介质，具体可以是计算机可读存储介质，例如包括存储计算机程序的存储器，上述计算机程序可由无人机山洪流量测量设备的处理器执行，以完成本发明实施例方法所述的步骤。计算机可读存储介质可以是ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
另外，本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种无人机山洪流量测量方法，其特征在于，包括以下步骤：
步骤S1、获取待测河道区域离线激光点云地图；
步骤S2、获取在线点云数据，根据IMU数据和无人机初始位置得到无人机预测位姿；
步骤S3、遍历每一帧所有的在线点云数据，选取关键点，根据关键点和预测位姿得到在线点云中的特征描述符；
步骤S4、划分无人机的预测位姿周围的空间得到解空间，进行坐标变换得到离线点云中的特征描述符；
步骤S5、通过边缘化匹配概率得到估计偏移量，得到无人机的位移，进行无人机自定位；
步骤S6、根据无人机的世界坐标得到像素的世界坐标；
步骤S7、根据像素的世界坐标得到粒子的位移情况，得到流速，根据断面信息得到流量。
2.根据权利要求1所述的无人机山洪流量测量方法，其特征在于：所述步骤S1中，采用无人机搭载三维激光扫描仪，保持高度不变沿待测河道区域从上游到下游往复飞行，在飞行过程中采集获得待测河道区域离线点云数据，多次采集同一待测河道区域的离线点云数据，使用体素网格化滤波对点云数据进行降采样，进行语义分割，剔除动态物，对多次采集同一区域的离线点云数据进行融合，得到离线激光点云地图。
3.根据权利要求1所述的无人机山洪流量测量方法，其特征在于，所述步骤S2具体包括：
步骤S201、采用无人机携带三维激光扫描仪、摄像机、惯性传感器和示踪粒子，沿预设 航线从上游河道中轴向下游飞行，在待测河道区域均匀抛洒示踪粒子，待测河道区域包括 完整的断面信息和至少五米的岸边信息，通过摄像机采集待测河道区域表面水流的视频； 通过三维激光扫描仪获取每一帧的在线点云数据，通过惯性传感器获取IMU的数据与无人 机初始位置
Figure 531399DEST_PATH_IMAGE001
；
步骤S202、通过IMU的数据计算连续激光雷达帧之间的增量运动情况，生成无人机的预 测位姿
Figure 164375DEST_PATH_IMAGE002
，其中，
Figure 498404DEST_PATH_IMAGE003
表示无人机的空间位置，
Figure 371682DEST_PATH_IMAGE004
表示无人机的空间姿态。
4.根据权利要求3所述的无人机山洪流量测量方法，其特征在于，所述步骤S3具体包括：
步骤301、遍历每一帧所有的在线点云数据，估算每个点云邻域内的点的线性度和反射 值，挑选出具有线性度高和反射值低的点作为候选点，对候选点进行由高到低的排序，选取 线性度高和反射值低的候选点作为关键点，用
Figure 673219DEST_PATH_IMAGE005
来表示关键点，其中
Figure 595039DEST_PATH_IMAGE006
表示关键点的地理信息，
Figure 314733DEST_PATH_IMAGE007
表示关键点的反射强度，关键点和其它的点存在 一定的空间距离；
步骤S302、利用
Figure 814372DEST_PATH_IMAGE008
方法对每一帧的在线点云数据进行处理，对每个关键点提取其 邻域内的
Figure 353938DEST_PATH_IMAGE009
个点，将每个关键点
Figure 328716DEST_PATH_IMAGE010
的邻域数据和无人机的预测位姿
Figure 637338DEST_PATH_IMAGE011
输入
Figure 852418DEST_PATH_IMAGE012
算法，将输入数据划分为
Figure 613701DEST_PATH_IMAGE013
维中的 离散空间，
Figure 392170DEST_PATH_IMAGE014
分别表示为
Figure 555298DEST_PATH_IMAGE015
维的大小，得到
Figure 941280DEST_PATH_IMAGE016
个特征描述 符
Figure 907968DEST_PATH_IMAGE017
。
5.根据权利要求3所述的无人机山洪流量测量方法，其特征在于，所述步骤S4具体包括：
步骤401、将无人机的预测位姿
Figure 37598DEST_PATH_IMAGE018
周围的空间按照
Figure 510692DEST_PATH_IMAGE019
六个维度划分得到解空间：
Figure 333155DEST_PATH_IMAGE021
其中，
Figure 69029DEST_PATH_IMAGE022
表示
Figure 189301DEST_PATH_IMAGE023
坐标变换值的集合，
Figure 327021DEST_PATH_IMAGE024
表示
Figure 258068DEST_PATH_IMAGE025
坐标变换值的集合，
Figure 996086DEST_PATH_IMAGE026
表示
Figure 405202DEST_PATH_IMAGE027
坐标变 换值的集合，
Figure 663008DEST_PATH_IMAGE028
表示
Figure 14223DEST_PATH_IMAGE029
坐标变换值的集合，
Figure 724690DEST_PATH_IMAGE030
表示
Figure 189694DEST_PATH_IMAGE031
坐标变换值的集合，
Figure 567586DEST_PATH_IMAGE032
表示
Figure 574856DEST_PATH_IMAGE033
坐 标变换值的集合，
Figure 287466DEST_PATH_IMAGE034
表示
Figure 303964DEST_PATH_IMAGE035
维度大小，
Figure 723313DEST_PATH_IMAGE036
表示
Figure 963801DEST_PATH_IMAGE025
维度大小，
Figure 852123DEST_PATH_IMAGE037
表示
Figure 718317DEST_PATH_IMAGE027
维度大小，
Figure 539642DEST_PATH_IMAGE038
表示
Figure 154294DEST_PATH_IMAGE039
维 度大小，
Figure 590566DEST_PATH_IMAGE040
表示
Figure 683286DEST_PATH_IMAGE041
维度大小，
Figure 890277DEST_PATH_IMAGE042
表示
Figure 456256DEST_PATH_IMAGE033
维度大小；
步骤S402、将在线点云数据按照下式变换到离线点云地图中，将变换后的坐标再次进行特征描述符提取：
Figure 53591DEST_PATH_IMAGE044
Figure 746740DEST_PATH_IMAGE045
Figure 57505DEST_PATH_IMAGE046
Figure 810697DEST_PATH_IMAGE047
Figure 895328DEST_PATH_IMAGE048
Figure 375857DEST_PATH_IMAGE049
Figure 26281DEST_PATH_IMAGE050
其中，
Figure 215954DEST_PATH_IMAGE051
为变换后的离线点云中的坐标，
Figure 584618DEST_PATH_IMAGE052
为在线点云中的坐标，
Figure 871768DEST_PATH_IMAGE053
为每次获取数据的角度变化值，
Figure 579961DEST_PATH_IMAGE054
为坐标变化值。
6.根据权利要求5所述的无人机山洪流量测量方法，其特征在于，步骤S501、对于每一 帧所有的特征描述符在一个偏移量
Figure 674955DEST_PATH_IMAGE055
的概率为
Figure 45763DEST_PATH_IMAGE056
，其 中，
Figure 618827DEST_PATH_IMAGE057
表示偏移处
Figure 712685DEST_PATH_IMAGE058
的第
Figure 227848DEST_PATH_IMAGE059
个特征描述符的匹配概率；
通过对数似然法减少溢出，可以得到：
Figure 508788DEST_PATH_IMAGE061
其中，
Figure 416701DEST_PATH_IMAGE062
表示在线点云与离线点云地图之间偏移
Figure 145492DEST_PATH_IMAGE063
处的总体匹配成本；
将匹配成本
Figure 785552DEST_PATH_IMAGE064
转换为归一化值概率
Figure 350525DEST_PATH_IMAGE065
，将概率偏移量
Figure 783168DEST_PATH_IMAGE065
边缘化为的概 率向量可以得到概率向量
Figure 382777DEST_PATH_IMAGE066
、
Figure 990476DEST_PATH_IMAGE067
、
Figure 495275DEST_PATH_IMAGE068
、
Figure 213832DEST_PATH_IMAGE069
、
Figure 933527DEST_PATH_IMAGE070
；
步骤S502、将概率向量
Figure 164657DEST_PATH_IMAGE071
、
Figure 969802DEST_PATH_IMAGE072
、
Figure 492050DEST_PATH_IMAGE073
、
Figure 253201DEST_PATH_IMAGE074
、
Figure 202703DEST_PATH_IMAGE075
作为五个 独立参数输入
Figure 963986DEST_PATH_IMAGE076
，输出估计偏移量
Figure 555504DEST_PATH_IMAGE077
；
估计偏移量
Figure 174092DEST_PATH_IMAGE078
的计算方程为：
Figure 294494DEST_PATH_IMAGE079
Figure 808652DEST_PATH_IMAGE080
Figure 187550DEST_PATH_IMAGE081
Figure 205184DEST_PATH_IMAGE082
Figure 230909DEST_PATH_IMAGE083
Figure 419314DEST_PATH_IMAGE084
根据前一帧无人机的位置与估计偏移量得到飞行中每帧无人机的世界坐标
Figure 821476DEST_PATH_IMAGE085
的计算方程；
Figure 224776DEST_PATH_IMAGE087
其中，
Figure 201828DEST_PATH_IMAGE088
为获得的帧数。
7.根据权利要求6所述的无人机山洪流量测量方法，其特征在于，所述步骤S6中，无人 机拍摄获取视频图像矩阵
Figure 159420DEST_PATH_IMAGE089
，间隔
Figure 834115DEST_PATH_IMAGE090
帧（每帧间隔时间
Figure 332399DEST_PATH_IMAGE091
）提取1帧得到测流图 像矩阵
Figure 168768DEST_PATH_IMAGE092
，每帧无人机的世界坐标
Figure 879235DEST_PATH_IMAGE093
计算测流图像矩阵上任意 像素点的世界坐标
Figure 138047DEST_PATH_IMAGE094
；
对于第i帧像素坐标
Figure 250360DEST_PATH_IMAGE095
，其对应的世界坐标为
Figure 523209DEST_PATH_IMAGE096
，相机外参
Figure 704661DEST_PATH_IMAGE097
，相机内参
Figure 517896DEST_PATH_IMAGE098
，焦距
Figure 484715DEST_PATH_IMAGE099
，像素宽度
Figure 725203DEST_PATH_IMAGE100
，像素长度
Figure 862793DEST_PATH_IMAGE101
，像素坐标系的中心点
Figure 214139DEST_PATH_IMAGE102
，无人机高度
Figure 35465DEST_PATH_IMAGE103
， 无人机姿态角
Figure 699052DEST_PATH_IMAGE104
，旋转矩阵
Figure 605828DEST_PATH_IMAGE105
，平移向量
Figure 964128DEST_PATH_IMAGE106
为已知参数；
Figure 889228DEST_PATH_IMAGE107
Figure 737098DEST_PATH_IMAGE108
Figure 334433DEST_PATH_IMAGE109
像素坐标上的一点
Figure 542429DEST_PATH_IMAGE110
转换到图像坐标上为
Figure 541609DEST_PATH_IMAGE111
，
Figure 560381DEST_PATH_IMAGE113
Figure 628700DEST_PATH_IMAGE114
Figure 125540DEST_PATH_IMAGE115
其中，
Figure 497003DEST_PATH_IMAGE116
为相机比例变量。
8.根据权利要求7所述的无人机山洪流量测量方法，其特征在于，所述步骤S7具体包括：
步骤S701、对测流图像矩阵的每帧图像进行划分，划分为均匀的矩形窗口，窗口尺寸
Figure 421097DEST_PATH_IMAGE117
，窗口灰度函数分别为
Figure 55340DEST_PATH_IMAGE118
，
Figure 90292DEST_PATH_IMAGE119
，计算连续两帧内所有示踪粒子位移量对应的互相关 系数
Figure 47753DEST_PATH_IMAGE120
，计算公式：
Figure 611590DEST_PATH_IMAGE122
其中，
Figure 451238DEST_PATH_IMAGE120
为最大互相关系数值，M、N均为窗口尺寸，
Figure 555461DEST_PATH_IMAGE123
、
Figure 180477DEST_PATH_IMAGE124
均为窗口灰度函数，
Figure 898903DEST_PATH_IMAGE125
为对应窗口内粒子运动产生的位移量；
Figure 976581DEST_PATH_IMAGE126
最大值对应的为前后两帧中的同一粒子，测流图像中连续两帧图像的像素坐标
Figure 618915DEST_PATH_IMAGE127
和
Figure 98437DEST_PATH_IMAGE128
，根据前后两帧粒子的移动距离：
Figure 787432DEST_PATH_IMAGE129
Figure 555668DEST_PATH_IMAGE130
其中，
Figure 1693DEST_PATH_IMAGE131
均为粒子移动距离；
和帧间时间
Figure 53832DEST_PATH_IMAGE132
计算第
Figure 927110DEST_PATH_IMAGE133
帧位移情况
Figure 431909DEST_PATH_IMAGE134
；
Figure 416046DEST_PATH_IMAGE135
Figure 339002DEST_PATH_IMAGE136
步骤S702、通过测流图像中连续两帧图像的像素坐标
Figure 366870DEST_PATH_IMAGE137
和
Figure 640857DEST_PATH_IMAGE138
和连续两帧 图片的世界坐标
Figure 366367DEST_PATH_IMAGE139
和
Figure 204484DEST_PATH_IMAGE140
算图片空间分辨率；
Figure 357248DEST_PATH_IMAGE141
Figure 649689DEST_PATH_IMAGE142
步骤S703、利用第i帧图片的世界坐标信息
Figure 162579DEST_PATH_IMAGE143
对第i帧位移情况
Figure 856865DEST_PATH_IMAGE144
计算得到世界坐标下的瞬时位移情况
Figure 977268DEST_PATH_IMAGE145
；
计算方式如下：
Figure 678376DEST_PATH_IMAGE146
通过断面的水流速度为：
Figure 808007DEST_PATH_IMAGE147
按照上述方法对一段时间获取的所有图片计算均值，得到时均流速：
Figure 91220DEST_PATH_IMAGE148
通过断面的流量
Figure 100634DEST_PATH_IMAGE149
为：
Figure 836508DEST_PATH_IMAGE150
其中，
Figure 959710DEST_PATH_IMAGE151
为水道断面面积，由测量的水位信息与获取图像信息得到，单位为
Figure 363009DEST_PATH_IMAGE152
。
9.一种无人机山洪流量测量装置，应用于如权利要求1至8任一项所述的无人机山洪流量测量装置方法，其特征在于：包括离线激光点云地图获取模块1、在线点云数据获取模块2、特征提取模块3、无人机定位模块4、像素定位模块5和流量确定模块6；
离线激光点云地图获取模块1，用于获取待测河道区域离线激光点云地图；
在线点云数据获取模块2，用于获取每一帧的在线点云数据，且获取IMU的数据与无人机初始位置，并生成无人机的预测位姿；
特征提取模块3，用于遍历每一帧所有的在线点云数据，选取关键点，根据关键点和预测位姿得到在线点云中的特征描述符，且划分无人机的预测位姿周围的空间得到解空间，进行坐标变换得到离线点云中的特征描述符；
无人机定位模块4，用于通过边缘化匹配概率得到估计偏移量，得到无人机的位移，进行无人机自定位；
像素定位模块5，用于根据无人机的世界坐标得到像素的世界坐标；
流量确定模块6，用于根据像素的世界坐标得到粒子的位移情况，得到流速，根据断面信息得到流量。
10.一种无人机山洪流量测量设备，其特征在于：包括无人机、处理器和用于存储能够在处理器上运行的计算机程序的存储器，无人机携带三维激光扫描仪、摄像机、惯性传感器和示踪粒子，处理器用于运行计算机程序时，执行权利要求1-8任一项所述的一种无人机山洪流量测量方法的步骤。
CN202210782991.8A 2022-07-05 2022-07-05 一种无人机山洪流量测量方法、装置及设备 Active CN114858226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210782991.8A CN114858226B (zh) 2022-07-05 2022-07-05 一种无人机山洪流量测量方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210782991.8A CN114858226B (zh) 2022-07-05 2022-07-05 一种无人机山洪流量测量方法、装置及设备

Publications (2)

Publication Number Publication Date
CN114858226A true CN114858226A (zh) 2022-08-05
CN114858226B CN114858226B (zh) 2022-10-25

Family

ID=82625637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210782991.8A Active CN114858226B (zh) 2022-07-05 2022-07-05 一种无人机山洪流量测量方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114858226B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116663223A (zh) * 2023-02-09 2023-08-29 北方工业大学 一种基于断波原理的溃坝洪水演进预测方法
CN116858229A (zh) * 2023-07-12 2023-10-10 广东喜讯智能科技有限公司 一种桥梁缺陷定位方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2025971A1 (en) * 1989-12-30 1991-07-01 Bir Bhanu Inertial navigation sensor integrated obstacle detection system
US20060224318A1 (en) * 2005-03-30 2006-10-05 Wilson Robert C Jr Trajectory prediction
CN109945856A (zh) * 2019-02-18 2019-06-28 天津大学 基于惯性/雷达的无人机自主定位与建图方法
US20200334499A1 (en) * 2017-12-20 2020-10-22 SZ DJI Technology Co., Ltd. Vision-based positioning method and aerial vehicle
CN112067839A (zh) * 2020-09-18 2020-12-11 重庆交通大学 无控制点条件下的无人机超宽河流表面流场快速测量方法
CN112347840A (zh) * 2020-08-25 2021-02-09 天津大学 视觉传感器激光雷达融合无人机定位与建图装置和方法
CN113129377A (zh) * 2021-04-23 2021-07-16 南京航空航天大学 一种三维激光雷达快速鲁棒slam方法和装置
CN113359782A (zh) * 2021-05-28 2021-09-07 福建工程学院 一种融合lidar点云与图像数据的无人机自主选址降落方法
CN113419235A (zh) * 2021-05-28 2021-09-21 同济大学 一种基于毫米波雷达的无人机定位方法
CN113901920A (zh) * 2021-10-11 2022-01-07 华南理工大学 结构模态参数识别方法、装置、计算机设备及存储介质
US20220018962A1 (en) * 2020-07-16 2022-01-20 Beijing Tusen Weilai Technology Co., Ltd. Positioning method and device based on multi-sensor fusion
CN114066981A (zh) * 2021-11-11 2022-02-18 国网辽宁省电力有限公司沈阳供电公司 一种无人机对地目标定位方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2025971A1 (en) * 1989-12-30 1991-07-01 Bir Bhanu Inertial navigation sensor integrated obstacle detection system
US20060224318A1 (en) * 2005-03-30 2006-10-05 Wilson Robert C Jr Trajectory prediction
US20200334499A1 (en) * 2017-12-20 2020-10-22 SZ DJI Technology Co., Ltd. Vision-based positioning method and aerial vehicle
CN109945856A (zh) * 2019-02-18 2019-06-28 天津大学 基于惯性/雷达的无人机自主定位与建图方法
US20220018962A1 (en) * 2020-07-16 2022-01-20 Beijing Tusen Weilai Technology Co., Ltd. Positioning method and device based on multi-sensor fusion
CN112347840A (zh) * 2020-08-25 2021-02-09 天津大学 视觉传感器激光雷达融合无人机定位与建图装置和方法
CN112067839A (zh) * 2020-09-18 2020-12-11 重庆交通大学 无控制点条件下的无人机超宽河流表面流场快速测量方法
CN113129377A (zh) * 2021-04-23 2021-07-16 南京航空航天大学 一种三维激光雷达快速鲁棒slam方法和装置
CN113359782A (zh) * 2021-05-28 2021-09-07 福建工程学院 一种融合lidar点云与图像数据的无人机自主选址降落方法
CN113419235A (zh) * 2021-05-28 2021-09-21 同济大学 一种基于毫米波雷达的无人机定位方法
CN113901920A (zh) * 2021-10-11 2022-01-07 华南理工大学 结构模态参数识别方法、装置、计算机设备及存储介质
CN114066981A (zh) * 2021-11-11 2022-02-18 国网辽宁省电力有限公司沈阳供电公司 一种无人机对地目标定位方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
SHUAI ZHANG 等: "An integrated UAV navigation system based on geo-registered 3D point cloud", 《2017 IEEE INTERNATIONAL CONFERENCE ON MULTISENSOR FUSION AND INTEGRATION FOR INTELLIGENT SYSTEMS (MFI)》 *
彭晶: "基于多感知信息融合的无人机定位技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *
杨敬安: "一种利用MAP估计的双目运动体视算法", 《电子学报》 *
王巍 等: "基于单目视觉和惯性测量的飞行器自定位研究", 《吉林大学学报(信息科学版)》 *
陈诚 等: "基于无人机自标定的表面流场测量方法", 《水利水电科技进展》 *
陈财富: "基于多传感器融合的无人机定位方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116663223A (zh) * 2023-02-09 2023-08-29 北方工业大学 一种基于断波原理的溃坝洪水演进预测方法
CN116663223B (zh) * 2023-02-09 2024-05-03 北方工业大学 一种基于断波原理的溃坝洪水演进预测方法
CN116858229A (zh) * 2023-07-12 2023-10-10 广东喜讯智能科技有限公司 一种桥梁缺陷定位方法

Also Published As

Publication number Publication date
CN114858226B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
JP6831414B2 (ja) 測位のための方法、測位のための装置、デバイス及びコンピュータ読み取り可能な記憶媒体
CN109059906B (zh) 车辆定位方法、装置、电子设备、存储介质
CN114858226B (zh) 一种无人机山洪流量测量方法、装置及设备
JP6862409B2 (ja) 地図生成及び移動主体の位置決めの方法及び装置
CN102262092B (zh) 能见度测量系统及方法
CN110617821B (zh) 定位方法、装置及存储介质
CN112966587A (zh) 目标检测模型的训练方法、目标检测方法及相关设备
CN111959495B (zh) 车辆的控制方法、装置及车辆
CN109631911B (zh) 一种基于深度学习目标识别算法的卫星姿态转动信息确定方法
CN111623773B (zh) 一种基于鱼眼视觉和惯性测量的目标定位方法及装置
WO2021212477A1 (zh) 校正点云数据的方法和相关装置
CN113933818A (zh) 激光雷达外参的标定的方法、设备、存储介质及程序产品
CN105354863A (zh) 基于特征滤波和快速运动检测模板预测的自适应尺度图像序列目标跟踪方法
CN111652276A (zh) 一种全天候便携式多功能仿生定位定姿观瞄系统及方法
CN106441282B (zh) 一种星敏感器星跟踪方法
Liu et al. Fusing dense features and pose consistency: A regression method for attitude measurement of aircraft landing
CN115727871A (zh) 一种轨迹质量检测方法、装置、电子设备和存储介质
Hwang et al. Wave height measurement scheme using wave detector based on convolutional neural network and PPM calculator with ocean wave images
CN115439469B (zh) 基于无人机的建筑缺陷检测方法、装置及电子设备
CN117437290B (zh) 一种多传感器融合的自然保护区无人机三维空间定位方法
CN113155121B (zh) 一种车辆定位方法、装置及电子设备
Xiaochen et al. Evaluation of Lucas-Kanade based optical flow algorithm
CN117590423A (zh) 一种高精度定位移动终端高及精度定位方法
CN117609337A (zh) 一种清洗自动驾驶数据的组织方法、装置、设备和存储介质
CN114323038A (zh) 融合双目视觉和2d激光雷达的室外定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant