CN116839555A - 一种基于摄影测量与激光点融合的海洋波浪测量方法 - Google Patents
一种基于摄影测量与激光点融合的海洋波浪测量方法 Download PDFInfo
- Publication number
- CN116839555A CN116839555A CN202311099235.6A CN202311099235A CN116839555A CN 116839555 A CN116839555 A CN 116839555A CN 202311099235 A CN202311099235 A CN 202311099235A CN 116839555 A CN116839555 A CN 116839555A
- Authority
- CN
- China
- Prior art keywords
- laser
- points
- point
- camera
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 18
- 238000000691 measurement method Methods 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000005259 measurement Methods 0.000 claims abstract description 14
- 238000013136 deep learning model Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C13/00—Surveying specially adapted to open water, e.g. sea, lake, river or canal
- G01C13/002—Measuring the movement of open water
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C13/00—Surveying specially adapted to open water, e.g. sea, lake, river or canal
- G01C13/002—Measuring the movement of open water
- G01C13/004—Measuring the movement of open water vertical movement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Computing Systems (AREA)
- Remote Sensing (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Hydrology & Water Resources (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开一种基于摄影测量与激光点融合的海洋波浪测量方法，属于激光雷达测量技术领域，用于海洋测量，包括：对激光雷达和相机联合标定并采集数据，进行相机图像和激光点特征提取与描述，对激光点分类并补充，执行特征点匹配；如果得到的欧式距离小于最小距离，则更新最小距离和最佳匹配索引；如果最小距离小于匹配阈值，则当前的激光点成功匹配到最佳特征点，将结果输入到匹配结果中，进行准确性验证和海洋测量与重建。本发明通相机提供高分辨率的图像，捕捉海浪的细节和变化，激光点图像提供精确的距离信息，通过分析激光点在海浪表面的分布情况，推断出海浪的高度和形态，实现对海浪的全面测量和形态重建。
Description
技术领域
本发明公开一种基于摄影测量与激光点融合的海洋波浪测量方法，属于激光雷达测量技术领域。
背景技术
传统的海浪测量方法使用传感器或浮标等设备来测量海浪的高度和频率等参数，这些方法受到设备成本高、安装位置限制、数据采集困难等问题的影响，且传感器的覆盖范围可能有限，无法提供全面的海浪测量。摄影测量技术通过相机拍摄海浪图像，利用图像处理和计算机视觉算法提取海浪的特征信息，通常只能提供二维的海浪图像，无法获取海浪的三维形态和高度信息，对于海浪的准确测量和重建存在一定的限制。激光雷达可以通过发送激光脉冲并接收回波来测量目标物体的距离和位置信息，通常需要点云数据处理和三维重建算法来获取目标物体的表面形态，对于复杂的海浪表面，可能需要高密度的点云数据和复杂的算法才能准确重建海浪形态。
发明内容
本发明的目的在于提供一种基于摄影测量与激光点融合的海洋波浪测量方法，以解决现有技术中，海洋测量精度不足的问题。
一种基于摄影测量与激光点融合的海洋波浪测量方法，包括：
S1.进行激光雷达和相机的联合标定；
S2.通过激光雷达和相机进行数据采集；
S3.相机图像特征提取与描述；
S4.激光点特征提取与描述；
S5.进行激光点的分类以及补充；
S6.特征点匹配；
S7.将欧式距离的倒数作为匹配分数的一部分，和余弦相似度得到的匹配分数根据权重计算出平均匹配分数，如果得到的欧式距离小于最小距离，则更新最小距离和最佳匹配索引；
S8.如果最小距离小于匹配阈值，则当前的激光点成功匹配到最佳特征点，将结果输入到匹配结果中；
S9.准确性验证；
S10.海洋测量与重建。
S1包括：
S1.1.使用一个已知尺寸和形状的棋盘格标定板，确保标定板放置在相机和激光雷达视野内，固定相机和激光雷达在稳定位置上，确保相机和激光雷达之间的几何关系相对固定；
S1.2.采集相机图像和激光点云数据，确保相机和激光雷达视野重叠并包含标定板，通过标定板的变化算出相机的位姿矩阵，手动用小圈把点云中对应的标定板框出来，小圈最少包含两条点云线，两条线即可构成一个面，就是标定板所在的平面，通过激光雷达相对于这个面的角度推算出激光雷达的姿态，通过这个面点云的距离算出其位置，再和相机相对比，得到相机与雷达的外参矩阵。
S2包括：使用相机拍摄海浪图像，同时使用基于软件无线电的激光雷达系统投射激光点到海面上，并记录激光点图像序列，确保相机和激光雷达位置固定，并且时间同步。
S3包括：对相机拍摄的海浪图像进行特征提取，将海浪图像进行灰度化处理，将海浪的灰度图像和关键点作为特征描述的输入，计算关键点的特征描述子。
S4包括：从激光回波中提取激光点信息，记录激光点在海面的位置信息，获取海浪表面的空间坐标数据，将激光点的三维坐标作为特征点的位置，计算特征点所在图像区域的梯度信息表示特征点的强度值或颜色信息，并将激光雷点的强度值作为特征描述子。
S5包括：
将激光点进行分类，分为有效激光点和无效激光点，从以下三个分类方法中选择一种进行分类：
B1.通过激光点的密度进行分类，针对每个激光点计算周围邻域内的激光点数量，设置每平方米50个激光点，如果低于设置的阈值则视为无效激光点，高于阈值视为有效激光点；
B2.计算激光点的聚集程度，通过K-means算法对激光点进行聚类，将激光点划分为不同的群集，对群集大小、紧密度进行分析，设置相应的阈值进行分类；
B3.根据运动模式进行分类，分析激光点在连续帧之间的运动模式，根据激光点在时间序列上的运动特征，将运动模式与期望的海浪运动模式进行比较，如果两者具有一致性，视为有效激光点；
当关键位置激光点缺失时，采取拟合的方法选择海浪曲面模型，使用已有的激光点数据拟合，估计缺失激光点的位置和数值，补全关键激光点。
S6包括：
S6.1.分别对特征点和激光点建立集合，每个激光点包括位置信息和描述子，每个特征点包括位置信息和描述子；
S6.2.初始化匹配结果为空集合；
S6.3.对于激光点集合中的每个激光点初始化最小距离为正无穷，最佳匹配索引为-1；
S6.4.对于特征点集合中的每个特征点，计算激光点描述子与特征点描述子之间的欧式距离：
；
d为两个点之间的欧式距离，为第i个横坐标，/>为第i个纵坐标，n为点的总数。
S6包括：
S6.5.将激光点描述子和特征点描述子视为向量形式，即描述子是由多个特征值组成的向量，然后计算激光点描述子和特征点描述子的余弦相似度；
通过计算强度相似性来评估两点的相似性，用余弦相似度表征强度，首先对激光点描述子和特征点描述子使用 L2 范数进行归一化，将向量的每个分量除以向量的 L2 范数，计算激光点描述子和特征点描述子之间的内积，将两个归一化后的向量进行点积运算，根据余弦相似度的定义，计算余弦相似度:
；
式中，cosθ表示余弦相似度，经上式计算得到一个介于-1到1之间的值，将得到的值线性映射到[0，1]区间的匹配分数。
S9包括：
将通过S8后的海浪图像和激光点数据进行收集，构建多输入多输出的深度学习模型，同时处理海浪图像和激光点图像；
对海浪图像进行预处理，包括缩放、剪裁、归一化，将图像转换为张量形式；
对激光数据进行预处理，包括降采样、归一化、平滑，将数据转换为张量形式；
在多输入多输出的深度学习模型中使用两个输入分支，一个用于处理海浪图像，另一个用于处理激光点数据，使用两个输出分支，一个用于输出海浪图像特征表示，另一个用于输出激光点数据的特征表示和特征匹配结果；
使用通过S8后的海浪图像和激光点数据对多输入多输出的深度学习模型进行训练，训练过程中，深度学习模型学习从不同模态的特征空间中找到匹配的特征对，并输出特征匹配结果；
训练完成后，使用训练好的多输入多输出的深度学习模型进行跨模态特征匹配，输入海浪图像和激光点云数据，通过多输入多输出的深度学习模型获得它们的特征表示，并从特征匹配输出中获取匹配结果。
S10包括：
使用特征点的三维坐标和激光点的位置信息进行三维重建，通过三角测量的方法计算海浪的表面形态和高度信息；
假设特征点的三维坐标为（），激光点的位置坐标为（/>），利用三角测量原理计算出海浪表面某点坐标的三维坐标（/>）：/>,/>,；
通过计算特征点的和激光点的垂直距离和海浪表面的曲率估计海浪的高度变化，假设海浪高度为H，海浪高度估计公式：
H=；
连接特征点和激光点，对特征点和激光点之间的匹配关系进行建模，重建海浪的形态，构建海浪表面的三维模型，进行曲面拟合。
相对比现有技术，本发明具有以下有益效果：本发明通相机提供高分辨率的图像，捕捉海浪的细节和变化，激光点图像提供精确的距离信息，通过分析激光点在海浪表面的分布情况，推断出海浪的高度和形态，实现对海浪的全面测量和形态重建。融合测量方法提供更全面和准确的海浪测量结果，对于海洋科学研究、海岸工程、海上能源等领域具有重要意义，还可以为海洋预警和海上安全提供关键的数据支持。
附图说明
图1是2023年1月试验区的海洋高处理结果；
图2是2023年2月试验区的海洋高处理结果；
图3是2023年3月试验区的海洋高处理结果；
图4是2023年4月试验区的海洋高处理结果；
图5是2023年5月试验区的海洋高处理结果。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于摄影测量与激光点融合的海洋波浪测量方法，包括：
S1.进行激光雷达和相机的联合标定；
S2.通过激光雷达和相机进行数据采集；
S3.相机图像特征提取与描述；
S4.激光点特征提取与描述；
S5.进行激光点的分类以及补充；
S6.特征点匹配；
S7.将欧式距离的倒数作为匹配分数的一部分，和余弦相似度得到的匹配分数根据权重计算出平均匹配分数，如果得到的欧式距离小于最小距离，则更新最小距离和最佳匹配索引；
S8.如果最小距离小于匹配阈值，则当前的激光点成功匹配到最佳特征点，将结果输入到匹配结果中；
S9.准确性验证；
S10.海洋测量与重建。
S1包括：
S1.1.使用一个已知尺寸和形状的棋盘格标定板，确保标定板放置在相机和激光雷达视野内，固定相机和激光雷达在稳定位置上，确保相机和激光雷达之间的几何关系相对固定；
S1.2.采集相机图像和激光点云数据，确保相机和激光雷达视野重叠并包含标定板，通过标定板的变化算出相机的位姿矩阵，手动用小圈把点云中对应的标定板框出来，小圈最少包含两条点云线，两条线即可构成一个面，就是标定板所在的平面，通过激光雷达相对于这个面的角度推算出激光雷达的姿态，通过这个面点云的距离算出其位置，再和相机相对比，得到相机与雷达的外参矩阵。
S2包括：使用相机拍摄海浪图像，同时使用基于软件无线电的激光雷达系统投射激光点到海面上，并记录激光点图像序列，确保相机和激光雷达位置固定，并且时间同步。
S3包括：对相机拍摄的海浪图像进行特征提取，将海浪图像进行灰度化处理，将海浪的灰度图像和关键点作为特征描述的输入，计算关键点的特征描述子。
S4包括：从激光回波中提取激光点信息，记录激光点在海面的位置信息，获取海浪表面的空间坐标数据，将激光点的三维坐标作为特征点的位置，计算特征点所在图像区域的梯度信息表示特征点的强度值或颜色信息，并将激光雷点的强度值作为特征描述子。
S5包括：
将激光点进行分类，分为有效激光点和无效激光点，从以下三个分类方法中选择一种进行分类：
B1.通过激光点的密度进行分类，针对每个激光点计算周围邻域内的激光点数量，设置每平方米50个激光点，如果低于设置的阈值则视为无效激光点，高于阈值视为有效激光点；
B2.计算激光点的聚集程度，通过K-means算法对激光点进行聚类，将激光点划分为不同的群集，对群集大小、紧密度进行分析，设置相应的阈值进行分类；
B3.根据运动模式进行分类，分析激光点在连续帧之间的运动模式，根据激光点在时间序列上的运动特征，将运动模式与期望的海浪运动模式进行比较，如果两者具有一致性，视为有效激光点；
当关键位置激光点缺失时，采取拟合的方法选择海浪曲面模型，使用已有的激光点数据拟合，估计缺失激光点的位置和数值，补全关键激光点。
S6包括：
S6.1.分别对特征点和激光点建立集合，每个激光点包括位置信息和描述子，每个特征点包括位置信息和描述子；
S6.2.初始化匹配结果为空集合；
S6.3.对于激光点集合中的每个激光点初始化最小距离为正无穷，最佳匹配索引为-1；
S6.4.对于特征点集合中的每个特征点，计算激光点描述子与特征点描述子之间的欧式距离：
；
d为两个点之间的欧式距离，为第i个横坐标，/>为第i个纵坐标，n为点的总数。
S6包括：
S6.5.将激光点描述子和特征点描述子视为向量形式，即描述子是由多个特征值组成的向量，然后计算激光点描述子和特征点描述子的余弦相似度；
通过计算强度相似性来评估两点的相似性，用余弦相似度表征强度，首先对激光点描述子和特征点描述子使用 L2 范数进行归一化，将向量的每个分量除以向量的 L2 范数，计算激光点描述子和特征点描述子之间的内积，将两个归一化后的向量进行点积运算，根据余弦相似度的定义，计算余弦相似度:
；
式中，cosθ表示余弦相似度，经上式计算得到一个介于-1到1之间的值，值越接近1表示相似度越高，值越接近-1表示相似度越低，将得到的值线性映射到[0，1]区间的匹配分数。
S9包括：
将通过S8后的海浪图像和激光点数据进行收集，构建多输入多输出的深度学习模型，同时处理海浪图像和激光点图像；
对海浪图像进行预处理，包括缩放、剪裁、归一化，将图像转换为张量形式；
对激光数据进行预处理，包括降采样、归一化、平滑，将数据转换为张量形式；
在多输入多输出的深度学习模型中使用两个输入分支，一个用于处理海浪图像，另一个用于处理激光点数据，使用两个输出分支，一个用于输出海浪图像特征表示，另一个用于输出激光点数据的特征表示和特征匹配结果；
使用通过S8后的海浪图像和激光点数据对多输入多输出的深度学习模型进行训练，训练过程中，深度学习模型学习从不同模态的特征空间中找到匹配的特征对，并输出特征匹配结果；
训练完成后，使用训练好的多输入多输出的深度学习模型进行跨模态特征匹配，输入海浪图像和激光点云数据，通过多输入多输出的深度学习模型获得它们的特征表示，并从特征匹配输出中获取匹配结果。
S10包括：
使用特征点的三维坐标和激光点的位置信息进行三维重建，通过三角测量的方法计算海浪的表面形态和高度信息；
假设特征点的三维坐标为（），激光点的位置坐标为（/>），利用三角测量原理计算出海浪表面某点坐标的三维坐标（/>）：/>,/>,；
通过计算特征点的和激光点的垂直距离和海浪表面的曲率估计海浪的高度变化，假设海浪高度为H，海浪高度估计公式：
H=；
连接特征点和激光点，对特征点和激光点之间的匹配关系进行建模，重建海浪的形态，构建海浪表面的三维模型，进行曲面拟合。
通过以上过程，在试验区进行实验，2023年1月至5月的结果如图1、图2、图3、图4和图5所示，在不同的海况下，海浪的高度和形态会有显著的变化。由于实验的地理位置原因，海面时常伴有强风，当有强风横扫海面时，海浪会迅速升高，通过对海浪的三维重建，得到该区域短时间内的高度变化，海浪高度大约在几厘米至几十厘米，最大值为70cm，最小值为0.1m，通过数据可以发现海面在春季相对比较稳定，在冬季波动幅度较大，在结果中由于背景光强烈，以及数据缺失，对结果造成一定的误差，另外根据实验数据发现，海浪高度与风速和气压有一定的相关性，特别是在风速较大和气压较低的时候，海浪高度往往较高，通过时间序列的分析，我们尝试对未来海浪高度进行预测，以便在可能发生异常波浪事件时提前做好防范准备。
以上实施例仅用于说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，包括：
S1.进行激光雷达和相机的联合标定；
S2.通过激光雷达和相机进行数据采集；
S3.相机图像特征提取与描述；
S4.激光点特征提取与描述；
S5.进行激光点的分类以及补充；
S6.特征点匹配；
S7.将欧式距离的倒数作为匹配分数的一部分，和余弦相似度得到的匹配分数根据权重计算出平均匹配分数，如果得到的欧式距离小于最小距离，则更新最小距离和最佳匹配索引；
S8.如果最小距离小于匹配阈值，则当前的激光点成功匹配到最佳特征点，将结果输入到匹配结果中；
S9.准确性验证；
S10.海洋测量与重建。
2.根据权利要求1所述的一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，S1包括：
S1.1.使用一个已知尺寸和形状的棋盘格标定板，确保标定板放置在相机和激光雷达视野内，固定相机和激光雷达在稳定位置上，确保相机和激光雷达之间的几何关系相对固定；
S1.2.采集相机图像和激光点云数据，确保相机和激光雷达视野重叠并包含标定板，通过标定板的变化算出相机的位姿矩阵，手动用小圈把点云中对应的标定板框出来，小圈最少包含两条点云线，两条线即可构成一个面，就是标定板所在的平面，通过激光雷达相对于这个面的角度推算出激光雷达的姿态，通过这个面点云的距离算出其位置，再和相机相对比，得到相机与雷达的外参矩阵。
3.根据权利要求1所述的一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，S2包括：使用相机拍摄海浪图像，同时使用基于软件无线电的激光雷达系统投射激光点到海面上，并记录激光点图像序列，确保相机和激光雷达位置固定，并且时间同步。
4.根据权利要求1所述的一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，S3包括：对相机拍摄的海浪图像进行特征提取，将海浪图像进行灰度化处理，将海浪的灰度图像和关键点作为特征描述的输入，计算关键点的特征描述子。
5.根据权利要求1所述的一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，S4包括：从激光回波中提取激光点信息，记录激光点在海面的位置信息，获取海浪表面的空间坐标数据，将激光点的三维坐标作为特征点的位置，计算特征点所在图像区域的梯度信息表示特征点的强度值或颜色信息，并将激光雷点的强度值作为特征描述子。
6.根据权利要求1所述的一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，S5包括：
将激光点进行分类，分为有效激光点和无效激光点，从以下三个分类方法中选择一种进行分类：
B1.通过激光点的密度进行分类，针对每个激光点计算周围邻域内的激光点数量，设置每平方米50个激光点，如果低于设置的阈值则视为无效激光点，高于阈值视为有效激光点；
B2.计算激光点的聚集程度，通过K-means算法对激光点进行聚类，将激光点划分为不同的群集，对群集大小、紧密度进行分析，设置相应的阈值进行分类；
B3.根据运动模式进行分类，分析激光点在连续帧之间的运动模式，根据激光点在时间序列上的运动特征，将运动模式与期望的海浪运动模式进行比较，如果两者具有一致性，视为有效激光点；
当关键位置激光点缺失时，采取拟合的方法选择海浪曲面模型，使用已有的激光点数据拟合，估计缺失激光点的位置和数值，补全关键激光点。
7.根据权利要求1所述的一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，S6包括：
S6.1.分别对特征点和激光点建立集合，每个激光点包括位置信息和描述子，每个特征点包括位置信息和描述子；
S6.2.初始化匹配结果为空集合；
S6.3.对于激光点集合中的每个激光点初始化最小距离为正无穷，最佳匹配索引为-1；
S6.4.对于特征点集合中的每个特征点，计算激光点描述子与特征点描述子之间的欧式距离：
；
d为两个点之间的欧式距离，为第i个横坐标，/>为第i个纵坐标，n为点的总数。
8.根据权利要求1所述的一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，S6包括：
S6.5.将激光点描述子和特征点描述子视为向量形式，即描述子是由多个特征值组成的向量，然后计算激光点描述子和特征点描述子的余弦相似度；
通过计算强度相似性来评估两点的相似性，用余弦相似度表征强度，首先对激光点描述子和特征点描述子使用 L2 范数进行归一化，将向量的每个分量除以向量的 L2 范数，计算激光点描述子和特征点描述子之间的内积，将两个归一化后的向量进行点积运算，根据余弦相似度的定义，计算余弦相似度:
；
式中，cosθ表示余弦相似度，经上式计算得到一个介于-1到1之间的值，将得到的值线性映射到[0，1]区间的匹配分数。
9.根据权利要求1所述的一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，S9包括：
将通过S8后的海浪图像和激光点数据进行收集，构建多输入多输出的深度学习模型，同时处理海浪图像和激光点图像；
对海浪图像进行预处理，包括缩放、剪裁、归一化，将图像转换为张量形式；
对激光数据进行预处理，包括降采样、归一化、平滑，将数据转换为张量形式；
在多输入多输出的深度学习模型中使用两个输入分支，一个用于处理海浪图像，另一个用于处理激光点数据，使用两个输出分支，一个用于输出海浪图像特征表示，另一个用于输出激光点数据的特征表示和特征匹配结果；
使用通过S8后的海浪图像和激光点数据对多输入多输出的深度学习模型进行训练，训练过程中，深度学习模型学习从不同模态的特征空间中找到匹配的特征对，并输出特征匹配结果；
训练完成后，使用训练好的多输入多输出的深度学习模型进行跨模态特征匹配，输入海浪图像和激光点云数据，通过多输入多输出的深度学习模型获得它们的特征表示，并从特征匹配输出中获取匹配结果。
10.根据权利要求1所述的一种基于摄影测量与激光点融合的海洋波浪测量方法，其特征在于，S10包括：
使用特征点的三维坐标和激光点的位置信息进行三维重建，通过三角测量的方法计算海浪的表面形态和高度信息；
假设特征点的三维坐标为（），激光点的位置坐标为（/>），利用三角测量原理计算出海浪表面某点坐标的三维坐标（/>）：/>,/>,/>；
通过计算特征点的和激光点的垂直距离和海浪表面的曲率估计海浪的高度变化，假设海浪高度为H，海浪高度估计公式：
H=；
连接特征点和激光点，对特征点和激光点之间的匹配关系进行建模，重建海浪的形态，构建海浪表面的三维模型，进行曲面拟合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311099235.6A CN116839555B (zh) | 2023-08-30 | 2023-08-30 | 一种基于摄影测量与激光点融合的海洋波浪测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311099235.6A CN116839555B (zh) | 2023-08-30 | 2023-08-30 | 一种基于摄影测量与激光点融合的海洋波浪测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116839555A true CN116839555A (zh) | 2023-10-03 |
| CN116839555B CN116839555B (zh) | 2023-12-08 |
Family
ID=88165542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311099235.6A Active CN116839555B (zh) | 2023-08-30 | 2023-08-30 | 一种基于摄影测量与激光点融合的海洋波浪测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116839555B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106199500A (zh) * | 2016-07-18 | 2016-12-07 | 北京方位捷讯科技有限公司 | 指纹特征定位方法及装置 |
| CN112561841A (zh) * | 2020-12-04 | 2021-03-26 | 深兰人工智能(深圳)有限公司 | 激光雷达和相机的点云数据融合方法、装置 |
| CN112785702A (zh) * | 2020-12-31 | 2021-05-11 | 华南理工大学 | 一种基于2d激光雷达和双目相机紧耦合的slam方法 |
| CN113759974A (zh) * | 2021-09-15 | 2021-12-07 | 国网通用航空有限公司 | 一种面向输电杆塔精细化巡检的航线生成方法 |
| CN115049821A (zh) * | 2022-05-23 | 2022-09-13 | 中国矿业大学 | 一种基于多传感器融合的三维环境目标检测方法 |
| US20220383755A1 (en) * | 2021-05-28 | 2022-12-01 | Tongji University | Unmanned aerial vehicle positioning method based on millimeter-wave radar |
| CN116452644A (zh) * | 2023-04-21 | 2023-07-18 | 北京石油化工学院 | 基于特征描述子的三维点云配准方法、装置及存储介质 |
-
2023
- 2023-08-30 CN CN202311099235.6A patent/CN116839555B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106199500A (zh) * | 2016-07-18 | 2016-12-07 | 北京方位捷讯科技有限公司 | 指纹特征定位方法及装置 |
| CN112561841A (zh) * | 2020-12-04 | 2021-03-26 | 深兰人工智能(深圳)有限公司 | 激光雷达和相机的点云数据融合方法、装置 |
| CN112785702A (zh) * | 2020-12-31 | 2021-05-11 | 华南理工大学 | 一种基于2d激光雷达和双目相机紧耦合的slam方法 |
| US20220383755A1 (en) * | 2021-05-28 | 2022-12-01 | Tongji University | Unmanned aerial vehicle positioning method based on millimeter-wave radar |
| CN113759974A (zh) * | 2021-09-15 | 2021-12-07 | 国网通用航空有限公司 | 一种面向输电杆塔精细化巡检的航线生成方法 |
| CN115049821A (zh) * | 2022-05-23 | 2022-09-13 | 中国矿业大学 | 一种基于多传感器融合的三维环境目标检测方法 |
| CN116452644A (zh) * | 2023-04-21 | 2023-07-18 | 北京石油化工学院 | 基于特征描述子的三维点云配准方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李斯: "激光点云与可见光图像融合算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116839555B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018028103A1 (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
| Xie et al. | RRCNet: Rivet region classification network for rivet flush measurement based on 3-D point cloud | |
| CN103177241B (zh) | 利用视频图像处理技术定位输电线路间隔棒的方法 | |
| CN110222661B (zh) | 一种用于运动目标识别及跟踪的特征提取方法 | |
| Wang et al. | A mobile robotic 3-D measurement method based on point clouds alignment for large-scale complex surfaces | |
| CN104834931A (zh) | 一种基于小波变换的改进的尺度不变特征匹配算法 | |
| CN115147723B (zh) | 一种内河船舶识别与测距方法、系统、介质、设备及终端 | |
| CN110516525A (zh) | 基于gan和svm的sar图像目标识别方法 | |
| CN109255815B (zh) | 一种基于零阶球谐函数的物体检测与识别方法 | |
| CN103700135B (zh) | 一种三维模型局部球面调和特征提取方法 | |
| CN115220007A (zh) | 一种针对姿态识别的雷达点云数据增强方法 | |
| CN103745238A (zh) | 基于AdaBoost和主动形状模型的受电弓识别方法 | |
| CN110703221A (zh) | 基于极化特征的城市低空小目标分类识别系统 | |
| CN117288094B (zh) | 基于激光传感器的掘进机实时定位系统 | |
| CN102842133A (zh) | 一种局部特征描述方法 | |
| Hou et al. | A pointer meter reading recognition method based on YOLOX and semantic segmentation technology | |
| CN116839555B (zh) | 一种基于摄影测量与激光点融合的海洋波浪测量方法 | |
| CN112949380A (zh) | 一种基于激光雷达点云数据的智能水下目标识别系统 | |
| CN111144279A (zh) | 一种智能辅助驾驶中障碍物的识别方法 | |
| CN114396921B (zh) | 一种基于无人机的钱塘江涌潮高度及传播速度测量方法 | |
| CN113316080B (zh) | 基于Wi-Fi与图像融合指纹的室内定位方法 | |
| Zhang et al. | Contrastive learning ideas in underwater terrain image matching | |
| CN117571341B (zh) | 一种轮胎全方位磨损检测系统及方法 | |
| CN116579955B (zh) | 一种新能源电芯焊缝反光点去噪和点云补全方法及系统 | |
| Seibert et al. | Estimation of curvatures in point sets based on geometric algebra |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |