CN117452426A - 一种基于水上激光雷达和水下双目相机的目标探测方法 - Google Patents
一种基于水上激光雷达和水下双目相机的目标探测方法 Download PDFInfo
- Publication number
- CN117452426A CN117452426A CN202311049337.7A CN202311049337A CN117452426A CN 117452426 A CN117452426 A CN 117452426A CN 202311049337 A CN202311049337 A CN 202311049337A CN 117452426 A CN117452426 A CN 117452426A
- Authority
- CN
- China
- Prior art keywords
- point
- underwater
- image
- binocular camera
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 45
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 62
- 239000011159 matrix material Substances 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000001914 filtration Methods 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 33
- 238000013519 translation Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000002834 transmittance Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 2
- 238000005260 corrosion Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 description 8
- 235000006506 Brasenia schreberi Nutrition 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种基于水上激光雷达和水下双目相机的目标探测方法，包括如下步骤：根据GNSS天线系统提供的PPS信号，对双目相机系统和激光雷达系统进行授时。对水上激光雷达和水下双目相机进行联合标定，得到激光雷达和双目相机之间的坐标转换矩阵。对激光雷达进行点云滤波，再对水上目标进行探测。对获得的双目相机图像进行图像增强处理，然后对增强后的双目相机图像进行立体匹配，通过YOLOV5目标检测算法获得水下目标的方位信息。对水上激光点云数据和水下声呐数据进行时间对准，将激光雷达点云和双目相机图像数据转换到同一时刻同一坐标系下。本发明的技术方案克服现有技术中不能对同时存在于水上和水下的目标进行探测的问题。
Description
技术领域
本发明涉及水下目标探测技术领域，具体涉及一种基于水上激光雷达和水下双目相机的目标探测方法。
背景技术
随着无人船等自主航行水上航行器的发展，水上目标探测技术变得越来越重要。水上水下一体化目标探测技术可以让无人船等水上机器人更加智能化和自主化，能够有效避免船舶、潜艇等水下水上设备与其他物体或障碍物发生碰撞，避免了设备损坏和人员伤亡事故的发生。此外，水上水下一体化目标探测技术也可以增强勘探和搜救工作的效率，提高作业的效率和精度。在现代军事领域中，水上水下目标探测技术也扮演着非常重要的角色，它可以有效保护舰艇等设备的安全，为作战行动提供支持。
许多水上或水下目标并不单单存在于同一个介质中，如浮标、浮冰和礁石等物体，他们会一部分漏出水面，另一部分潜藏在水下，仅仅通过单一传感器难以对这一类目标进行探测，所以需要采用水上水下传感器融合探测的方法。水上水下一体化目标探测通常采用水上激光雷达加水下声呐的方法，但是水下声呐的分辨率低，无法提供水下目标的细节性信息，难以对水下的小目标实现有效探测，水下双目相机正好可以克服这一缺点。水下双目相机通过两个视野角度相近的摄像头同时捕捉图像，可以利用双目视觉的原理来进行三维深度感知，获取目标的深度信息，实现对目标的探测，并且其可以捕捉更加高清晰度的图像，图像数据丰富、细节性好，能够分辨渔网等比较细节的目标，这是水下声呐所不具备的。激光雷达是利用激光进行远距离探测的传感器，其精度高、可靠性高，并且具备三维感知能力，可以在水面波动较大的情况下保持高精度，能够非常精准地探测和定位水上目标，如船只、浮标等，并且激光雷达的高精度特点正好与双目相机的高精度相匹配。
因此，现需要一种基于水上激光雷达和水下双目相机，能够进行水上水下一体化目标探测的方法。
发明内容
本发明的主要目的在于提供一种基于水上激光雷达和水下双目相机的目标探测方法，以解决现有技术中不能对同时存在于水上和水下的目标进行探测的问题。
为实现上述目的，本发明提供了一种基于水上激光雷达和水下双目相机的目标探测方法，具体包括如下步骤：
S1，根据GNSS天线系统提供的PPS信号，对双目相机系统和激光雷达系统进行授时。
S2，对水上激光雷达和水下双目相机进行联合标定，得到激光雷达和双目相机之间的坐标转换矩阵。
S3，对激光雷达进行点云滤波，再使用基于DBSCAN聚类算法的激光点云目标检测算法对水上目标进行探测，获得带拟合包围框的水上目标信息。
S4，对获得的双目相机图像使用基于暗通道先验的图像增强算法进行图像增强处理，然后对增强后的双目相机图像进行立体匹配，获得每个像素的深度信息，然后通过YOLOV5目标检测算法获得水下目标的方位信息。
S5，根据授时信息对同一时间的水上激光点云数据和水下双目相机图像数据进行时间对准，根据激光雷达坐标和双目相机坐标之间的坐标转换矩阵，将激光雷达点云和双目相机图像数据转换到同一时刻同一坐标系下。
进一步地，步骤S2包括：
S2.1，对双目相机进行标定。
S2.2，计算激光雷达和双目相机之间的坐标转换矩阵。
进一步地，步骤S2.1包括：
S2.1.1，在圆孔标定板上放置已知大小的黑白棋盘格。
S2.1.2，调整相机参数，使其拍摄到标定板的图像。
S2.1.3，在图像上提取出棋盘格的角点坐标。
S2.1.4，构造世界坐标系下的三维点云以及二维图像坐标系下的角点坐标。
S2.1.5，利用单应性矩阵将相机坐标系中的点转化为世界坐标系中的点。
S2.1.6，通过最小二乘法计算相机内参矩阵和外参矩阵，其中包含左、右相机的旋转矩阵R和平移向量T。
S2.1.7，左相机的旋转矩阵和平移向量分别为Rl、Tl，右相机的旋转矩阵和平移向量分别为Rr、Tr,双目视觉系统的旋转矩阵和平移向量可以由公式(1)求得：
进一步地，步骤S2.2包括：
S2.2.1，双目相机采集圆孔标定板图像，提取二维图像中圆孔的圆心坐标ci(ui,vi)以及半径ri(i＝1,2,3,4)。
S2.2.2，激光雷达扫描圆孔标定板，获取点云图像中圆孔圆心坐标以及半径Ri。
S2.2.3,将圆孔标定板中的4个圆心作为特征点，以激光雷达坐标系的圆孔圆心坐标Ci转换到图像坐标系的圆心坐标ci建立约束关系，使用最小二乘法拟合得到激光雷达坐标系到双目相机坐标系的旋转矩阵RLC和平移矩阵TLC，由此得到激光雷达坐标系到双目相机坐标系的坐标转换矩阵。
进一步地，步骤S3包括：
S3.1，对水上激光点云数据进行滤波处理。
S3.2，基于DBSCAN聚类算法，进行激光点云目标探测。
其中步骤S3.2包括：
S3.2.1，对初步滤波后的点云进行二值图像处理，并使用图像形态学对二值图像进行先腐蚀后膨胀的开运算处理。
S3.2.2，使用DBSCAN聚类算法对点云进行团簇聚类。
S3.2.3，使用主成分分析法拟合包围框。
S3.2.4，输出障碍物包围框中的障碍物信息。
进一步地，步骤S3.1包括：
S3.1.1，激光点云点集为P＝{pi＝{xi,yi,zi}|i＝1,...,N}，利用KD树搜索各个点的K近邻点集Qj(i)＝{qj|j＝1,...,k}。
S3.1.2，点pi与K近邻点的归一化平均距离如公式(2)所示：
其中d(pi)为点pi到激光雷达的距离，dij代表点云点集中点pi到近邻点集中点qj的距离。
S3.1.3，所有数据点的归一化K近邻平均距离呈正态分布，计算激光点云点集中N个点的均一化平均距离Daverage分布的均值和方差σ，设定标准差倍数λ，离群点滤除公式如公式(3)所示，式中0表示普通点云，1表示噪声点；
进一步地，步骤S3.2.2包括：
S3.2.2.1，任意选择一个未被访问的点P，将其作为核心点，并将该点标记为已访问，然后根据设定的邻域范围r与邻域内样本数量N，确定与P点全部密度相连的点云。
S3.2.2.2，如果P的邻域内点的个数N大于所包含的核心点的个数NmainPt，则初始化一个簇C，将P以及P领域内的点加入到C中。
S3.2.2.3，遍历C中每个点，如果有未被访问的，则将其标记为已访问，如果该点也是核心对象，则同样将该点邻域内的点加入到C中。
S3.2.2.4，重复步骤S3.2.2.3直到C中不再存在没被访问的核心对象，将簇C加入到一个集合Final中。
S3.2.2.5，重复步骤S3.2.2.1-S3.2.2.4，直到没有和核心点未被标记，剩余的点标记为噪声点；
S3.2.2.6，去除噪声点，最后得到的集合Final中的点为提取到的激光点云有效数据，输出集合Final。
进一步地，步骤S3.2.3包括：
S3.2.3.1，利用主成分分析法找到目标点集的x，y，z三个方向，求出质心，计算协方差、获得协方差矩阵。
S3.2.3.2，采用雅克比迭代法求取协方差矩阵的特征值和特征向量，特征向量即为主方向。
S3.2.3.3，将每个点的基于激光雷达坐标系的(x,y,z)坐标投影到坐标轴上，位置由累加所有点再求均值得到，求出每个目标的中心点坐标如公式(4)所示，
Plidar(i)＝(xi,yi,zi)(i＝0,1,2,…) (4)。
进一步地，步骤S4包括：
S4.1，对于任意的输入图像Jc(x,y)，其暗通道可以用公式(5)表达：
其中，矩形窗口为Ω(x,y)；c∈{r,g,b}表示含有r，g，b三个通道的像素点。
水下图像数学模型可由公式(6)表示：
I(x,y)＝J(x,y)·t(x,y)+A(1-t(x,y)) (6)；
其中，I(x,y)为水下原始图像，即待增强图像，J(x,y)为增强后清晰图像，t(x,y)为水体透射率，A为水下均匀光成分。
S4.2，估计水下均匀光成分。
S4.3，在获得水下均匀光成分估算值后，对式(6)进行归一化处理，水下散射成像模型可以变换为：
水体透射率在任意局部区域为一常数值，其预估值定义为t(x,y)，对水下成像模型进行最小值滤波可得：
对于水下清晰图像其暗通道值Jdark(x,y)趋近于0，所以有：
结合式(9)可以求得水体透射率的预估值为：
S4.4，在求得水下均匀光成分和水体透射率后，将估算的折射率t(x,y)和水下均匀光值入式(6)，便可获得增强后的水下图像J(x,y)：
S4.5，在不同的尺度空间上，使用高斯差分算法探测图像的极值点，并将这些点作为关键点候选。
S4.6，在候选关键点周围的尺度空间上，使用拟合二次曲面的方法来精确定位关键点，剔除低对比度和边缘响应的关键点。
S4.7，在关键点周围的尺度空间上，使用梯度方向直方图计算关键点处的主方向。
S4.8，对关键点进行描述，生成关键点描述子。
S4.9，对不同图像的特征点进行匹配。
S4.10，根据匹配点的位置，计算出左右图像之间的视差，从而得到立体深度图像。
S4.11，使用YOLOV5检测算法对S4.10获得的深度图像提取图像特征，识别图像中出现的目标并将其标记出来，输出探测箱的坐标。
进一步地，步骤S5包括：
S5.1，根据激光点云数据和相机图像数据的时间戳对每一帧激光点云数据和相机图像数据进行对准。
S5.2，以无人船中心为原点建立载体坐标系ONXNYNZN，以激光雷达中心建立雷达坐标系OLXLYLZL，以双目相机中心为原点建立相机坐标系OCXCYCZC，三个坐标系的Y轴方向均为无人船前进方向，Z轴方向互相平行。
则双目相机到雷达坐标转换关系为：
其中，MLc为相机坐标系到雷达坐标系的坐标转换矩阵。
测量激光雷达与无人船之间的位置关系得到雷达坐标系与载体坐标系之间的旋转矩阵RNL平移矩阵TNL，雷达坐标系到载体坐标系的转换关系为：
其中，MNL为雷达坐标系到载体坐标系的坐标转换矩阵。
本发明具有如下有益效果：
(1)本发明所提出的方法克服了单一传感器的不足，提高了探测效率。单一传感器只能适应特定的水下或水上环境，对一些特殊的目标无法做的完全的探测，例如浮标、浮冰、礁石等目标。特别是是浮冰、礁石等目标，通常露出水面的部分只占总体积的一小部分，因此，浮冰和礁石在海面上不易被发现，但其水下部分体积巨大，会严重威胁水面甚至水下航行器的安全。最后通过同步时间戳和联合标定的坐标转换关系，将激光雷达点云和双目相机图像数据转换到同一时刻同一坐标系下，实现了激光雷达与相机融合。
(2)水下双目相机可以捕捉得到高清晰度的图像，图像数据丰富、细节性好，能够分辨渔网等比较细节的目标，防止螺旋桨等装置被缠绕导致损坏，并且与激光雷达的高精度相匹配。而常用的水下声呐分辨率低，难以对水下小目标进行有效探测，并且水下声呐的低精度数据难以与激光雷达的高精度数据相匹配。
(3)本发明采用水上激光雷达和水下双目相机并行目标检测，最后数据融合的方法，降低了数据处理压力，提高了运算速度，使得目标探测的实时性更好。本发明对水上激光雷达和水下双目相机同时分别使用基于聚类算法和YOLOV5算法的目标检测算法进行目标探测，对获取的目标信息进行数据配准和融合，得到水上水下目标的信息。现有技术中一般先进行数据融合，再将两种传感器数据统一成一个数据源后再进行目标检测。这种统一进行数据处理的方法同时处理的数据量大，特别是进行目标检测时，实时性较差，而本发明提出的分开进行目标检测，最后进行数据融合的方法可减少对数据处理压力，实时性更好。
利用基于水上激光雷达和水下双目相机数据融合的跨介质目标探测方法，可以充分发挥这两种传感器的优势，实现对水上水下目标的高精度全方位探测。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了本发明的一种基于水上激光雷达和水下双目相机的目标探测方法的流程图。
图2示出了本发明的步骤S3.2的基于DBSCAN聚类算法的激光点云目标探测流程图。
图3示出了本发明的步骤S5的载体、激光雷达与双目相机坐标系的关系图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示的一种基于水上激光雷达和水下双目相机的目标探测方法，具体包括如下步骤：
S1，根据GNSS天线系统提供的PPS信号，对双目相机系统和激光雷达系统进行授时，以实现水下双目相机系统和水上激光雷达系统的时间同步。
S2，对水上激光雷达和水下双目相机进行联合标定，得到激光雷达和双目相机之间的坐标转换矩阵。
S3，对激光雷达进行点云滤波，再使用基于DBSCAN聚类算法的激光点云目标检测算法对水上目标进行探测，获得带拟合包围框的水上目标信息。
S4，对获得的双目相机图像使用基于暗通道先验的图像增强算法进行图像增强处理，然后对增强后的双目相机图像进行立体匹配，获得每个像素的深度信息，然后通过YOLOV5目标检测算法获得水下目标的方位信息。
S5，根据授时信息对同一时间的水上激光点云数据和水下双目相机图像数据进行时间对准，根据激光雷达坐标和双目相机坐标之间的坐标转换矩阵，将激光雷达点云和双目相机图像数据转换到同一时刻同一坐标系下，实现了激光雷达与相机融合，获得水上水下目标的信息。
具体地，GNSS天线系统能够从卫星获取高精度的时钟源，是系统中常用的标准时钟源，本发明采用GNSS天线系统作为激光雷达和双目相机时间同步的硬件系统，由GNSS天线系统提供各传感器基准时间。
步骤S1具体为：
S1.1，GNSS天线系统的时钟模块上的GNSS接收器接收GNSS天线传输的射频信号。
S1.2，对射频信号进行变频、解调处理，得到精确的每秒一次的PPS信号；
S1.3，根据PPS信号对每一秒内的激光雷达和双目相机数据进行授时，给每秒内的数据打上独立的时间戳，这样就保证了所有传感器的时间戳同步。
具体地，步骤S2包括：
S2.1，对双目相机进行标定。本发明采用张正友标定法对水下双目相机进行双目相机标定。
具体地，步骤S2.1包括：
S2.1.1，在圆孔标定板上放置已知大小的黑白棋盘格。
S2.1.2，调整相机参数，使其拍摄到标定板的图像。
S2.1.3，在图像上提取出棋盘格的角点坐标。
S2.1.4，构造世界坐标系下的三维点云以及二维图像坐标系下的角点坐标。
S2.1.5，利用单应性矩阵将相机坐标系中的点转化为世界坐标系中的点。
S2.1.6，通过最小二乘法计算相机内参矩阵和外参矩阵，其中包含左、右相机的旋转矩阵R和平移向量T。
S2.1.7，左相机的旋转矩阵和平移向量分别为Rl、Tl，右相机的旋转矩阵和平移向量分别为Rr、Tr,双目视觉系统的旋转矩阵和平移向量可以由公式(1)求得：
S2.2，计算激光雷达和双目相机之间的坐标转换矩阵。
具体地，步骤S2.2包括：
S2.2.1，双目相机采集圆孔标定板图像，提取二维图像中圆孔的圆心坐标ci(ui,vi)以及半径ri(i＝1,2,3,4)。
S2.2.2，激光雷达扫描圆孔标定板，获取点云图像中圆孔圆心坐标以及半径Ri。
S2.2.3，将圆孔标定板中的4个圆心作为特征点，以激光雷达坐标系的圆孔圆心坐标Ci转换到图像坐标系的圆心坐标ci建立约束关系，使用最小二乘法拟合得到激光雷达坐标系到双目相机坐标系的旋转矩阵RLC和平移矩阵TLC，由此得到激光雷达坐标系到双目相机坐标系的坐标转换矩阵。
具体地，步骤S3包括：
S3.1，对水上激光点云数据进行滤波处理。
水上激光雷达点云数据噪声形式通常有两种，第一种为因水体反射杂波等原因，而产生的弥散在视场中的干扰点，统称为离群点。第二种是由于激光接收器阈值过大，导致其错误将目标实体的反射点过滤而产生的漏失值，称为缺失点。缺失点现象可通过修改激光器的接收阈值改善，而离群点噪声均需要被滤除，以提高水面点云场景质量。
采用基于距离归一化的KNN数值统计的离群点滤除算法，这种方法是采用统计滤波的方式完成距离阈值的设定，同时利用引入距离归一化来适应激光雷达点云空间距离分辨率的变化。
具体地，步骤S3.1包括：
S3.1.1，激光点云点集为P＝{pi＝{xi,yi,zi}|i＝1,...,N}，利用KD树搜索各个点的K近邻点集Qj(i)＝{qj|j＝1,...,k}，K近邻点即点集中与该点最近的k个点的集合，利用KD树结构可很快求得。
S3.1.2，遍历点云点集与其K近邻点的距离分布，对于数据点pi，考虑扫描式激光雷达的空间分辨率分布，故其距离分辨率应与该点到激光雷达的距离d(Pi)成正比例线性关系。因此可使用距离归一化，消除空间分辨率变化带来的影响。点pi与K近邻点的归一化平均距离如公式(2)所示：
其中d(pi)为点pi到激光雷达的距离，dij代表点云点集中点pi到近邻点集中点qj的距离。
S3.1.3，所有数据点的归一化K近邻平均距离呈正态分布，计算激光点云点集中N个点的均一化平均距离Daverage分布的均值和方差σ，设定标准差倍数λ，离群点滤除公式如公式(3)所示，式中0表示普通点云，1表示噪声点。
S3.2，如图2所示，基于DBSCAN聚类算法，进行激光点云目标探测。
具体地，步骤S3.2包括：
S3.2.1，对初步滤波后的点云进行二值图像处理，并使用图像形态学对二值图像进行先腐蚀后膨胀的开运算处理，考虑到船体航行停止困难，对真实目标进行膨胀放大处理。
S3.2.2，使用DBSCAN聚类算法对点云进行团簇聚类。
具体地，步骤S3.2.2包括：
S3.2.2.1，任意选择一个未被访问的点P，将其作为核心点，并将该点标记为已访问，然后根据设定的邻域范围r与邻域内样本数量N，确定与P点全部密度相连的点云。
S3.2.2.2，如果P的邻域内点的个数N大于所包含的核心点的个数NmainPt，则初始化一个簇C，将P以及P领域内的点加入到C中。
S3.2.2.3，遍历C中每个点，如果有未被访问的，则将其标记为已访问。如果该点也是核心对象，则同样将该点邻域内的点加入到C中。
S3.2.2.4，重复步骤S3.2.2.3直到C中不再存在没被访问的核心对象，将簇C加入到一个集合Final中。
S3.2.2.5，重复步骤S3.2.2.1-S3.2.2.4，直到没有和核心点未被标记，剩余的点标记为噪声点。
S3.2.2.6，去除噪声点，最后得到的集合Final中的点为提取到的激光点云有效数据，输出集合Final。
但是激光雷达的数据特点导致不同距离的目标点云间隔不等，波浪距离较近时点云分布密集，相邻点间距小，而距离较远时点云数据稀疏，相邻点间距大。所以为避免波浪目标的过分割与欠分割，需要在实际的数据处理中对不同距离上的目标设置不同的分割阈值。
S3.2.3，使用主成分分析法拟合包围框。
具体地，步骤S3.2.3包括：
S3.2.3.1，利用主成分分析法找到目标点集的x，y，z三个方向，求出质心，计算协方差、获得协方差矩阵。
S3.2.3.2，采用雅克比迭代法求取协方差矩阵的特征值和特征向量，特征向量即为主方向。
S3.2.3.3，将每个点的基于激光雷达坐标系的(x,y,z)坐标投影到坐标轴上，位置由累加所有点再求均值得到，求出每个目标的中心点坐标如公式(4)所示，Plidar(i)＝(xi,yi,zi)(i＝0,1,2,…) (4)。
S3.2.4，输出障碍物包围框中的障碍物信息。
求每个目标的点坐标与该目标的中心点Plidar(i)坐标的距离，根据这个距离拟合出各目标的包围框，利用长方体包围框将每一个聚类后的目标框出来以提取障碍物目标的长宽高、中心点位置、运动方向等几何特征信息。
具体地，步骤S4包括：
S4.1，使用基于暗通道先验的图像增强算法进行图像质量增强。
暗通道图像获取：对于一幅RGB图像，依次获取每一个像素的三通道中灰度最小的值，得到一幅和原图像大小相同的灰度图，然后，在该灰度图中，以每一个像素为中心并取一定大小的矩形窗口Ω(x,y)，取该窗口中灰度值最小的值替代中心像素的灰度值，进而得到原输入图像的暗通道图像。对于任意的输入图像Jc(x,y)，其暗通道可以用公式(5)表达：
其中，矩形窗口为Ω(x,y)；c∈{r,g,b}表示含有r，g，b三个通道的像素点。
水下图像数学模型可由公式(6)表示：
I(x,y)＝J(x,y)·t(x,y)+A(1-t(x,y)) (6)。
其中，I(x,y)为水下原始图像，即待增强图像，J(x,y)为增强后清晰图像，t(x,y)为水体透射率，A为水下均匀光成分。由式(6)知，水下图像的增强处理实质就是从原始图像中获取清晰图像的过程，此外，还需求解透射率以及水下均匀光成分。
S4.2，估计水下均匀光成分。
首先对求得的暗通道图像中的每个像素点进行局部区域的方差计算。然后，将处理后的暗通道图像按照亮度大小取前0.1％的像素点作为预计水下均匀光估计点，并从估计点中选取灰度方差图像中方差值最低的像素点，将其灰度值作为水下均匀光成分估算值。
S4.3，对水下透射率进行预估和优化。
在获得水下均匀光成分估算值后，对式(6)进行归一化处理，水下散射成像模型可以变换为：
根据暗通道先验假设，水下透射率在任意局部区域为一常数值，其预估值定义为t(x,y)。对水下成像模型进行最小值滤波可得：
对于水下清晰图像其暗通道值Jdark(x,y)趋近于0，所以有：
结合式(9)可以求得水体透射率的预估值为：
S4.4，水下图像质量增强。
在求得水下均匀光成分和水体透射率后，将估算的折射率t(x,y)和水下均匀光值入式(6)，便可获得增强后的水下图像J(x,y)：
对双目相机图像进行立体匹配，通过三角测量原理获得图像的深度信息。基于SIFT特征提取的立体匹配算法流程如下：
S4.5，在不同的尺度空间上，使用高斯差分算法探测图像的极值点(局部最小值或最大值)，并将这些点作为关键点候选。
S4.6，在候选关键点周围的尺度空间上，使用拟合二次曲面的方法来精确定位关键点，剔除低对比度和边缘响应的关键点。
S4.7，在关键点周围的尺度空间上，使用梯度方向直方图计算关键点处的主方向。
S4.8，对关键点进行描述，生成关键点描述子。描述子通常基于局部图像块的梯度和方向信息构建，具有一定的旋转和尺度不变性。
S4.9，对不同图像的特征点进行匹配，通常使用欧式距离或海森距离等距离度量方法，以找到相似的特征点。
S4.10，根据匹配点的位置，计算出左右图像之间的视差，从而得到立体深度图像。
S4.11，使用YOLOV5检测算法对S4.10获得的深度图像提取图像特征，识别图像中出现的目标并将其标记出来，输出探测箱的坐标。
具体地，步骤S5包括：
S5.1，根据激光点云数据和相机图像数据的时间戳对每一帧激光点云数据和相机图像数据进行对准，实现激光雷达系统和双目相机系统的时间同步。
S5.2，如图3所示，进行坐标变换，载体以无人船为例，以无人船中心为原点建立载体坐标系ONXNYNZN，以激光雷达中心建立雷达坐标系OLXLYLZL，以双目相机中心为原点建立相机坐标系OCXCYCZC，三个坐标系的Y轴方向均为无人船前进方向，Z轴方向互相平行。
则双目相机到激光雷达坐标转换关系为：
其中，MLC为相机坐标系到雷达坐标系的坐标转换矩阵。
测量激光雷达与无人船之间的位置关系得到雷达坐标系与载体坐标系之间的旋转矩阵RNC平移矩阵TNC，雷达坐标系到载体坐标系的转换关系为：
其中，MNL为雷达坐标系到载体坐标系的坐标转换矩阵。
实现对雷达坐标系和相机坐标系到载体坐标系的转换，水上激光雷达和水下双目相机数据融合，得到水上目标和水下目标相对于无人船的空间位置，获得相对于无人船的水上水下一体化的目标空间信息，实现无人船的跨介质目标探测。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。
Claims (10)
1.一种基于水上激光雷达和水下双目相机的目标探测方法，其特征在于，具体包括如下步骤：
S1，根据GNSS天线系统提供的PPS信号，对双目相机系统和激光雷达系统进行授时；
S2，对水上激光雷达和水下双目相机进行联合标定，得到激光雷达和双目相机之间的坐标转换矩阵；
S3，对激光雷达进行点云滤波，再使用基于DBSCAN聚类算法的激光点云目标检测算法对水上目标进行探测，获得带拟合包围框的水上目标信息；
S4，对获得的双目相机图像使用基于暗通道先验的图像增强算法进行图像增强处理，然后对增强后的双目相机图像进行立体匹配，获得每个像素的深度信息，然后通过YOLOV5目标检测算法获得水下目标的方位信息；
S5，根据授时信息对同一时间的水上激光点云数据和水下双目相机图像数据进行时间对准，根据激光雷达坐标和双目相机坐标之间的坐标转换矩阵，将激光雷达点云和双目相机图像数据转换到同一时刻同一坐标系下。
2.根据权利要求1所述的一种基于水上激光雷达和水下双目相机的目标探测方法，其特征在于，步骤S2包括：
S2.1，对双目相机进行标定；
S2.2，计算激光雷达和双目相机之间的坐标转换矩阵。
3.根据权利要求2所述的一种基于水上激光雷达和水下双目相机的目标探测方法，其特征在于，步骤S2.1包括：
S2.1.1，在圆孔标定板上放置已知大小的黑白棋盘格；
S2.1.2，调整相机参数，使其拍摄到标定板的图像；
S2.1.3，在图像上提取出棋盘格的角点坐标；
S2.1.4，构造世界坐标系下的三维点云以及二维图像坐标系下的角点坐标；
S2.1.5，利用单应性矩阵将相机坐标系中的点转化为世界坐标系中的点；
S2.1.6，通过最小二乘法计算相机内参矩阵和外参矩阵，其中包含左、右相机的旋转矩阵R和平移向量T；
S2.1.7，左相机的旋转矩阵和平移向量分别为Rl、Tl，右相机的旋转矩阵和平移向量分别为Rr、Tr,双目视觉系统的旋转矩阵和平移向量可以由公式(1)求得：
4.根据权利要求2所述的一种基于水上激光雷达和水下双目相机的目标探测方法，其特征在于，步骤S2.2包括：
S2.2.1，双目相机采集圆孔标定板图像，提取二维图像中圆孔的圆心坐标ci(ui,vi)以及半径ri(i＝1,2,3,4)；
S2.2.2，激光雷达扫描圆孔标定板，获取点云图像中圆孔圆心坐标以及半径Ri；
S2.2.3，将圆孔标定板中的4个圆心作为特征点，以激光雷达坐标系的圆孔圆心坐标Ci转换到图像坐标系的圆心坐标ci建立约束关系，使用最小二乘法拟合得到激光雷达坐标系到双目相机坐标系的旋转矩阵RLC和平移矩阵TLC，由此得到激光雷达坐标系到双目相机坐标系的坐标转换矩阵。
5.根据权利要求1所述的一种基于水上激光雷达和水下双目相机的目标探测方法，其特征在于，步骤S3包括：
S3.1，对水上激光点云数据进行滤波处理；
S3.2，基于DBSCAN聚类算法，进行激光点云目标探测；
其中步骤S3.2包括：
S3.2.1，对初步滤波后的点云进行二值图像处理，并使用图像形态学对二值图像进行先腐蚀后膨胀的开运算处理；
S3.2.2，使用DBSCAN聚类算法对点云进行团簇聚类；
S3.2.3，使用主成分分析法拟合包围框；
S3.2.4，输出障碍物包围框中的障碍物信息。
6.根据权利要求5所述的一种基于水上激光雷达和水下双目相机的目标探测方法，其特征在于，步骤S3.1包括：
S3.1.1，激光点云点集为P＝{pi＝{xi,yi,zi}|i＝1,...,N}，利用KD树搜索各个点的K近邻点集Qj(i)＝{qj|j＝1,...,k}；
S3.1.2，点pi与K近邻点的归一化平均距离如公式(2)所示：
其中d(pi)为点pi到激光雷达的距离，dij代表点云点集中点pi到近邻点集中点qj的距离；
S3.1.3，所有数据点的归一化K近邻平均距离呈正态分布，计算激光点云点集中N个点的均一化平均距离Daverage分布的均值和方差σ，设定标准差倍数λ，离群点滤除公式如公式(3)所示，式中0表示普通点云，1表示噪声点；
7.根据权利要求5所述的一种基于水上激光雷达和水下双目相机的目标探测方法，其特征在于，步骤S3.2.2包括：
S3.2.2.1，任意选择一个未被访问的点P，将其作为核心点，并将该点标记为已访问，然后根据设定的邻域范围r与邻域内样本数量N，确定与P点全部密度相连的点云；
S3.2.2.2，如果P的邻域内点的个数N大于所包含的核心点的个数NmainPt，则初始化一个簇C，将P以及P领域内的点加入到C中；
S3.2.2.3，遍历C中每个点，如果有未被访问的，则将其标记为已访问，如果该点也是核心对象，则同样将该点邻域内的点加入到C中；
S3.2.2.4，重复步骤S3.2.2.3直到C中不再存在没被访问的核心对象，将簇C加入到一个集合Final中；
S3.2.2.5，重复步骤S3.2.2.1-S3.2.2.4，直到没有和核心点未被标记，剩余的点标记为噪声点；
S3.2.2.6，去除噪声点，最后得到的集合Final中的点为提取到的激光点云有效数据，输出集合Final。
8.根据权利要求5所述的一种基于水上激光雷达和水下双目相机的目标探测方法，其特征在于，步骤S3.2.3包括：
S3.2.3.1，利用主成分分析法找到目标点集的x，y，z三个方向，求出质心，计算协方差、获得协方差矩阵；
S3.2.3.2，采用雅克比迭代法求取协方差矩阵的特征值和特征向量，特征向量即为主方向；
S3.2.3.3，将每个点的基于激光雷达坐标系的(x,y,z)坐标投影到坐标轴上，位置由累加所有点再求均值得到，求出每个目标的中心点坐标如公式(4)所示，
Plidar(i)＝(xi,yi,zi)(i＝0,1,2,…) (4)。
9.根据权利要求1所述的一种基于水上激光雷达和水下双目相机的目标探测方法，其特征在于，步骤S4包括：
S4.1，对于任意的输入图像Jc(x,y)，其暗通道可以用公式(5)表达：
其中，矩形窗口为Ω(x,y)；c∈{r,g,b}表示含有r，g，b三个通道的像素点；
水下图像数学模型可由公式(6)表示：
I(x,y)＝J(x,y)·t(x,y)+A(1-t(x,y)) (6)；
其中，I(x,y)为水下原始图像，即待增强图像，J(x,y)为增强后清晰图像，t(x,y)为水体透射率，A为水下均匀光成分；
S4.2，估计水下均匀光成分；
S4.3，在获得水下均匀光成分估算值后，对式(6)进行归一化处理，水下散射成像模型可以变换为：
水体透射率在任意局部区域为一常数值，其预估值定义为t(x,y)，对水下成像模型进行最小值滤波可得：
对于水下清晰图像其暗通道值Jdark(x,y)趋近于0，所以有：
结合式(9)可以求得水体透射率的预估值为：
S4.4，在求得水下均匀光成分和水体透射率后，将估算的折射率t(x,y)和水下均匀光值入式(6)，便可获得增强后的水下图像J(x,y)：
S4.5，在不同的尺度空间上，使用高斯差分算法探测图像的极值点，并将这些点作为关键点候选；
S4.6，在候选关键点周围的尺度空间上，使用拟合二次曲面的方法来精确定位关键点，剔除低对比度和边缘响应的关键点；
S4.7，在关键点周围的尺度空间上，使用梯度方向直方图计算关键点处的主方向；
S4.8，对关键点进行描述，生成关键点描述子；
S4.9，对不同图像的特征点进行匹配；
S4.10，根据匹配点的位置，计算出左右图像之间的视差，从而得到立体深度图像；
S4.11，使用YOLOV5检测算法对S4.10获得的深度图像提取图像特征，识别图像中出现的目标并将其标记出来，输出探测箱的坐标。
10.根据权利要求1所述的一种基于水上激光雷达和水下双目相机的目标探测方法，其特征在于，步骤S5包括：
S5.1，根据激光点云数据和相机图像数据的时间戳对每一帧激光点云数据和相机图像数据进行对准；
S5.2，以无人船中心为原点建立载体坐标系ONXNYNZN，以激光雷达中心建立雷达坐标系OLXLYLZL，以双目相机中心为原点建立相机坐标系OCXCYCZC，三个坐标系的Y轴方向均为无人船前进方向，Z轴方向互相平行；
则双目相机到雷达坐标转换关系为：
其中，MLc为相机坐标系到雷达坐标系的坐标转换矩阵；
测量激光雷达与无人船之间的位置关系得到雷达坐标系与载体坐标系之间的旋转矩阵RNL、平移矩阵TNL，雷达坐标系到载体坐标系的转换关系为：
其中，MNL为雷达坐标系到载体坐标系的坐标转换矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311049337.7A CN117452426A (zh) | 2023-08-21 | 2023-08-21 | 一种基于水上激光雷达和水下双目相机的目标探测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311049337.7A CN117452426A (zh) | 2023-08-21 | 2023-08-21 | 一种基于水上激光雷达和水下双目相机的目标探测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117452426A true CN117452426A (zh) | 2024-01-26 |
Family
ID=89578837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311049337.7A Pending CN117452426A (zh) | 2023-08-21 | 2023-08-21 | 一种基于水上激光雷达和水下双目相机的目标探测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117452426A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118397108A (zh) * | 2024-06-26 | 2024-07-26 | 中国海洋大学 | 一种用于水下声光信息结合的标定方法 |
| CN118427286A (zh) * | 2024-06-19 | 2024-08-02 | 北京大学 | 基于跨介质航行器的地理信息处理方法及相关产品 |
| CN118442973A (zh) * | 2024-07-05 | 2024-08-06 | 天津水运工程勘察设计院有限公司 | 基于双目视觉靶标自识别跟踪的海上导管架施工定位方法 |
-
2023
- 2023-08-21 CN CN202311049337.7A patent/CN117452426A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118427286A (zh) * | 2024-06-19 | 2024-08-02 | 北京大学 | 基于跨介质航行器的地理信息处理方法及相关产品 |
| CN118397108A (zh) * | 2024-06-26 | 2024-07-26 | 中国海洋大学 | 一种用于水下声光信息结合的标定方法 |
| CN118442973A (zh) * | 2024-07-05 | 2024-08-06 | 天津水运工程勘察设计院有限公司 | 基于双目视觉靶标自识别跟踪的海上导管架施工定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107145874B (zh) | 复杂背景sar图像中的舰船目标检测与鉴别方法 | |
| CN117452426A (zh) | 一种基于水上激光雷达和水下双目相机的目标探测方法 | |
| CN109598765B (zh) | 基于球形标定物的单目相机与毫米波雷达外参联合标定方法 | |
| CN108981672A (zh) | 基于单目机器人与测距传感器结合的舱门实时定位方法 | |
| CN115761550A (zh) | 一种基于激光雷达点云和相机图像融合的水面目标检测方法 | |
| CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| Negahdaripour et al. | On processing and registration of forward-scan acoustic video imagery | |
| Aykin et al. | On feature extraction and region matching for forward scan sonar imaging | |
| CN113177593B (zh) | 一种水上交通环境中雷达点云与影像数据的融合方法 | |
| Negaharipour | On 3-D scene interpretation from FS sonar imagery | |
| CN109284663A (zh) | 一种基于正态和均匀混合分布模型的海面障碍物检测方法 | |
| Sorial et al. | Towards a real time obstacle detection system for unmanned surface vehicles | |
| Nomura et al. | Study of 3D measurement of ships using dense stereo vision: towards application in automatic berthing systems | |
| CN114677531B (zh) | 一种融合多模态信息的水面无人艇目标检测与定位方法 | |
| Li et al. | Vision-based target detection and positioning approach for underwater robots | |
| CN117237430B (zh) | 一种高精度多时序水深反演方法、计算设备及存储介质 | |
| Cafaro et al. | Towards Enhanced Support for Ship Sailing | |
| CN117406234A (zh) | 基于单线激光雷达与视觉融合的目标测距和追踪的方法 | |
| Griesser et al. | Visual Pitch and Roll Estimation For Inland Water Vessels | |
| Hou et al. | Real-time Underwater 3D Reconstruction Method Based on Stereo Camera | |
| CN111292418A (zh) | 一种浑浊水体三维地图构建方法 | |
| Shao et al. | Stereo vision robot obstacle detection based on the SIFT | |
| Liu et al. | A novel visual measurement method for three-dimensional trajectory of underwater moving objects based on deep learning | |
| Gracias et al. | Application challenges of underwater vision | |
| Zhang et al. | Fish target detection and speed estimation method based on computer vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |