CN114879180A - 一种无人艇载多元多尺度雷达实时融合的无缝态势感知方法 - Google Patents

一种无人艇载多元多尺度雷达实时融合的无缝态势感知方法 Download PDF

Info

Publication number
CN114879180A
CN114879180A CN202210287480.9A CN202210287480A CN114879180A CN 114879180 A CN114879180 A CN 114879180A CN 202210287480 A CN202210287480 A CN 202210287480A CN 114879180 A CN114879180 A CN 114879180A
Authority
CN
China
Prior art keywords
radar
image
fusion
marine
perception
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210287480.9A
Other languages
English (en)
Other versions
CN114879180B (zh
Inventor
范云生
陈思
张灏岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202210287480.9A priority Critical patent/CN114879180B/zh
Publication of CN114879180A publication Critical patent/CN114879180A/zh
Application granted granted Critical
Publication of CN114879180B publication Critical patent/CN114879180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/937—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of marine craft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Ocean & Marine Engineering (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种无人艇载多元多尺度雷达实时融合的无缝态势感知方法，包括：获取远程预警预测雷达和中程感知航海雷达的航海雷达图像以及中程感知航海雷达的中程感知雷达图像；对两种图像分别进行腐蚀操作并填补图像中的空点，采用仿射变换对中程感知航海雷达图像进行缩放，采用尺度归一化方法对远程预警预测航海雷达图像和中程感知航海雷达图像进行像素级匹配融合和信息提取处理，获取激光雷达的三维点云数据，对该点云数据进行信息提取和栅格化处理获得栅格地图，采用区域生长法将远程预警预测航海雷达与中程感知航海雷达融合图像和栅格地图进行图像融合获得多元融合图像。

Description

一种无人艇载多元多尺度雷达实时融合的无缝态势感知方法
技术领域
本发明涉及无人艇感知领域，尤其涉及一种无人艇载多元多尺度雷达实时融合的无缝态势感知方法。
背景技术
无人水面艇在自主导航的过程中，能否获得范围广、实时性高且精确的感知信息显得尤为重要。现阶段无人艇检测海上动态目标一般只通过单个航海雷达来进行感知。但由于量程与精度之间的限制，量程范围大，测量距离远的航海雷达在精度以及稳定性方面会有所牺牲，容易产生目标丢失的情况且近距离存在盲区；测量精度高的航海雷达普遍量程偏小，且单部雷达再进行量程切换时也需要一定的时间。与此同时，航海雷达在无人艇的近距离范围内会存在一定范围的盲区。激光雷达具有近距离测量精度高、特征丰富、实时性好等特点，能够满足无人水面艇近距离精确环境感知要求，但激光雷达的探测范围过近。综上，无人艇若仅用单个传感器进行环境感知会有一定的缺陷，这会给无人艇的自主航行带来很大问题。
发明内容
根据现有技术存在的问题，本发明公开了一种无人艇载多元多尺度雷达实时融合的无缝态势感知方法，
根据量程范围选取不同波段的雷达作为远程预警预测航海雷达、中程感知航海雷达和激光雷达、并获取远程预警预测雷达和中程感知航海雷达的航海雷达图像以及中程感知航海雷达的中程感知雷达图像，采用最小二乘曲线拟合法对上述三种雷达进行时间对齐；
读取远程预警预测航海雷达和中程感知航海雷达两种图像并进行坐标系转换，将极坐标转换为直角坐标，对两种图像分别进行腐蚀操作并填补图像中的空点，采用仿射变换对中程感知航海雷达图像进行缩放，使中程感知航海雷达图像的像素点实际距离与远程雷达图像的像素点实际距离一致，对远程预警预测航海雷达雷达图像和中程感知航海雷达图像进行阈值分割获取障碍物信息；
采用尺度归一化方法对远程预警预测航海雷达图像和中程感知航海雷达图像进行像素级匹配融合和信息提取处理，获取远程预警预测航海雷达与中程感知航海雷达融合图像；
获取激光雷达的三维点云数据，对该点云数据进行信息提取和栅格化处理获得栅格地图，采用区域生长法将远程预警预测航海雷达与中程感知航海雷达融合图像和栅格地图进行图像融合获得多元融合图像。
在获取远程预警预测航海雷达与中程感知航海雷达融合图像时：将远程预警预测航海雷达图像和中程感知航海雷达图像的像素点分别存放于两个点集当中，基于两种雷达图像的中心点一致原则，确定中程感知航海雷达图像在远程预警预测航海雷达图像上的叠加位置，以匹配点作为起点、中程感知航海雷达图像大小作为融合区域，在远程预警预测航海雷达中获取相应的感兴趣区域，将两个图像对应像素点进行逐一比较，采取叠加的方式确定像素点的灰度值，如果两个雷达图像对应位置的像素点只要有一个认为有障碍物，则融合图中对应的像素点认为有障碍物，对融合图像中的障碍物进行信息提取，获取目标与本船的距离、速度和方位信息。
在获取激光雷达点云数据时，首先对原始数据进行坐标转换以及滤波处理，对预处理后的点云信息进行栅格化获得二维栅格地图，对栅格地图采用连通域提取的方法进行目标提取，将航海雷达融合图与栅格地图进行融合，采用区域生长法将融合地图的目标信息进行提取，从而获取最终的多元融合图以及目标信息。
所述远程预警预测雷达、中程感知航海雷达和激光雷达的中心点安装在同一垂直XY平面的轴上。
读取远程预警预测航海雷达与中程感知航海雷达融合图像的目标信息，采用Canny边缘检测方法对目标进行边缘提取，计算图像的梯度幅值和方向信息，采用双阈值检测方式提取图像的边缘信息，使用矩形框对目标进行提取，采用相对位置合理变化方法对目标进行跟踪从而提取出目标的位置、速度和航向信息。
采用区域生长法将航海雷达融合图像和栅格地图进行图像融合时：将远程预警预测航海雷达与中程感知航海雷达融合图像映射到激光雷达坐标系中，设置区域生长条件的生长距离阈值以及航海雷达映射区域的边界点，将该边界点作为种子点加入队列中，在通行区域的点中进行生长，当队列的点集为空时则生长完成形成一个聚类，再寻找未聚类的边界点按照此方法继续生长，直到所有的点全部完成聚类得到最终融合图像。
由于采用了上述技术方案，本发明提供的一种无人艇载多元多尺度雷达实时融合的无缝态势感知方法，该方法首先读取远程预警预测航海雷达、中程感知航海雷达以及激光雷达的相关信息，采用像素级融合方法将三种不同尺度的目标信息进行空间跨尺度融合，将融合后的感知信息作为无人水面艇的实时动态环境信息，因此该方法有效改进了无人艇动态感知信息不精确、不全面的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法的流程图；
图2为本发明中联合感知区域示意图；
图3为本发明中迭代法流程示意图；
图4为本发明中像素融合流程图；
图5为本发明中栅格属性判断流程图；
图6为本发明中基于区域生长法的融合流程图。
具体实施方式
为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
如图1所示的一种无人艇载多元多尺度雷达实时融合的无缝态势感知方法，具体包括如下步骤：
S11：根据量程范围选取不同波段的雷达作为远程预警预测航海雷达以及中程感知航海雷达。远程预警预测雷达量程范围广；中程感知航海雷达精度高，更稳定；激光雷达将近程环境进行全方位感知。联合感知区域示意图如图2所示。
时间对齐方面，采用最小二乘曲线拟合法，曲线拟合根据最小二乘的原理，用一个数学公式表示数据之间的关系。曲线拟合用于时间配准，就是在保持拟合误差最小的准则之下对不同采样时刻的目标数据进行拟合，得到近似曲线，然后利用曲线方程计算相应的配准时刻的目标状态数据实现时间配准。本文选定远程航海雷达的采样时刻作为基准，分别对中程雷达和激光雷达以及组合导航的数据进行配准。
S12：空间方面，安装的位置要使三种雷达处在同一个垂直于船平面的轴上。从上到下依次为远程预警预测航海雷达、中程感知航海雷达、激光雷达。且三个雷达正方向都是朝船体正前方，确保z轴对齐；根据激光雷达的安装高度h，对坐标系沿z轴向下平移h的距离，确保其x-y平面水平面的高度一致。
S21：远程预警预测航海雷达、中程感知航海雷达获取海面信息生成极坐标数据，而显示在计算机屏幕上需要用直角坐标系，为了使得雷达图像能够在直角坐标系下显示准确，需要进行坐标系变换。(r,θ)表示极坐标，(x,y)表示直角坐标，则两坐标系变换关系如下：
Figure BDA0003558858110000041
其中a为原点所在的横幅，b为纵幅。θ和r分别代表极坐标下的方位和半径。
S22：在远程预警预测航海雷达和中程感知航海雷达生成的两幅雷达图像中，数据一般集中在距离雷达扫描中心点较近的地方，在进行坐标变换时，点密度分布均匀。当距离雷达比较远时，数据点一般比较稀疏，由于在进行坐标变换时，坐标的选取点通常为整数，所以很容易丢失那些距离比较远的数据点，在图像显示时，就会出很多空点。这里采用形态学滤波中的腐蚀操作，对雷达图像进行空点补偿。
腐蚀是求取图像局部最小值的一种运算，即取一块小图像作为模板，用模板与图像进行卷积，计算出模板与图像重合区域的像素点最小值，然后将该最小值拷贝到选定的参考点，通常情况下，参考点由模板给出。通过腐蚀操作，可以使得图像中的空白区域逐渐减少，在处理雷达图像的空白点时，有明显的效果。
S23：在两幅雷达图像进行叠加匹配之前，需要将中程感知航海雷达图像在空间上进行预处理，使得两幅图像的尺度一致。由于远程预警预测雷达测量的实际距离远，中程感知航海雷达测量的实际距离近，理论上，中程雷达图像应该是远程雷达图像中的一小部分，因此两幅图像的比例尺不一致，求缩放倍数z的公式如下：
Figure BDA0003558858110000051
其中Ep为当前远程预警预测雷达每个像素点所代表的实际距离，Rp为当前中程感知航海雷达每个像素点所代表的实际距离。由于在安装时就已确定所有雷达的安装位置在同一个轴上且正方向都为船艏正方向，所以雷达图像的中心点位置以及方向都是一致的，无需进行平移以及旋转的仿射变换，仅需进行缩放变换。
缩放仿射矩阵
Figure BDA0003558858110000052
则对应坐标可表示为
Figure BDA0003558858110000053
S24：对两种航海雷达图像进行阈值分割过程：
阈值分割就是分离出图像的前景和背景，通常情况下选取前景为白色，背景为黑色。在电子海图中，由于海洋是大面积蓝色区域，可以将海洋作为白色的背景。而海面上的所有障碍物作为黑色的前景。图像阈值分割的原理如下：设原始的灰度图像为，阈值分割公式如下：
Figure BDA0003558858110000054
式中I(i,j)表示分割前图像(i，j)处的灰度。选取不同的阈值对图像的结果有很大影响，这里选取一种叫迭代法的自适应阈值方法。如图3所示，它的实现流程是：第一步，遍历所有的像素点，得到最大灰度m1和最小灰度m2，计算T＝(m1+m2)/2，此时求出的阈值作为迭代法的第一个阈值。第二步，以第一个阈值作为分界阈值，遍历所有的像素点，计算大于分界阈值所有像素点平均灰度值m3和小于的分界阈值所有像素点的平均灰度值m4，再次计算阈值T1＝(m3+m4)/2。重复上述步骤，直到Tn＝Tn-1时，迭代停止。由于在迭代的过程中，很难使得Tn＝Tn-1，所以一般情况下，只要使得结果满足一个合适的居间即可。即|Ti+1-Ti|<L时，迭代结束。
S31：将两种雷达图像的像素点分别存放于两个点集A，B当中。
S32：由于安装方式为三种雷达在同一个z轴上，所以两种雷达图像的中心点一致，确定了中程雷达图像在远程雷达图像上的叠加位置。设远程预警预测雷达图像大小为(N*N)，中程雷达图像在缩放后的图像大小为(M*M)。由于中心点一致，叠加时远程雷达图为底图，中心点坐标为(N/2,N/2)，所以中程雷达图像的中心点坐标为(N/2,N/2)。中程雷达图像的左上角坐标为(N/2–M/2,N/2–M/2)。
S33：以左上角坐标为起点，以中程雷达图像大小作为匹配区域，这个区域就是中程感知航海雷达图像在远程预警预测雷达图像中理论最佳匹配区域。叠加的规则遵循障碍物全显示且障碍物最大的规则，认为图像中的黑色全部为障碍物，且不区分障碍物原始存在于哪个图像，最终都会显示在融合后的图像上。在叠加过程中，远程雷达图中获取相应的感兴趣区域，然后将两幅图像逐个像素点进行比较。当两个像素点灰度值一致时，输出当前灰度值，否则输出灰度值为0，即黑色。遍历所有像素点，融合两幅图像，最后获得双雷达融合图。像素融合流程如图4所示。
S34：提取远程预警预测雷达与中程感知雷达融合图像目标的信息：对图像进行目标提取，需要对目标进行边缘提取，在进行矩形框对目标进行提取。边缘提取采用Canny边缘检测算子。
Canny边缘检测算子是一种多级检测算法，算法过程如下：
1)首先通过高斯滤波方法对图像进行去噪，因为噪声集中于高频信号，很容易被识别为伪边缘。应用高斯滤波去除噪声，降低伪边缘的识别。高斯函数是一个类似与正态分布的中间大两边小的函数，对于一个位置(m,n)的像素点，其灰度值为f(m,n)，经过高斯滤波后的灰度值变为：
Figure BDA0003558858110000061
简单说就是用一个高斯矩阵乘以每一个像素点及其邻域，取其带权重的平均值作为最后的灰度值。
2)计算梯度幅值和方向
在图像中，用梯度来表示灰度值的变化程度和方向。它可以通过点乘一个sobel算子得到不同方向的梯度值gx(m,n)，gy(m,n)。综合梯度通过以下公式计算梯度值和梯度方向：
Figure BDA0003558858110000071
Figure BDA0003558858110000072
3)极大值抑制
在高斯滤波过程中，边缘有可能被放大了。这个步骤使用一个规则来过滤不是边缘的点，使边缘的宽度尽可能为1个像素点：如果一个像素点属于边缘，那么这个像素点在梯度方向上的梯度值是最大的。否则不是边缘，将灰度值设为0。
4)双阈值检测边缘
使用启发式的方法确定一个上阈值和下阈值，位于下阈值之上的都可以作为边缘，从而提高边缘检测准确度。它设置两个阈值Maxval和Minval。其中大于Maxval的都被检测为边缘，而低于Minval的都被检测为非边缘。对于中间的像素点，如果确定为边缘的像素点邻接，则判定为邻接；否则为非边缘。最后，在边缘提取完成后，使用矩形框对目标进行提取，基于相对位置的合理变化的方法对目标进行跟踪，从而提取出目标的位置、速度、航向等信息。
S4：激光雷达数据处理以及多元雷达信息融合
S41：激光雷达坐标转换
三维激光雷达的点云数据大多是以球坐标的形式存储，为了方便起见，首先将点云转换为3D笛卡尔坐标系形式(x,y,z)，坐标转换所用的几何关系如下：
Figure BDA0003558858110000073
S42：对激光雷达点云数据进行滤波处理
由于激光雷达点云信息庞大，为了更好的处理点云，我们需要使用一种称为体素网格的方法来对点云数据进行降采样。体素网格是一个三维立方体，通过每一个立方体只留下一个点来过滤点云，立方体越大，点云的最终分辨率越低，最终可以将点云的采样从几万点减少到几千点。通过体素网格实现降采样，可以减少点数量的同时，保证点云的形状特征，可以提高配准、曲面重建、形状识别等算法的速度，并保证准确性。有了降采样并滤波后的点云，此时可以继续进行点云的分割、聚类以及特征提取的实现。
激光扫描通常会生成不同点密度的点云数据集。此外，测量误差会导致稀疏的异常值，从而进一步破坏结果。这会使局部点云特征(例如表面法线或曲率变化)的估计复杂化，从而导致错误的值，进而可能导致点云配准失败。通过对每个点的邻域进行统计分析，并对不符合特定条件的部分进行修整，可以解决其中一些不规则现象。
稀疏离群值的消除基于输入数据集中点到邻居距离的分布的计算。对于每个点，我们计算从它到所有相邻点的平均距离。通过假设结果分布是具有均值和标准差的高斯分布，可以将其平均距离在由全局距离均值和标准差定义的区间之外的所有点视为离群值并从数据集中进行修剪。离群点移除实现步骤如下：
查找每一个点的所有邻域点；
计算每个点到其邻居的距离dij，其中i＝[1,...,m]表示一共有m个点，j＝[1,...,k]表示每个点有k个邻居。
根据高斯分布d～N(μ,σ)模型化距离参数，计算所有点与邻居μ(距离的均值)，σ(距离的标准差)：
Figure BDA0003558858110000081
Figure BDA0003558858110000082
最后遍历所有点，如果其距离的均值大于高斯分布的指定置信度，则移除，比如：
Figure BDA0003558858110000083
S43：对三维点云进行平面分割
无人艇在航行过程中使用激光雷达扫描所获取的点云信息包含障碍物以及来自水面的反射，水面的反射主要来自尾流，其不属于障碍物，所以需要通过点云分割将其滤除。采用RANSAC算法进行点云分割，该算法的目标是识别一组点中的异常值。点云的输出通常表示一些形状，有些形状表示障碍物，有些只是表示平面的反射。RANSAC的目标是识别这些点，通过拟合平面将它们与其他点分开。具体过程如下：
随机选取两个点。
将线性模型拟合到这些点并计算每隔一点到拟合线的距离。如果距离在定义的阈值范围内，则将该点添加到内联线列表中。
最后选择内点最多的迭代作为模型，其余的都是离群值。从而把每一个内点视为海平面的一部分，每一个外点视为障碍的一部分。
S44：对三维点云进行栅格化处理
三维点云栅格化处理就是找到障碍点与栅格的对应关系。为方便后续处理，本文以无人艇自身位置为中心，将栅格地图大小分成100*100，其中每个栅格对应的实际边长为1m。栅格属性判断如图5所示，在进行栅格化处理时，从栅格地图的左上角开始遍历，按照从左到右，从上到下判断栅格内是否存在点云信息。其中包含障碍物的栅格称为障碍栅格，不包含障碍物的栅格称为无障碍栅格。通过栅格化处理的方法，将三维点云信息转化为二维栅格地图，从而方便与航海雷达融合图像进行后续的融合。
S45：对栅格地图进行信息提取
栅格地图信息提取采用图像连通域提取的方法，主要通过对图像系统性扫描，直至扫描到连通域中的一个点，并将其作为起点对其进行轮廓跟踪，同时对边界上的像素标记。在轮廓完整闭合后，将扫描至上一个位置，直至有新的成分再次被发现，之后对轮廓中像素点实现填充，便形成相应的连通域。
S46：将远程预警预测雷达与中程感知雷达融合图像与激光点云数据进行融合
激光雷达在近距离范围内拥有丰富的采样信息，在近海范围内激光雷达的检测精度要高于航海雷达，所以在融合策略上，对于非重合部分采取叠加的方式进行融合，对于航海雷达与激光雷达重合部分，采取区域生长法进行融合，由于航海雷达结果为二维图像，所以只进行二维的融合。
当存在有一定高度的障碍物时，例如桥洞等实际可穿过的情况时，通过三维点云在二维投影栅格化的过程中对每个障碍栅格的最低高度进行判断，设定一个固定的阈值，该设定值大于无人艇的高度值，当某一障碍栅格的最低高度大于一个该阈值时，认为此栅格为可通行区域。
将航海雷达得到的结果映射到激光雷达坐标系中，如图6所示的区域生长法流程如下：设定生长距离阈值D，选定一个航海雷达映射区域的边界点(x,y)，作为种子点加入队列中，在可通行区域的点中进行生长，当队列的点集为空时，生长完成，形成一个聚类；之后再寻找未聚类的边界点按照此方法继续生长。直到所有的点全部完成聚类，得到最终融合结果。
如果此融合结果与三维点云的聚类相交，则将这两部分聚类认为成一个整体；且将此融合目标的高度信息作为三维点云聚类的高度信息。最后将不同区域的结果进行组合取得当前帧最终的检测结果。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种无人艇载多元多尺度雷达实时融合的无缝态势感知方法，其特征在于包括：
根据量程范围选取不同波段的雷达作为远程预警预测航海雷达、中程感知航海雷达和激光雷达，并获取远程预警预测雷达和中程感知航海雷达的航海雷达图像，采用最小二乘曲线拟合法对上述三种雷达进行时间对齐；
读取远程预警预测航海雷达图像和中程感知航海雷达图像并进行坐标系转换，将极坐标转换为直角坐标，对两种图像分别进行腐蚀操作并填补图像中的空点，采用仿射变换对中程感知航海雷达图像进行缩放，使中程感知航海雷达图像的像素点实际距离与远程预警预测雷达图像的像素点实际距离一致，对远程预警预测航海雷达雷达图像和中程感知航海雷达图像进行阈值分割获取障碍物信息；
采用尺度归一化方法对远程预警预测航海雷达图像和中程感知航海雷达图像进行像素级匹配融合和信息提取处理，获取远程预警预测航海雷达与中程感知航海雷达融合图像；
获取激光雷达的三维点云数据，对该点云数据进行信息提取和栅格化处理获得栅格地图，采用区域生长法将远程预警预测航海雷达与中程感知航海雷达融合图像和栅格地图进行图像融合获得多元融合图像。
2.根据权利要求1所述的方法，其特征在于：在获取远程预警预测航海雷达与中程感知航海雷达融合图像时：将远程预警预测航海雷达图像和中程感知航海雷达图像的像素点分别存放于两个点集当中，基于两种雷达图像的中心点一致原则，确定中程感知航海雷达图像在远程预警预测航海雷达图像上的叠加位置，以匹配点作为起点、中程感知航海雷达图像大小作为融合区域，在远程预警预测航海雷达中获取相应的感兴趣区域，将两个图像对应像素点进行逐一比较，采取叠加的方式确定像素点的灰度值，当两个雷达图像对应位置的像素点只要有一个认为有障碍物，则融合图中对应的像素点认为有障碍物，对融合图像中的障碍物进行信息提取，获取目标与本船的距离、速度和方位信息。
3.根据权利要求1所述的方法，其特征在于：在获取激光雷达点云数据时，首先对原始数据进行坐标转换以及滤波处理，对预处理后的点云信息进行栅格化获得二维栅格地图，对栅格地图采用连通域提取的方法进行目标提取，将航海雷达融合图与栅格地图进行融合，采用区域生长法将融合地图的目标信息进行提取，从而获取最终的多元融合图以及目标信息。
4.根据权利要求1所述的方法，其特征在于：所述远程预警预测雷达、中程感知航海雷达和激光雷达的中心点安装在同一垂直XY平面的轴上。
5.根据权利要求2所述的方法，其特征在于：读取远程预警预测航海雷达与中程感知航海雷达融合图像的目标信息，采用Canny边缘检测方法对目标进行边缘提取，计算图像的梯度幅值和方向信息，采用双阈值检测方式提取图像的边缘信息，使用矩形框对目标进行提取，采用相对位置合理变化方法对目标进行跟踪从而提取出目标的位置、速度和航向信息。
6.根据权利要求2所述的方法，其特征在于：采用区域生长法将航海雷达融合图像和栅格地图进行图像融合时：将远程预警预测航海雷达与中程感知航海雷达融合图像映射到激光雷达坐标系中，设置区域生长条件的生长距离阈值以及航海雷达映射区域的边界点，将该边界点作为种子点加入队列中，在通行区域的点中进行生长，当队列的点集为空时则生长完成形成一个聚类，再寻找未聚类的边界点按照此方法继续生长，直到所有的点全部完成聚类得到最终融合图像。
CN202210287480.9A 2022-03-22 2022-03-22 一种无人艇载多元多尺度雷达实时融合的无缝态势感知方法 Active CN114879180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210287480.9A CN114879180B (zh) 2022-03-22 2022-03-22 一种无人艇载多元多尺度雷达实时融合的无缝态势感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210287480.9A CN114879180B (zh) 2022-03-22 2022-03-22 一种无人艇载多元多尺度雷达实时融合的无缝态势感知方法

Publications (2)

Publication Number Publication Date
CN114879180A true CN114879180A (zh) 2022-08-09
CN114879180B CN114879180B (zh) 2024-08-30

Family

ID=82668087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210287480.9A Active CN114879180B (zh) 2022-03-22 2022-03-22 一种无人艇载多元多尺度雷达实时融合的无缝态势感知方法

Country Status (1)

Country Link
CN (1) CN114879180B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116592871A (zh) * 2023-04-28 2023-08-15 连云港杰瑞科创园管理有限公司 一种无人艇多源目标信息融合方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110174109A (zh) * 2019-05-27 2019-08-27 大连海事大学 一种基于海空协同的无人船多元联合导航方法
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法
WO2020237693A1 (zh) * 2019-05-31 2020-12-03 华南理工大学 一种水面无人装备多源感知方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110174109A (zh) * 2019-05-27 2019-08-27 大连海事大学 一种基于海空协同的无人船多元联合导航方法
WO2020237693A1 (zh) * 2019-05-31 2020-12-03 华南理工大学 一种水面无人装备多源感知方法及系统
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHI, XR ET AL.: "Particle Filtering-Based Low-Elevation Target Tracking With Multipath Interference Over the Ocean Surface", IEEE TRANSACTIONS ON AEROSPACE AND ELECTRONIC SYSTEMS, 31 August 2020 (2020-08-31) *
孔令才: "无人水面艇多信息融合环境感知的研究", 中国优秀硕士学位论文全文数据库工程科技Ⅱ辑, 15 January 2021 (2021-01-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116592871A (zh) * 2023-04-28 2023-08-15 连云港杰瑞科创园管理有限公司 一种无人艇多源目标信息融合方法
CN116592871B (zh) * 2023-04-28 2024-04-23 连云港杰瑞科创园管理有限公司 一种无人艇多源目标信息融合方法

Also Published As

Publication number Publication date
CN114879180B (zh) 2024-08-30

Similar Documents

Publication Publication Date Title
CN110969624B (zh) 一种激光雷达三维点云分割方法
CN108152831B (zh) 一种激光雷达障碍物识别方法及系统
CN111239766B (zh) 基于激光雷达的水面多目标快速识别跟踪方法
CN108562913B (zh) 一种基于三维激光雷达的无人艇假目标检测方法
US8199977B2 (en) System and method for extraction of features from a 3-D point cloud
CN115761550A (zh) 一种基于激光雷达点云和相机图像融合的水面目标检测方法
CN113177593B (zh) 一种水上交通环境中雷达点云与影像数据的融合方法
CN110174109B (zh) 一种基于海空协同的无人船多元联合导航方法
CN111476159A (zh) 一种基于双角回归的检测模型训练、检测方法及装置
CN110619328A (zh) 基于图像处理和深度学习的船舶水尺读数智能识别方法
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN115908539A (zh) 一种目标体积自动测量方法和装置、存储介质
CN112379393A (zh) 一种列车碰撞预警方法及其装置
CN113805178A (zh) 一种水面静态碍航物探测方法
CN116935369A (zh) 基于计算机视觉的船舶水尺读数方法及系统
CN114879180B (zh) 一种无人艇载多元多尺度雷达实时融合的无缝态势感知方法
CN111948658A (zh) 水底地貌影像识别匹配的深水区定位方法
CN113837924B (zh) 一种基于无人艇感知系统的水岸线检测方法
CN114863064A (zh) 一种汽车轮廓曲面模型构建方法及系统
CN117173650B (zh) 基于激光雷达的船舶测量与识别方法及系统
CN117706577A (zh) 基于激光雷达三维点云算法的船舶尺寸测量方法
CN115267827A (zh) 一种基于高度密度筛选的激光雷达港区障碍物感知方法
CN113095324A (zh) 一种针对锥桶的分类与测距方法及系统
CN110907949A (zh) 一种自动驾驶可行驶区域检测方法、系统及车辆
Zhang et al. Bridge substructure feature extraction based on the underwater sonar point cloud data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant