CN115097442B - 基于毫米波雷达的水面环境地图构建方法 - Google Patents

基于毫米波雷达的水面环境地图构建方法 Download PDF

Info

Publication number
CN115097442B
CN115097442B CN202211018479.2A CN202211018479A CN115097442B CN 115097442 B CN115097442 B CN 115097442B CN 202211018479 A CN202211018479 A CN 202211018479A CN 115097442 B CN115097442 B CN 115097442B
Authority
CN
China
Prior art keywords
point cloud
data
radar
point
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211018479.2A
Other languages
English (en)
Other versions
CN115097442A (zh
Inventor
程宇威
朱健楠
庞长松
池雨豪
虞梦苓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Orca Electronic Intelligent Technology Co ltd
Original Assignee
Shaanxi Orca Electronic Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Orca Electronic Intelligent Technology Co ltd filed Critical Shaanxi Orca Electronic Intelligent Technology Co ltd
Priority to CN202211018479.2A priority Critical patent/CN115097442B/zh
Publication of CN115097442A publication Critical patent/CN115097442A/zh
Application granted granted Critical
Publication of CN115097442B publication Critical patent/CN115097442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Computational Linguistics (AREA)
  • Computer Graphics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开一种基于毫米波雷达的水面环境地图构建方法，包括：获取无人船传感器数据，包括定位数据、方向数据、雷达点云数据以及视觉图像数据；对视觉图像数据进行预处理以获得图像image1，并对图像image1进行水岸线分割处理以获得水岸分割图像；使用图像image1进行目标检测，获得目标检测锚框boxes；对雷达点云数据进行下采样，滤除下采样后的雷达点云数据中的杂波，并进行点云跟踪处理，以获得预处理点云数据；根据目标检测锚框boxes对预处理点云数据做点云语义赋值，以获得语义点云；将语义点云插入到初始栅格地图中以获得第一栅格地图，并根据水岸分割图像消除第一栅格地图中的虚假障碍，从而得到水面环境地图。

Description

基于毫米波雷达的水面环境地图构建方法
技术领域
本发明涉及环境感知雷达点云处理技术，更具体地涉及一种基于毫米波雷达的水面环境地图构建方法。
背景技术
随着人工智能技术的快速发展，机器人逐渐出现人们的日常生活中，而在无人驾驶的大浪潮下，水面无人驾驶技术也备受人们的关注。在水面无人驾驶技术中，环境感知是无人化运行的重要一环，环境地图构建既是无人船类机器人下一步行动规划的必要前提，也是对未知或已知空间进行监测的重要步骤，然而目前构建一张能够实时精准反应周边环境的水面环境地图仍是无人驾驶里的重要难题。
发明内容
本发明所要解决的技术问题是提供一种基于毫米波雷达的水面环境地图构建方法，以实现实时精准反应水面周边环境的目的。
为解决上述技术问题，本发明提供一种基于毫米波雷达的水面环境地图构建方法，包括：
获取无人船航行过程中的传感器数据，其中，所述传感器数据包括多个时间同步的定位数据、方向数据、雷达点云数据以及视觉图像数据；
对视觉图像数据进行预处理，以获得图像image1，并对图像image1进行水岸线分割处理，以获得水岸分割图像；
使用图像image1进行目标检测，获得目标检测锚框boxes；
对雷达点云数据进行下采样，滤除下采样后的雷达点云数据中的杂波，并进行点云跟踪处理，以获得预处理点云数据；
根据目标检测锚框boxes对预处理点云数据做点云语义赋值，以获得语义点云；
将语义点云插入到初始栅格地图中，以获得第一栅格地图，并根据水岸分割图像消除第一栅格地图中的虚假障碍，从而得到水面环境地图。
其进一步技术方案为：所述对视觉图像数据进行预处理，以获得图像image1，具体包括：
对视觉图像数据进行尺度缩放，并对尺度缩放后的数据进行亮度归一化处理；
将归一化处理后的数据输入至预先训练好的GAN网络中进行风格迁移，并将风格迁移后的数据进行数据归一化处理，以获得图像image1。
其进一步技术方案为：所述对图像image1进行水岸线分割处理，以获得水岸分割图像，具体包括：
利用预先训练好的图像语义分割模型对图像image1进行水岸线分割处理；
对水岸线分割处理后的图像中水和岸的区域分别进行图像腐蚀以及图像膨胀，以去除图像中的杂点区域；
对去除杂点区域的图像中的岸线部分进行膨胀，从而得到水岸分割图像。
其进一步技术方案为：所述使用图像image1进行目标检测，获得目标检测锚框boxes，具体包括：
将图像image1输入至预先训练好的目标检测模型，以检测船只，获得船只检测框boxes1；
利用卡尔曼滤波对相邻帧的船只检测框boxes1进行跟踪，并滤除跟踪丢失的boxes1，得到检测框boxes2；
将宽度小于第一预设阈值，长和宽的比例小于第二预设阈值以及大于第三预设阈值的检测框boxes2滤除，得到目标检测锚框boxes。
其进一步技术方案为：所述滤除下采样后的雷达点云数据中的杂波，具体包括：
设置点云第一邻域距离r1，第一点云数量n1，利用dbscan聚类算法对下采样后的雷达点云数据进行杂波筛除处理，得到点云points1；
分别将点云points1和下采样后的雷达点云数据中毫米波雷达前方距离y小于等于点云距离阈值φ1和大于点云距离阈值φ2的点云去除，以分别得到远距离点云points2和近距离点云points3，其中φ1 <φ2；
设置点云第二邻域距离r2，第二点云数量n2，利用dbscan聚类算法对近距离点云points3进行杂波筛除处理，得到近距离点云points4；
合并远距离点云points2和近距离点云points4，以获得最终的点云数据。
其进一步技术方案为：所述进行点云跟踪处理，以获得预处理点云数据，具体包括：
检索跟踪队列中每组点云的预测位置周围距离为r的点云p；
当点云p的数量大于等于预设数量时，该组点云跟踪成功；
利用能量信息加权计算跟踪成功的点云簇的密度中心坐标；
根据中心坐标，利用卡尔曼滤波跟踪目标点云位置信息与速度信息；
而当点云p的数量小于预设数量时，点云跟踪失败，利用dbscan聚类算法使得未成功跟踪的点云按密度形成多个点云簇cluster；
将点云簇cluster中的每个簇初始化目标跟踪对象，并将其加入到目标跟踪队列中；
滤除目标跟踪队列中未成功跟踪的目标对象，并将本次跟踪成功的所有目标点云信息扩展x维速度与y维速度信息，形成预处理点云数据。
其进一步技术方案为：所述根据目标检测锚框boxes对预处理点云数据做点云语义赋值，以获得语义点云，具体包括：
将雷达相对于水面的安装高度z补偿到雷达点云坐标中；
根据标定好的相机内参K、外参旋转矩阵R以及平移矩阵T，计算点云在摄像头平面内的坐标；
判断每个坐标是否位于一目标检测锚框boxes内或者与目标检测锚框boxes的距离是否小于预设距离，若是，则该目标检测锚框boxes的语义为该坐标对应的点云的目标类别信息；
若坐标周边有多个目标检测锚框boxes，则选择最近的目标检测锚框boxes的语义作为该坐标对应的点云的目标类别信息；
将每个点云的目标类别信息与点云合并，获得语义点云。
其进一步技术方案为：所述将语义点云插入到初始栅格地图中，以获得第一栅格地图，具体包括：
根据无人船当前定位数据计算无人船当前在初始栅格地图中的位置，以得到偏移向量；
计算当前方向数据从雷达坐标系到栅格地图坐标系的旋转矩阵；
根据旋转矩阵将语义点云从雷达坐标系转换至栅格地图坐标系，获得栅格语义点云；
遍历栅格语义点云中的每个点云，根据每一点云在栅格地图[x,y]位置处插入障碍信息，所有点云插入完成后得到第一栅格地图。
其进一步技术方案为：所述根据水岸分割图像消除第一栅格地图中的虚假障碍，从而得到水面环境地图，具体包括：
在第一栅格地图中提取雷达与摄像头的观测视野内的所有障碍点坐标；
将提取的障碍点坐标从栅格地图坐标转换到雷达坐标，得到障碍坐标；
计算障碍坐标在水岸分割图像内的点坐标；
计算每个点坐标周围k个像素以内的类别为水的像素数量n；
若像素数量n大于阈值thres时，移除第一栅格地图中点坐标对应位置处的障碍。
其进一步技术方案为：在所述获取无人船航行过程中的传感器数据之前，还包括：
将无人船的毫米波雷达与摄像头进行空间标定，获得摄像头内参K、摄像头与毫米波雷达的外参旋转矩阵R以及平移矩阵T，并初始化栅格地图。
本发明的有益技术效果在于：与现有技术相比，本发明基于毫米波雷达的水面环境地图构建方法通过对获取的视觉图像数据进行预处理获得图像image1，并对图像image1进行目标检测和水岸线分割处理，还对获取的雷达点云数据进行下采样，滤除杂波后进行点云跟踪处理，再根据目标检测获得的目标检测锚框boxes对点云跟踪处理后获得的预处理点云数据做点云语义赋值，以获得语义点云，且将语义点云插入到初始栅格地图中获得第一栅格地图，并根据水岸分割图像消除第一栅格地图中的虚假障碍，从而得到水面环境地图，可知，本发明基于毫米波雷达的水面环境地图构建方法在无人船航行过程中，可将周边目标的位置信息、类别信息建立到一张环境地图中，并对环境地图进行维护，消除动障碍，以实时精准反应水面周边环境。
附图说明
图1是本发明基于毫米波雷达的水面环境地图构建方法一具体实施例的流程示意图。
具体实施方式
为使本领域的普通技术人员更加清楚地理解本发明的目的、技术方案和优点，以下结合附图和实施例对本发明做进一步的阐述。
参照图1，图1为本发明基于毫米波雷达的水面环境地图构建方法一具体实施例的流程示意图。在附图所示的实施例中，所述基于毫米波雷达的水面环境地图构建方法包括：
S101、将无人船的毫米波雷达与摄像头进行空间标定，获得摄像头内参K、摄像头与毫米波雷达的外参旋转矩阵R以及平移矩阵T，并初始化栅格地图。
该步骤中，所述将无人船的毫米波雷达与摄像头进行空间标定，获得摄像头内参K、摄像头与毫米波雷达的外参旋转矩阵R以及平移矩阵T，具体包括：
利用棋盘格标定板与matlab完成摄像头内参的标定；构建毫米波雷达与摄像头的 相对位置结构，根据该相对位置结构可模拟毫米波雷达与摄像头在无人船的相对位置关 系；将毫米波雷达与摄像头水平放置在一个平面上，且在毫米波雷达与摄像头的公共视野 区域放置小型角反射器（尺寸包括但不限于10cm*10cm），角反射器周围使用吸波棉屏蔽雷 达点云，记录一组数据，该组数据包括角反射器的高度h、摄像头图像以及毫米波雷达点云； 更换小型角反射器重复上一步骤，得到n（n > 50）组角反射器的高度h、摄像头图像以及毫 米波雷达点云的数据；利用polyworks将毫米波雷达点云中非角反位置的点全部滤除，并根 据角反位置的点计算点云xy平面的几何中心位置，得到xy平面的坐标C；因毫米波雷达对于 高度的误差测量过大，故本发明中利用测量的高度H代替点云的z值，形成每个角反的中心 位置
Figure 413197DEST_PATH_IMAGE001
，其中x、y分别为毫米波雷达x轴角反点云中心位置坐标和y轴 角反点云中心位置坐标，h为第i次采集所记录的角反高度坐标，i为点云包索引，n为点云包 数量；在摄像头图像中利用labelme框选出每个角反，并生成对应的位置
Figure 773771DEST_PATH_IMAGE002
，其中u、v分别为摄像头图像中的横轴像素坐标与v轴像素坐标，i为 图像索引，n为图像数量；最后利用摄像头内参K，角反中心位置Coord与角反位置Position 使用PnP算法进行求解，得出对应毫米波雷达与摄像头的外参旋转矩阵R和平移矩阵T。
而在本实施例中，所述初始化栅格地图，具体包括：随机选取一个实际位置
Figure 770677DEST_PATH_IMAGE003
作为地图的中心位置，初始化一个无障碍的栅格地图，其中lng为该处位 置经度，lat为该处位置纬度，无栅格地图每个位置包含四个通道，第一个通道为障碍判断， 第二个通道语义类别，第三个通道为x轴方向速度，第四个通道为y轴方向速度。
S102、获取无人船航行过程中的传感器数据，其中，所述传感器数据包括多个时间同步的定位数据、方向数据、雷达点云数据以及视觉图像数据。
该步骤中，无人船在航行过程中，针对定位数据、方向数据、雷达点云数据和视觉 图像数分别设置固定长度数据队列，各传感器分别向数据队列中添加数据及数据所对应的 时间戳，当队列超出长度后，去除队列中的第一包数据，然后取各传感器队列中最后一包数 据时间戳以形成时间戳集合
Figure 609320DEST_PATH_IMAGE004
，以时间戳最小的时间作为当前数据包时间戳，并以当前数据 包时间戳为基准，从各传感器数据队列中选择与当前数据包时间戳时间距离最近的数据， 作为对应的当前时间的传感器数据（包括定位数据、方向数据、雷达点云数据和视觉图像数 据），将筛选后的定位数据、方向数据、雷达点云数据和视觉图像数据打包，形成时间同步的 传感器数据。
S103、对视觉图像数据进行预处理，以获得图像image1，并对图像image1进行水岸线分割处理，以获得水岸分割图像。
该步骤中，所述对视觉图像数据进行预处理，以获得图像image1，包括：对视觉图像数据进行尺度缩放，并对尺度缩放后的数据进行亮度归一化处理；将归一化处理后的数据输入至预先训练好的GAN网络中进行风格迁移，并将风格迁移后的数据进行数据归一化处理，以获得图像image1。
所述对图像image1进行水岸线分割处理，以获得水岸分割图像，包括：利用预先训练好的图像语义分割模型对图像image1进行水岸线分割处理；优选地，本实施例中，所述图像语义分割模型选用deeplab v3模型；对水岸线分割处理后的图像中水和岸的区域分别进行图像腐蚀以及图像膨胀，以去除图像中的杂点区域；对去除杂点区域的图像中的岸线部分进行膨胀，从而得到水岸分割图像。
S104、使用图像image1进行目标检测，获得目标检测锚框boxes。
具体地，该步骤包括：将图像image1输入至预先训练好的目标检测模型，以检测船只，获得船只检测框boxes1；利用卡尔曼滤波对相邻帧的船只检测框boxes1进行跟踪，并滤除跟踪丢失的boxes1，得到检测框boxes2；将宽度小于第一预设阈值，长和宽的比例小于第二预设阈值以及大于第三预设阈值的检测框boxes2滤除，得到目标检测锚框boxes。优选地，所述第一预设阈值为100像素单位，第二预设阈值为3，第三预设阈值为0.5。本实施例中，考虑到检测的实时性能，选择了使用yolov3-tiny的网络，此网络实时性能高，但对于图像中的小目标能力较弱，为了增强yolov3-tiny对小目标的检测能力，在yolov3-tiny模型的基础上额外增加前置大分辨率特征层的检测，大分辨率特征层中包含的小目标信息更加充分，同时调整检测所用anchor大小，使模型对小目标的检测能力在不显著增加计算量的情况下，得以提升，最后训练模型得到预先训练好的目标检测模型YOLO。
S105、对雷达点云数据进行下采样，滤除下采样后的雷达点云数据中的杂波，并进行点云跟踪处理，以获得预处理点云数据。
该步骤中，所述滤除下采样后的雷达点云数据中的杂波，包括：设置点云第一邻域 距离r1，第一点云数量n1，本实施例中，所述点云第一邻域距离r1为1.2m，第一点云数量n1 为25；利用dbscan聚类算法对下采样后的雷达点云数据进行杂波筛除处理，得到点云 points1；将points1中满足y<
Figure 499916DEST_PATH_IMAGE005
的点云去除，得到远距离点云points2，且将下采样后 的雷达点云数据中满足y>
Figure 31392DEST_PATH_IMAGE005
的点云去除，得到近距离点云points3；其中，y代表毫米波 雷达前方距离，
Figure 499282DEST_PATH_IMAGE005
为点云距离阈值，代表的是近距离与远距离点云阈值，毫米波雷达前 方距离超过点云距离阈值φ1则判断为远距离点云，低于点云距离阈值φ2则判断为近距离 点云，其中φ1 <φ2，距离阈值φ1与φ2之间称为远近松弛边界；设置点云第二邻域距离r2， 第二点云数量n2，本实施例中，所述点云第二邻域距离r2为1m，第二点云数量n2为50；利用 dbscan聚类算法对近距离点云points3进行杂波筛除处理，得到近距离点云points4；合并 远距离点云points2和近距离点云points4，以获得最终的点云数据。本发明中通过将远近 目标检测器对毫米波雷达点云进行区分，可以避免因毫米波雷达点云在水面中的检测特性 导致的在目标相对较近时，其点云量与杂波量相对于目标较远时都会较多的问题，使毫米 波雷达点云检测器对目标的描述能力大幅提升。
所述进行点云跟踪处理，以获得预处理点云数据，包括：检索跟踪队列中每组点云 的预测位置周围距离为r的点云p；当点云p的数量大于等于预设数量时，该组点云跟踪成 功；本实施例中，r的取值为2，预设数量为30；利用能量信息加权计算跟踪成功的点云簇的 密度中心坐标；根据中心坐标，利用卡尔曼滤波跟踪目标点云位置信息与速度信息；而当点 云p的数量小于预设数量时，点云跟踪失败，利用dbscan聚类算法使得未成功跟踪的点云按 密度形成多个点云簇cluster；将点云簇cluster中的每个簇初始化目标跟踪对象，并将其 加入到目标跟踪队列中，用于下一次的目标跟踪；滤除目标跟踪队列中未成功跟踪的目标 对象，并将本次跟踪成功的所有目标点云信息扩展x维速度与y维速度信息，形成预处理点 云数据，预处理点云数据
Figure 407195DEST_PATH_IMAGE006
，其中包括坐标x、坐标y、强度 p、x轴速度
Figure 152297DEST_PATH_IMAGE007
，y轴速度
Figure 854674DEST_PATH_IMAGE008
，i为索引，
Figure 64987DEST_PATH_IMAGE009
为预处理后点云数量。本发明中采用能量加权的 方式以防止目标几何中心的跳动，从而避免因毫米波雷达点云数据特性导致的点云存在闪 烁情况，不同帧中所描述的目标形状与方位有一定区别的问题，以避免跟踪丢失或速度估 计发生跳动的现象。
S106、根据目标检测锚框boxes对预处理点云数据做点云语义赋值，以获得语义点云。
具体地，该步骤包括：将雷达相对于水面的安装高度z补偿到雷达点云坐标中，则 目标在水平面的高度信息为-z，即此时点云
Figure 979854DEST_PATH_IMAGE010
；根据 标定好的相机内参K、外参旋转矩阵R以及平移矩阵T，计算点云在摄像头平面内的坐标，计 算公式为：
Figure 845042DEST_PATH_IMAGE011
以及
Figure 842954DEST_PATH_IMAGE012
，其中
Figure 160802DEST_PATH_IMAGE013
为预处理后点云中x、 y和z坐标值所组成的点云，计算完成后得到p，令p中的z值等于1；然后判断每个坐标是否位 于一目标检测锚框boxes内或者与目标检测锚框boxes的距离是否小于预设距离，若是，则 该目标检测锚框boxes的语义为该坐标对应的点云的目标类别信息；若坐标周边有多个目 标检测锚框boxes，则选择最近的目标检测锚框boxes的语义作为该坐标对应的点云的目标 类别信息；将每个点云的目标类别信息与点云合并，获得语义点云。
S107、将语义点云插入到初始栅格地图中，以获得第一栅格地图，并根据水岸分割图像消除第一栅格地图中的虚假障碍，从而得到水面环境地图。
本发明中，所述将语义点云插入到初始栅格地图中，以获得第一栅格地图，包括： 根据无人船当前定位数据
Figure 144939DEST_PATH_IMAGE014
计算无人船当前在初始栅格地图中的位置，以得到 偏移向量；根据公式
Figure 864633DEST_PATH_IMAGE015
计算当前方向数据从雷达坐标系到栅格 地图坐标系的旋转矩阵；根据公式
Figure 784179DEST_PATH_IMAGE016
将语义点云从雷达坐标系 转换至栅格地图坐标系，获得栅格语义点云；遍历栅格语义点云中的每个点云，根据每一点 云在栅格地图[x,y]位置处插入障碍信息，所有点云插入完成后得到第一栅格地图。其中，
Figure 589324DEST_PATH_IMAGE017
；
Figure 377151DEST_PATH_IMAGE018
；
Figure 951352DEST_PATH_IMAGE019
；
Figure 291067DEST_PATH_IMAGE020
。
所述根据水岸分割图像消除第一栅格地图中的虚假障碍，从而得到水面环境地 图，包括：在第一栅格地图中提取雷达与摄像头的观测视野内的所有障碍点坐标
Figure 317928DEST_PATH_IMAGE021
；根据公式
Figure 909447DEST_PATH_IMAGE022
以及公式
Figure 338154DEST_PATH_IMAGE023
将提取的障碍点坐标从栅格地图坐标转换到 雷达坐标，得到障碍坐标；其中
Figure 98037DEST_PATH_IMAGE024
为平移矩阵；计算障碍坐标在水岸分割图像内的点坐 标，可理解地，该步骤与步骤S106中“根据标定好的相机内参K、外参旋转矩阵R以及平移矩 阵T，计算点云在摄像头平面内的坐标”这一步骤相似，在此不再赘述；计算每个点坐标周围 k个像素以内的类别为水的像素数量n；若像素数量n大于阈值thres时，移除第一栅格地图 中点坐标对应位置处的障碍，其中，thres代表像素类别为水的阈值，当周围像素为水的数 量大于thres时，说明此像素对应的栅格坐标为水而不是障碍，故将此处障碍删除，本实施 例中，thres取值可为0.75*n。
综上所述，本发明基于毫米波雷达的水面环境地图构建方法通过对获取的视觉图像数据进行预处理获得图像image1，并对图像image1进行目标检测和水岸线分割处理，还对获取的雷达点云数据进行下采样，滤除杂波后进行点云跟踪处理，再根据目标检测获得的目标检测锚框boxes对点云跟踪处理后获得的预处理点云数据做点云语义赋值，以获得语义点云，且将语义点云插入到初始栅格地图中获得第一栅格地图，并根据水岸分割图像消除第一栅格地图中的虚假障碍，从而得到水面环境地图，可知，本发明基于毫米波雷达的水面环境地图构建方法在无人船航行过程中，可将周边目标的位置信息、类别信息建立到一张环境地图中，并对环境地图进行维护，消除动障碍，以实时精准反应水面周边环境。
以上所述仅为本发明的优选实施例，而非对本发明做任何形式上的限制。本领域的技术人员可在上述实施例的基础上施以各种等同的更改和改进，凡在权利要求范围内所做的等同变化或修饰，均应落入本发明的保护范围之内。

Claims (10)

1.一种基于毫米波雷达的水面环境地图构建方法，其特征在于，包括：
获取无人船航行过程中的传感器数据，其中，所述传感器数据包括多个时间同步的定位数据、方向数据、雷达点云数据以及视觉图像数据；
对视觉图像数据进行预处理，以获得图像image1，并对图像image1进行水岸线分割处理，以获得水岸分割图像；
使用图像image1进行目标检测，获得目标检测锚框boxes；
对雷达点云数据进行下采样，滤除下采样后的雷达点云数据中的杂波，并进行点云跟踪处理，以获得预处理点云数据；
根据目标检测锚框boxes对预处理点云数据做点云语义赋值，以获得语义点云；
将语义点云插入到初始栅格地图中，以获得第一栅格地图，并根据水岸分割图像消除第一栅格地图中的虚假障碍，从而得到水面环境地图。
2.如权利要求1所述的基于毫米波雷达的水面环境地图构建方法，其特征在于，所述对视觉图像数据进行预处理，以获得图像image1，具体包括：
对视觉图像数据进行尺度缩放，并对尺度缩放后的数据进行亮度归一化处理；
将归一化处理后的数据输入至预先训练好的GAN网络中进行风格迁移，并将风格迁移后的数据进行数据归一化处理，以获得图像image1。
3.如权利要求1所述的基于毫米波雷达的水面环境地图构建方法，其特征在于，所述对图像image1进行水岸线分割处理，以获得水岸分割图像，具体包括：
利用预先训练好的图像语义分割模型对图像image1进行水岸线分割处理；
对水岸线分割处理后的图像中水和岸的区域分别进行图像腐蚀以及图像膨胀，以去除图像中的杂点区域；
对去除杂点区域的图像中的岸线部分进行膨胀，从而得到水岸分割图像。
4.如权利要求1所述的基于毫米波雷达的水面环境地图构建方法，其特征在于，所述使用图像image1进行目标检测，获得目标检测锚框boxes，具体包括：
将图像image1输入至预先训练好的目标检测模型，以检测船只，获得船只检测框boxes1；
利用卡尔曼滤波对相邻帧的船只检测框boxes1进行跟踪，并滤除跟踪丢失的boxes1，得到检测框boxes2；
将宽度小于第一预设阈值，长和宽的比例小于第二预设阈值以及大于第三预设阈值的检测框boxes2滤除，得到目标检测锚框boxes。
5.如权利要求1所述的基于毫米波雷达的水面环境地图构建方法，其特征在于，所述滤除下采样后的雷达点云数据中的杂波，具体包括：
设置点云第一邻域距离r1，第一点云数量n1，利用dbscan聚类算法对下采样后的雷达点云数据进行杂波筛除处理，得到点云points1；
分别将点云points1和下采样后的雷达点云数据中毫米波雷达前方距离y小于等于点云距离阈值φ1和大于点云距离阈值φ2的点云去除，以分别得到远距离点云points2和近距离点云points3，其中φ1<φ2；
设置点云第二邻域距离r2，第二点云数量n2，利用dbscan聚类算法对近距离点云points3进行杂波筛除处理，得到近距离点云points4；
合并远距离点云points2和近距离点云points4，以获得最终的点云数据。
6.如权利要求1所述的基于毫米波雷达的水面环境地图构建方法，其特征在于，所述进行点云跟踪处理，以获得预处理点云数据，具体包括：
检索跟踪队列中每组点云的预测位置周围距离为r的点云p；
当点云p的数量大于等于预设数量时，该组点云跟踪成功；
利用能量信息加权计算跟踪成功的点云簇的密度中心坐标；
根据中心坐标，利用卡尔曼滤波跟踪目标点云位置信息与速度信息；
而当点云p的数量小于预设数量时，点云跟踪失败，利用dbscan聚类算法使得未成功跟踪的点云按密度形成多个点云簇cluster；
将点云簇cluster中的每个簇初始化目标跟踪对象，并将其加入到目标跟踪队列中；
滤除目标跟踪队列中未成功跟踪的目标对象，并将本次跟踪成功的所有目标点云信息扩展x维速度与y维速度信息，形成预处理点云数据。
7.如权利要求1所述的基于毫米波雷达的水面环境地图构建方法，其特征在于，所述根据目标检测锚框boxes对预处理点云数据做点云语义赋值，以获得语义点云，具体包括：
将雷达相对于水面的安装高度z补偿到雷达点云坐标中；
根据标定好的相机内参K、外参旋转矩阵R以及平移矩阵T，计算点云在摄像头平面内的坐标；
判断每个坐标是否位于一目标检测锚框boxes内或者与目标检测锚框boxes的距离是否小于预设距离，若是，则该目标检测锚框boxes的语义为该坐标对应的点云的目标类别信息；
若坐标周边有多个目标检测锚框boxes，则选择最近的目标检测锚框boxes的语义作为该坐标对应的点云的目标类别信息；
将每个点云的目标类别信息与点云合并，获得语义点云。
8.如权利要求1所述的基于毫米波雷达的水面环境地图构建方法，其特征在于，所述将语义点云插入到初始栅格地图中，以获得第一栅格地图，具体包括：
根据无人船当前定位数据计算无人船当前在初始栅格地图中的位置，以得到偏移向量；
计算当前方向数据从雷达坐标系到栅格地图坐标系的旋转矩阵；
根据旋转矩阵将语义点云从雷达坐标系转换至栅格地图坐标系，获得栅格语义点云；
遍历栅格语义点云中的每个点云，根据每一点云在栅格地图[x,y]位置处插入障碍信息，所有点云插入完成后得到第一栅格地图。
9.如权利要求1所述的基于毫米波雷达的水面环境地图构建方法，其特征在于，所述根据水岸分割图像消除第一栅格地图中的虚假障碍，从而得到水面环境地图，具体包括：
在第一栅格地图中提取雷达与摄像头的观测视野内的所有障碍点坐标；
将提取的障碍点坐标从栅格地图坐标转换到雷达坐标，得到障碍坐标；
计算障碍坐标在水岸分割图像内的点坐标；
计算每个点坐标周围k个像素以内的类别为水的像素数量n；
若像素数量n大于阈值thres时，移除第一栅格地图中点坐标对应位置处的障碍。
10.如权利要求1所述的基于毫米波雷达的水面环境地图构建方法，其特征在于，在所述获取无人船航行过程中的传感器数据之前，还包括：
将无人船的毫米波雷达与摄像头进行空间标定，获得摄像头内参K、摄像头与毫米波雷达的外参旋转矩阵R以及平移矩阵T，并初始化栅格地图。
CN202211018479.2A 2022-08-24 2022-08-24 基于毫米波雷达的水面环境地图构建方法 Active CN115097442B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211018479.2A CN115097442B (zh) 2022-08-24 2022-08-24 基于毫米波雷达的水面环境地图构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211018479.2A CN115097442B (zh) 2022-08-24 2022-08-24 基于毫米波雷达的水面环境地图构建方法

Publications (2)

Publication Number Publication Date
CN115097442A CN115097442A (zh) 2022-09-23
CN115097442B true CN115097442B (zh) 2022-11-22

Family

ID=83301154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211018479.2A Active CN115097442B (zh) 2022-08-24 2022-08-24 基于毫米波雷达的水面环境地图构建方法

Country Status (1)

Country Link
CN (1) CN115097442B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115628724A (zh) * 2022-10-20 2023-01-20 四川大学 一种基于光学雷达的波动三维水面的全域实时测量方法
CN115877348B (zh) * 2023-01-06 2023-05-26 山东矩阵软件工程股份有限公司 基于多维数据空间进行点云数据动态补偿的方法及系统
CN116047440B (zh) * 2023-03-29 2023-06-09 陕西欧卡电子智能科技有限公司 一种端到端的毫米波雷达与摄像头外参标定方法
CN116106853B (zh) * 2023-04-12 2023-09-01 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面场景目标动静状态识别方法
CN117289255A (zh) * 2023-10-19 2023-12-26 广州行深智能科技有限公司 目标检测方法、装置、终端设备及存储介质
CN117523568B (zh) * 2024-01-08 2024-03-29 陕西欧卡电子智能科技有限公司 一种基于无人船的桥高检测方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019227306A1 (zh) * 2018-05-29 2019-12-05 上海海洋大学 一种以无人艇为载体的环境监测系统及其应用
WO2022022694A1 (zh) * 2020-07-31 2022-02-03 北京智行者科技有限公司 自动驾驶环境感知方法及系统
CN114140412A (zh) * 2021-11-24 2022-03-04 中山大学 一种基于激光雷达的高鲁棒性无人船提取水面可通行区域的方法
CN114241211A (zh) * 2021-11-26 2022-03-25 中国船舶重工集团公司第七0四研究所 基于激光雷达点云特征的岸线提取方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6250148B1 (en) * 1998-01-07 2001-06-26 Donnelly Corporation Rain sensor mount for use in a vehicle
CN105741234B (zh) * 2016-01-27 2019-03-29 江苏科技大学 基于三维全景环视的无人艇自动锚泊视觉辅助系统
CN110188696B (zh) * 2019-05-31 2023-04-18 华南理工大学 一种水面无人装备多源感知方法及系统
CN111679669B (zh) * 2020-06-01 2023-08-08 陕西欧卡电子智能科技有限公司 一种无人船自主精准停靠方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019227306A1 (zh) * 2018-05-29 2019-12-05 上海海洋大学 一种以无人艇为载体的环境监测系统及其应用
WO2022022694A1 (zh) * 2020-07-31 2022-02-03 北京智行者科技有限公司 自动驾驶环境感知方法及系统
CN114140412A (zh) * 2021-11-24 2022-03-04 中山大学 一种基于激光雷达的高鲁棒性无人船提取水面可通行区域的方法
CN114241211A (zh) * 2021-11-26 2022-03-25 中国船舶重工集团公司第七0四研究所 基于激光雷达点云特征的岸线提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Robust Small Object Detection on the Water Surface through Fusion of Camera and Millimeter Wave Radar;Yuwei Cheng et al.;《2021 IEEE/CVF International Conference on Computer Vision (ICCV)》;20211017;第15243-15251页 *
无人水面艇感知技术发展综述;朱健楠 等;《哈尔滨工程大学学报》;20201031;第41卷(第10期);第1486-1491页 *

Also Published As

Publication number Publication date
CN115097442A (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN115097442B (zh) 基于毫米波雷达的水面环境地图构建方法
Mason et al. Accurate and efficient determination of the shoreline in ERS-1 SAR images
CN110132284B (zh) 一种基于深度信息的全局定位方法
CN114241211B (zh) 基于激光雷达点云特征的岸线提取方法
CN112487912A (zh) 基于改进YOLOv3的任意方向舰船检测方法
CN115100741B (zh) 一种点云行人距离风险检测方法、系统、设备和介质
CN116381713A (zh) 一种多传感器点云融合的动态场景自主定位与建图方法
CN113420594A (zh) 基于改进Faster R-CNN的SAR图像舰船检测方法
CN116091822A (zh) 一种基于PointNet++的输电线路树障风险识别方法
Zhu et al. A rain-type adaptive optical flow method and its application in tropical cyclone rainfall nowcasting
CN113450412B (zh) 一种基于直线特征的视觉slam方法
Zhu et al. Triangulation of well-defined points as a constraint for reliable image matching
Deng et al. Obstacle detection of unmanned surface vehicle based on LiDAR point cloud data
CN115267827B (zh) 一种基于高度密度筛选的激光雷达港区障碍物感知方法
CN115717887B (zh) 基于灰度分布直方图的星点快速提取方法
CN111127506A (zh) 一种基于序列图像的海上运动目标综合检测方法
CN114445572B (zh) 一种基于DeeplabV3+的陌生海域中障碍物即时定位与地图构建方法
CN116704112A (zh) 一种用于对象重建的3d扫描系统
CN114283199B (zh) 一种面向动态场景的点线融合语义slam方法
CN116343078A (zh) 基于视频sar的目标跟踪方法、系统及设备
CN112882058B (zh) 一种基于变尺寸栅格地图的船载激光雷达障碍物检测方法
CN115496998A (zh) 一种遥感影像码头目标检测方法
CN114089376A (zh) 一种基于单激光雷达的负障碍物检测方法
CN113052117A (zh) 一种ais数据辅助的sar图像的瑞利cfar检测方法
Wan et al. Online Obstacle Detection for USV based on Improved RANSAC Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant