CN116912688A - 一种基于激光雷达和相机融合的海面目标检测方法及系统 - Google Patents

一种基于激光雷达和相机融合的海面目标检测方法及系统 Download PDF

Info

Publication number
CN116912688A
CN116912688A CN202310875317.9A CN202310875317A CN116912688A CN 116912688 A CN116912688 A CN 116912688A CN 202310875317 A CN202310875317 A CN 202310875317A CN 116912688 A CN116912688 A CN 116912688A
Authority
CN
China
Prior art keywords
target
image
point cloud
target detection
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310875317.9A
Other languages
English (en)
Inventor
单云霄
张琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Shenzhen Research Institute of Sun Yat Sen University
Southern Marine Science and Engineering Guangdong Laboratory Zhuhai
Original Assignee
Sun Yat Sen University
Shenzhen Research Institute of Sun Yat Sen University
Southern Marine Science and Engineering Guangdong Laboratory Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University, Shenzhen Research Institute of Sun Yat Sen University, Southern Marine Science and Engineering Guangdong Laboratory Zhuhai filed Critical Sun Yat Sen University
Priority to CN202310875317.9A priority Critical patent/CN116912688A/zh
Publication of CN116912688A publication Critical patent/CN116912688A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Probability & Statistics with Applications (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种基于激光雷达和相机融合的海面目标检测方法及系统，该方法包括：收集激光雷达和相机传感器数据，基于DBSCAN聚类进行点云目标检测，基于海天线提取算法和YOLOX目标检测网络进行图像目标检测，基于孪生目标跟踪器进行跟踪预测，最后融合点云目标检测结果、图像目标检测结果和跟踪预测结果，得到最终检测结果。该系统包括：点云数据获取模块、点云目标检测模块、图像数据获取模块、图像稳定模块、视觉目标检测模块、跟踪预测模块和目标融合模块。通过使用本发明，能够充分发挥激光雷达传感器和相机的优势，实现无人艇在复杂多变的海面环境下实现高鲁棒性的海面目标感知。本发明可广泛应用于无人艇自动驾驶领域。

Description

一种基于激光雷达和相机融合的海面目标检测方法及系统
技术领域
本发明涉及无人艇自动驾驶领域，尤其涉及一种基于激光雷达和相机融合的海面目标检测方法及系统。
背景技术
无人艇是在水面航行的智能化平台，由于无人艇所处的水面环境十分复杂，所以无人艇对周围环境信息的感知十分重要。因此，如何提高无人艇环境感知的能力是现在研究热点，在己有的文献中，许多学者通过视觉感知、雷达感知及多传感器感知信息融合等方法对无人艇的环境感知进行了研究。但是这些方法都有一定的局限性，现有采用多传感器的目标检测算法，融合方法相对简单，并不能充分发挥不同传感器的优势，缺乏在复杂多变的海面环境下感知海面目标的鲁棒性，而且在传感器失效的情况下，缺乏弥补措施。
发明内容
为了解决上述技术问题，本发明的目标是提供一种基于激光雷达和相机融合的海面目标检测方法及系统，能够充分发挥激光雷达传感器和相机的优势，实现无人艇在复杂多变的海面环境下实现高鲁棒性的海面目标感知。
本发明所采用的第一技术方案是：一种基于激光雷达和相机融合的海面目标检测方法，包括以下步骤：
通过激光雷达传感器获取点云数据；
对点云数据进行聚类分析，得到点云目标；
通过相机获取图像数据；
对图像数据进行平稳处理，得到稳定图像；
对稳定图像进行目标检测，得到视觉目标；
利用孪生目标跟踪器对稳定图像和历史稳定图像进行跟踪，得到预测目标；
通过基于置信度与重叠度的融合策略对点云目标、视觉目标和预测目标进行融合，得到最终检测目标。
进一步，所述对点云数据进行聚类分析，得到点云目标这一步骤，其具体包括：
任意取一个未被访问的点，访问与这个点的距离小于预设距离的所有点，得到关联点数；
根据关联点数和预设点数的关系，划分候选集；
在候选集中取尚未处理的点，访问与这个点的距离小于预设距离的所有点，得到候选点数；
根据候选点数和预设点数的关系对未处理点进行划分，得到未处理点分类属性；
重复候选集划分和未处理点分类直到所有点完成分类，得到点云目标。
通过该优选步骤，能够去除杂音，保留点云数据中能够反映点云目标的有效数据。
进一步，所述对图像数据进行平稳处理，得到稳定图像这一步骤，其具体包括：
基于海天线提取算法提取图像数据，得到海天线；
基于海天线的中心点与倾斜角度构造旋转矩阵；
根据旋转矩阵对图像数据进行仿射变换，得到稳定图像。
通过该优选步骤，使得海天线处于水平位置，减缓颠簸导致目标在视野中位移过大的情况，减少颠簸环境对目标检测的影响。
进一步，所述基于海天线提取算法提取图像数据，得到海天线这一步骤，其具体包括：
对图像数据进行边缘锐化，得到边缘锐化图像；
对边缘锐化图像数据进行直线检测提取，得到直线段；
对直线段进行短直线过滤，并抽样取候选点；
对图像数据进行区块划分，根据区块候选点数目与预设候选点数目的关系标记感兴趣区域；
利用卷积神经网络对感兴趣区域的区块进行分类，得到海天线区域和背景区域；
过滤海天线区域和背景区域的候选点，并进行直线拟合，得到海天线。
通过该优选步骤，能够获取海天线的中心点与倾斜角度，为将海天线扭转到水平位置做准备。
进一步，所述对稳定图像进行目标检测，得到视觉目标这一步骤，其具体包括：
基于YOLOX目标检测网络的骨干网络对稳定图像进行特征提取，得到图像特征；
基于图像特征预测并输出检测框，得到视觉目标。
通过该优选步骤，对图像处理一轮同时预测位置和类别，使用解耦预测头分离分类和回归任务，使得准确率有所提升。
进一步，所述利用孪生目标跟踪器对稳定图像和历史稳定图像进行跟踪，得到预测目标这一步骤，其具体包括：
基于给定历史稳定图像的目标框，提取出当前帧的模板图像和搜索区域图像；
基于孪生跟踪器的模板分支和搜索区域分支，对模板图像和搜索区域图像进行特征提取，得到模板特征和搜索区域特征；
将模板特征和搜索区域特征进行互相关运算，得到响应图；
基于响应图预测跟踪目标的目标框位置及置信度，得到预测目标。
通过该优选步骤，弥补由于传感器失效而造成的目标检测的漏检情况，能够更好地应对传感器失效问题。
进一步，所述通过基于置信度与重叠度的融合策略对点云目标、视觉目标和预测目标进行融合，得到最终检测目标这一步骤，其具体包括：
基于模型输出目标的置信度，保留来自稳定图像视觉目标的高置信度目标；
对来自稳定图像视觉目标的低置信度目标和点云目标进行IOU匹配，得到第一类匹配结果；
基于预设阈值对第一类匹配结果进行筛选，得到第一类保留目标；
对来自稳定图像视觉目标的低置信度目标和预测目标进行IOU匹配，得到第二类匹配结果；
基于预设阈值对第二类匹配结果进行筛选，得到第二类保留目标；
将来自稳定图像视觉目标的高置信度目标、第一类保留目标和第二类保留目标合并保留，得到最终检测目标。
通过该优选步骤，给予不同传感器不同权重，更有效地发挥了不同传感器的优势，实现激光雷达和相机传感器优势互补，提升了鲁棒性。
本发明所采用的第二技术方案是：一种基于激光雷达和相机融合的海面目标检测系统，包括：
点云数据获取模块，通过激光雷达传感器获取点云数据；
点云目标检测模块，用于对点云数据进行聚类分析，得到点云目标；
图像数据获取模块，通过相机获取图像数据；
图像稳定模块，用于对图像数据进行平稳处理，得到稳定图像；
视觉目标检测模块，用于对稳定图像进行目标检测，得到视觉目标；
跟踪预测模块，利用孪生目标跟踪器对稳定图像和历史稳定图像进行跟踪，得到预测目标；
目标融合模块，通过基于置信度与重叠度的融合策略对点云目标、视觉目标和预测目标进行融合，得到最终检测目标。
本发明方法及系统的有益效果是：本发明在颠簸海面环境下，利用海天线提取算法稳定图像，减少颠簸环境对目标检测的影响；利用孪生目标跟踪器，对已知目标基于历史检测位置预测，以弥补传感器失效出现的漏检；通过基于置信度与重叠度的融合策略对点云目标、视觉目标和预测目标进行融合，充分发挥激光雷达传感器和相机的优势，实现无人艇在复杂多变的海面环境下实现高鲁棒性的海面目标感知。
附图说明
图1是本发明一种基于激光雷达和相机融合的海面目标检测方法的步骤流程图；
图2是本发明一种基于激光雷达和相机融合的海面目标检测系统的结构框图；
图3是本发明一种基于激光雷达和相机融合的海面目标检测方法的整体框架图；
图4是本发明一种基于激光雷达和相机融合的海面目标检测方法的DBSCAN聚类示意图；
图5是本发明一种基于激光雷达和相机融合的海面目标检测方法的YOLOX目标检测网络结构示意图；
图6是本发明一种基于激光雷达和相机融合的海面目标检测方法的孪生目标跟踪器的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
参照图1和图3，本发明提供了一种基于激光雷达和相机融合的海面目标检测方法，该方法包括以下步骤：
S1、通过激光雷达传感器获取点云数据；
S2、对点云数据进行聚类分析，得到点云目标
具体实施例一，如图4所示，基于DBSCAN聚类对点云数据进行目标检测，DBSCAN聚类是一种基于密度的聚类方法，需要预设两个参数，分别是最短距离和最少点数。
任意取一个未被访问的点，访问与这个点的距离小于最短距离的所有点，如果最短距离区域内的点数不少于最少点数，建立新的聚类，将区域内的点加入候选集；如果最短距离区域内的点数少于最少点数，把当前访问点归为杂音，并且也不生成对应候选集。
在候选集中取尚未处理的点，访问与这个点的距离小于最短距离的所有点，如果最短距离区域内的点数不少于最少点数，则加入点云目标簇中，并将点加入候选集；如果最短距离区域内的点数少于最少点数，把当前访问点归为杂音。
重复候选集划分和未处理点分类直到所有的点都归为某个点云目标簇或被归为杂音，去除杂音点，保留下的点云目标簇中的点即为点云目标。
具体实施例二，基于均值漂移聚类方法对点云数据进行目标检测，均值漂移聚类是一个基于质心的算法，基于滑动窗口的方式，来找到数据点的密集区域。
先确定滑动窗口半径r，以随机选取的中心点C半径为r的圆形滑动窗口开始滑动；每一次滑动到新的区域，计算滑动窗口内的均值来作为中心点，滑动窗口内的点的数量为窗口内的密度；在每一次移动中，窗口会想密度更高的区域移动，移动窗口，计算窗口内的中心点以及窗口内的密度，直到没有方向在窗口内可以容纳更多的点，即一直移动到圆内密度不再增加为止。移动过程中会产生很多个滑动窗口，当多个滑动窗口重叠时，保留包含最多点的窗口，然后根据数据点所在的滑动窗口进行聚类，得到点云目标。
S3、通过相机获取图像数据；
S4、基于海天线提取算法对图像数据进行平稳处理，首先对图像数据进行边缘锐化，得到边缘锐化图像；本发明采用的是Sobel算子对图像进行锐化，也可通过Roberts算子、Prewitt算子和Laplacian算子对图像进行锐化。接着对边缘锐化图像数据进行直线检测提取，提取直线段，本发明采用LSD算法对图像数据进行直线检测提取，也可通过Hough_line直线检测算法、FLD直线检测算法、EDlines直线检测算法等对图像数据进行直线检测提取。再对直线段进行短直线过滤，并抽样取候选点，保存所在的直线段信息；然后对图像数据进行区块划分，若区块候选点数目大于预设候选点数目，则将该区块标记感兴趣区域；再利用卷积神经网络对感兴趣区域的区块进行分类，得到海天线区域和背景区域；随后过滤海天线区域和背景区域的候选点，并将过滤后保留的候选点拟合成直线，该直线即为海天线。本发明采用RANSAC算法对候选点进行直线拟合，也可通过最小二乘法、梯度下降法、随机梯度下降法和正则化线性回归方法进行直线拟合。
根据拟合的海天线获取海天线的中心点与倾斜角度，并构造旋转矩阵，旋转矩阵的表达式如下：
α＝scale·cosθ,β＝scale·sinθ
其中M表示旋转矩阵，θ表示倾斜角度，(cx,cy)为中心点的坐标，scale表示比例尺。
根据旋转矩阵对图像数据进行仿射变换，得到稳定图像，使得海天线处于水平位置，减缓颠簸导致目标在视野中位移过大的情况，减少颠簸环境对目标检测的影响。
S5、对稳定图像进行目标检测，得到视觉目标；
YOLOX是一个典型的单阶段目标检测网络，神经网络结构如图5所示，YOLOX网络包括主干特征提取网络和多尺度特征融合网络；其中主干特征提取网络由卷积块和残差块组成，对输入的图片不断进行下采样，压缩图像尺寸，增加通道数；特征融合网络用于对下采样得到的不同尺寸进行融合，将深层信息和浅层信息进行堆叠，得到不同尺度的特征图。
将稳定图像输入到基于YOLOX目标检测网络的骨干网络进行特征提取，得到图像特征；基于图像特征预测并输出检测框信息以及其对应的类别概率、置信度，得到视觉目标。
S6、利用孪生目标跟踪器对稳定图像和历史稳定图像进行跟踪，得到预测目标；
如图6所示，孪生跟踪器有两个分支，模板分支和搜索区域分支；孪生跟踪器是基于孪生网络，利用相似性度量的函数，在搜索区域中搜索与模板相似的目标。首先基于给定历史图像的目标框，提取出当前帧的模板图像和搜索区域图像；结合孪生跟踪器的模板分支和搜索区域分支，对模板图像和搜索区域图像进行特征提取，得到模板特征和搜索区域特征；接着将模板特征和搜索区域特征进行互相关运算，得到响应图；最后基于响应图预测跟踪目标的目标框位置及置信度，得到预测目标。基于历史图像的跟踪预测弥补由于传感器失效而造成的目标检测的漏检情况，能够更好地应对传感器失效问题。
S7、通过基于置信度与重叠度的融合策略对点云目标、视觉目标和预测目标进行融合，得到最终检测目标。
基于模型输出目标的置信度，保留来自稳定图像视觉目标的高置信度目标；对来自稳定图像视觉目标的低置信度目标和点云目标进行IOU匹配，计算衡量点云目标和低置信度视觉目标的边界框重合度，即检测框重叠区域/检测框联合区域，当两个边界框的重合度高于设定阈值时，即可认为该边界检测框为确定标的物，得到第一类保留目标。对来自稳定图像视觉目标的低置信度目标和预测目标进行IOU匹配，计算衡量预测目标和低置信度视觉目标的边界框重合度，即检测框重叠区域/检测框联合区域，当两个边界框的重合度高于设定阈值时，即可认为该边界检测框为确定标的物，得到第二类保留目标。
将来自稳定图像视觉目标的高置信度目标、第一类保留目标和第二类保留目标合并保留，得到最终检测目标。在合并保留检测结果时，可以根据实际情况确定三类检测结果的融合比重。如激光雷达优势在于探测距离较远，可获取更准确的距离信息，因此在探测范围较大的区域，可提高点云目标在融合过程中所占权重；相机的优势在于一定距离内可获取更准确的目标信息，如颜色、外形和属性等其他特征信息，因此在获取具体特征信息时可提高视觉目标在融合过程中所占权重；而预测结果的优势在于激光雷达和相机会存在故障时刻，因此可以在传感器故障时刻提高预测目标在融合过程中所占权重。这样就能给予不同传感器不同权重，更有效地发挥了不同传感器的优势，实现激光雷达和相机传感器优势互补，提升了鲁棒性。
如图2所示，一种基于激光雷达和相机融合的海面目标检测系统，包括：
点云数据获取模块，通过激光雷达传感器获取点云数据；
点云目标检测模块，用于对点云数据进行聚类分析，得到点云目标；
图像数据获取模块，通过相机获取图像数据；
图像稳定模块，用于对图像数据进行平稳处理，得到稳定图像；
视觉目标检测模块，用于对稳定图像进行目标检测，得到视觉目标；
跟踪预测模块，利用孪生目标跟踪器对稳定图像和历史稳定图像进行跟踪，得到预测目标；
目标融合模块，通过基于置信度与重叠度的融合策略对点云目标、视觉目标和预测目标进行融合，得到最终检测目标。上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种基于激光雷达和相机融合的海面目标检测方法，其特征在于，包括以下步骤：
通过激光雷达传感器获取点云数据；
对点云数据进行聚类分析，得到点云目标；
通过相机获取图像数据；
对图像数据进行平稳处理，得到稳定图像；
对稳定图像进行目标检测，得到视觉目标；
利用孪生目标跟踪器对稳定图像和历史稳定图像进行跟踪，得到预测目标；
通过基于置信度与重叠度的融合策略对点云目标、视觉目标和预测目标进行融合，得到最终检测目标。
2.根据权利要求1所述一种基于激光雷达和相机融合的海面目标检测方法，其特征在于，所述对点云数据进行聚类分析，得到点云目标这一步骤，其具体包括：
任意取一个未被访问的点，访问与这个点的距离小于预设距离的所有点，得到关联点数；
根据关联点数和预设点数的关系，划分候选集；
在候选集中取尚未处理的点，访问与这个点的距离小于预设距离的所有点，得到候选点数；
根据候选点数和预设点数的关系对未处理点进行划分，得到未处理点分类属性；
重复候选集划分和未处理点分类直到所有点完成分类，得到点云目标。
3.根据权利要求1所述一种基于激光雷达和相机融合的海面目标检测方法，其特征在于，所述对图像数据进行平稳处理，得到稳定图像这一步骤，其具体包括：
基于海天线提取算法提取图像数据，得到海天线；
基于海天线的中心点与倾斜角度构造旋转矩阵；
根据旋转矩阵对图像数据进行仿射变换，得到稳定图像。
4.根据权利要求3所述一种基于激光雷达和相机融合的海面目标检测方法，其特征在于，
所述基于海天线提取算法提取图像数据，得到海天线这一步骤，其具体包括：
对图像数据进行边缘锐化，得到边缘锐化图像；
对边缘锐化图像数据进行直线检测提取，得到直线段；
对直线段进行短直线过滤，并抽样取候选点；
对图像数据进行区块划分，根据区块候选点数目与预设候选点数目的关系标记感兴趣区域；
利用卷积神经网络对感兴趣区域的区块进行分类，得到海天线区域和背景区域；
过滤海天线区域和背景区域的候选点，并进行直线拟合，得到海天线。
5.根据权利要求1所述一种基于激光雷达和相机融合的海面目标检测方法，其特征在于，所述对稳定图像进行目标检测，得到视觉目标这一步骤，其具体包括：
基于YOLOX目标检测网络的骨干网络对稳定图像进行特征提取，得到图像特征；
基于图像特征预测并输出检测框，得到视觉目标。
6.根据权利要求1所述一种基于激光雷达和相机融合的海面目标检测方法，其特征在于，所述利用孪生目标跟踪器对稳定图像和历史稳定图像进行跟踪，得到预测目标这一步骤，其具体包括：
基于给定历史稳定图像的目标框，提取出当前帧的模板图像和搜索区域图像；
基于孪生跟踪器的模板分支和搜索区域分支，分別对模板图像和搜索区域图像进行特征提取，得到模板特征和搜索区域特征；
将模板特征和搜索区域特征进行互相关运算，得到响应图；
基于响应图预测跟踪目标的目标框位置及置信度，得到预测目标。
7.根据权利要求1所述一种基于激光雷达和相机融合的海面目标检测方法，其特征在于，所述通过基于置信度与重叠度的融合策略对点云目标、视觉目标和预测目标进行融合，得到最终检测目标这一步骤，其具体包括：
基于模型输出目标的置信度，保留来自稳定图像视觉目标的高置信度目标；
对来自稳定图像视觉目标的低置信度目标和点云目标进行IOU匹配，得到第一类匹配结果；
基于预设阈值对第一类匹配结果进行筛选，得到第一类保留目标；
对来自稳定图像视觉目标的低置信度目标和预测目标进行IOU匹配，得到第二类匹配结果；
基于预设阈值对第二类匹配结果进行筛选，得到第二类保留目标；
将来自稳定图像视觉目标的高置信度目标、第一类保留目标和第二类保留目标合并保留，得到最终检测目标。
8.一种基于激光雷达和相机融合的海面目标检测系统，其特征在于，包括：
点云数据获取模块，通过激光雷达传感器获取点云数据；
点云目标检测模块，用于对点云数据进行聚类分析，得到点云目标；
图像数据获取模块，通过相机获取图像数据；
图像稳定模块，用于对图像数据进行平稳处理，得到稳定图像；
视觉目标检测模块，用于对稳定图像进行目标检测，得到视觉目标；
跟踪预测模块，利用孪生目标跟踪器对稳定图像和历史稳定图像进行跟踪，得到预测目标；
目标融合模块，通过基于置信度与重叠度的融合策略对点云目标、视觉目标和预测目标进行融合，得到最终检测目标。
CN202310875317.9A 2023-07-18 2023-07-18 一种基于激光雷达和相机融合的海面目标检测方法及系统 Pending CN116912688A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310875317.9A CN116912688A (zh) 2023-07-18 2023-07-18 一种基于激光雷达和相机融合的海面目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310875317.9A CN116912688A (zh) 2023-07-18 2023-07-18 一种基于激光雷达和相机融合的海面目标检测方法及系统

Publications (1)

Publication Number Publication Date
CN116912688A true CN116912688A (zh) 2023-10-20

Family

ID=88356032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310875317.9A Pending CN116912688A (zh) 2023-07-18 2023-07-18 一种基于激光雷达和相机融合的海面目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN116912688A (zh)

Similar Documents

Publication Publication Date Title
Zhou et al. Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain
CN108229342B (zh) 一种海面舰船目标自动检测方法
CN115049700A (zh) 一种目标检测方法及装置
CN113506318B (zh) 一种车载边缘场景下的三维目标感知方法
CN109657686A (zh) 车道线生成方法、装置、设备以及存储介质
CN111950394A (zh) 一种车辆变道的预测方法、装置及计算机存储介质
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
Wang et al. Multi-cue road boundary detection using stereo vision
CN114972968A (zh) 基于多重神经网络的托盘识别和位姿估计方法
CN115019201B (zh) 一种基于特征精细化深度网络的弱小目标检测方法
CN115620261A (zh) 基于多传感器的车辆环境感知方法、系统、设备及介质
CN115184917A (zh) 一种融合毫米波雷达与相机的区域目标跟踪方法
Petković et al. An overview on horizon detection methods in maritime video surveillance
Fu et al. Camera-based semantic enhanced vehicle segmentation for planar lidar
CN110992424A (zh) 基于双目视觉的定位方法和系统
Bisht et al. Integration of hough transform and inter-frame clustering for road lane detection and tracking
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN112712066A (zh) 图像识别方法、装置、计算机设备和存储介质
CN110864670A (zh) 目标障碍物位置的获取方法和系统
Morales Rosales et al. On-road obstacle detection video system for traffic accident prevention
Ballinas-Hernández et al. Marked and unmarked speed bump detection for autonomous vehicles using stereo vision
CN116912688A (zh) 一种基于激光雷达和相机融合的海面目标检测方法及系统
Zhou et al. Research on improved hough algorithm and its application in lunar crater
CN110399859A (zh) 无人跨运车的基于多传感器融合的障碍物辨识方法和装置
CN111125414A (zh) 一种无人机遥感图像特定目标自动搜索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination