CN109444911B - 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 - Google Patents

一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 Download PDF

Info

Publication number
CN109444911B
CN109444911B CN201811217208.3A CN201811217208A CN109444911B CN 109444911 B CN109444911 B CN 109444911B CN 201811217208 A CN201811217208 A CN 201811217208A CN 109444911 B CN109444911 B CN 109444911B
Authority
CN
China
Prior art keywords
target
laser radar
water surface
camera
unmanned ship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811217208.3A
Other languages
English (en)
Other versions
CN109444911A (zh
Inventor
王博
张伟
江坤颐
廖煜雷
李晔
封佳祥
苏广胜
周斌
袁志豪
杨士远
张磊
苏玉民
贾知浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201811217208.3A priority Critical patent/CN109444911B/zh
Publication of CN109444911A publication Critical patent/CN109444911A/zh
Application granted granted Critical
Publication of CN109444911B publication Critical patent/CN109444911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明属于智能无人智慧船舶领域，具体涉及一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法。针对无人艇对水面目标检测识别及定位受距离、目标波动的影响，本发明融合激光雷达和相机对感知范围内的目标进行准确检测识别及定位。首先利用采集到的水面目标图像训练基于神经网络的目标检测识别模型；然后激光雷达使用条件移除滤波器和欧氏聚类得到水面目标在世界坐标系下的位置；最后，设计了相机图片信息和激光雷达点云信息融合方法，使其对不确定性因素具有较高的鲁棒性。本发明能够使无人艇具备对水面目标准确检测识别定位的能力，为无人艇的目标跟踪，路径规划和自主航行提供良好的环境感知，应用前景广阔。

Description

一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
技术领域
本发明属于智能无人智慧船舶领域，具体涉及一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法。
背景技术
无人艇是在水面航行的智能化平台，由于无人艇所处的水面环境十分复杂，所以无人艇对周围环境信息的感知十分重要。因此，如何提高无人艇环境感知的能力是现在研究热点，在己有的文献中，许多学者通过视觉感知、雷达感知及多传感器感知信息融合等方法对无人艇的环境感知进行了研究。但是这些方法都有一定的局限性，对环境的自适应性较低。
华中科技大学工业技术研究院马杰等将激光雷达扫描到的三维目标点云和非目标点云进行降维处理，投影到二维XY栅格平面；随后进行聚类处理，提取每个目标位置信息，得到目标样本集，训练识别函数对水面物体进行识别。缺点是数据集采集困难，实时性不强。且无法识别形状相似的物体，识别精度无法保证。
东南大学庞成利用毫米波雷达和视觉数据融合进行平直公路前方车辆检测，采用生命周期算法进行有效目标决策，在实验中成功检测到前方最近车辆信息。但是只针对危险目标的单目标检测算法不利于获取完整的周边环境信息。
吉林大学曲昭伟等使用SICK LMS211-S14激光雷达与CCD摄像机进行数据融合，结合单线雷达下行人的物理属性与摄像机图像梯度方向直方图特征进行实时行人检测，得到较准确的实验结果。但是基于行人腿部单线点云特征的算法精度太低，容易出现漏检、误检等错误。
北京理工大学王宝峰等根据雷达信息确定图像坐标系中车辆感兴趣区域，随后根据对称性分析，逆透视变换验证识别结果，具有较强的环境适应性和准确率。但是其根据速度与相对位置关系处理雷达数据的算法无法检测静止车辆等物体，且其融合算法在前方有多个物体时计算精度较差。
发明内容
本发明的目的在于提供一种用于无人艇在水面航行时对周围目标信息感知的单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法。
一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法，具体包括如下步骤：
步骤1、根据张正友标定法和S0m＝K[R,T]X，对相机和激光雷达进行标定，求取X外参矩阵，其中S0为尺度因子，K为摄像机内参,R为旋转矩阵，T为平移向量；
步骤2、收集图像数据，利用无人艇携带的相机采集视频资料，用标注工具对材料进行标注，生成满足卷积神经网输入数据集的格式；
步骤3、将数据集处理输入到卷积神经网络中，经过训练测试，筛选得到准确率最高的最优模型；
步骤4、使用直通滤波器将激光雷达采样范围限制在无人艇前方左舷和右舷各45度的范围内；
步骤5、使用条件移除滤波器删除输入点云中不满足聚类要求的所有散乱数据点；
步骤6、将过滤后的点云数据输入Kd-Tree中以简化计算；
步骤7、使用欧氏聚类分割出目标物体；
步骤8、提取物体的特征点，经外参矩阵和相机内参矩阵转换，将三维深度点云数据投影至二维相机图像平面中，进行数据融合操作；
步骤9、将准确率最高的训练模型导入无人艇携带的视觉模块中，根据携带的相机实时获取画面，并对画面中目标的种类进行检测和识别，输出置信度和目标位置矩形框的坐标；
步骤10、将激光雷达聚类完成的点簇投影到二维相机平面上，计算点簇中心点并设置点簇中心圆，计算每个点簇中心圆与矩形的重叠度；
步骤11、根据计算出来的重叠度，进行分类判断，最后输出该目标的实际位置、类别及判断的置信度。
所述一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法，步骤2中相机对水面图像进行实时采集和视频资料录制，为图像目标检测提供实时的水面图像。
所述一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法，步骤4中激光雷达通过向目标发射探测信号即激光束,然后将接收到的从目标反射回来的信号即目标回波与发射信号进行比较,作适当处理,就可获得水面目标的三维信息,如目标距离、方位、高度、速度、姿态。
所述一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法，数据处理具体是用神经网络训练得模型对图片进行目标检测识别，将激光雷达返回的目标回波信息进行滤波和聚合处理，得到水面目标的点云信息，最后将图片目标检测框和点云信息融合，得出融合目标的位置、类别等信息。
本发明的有益效果在于：
本方法基于单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法，充分考虑了无人艇工作的环境信息，能够依据无人艇携带的传感器获得数据的内在联系，对杂乱信息有良好的综合处理能力和良好的自适应特性，系统所采用的方法对场景理解的误差、运动引起的图像噪声、视频检测器的偏移等干扰有较高的鲁棒性，具有处理时间短和可靠性高的特点，融合激光雷达和相机信息的水面目标在线检测识别与定位方法可以为无人艇的目标跟踪，路径规划和自主航行提供良好的环境感知，能够解决水面目标检测准确率较低和目标定位不精确的问题。
附图说明
图1为基于单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法的整体框图；
图2为具有单目相机和激光雷达信息融合水面目标检测识别与定位功能的无人艇组成结构。
具体实施方式
下面结合附图对本发明作进一步描述。
如附图1所示，为基于单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法的整体框图，包括如下步骤：
1.首先对相机和激光雷达进行标定，根据张正友标定法，根据S0m＝K[R,T]X，求取X外参矩阵，其中S0为尺度因子，K为摄像机内参,R为旋转矩阵，T为平移向量。由于雷达与摄像机的装配位置已经固定，外参矩阵[R,T]已经固定，经过测量和计算得到外参矩阵X的精确值。通过棋盘格标定得到相机内参矩阵，即可将三维深度点云图像中的数据点投影至二维图像平面；
2.收集图像数据，利用无人艇携带的相机采集足够视频资料，然后处理为图片数据。利用标注工具对包含目标的图片数据进行标注，经过处理后生成满足卷积神经网要求的输入数据集格式；
3.利用制作的数据集处理输入到卷积神经网络中，经过训练测试，筛选得到检测识别准确率最高的模型；
4.使用直通滤波器将激光雷达采样范围限制在无人艇前方左舷和右舷各45度的范围内，减小需要处理的数据点数目降低计算量以达到实时性要求，有利于与视角为90度的相机进行配合；
5.使用条件移除滤波器删除输入点云中不满足聚类要求的所有散乱数据点。由于水面环境的特殊性以及无人艇近岸时受到岸边物体的影响，激光雷达扫描得到的点云密度分布不均匀，水面环境下的点云数据更加稀疏。且存在散乱的干扰点。这会给点云特征识别以及点云聚类带来干扰，造成目标漏检或错检。条件移除滤波器对每个点的临域进行分析。计算某点所有临近点距离该点的欧氏距离，并且将临近点数目过少的点识别为离群干扰点，并从数据集中去除。由此去除水面上的散乱数据点；
6.将过滤后的点云数据输入Kd-Tree中以简化计算，Kd-Tree是一种从BST发展而来的高维索引树形数据结构，常用于大规模高维数据密集的查找比对的使用场景中，主要是最近邻查找以及近似最近邻查找。可以节省聚类所需的时间，达到实时检测的要求。然后使用欧氏聚类分割出目标物体。提取特征点并将深度点云图像中的三维点投影至二维图像坐标系。通过检索Kd-Tree中的临近点，以某个点至其他临近点的距离阈值为依据，将经过过滤处理的点云分割得到多个单独的物体；同时，依据水中物体点云图像为孤立的点云簇而岸上物体的点云图像为连续点云的特点，提出根据覆盖率来区分堤岸与水中物体；
7.将物体的特征点提取出来，经由外参矩阵和相机内参矩阵转换将三维深度点云数据投影至二维相机图像平面中，进行数据融合操作；
8.将得到准确率最高的训练模型导入无人艇携带的视觉模块中，根据携带的相机实时对获取画面中目标的种类进行检测和识别，并且输出置信度和检测出来目标位置的矩形框的左上角和右下角的坐标，分别记为(X11..X1n,Y11..Y1n)和(X21..X2n,Y21..Y2n)；
9.根据激光雷达聚类完成的点簇投影到二维相机平面上，分别采用均值计算点簇中心点O1..1n，以离点簇中心点最远的点到中心点的距离R1..Rn为半径设置点簇中心圆。将各个点簇中心圆与对应图像检测出来矩形框做比较，计算每个点簇中心圆与矩形的重叠度。
10.根据计算出来的重叠度，进行分类判断。如果重叠度大于0.5的，则认为图像和激光雷达检测的目标为同一个目标，此时融合激光雷达和相机的信息，输出该目标的实际的位置、类别及判断的置信度；如果重叠度小于0.5，则是图像在该区域内没有检测到目标或者激光雷达没有检测到目标。如果是图像在某个区域没有检测到目标而激光雷达检测到了目标，则重点关注图像中的该区域，降低图像目标检测中设置的阈值，对图像的该区域进行重新检测；如果是图像检测到目标而激光雷达没有检测到目标，说明该方向有目标但距离过远，激光雷达检测距离有限，根据激光雷达检测到目标的方向命令无人艇向改方向前进，前进到当重叠度大于0.5，融合激光雷达和相机信息，输出该目标的实际位置、类别及判断的置信度。
如附图2所示，为具有单目相机和激光雷达信息融合水面目标检测识别与定位功能的无人艇组成结构，包括相机，激光雷达，数据处理设备和控制及动力系统。相机主要用于水面图像实时采集和视频资料的录制，为图像目标检测提供实时的水面图像；激光雷达主要用于水面目标的三维信息的获取，向目标发射探测信号即激光束,然后将接收到的从目标反射回来的信号即目标回波与发射信号进行比较,作适当处理后,就可获得目标的有关信息,如目标距离、方位、高度、速度、姿态；数据处理设备主要用来处理相机输入的图片信息和激光雷达输入的目标回波信息。具体是图片经过神经网络训练得模型进行目标检测识别，将激光雷达返回的目标回波信息进行滤波和聚合处理，得到水面目标的点云信息，最后将图片目标检测框和点云信息融合，得出信息融合目标的位置、类别等信息；控制及动力系统主要用于无人艇在水中的位置调整，如果距离目标过远，控制系统会接收到数据处理系统的信息，通过动力系统向目标存在区域前进。
本发明以分辨率高、可靠性高的激光雷达和包含信息丰富、使用方便的相机作为无人艇的环境感知传感器，通过融合经卷积神经网络确定的目标检测框和激光雷达点云生成的点云簇中心圆的信息，实现图像上目标和激光雷达检测出目标的精确匹配。利用激光雷达数据中的目标准确的三维信息可以避免单目下相机测距定位带来的误差，设计了点云簇中心圆和图像检测框匹配的阈值方法，使其对激光雷达的水面干扰噪声、测量距离有限和图片目标检测的误差等不确定性因素具有较高的鲁棒性，不仅能够反映更加精确的目标方位信息，还有利于实现对运动目标的识别和跟踪，因此能够提供精度的水面目标的信息，保障无人艇在长时间航行过程中的安全性。

Claims (4)

1.一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法，其特征在于，具体包括如下步骤：
步骤1、根据张正友标定法和S0m＝K[R,T]X，对相机和激光雷达进行标定，求取X外参矩阵，其中S0为尺度因子，K为摄像机内参,R为旋转矩阵，T为平移向量；
步骤2、收集图像数据，利用无人艇携带的相机采集视频资料，用标注工具对材料进行标注，生成满足卷积神经网输入数据集的格式；
步骤3、将数据集处理输入到卷积神经网络中，经过训练测试，筛选得到准确率最高的最优模型；
步骤4、使用直通滤波器将激光雷达采样范围限制在无人艇前方左舷和右舷各45度的范围内；
步骤5、使用条件移除滤波器删除输入点云中不满足聚类要求的所有散乱数据点；
步骤6、将过滤后的点云数据输入Kd-Tree中以简化计算；Kd-Tree是一种高维索引树形数据结构；
步骤7、使用欧氏聚类分割出目标物体；
步骤8、提取物体的特征点，经外参矩阵和相机内参矩阵转换，将三维深度点云数据投影至二维相机图像平面中，进行数据融合操作；
步骤9、将准确率最高的训练模型导入无人艇携带的视觉模块中，根据携带的相机实时获取画面，并对画面中目标的种类进行检测和识别，输出置信度和目标位置矩形框的坐标；
步骤10、将激光雷达聚类完成的点簇投影到二维相机平面上，计算点簇中心点并设置点簇中心圆，计算每个点簇中心圆与矩形的重叠度；
步骤11、根据计算出来的重叠度，进行分类判断，最后输出该目标的实际位置、类别及判断的置信度。
2.根据权利要求1所述一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法，其特征在于：步骤2中所述相机对水面图像进行实时采集和视频资料录制，为图像目标检测提供实时的水面图像。
3.根据权利要求1所述一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法，其特征在于：步骤4中所述激光雷达通过向目标发射探测信号即激光束,然后将接收到的从目标反射回来的信号即目标回波与发射信号进行比较,作适当处理,就可获得水面目标的三维信息，包括目标距离、方位、高度、速度、姿态。
4.根据权利要求1所述一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法，其特征在于：所述数据集处理具体是用神经网络训练的模型对图片进行目标检测识别，将激光雷达返回的目标回波信息进行滤波和聚合处理，得到水面目标的点云信息，最后将图片目标检测框和点云信息融合，得出融合目标的位置、类别信息。
CN201811217208.3A 2018-10-18 2018-10-18 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 Active CN109444911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811217208.3A CN109444911B (zh) 2018-10-18 2018-10-18 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811217208.3A CN109444911B (zh) 2018-10-18 2018-10-18 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法

Publications (2)

Publication Number Publication Date
CN109444911A CN109444911A (zh) 2019-03-08
CN109444911B true CN109444911B (zh) 2023-05-05

Family

ID=65546860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811217208.3A Active CN109444911B (zh) 2018-10-18 2018-10-18 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法

Country Status (1)

Country Link
CN (1) CN109444911B (zh)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032949B (zh) * 2019-03-22 2021-09-28 北京理工大学 一种基于轻量化卷积神经网络的目标检测与定位方法
CN111856445B (zh) * 2019-04-11 2023-07-04 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置、设备及系统
CN110135485A (zh) * 2019-05-05 2019-08-16 浙江大学 单目相机与毫米波雷达融合的物体识别与定位方法和系统
CN110110797B (zh) * 2019-05-13 2022-10-28 哈尔滨工程大学 一种基于多传感器融合的水面目标训练集自动采集方法
CN110135396B (zh) * 2019-05-27 2021-05-07 百度在线网络技术（北京）有限公司 地面标志的识别方法、装置、设备及介质
CN110188696B (zh) * 2019-05-31 2023-04-18 华南理工大学 一种水面无人装备多源感知方法及系统
CN112034432A (zh) * 2019-06-03 2020-12-04 华为技术有限公司 一种雷达目标聚类方法以及相关装置
CN110244322B (zh) * 2019-06-28 2023-04-18 东南大学 基于多源传感器的路面施工机器人环境感知系统及方法
CN110275153B (zh) * 2019-07-05 2021-04-27 上海大学 一种基于激光雷达的水面目标检测与跟踪方法
CN110414396B (zh) * 2019-07-19 2021-07-16 中国人民解放军海军工程大学 一种基于深度学习的无人艇感知融合算法
CN110532865B (zh) * 2019-07-19 2023-10-03 南京航空航天大学 基于可见光与激光融合的航天器结构识别方法
CN110376593B (zh) * 2019-08-05 2021-05-04 上海埃威航空电子有限公司 一种基于激光雷达的目标感知方法及装置
CN110667783A (zh) * 2019-08-30 2020-01-10 安徽科微智能科技有限公司 一种无人艇辅助驾驶系统及其方法
CN112446916A (zh) * 2019-09-02 2021-03-05 北京京东乾石科技有限公司 确定无人车停靠位的方法和装置
CN110706278A (zh) * 2019-09-20 2020-01-17 异起(上海)智能科技有限公司 一种基于激光雷达和摄像头的物体识别方法和装置
CN110674724B (zh) * 2019-09-20 2022-07-15 武汉大学 基于主动策略和影像传感器的机器人目标识别方法及系统
CN110796681A (zh) * 2019-09-24 2020-02-14 武汉市众向科技有限公司 一种用于船舶协同工作的视觉定位系统及方法
CN110737271B (zh) * 2019-10-23 2022-08-02 西南科技大学 一种水面机器人自主巡航系统及方法
CN110909656B (zh) * 2019-11-18 2023-10-13 中电海康集团有限公司 一种雷达与摄像机融合的行人检测方法和系统
CN110879401B (zh) * 2019-12-06 2023-08-04 南京理工大学 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法
CN111239766B (zh) * 2019-12-27 2021-12-07 北京航天控制仪器研究所 基于激光雷达的水面多目标快速识别跟踪方法
CN111142091B (zh) * 2020-01-10 2021-12-24 清华大学 一种融合车载信息的自动驾驶系统激光雷达在线标定方法
CN111310667B (zh) * 2020-02-18 2023-09-01 北京小马慧行科技有限公司 确定标注是否准确的方法、装置、存储介质与处理器
CN111368927B (zh) * 2020-03-06 2023-10-03 广州文远知行科技有限公司 一种标注结果处理方法、装置、设备及存储介质
CN112396650B (zh) * 2020-03-30 2023-04-07 青岛慧拓智能机器有限公司 一种基于图像和激光雷达融合的目标测距系统及方法
CN111458721B (zh) * 2020-03-31 2022-07-12 江苏集萃华科智能装备科技有限公司 一种暴露垃圾的识别定位方法、装置及系统
CN111708042B (zh) * 2020-05-09 2023-05-02 汕头大学 一种行人轨迹预测和跟随的机器人方法及系统
CN112083437A (zh) * 2020-07-10 2020-12-15 南京智慧水运科技有限公司 一种船用激光雷达与视频联合目标捕捉系统及方法
CN111986232B (zh) * 2020-08-13 2021-09-14 上海高仙自动化科技发展有限公司 目标物体的检测方法、装置、机器人及存储介质
CN112101222A (zh) * 2020-09-16 2020-12-18 中国海洋大学 一种基于无人艇多模态传感器的海面三维目标检测方法
CN112488022B (zh) * 2020-12-11 2024-05-10 武汉理工大学 一种环视全景监控方法、装置及系统
CN112684424B (zh) * 2020-12-30 2022-08-16 同济大学 一种毫米波雷达与相机的自动标定方法
CN112666534A (zh) * 2020-12-31 2021-04-16 武汉理工大学 基于激光雷达识别算法的无人船路线规划方法和装置
CN112733753B (zh) * 2021-01-14 2024-04-30 江苏恒澄交科信息科技股份有限公司 结合卷积神经网络和数据融合的大桥方位识别方法及系统
CN112927233A (zh) * 2021-01-27 2021-06-08 湖州市港航管理中心 一种船用激光雷达与视频联合目标捕捉方法
CN112926446A (zh) * 2021-02-24 2021-06-08 北京爱笔科技有限公司 一种抛物检测方法及抛物检测系统
CN114972935A (zh) * 2021-02-27 2022-08-30 上海华为技术有限公司 一种信息处理方法及相关设备
JP2022152402A (ja) * 2021-03-29 2022-10-12 本田技研工業株式会社 認識装置、車両システム、認識方法、およびプログラム
CN113222111A (zh) * 2021-04-01 2021-08-06 上海智能网联汽车技术中心有限公司 适应全天候环境的自动驾驶4d感知方法、系统及介质
CN113160330B (zh) * 2021-04-16 2023-04-07 上海交通大学 基于端到端的相机与激光雷达标定方法、系统及介质
CN113436258B (zh) * 2021-06-17 2023-09-12 中国船舶重工集团公司第七0七研究所九江分部 基于视觉与激光雷达融合的海上浮码头检测方法及系统
CN113484864B (zh) * 2021-07-05 2022-05-31 中国人民解放军国防科技大学 面向无人艇的航海雷达与光电吊舱协同环境感知方法
CN113627473B (zh) * 2021-07-06 2023-09-29 哈尔滨工程大学 基于多模态传感器的水面无人艇环境信息融合感知方法
CN113602416A (zh) * 2021-08-09 2021-11-05 山东交通学院 无人船视觉感知系统
CN113759385A (zh) * 2021-08-12 2021-12-07 江苏徐工工程机械研究院有限公司 一种激光雷达和相机融合测距方法及系统
CN113658257B (zh) * 2021-08-17 2022-05-27 广州文远知行科技有限公司 一种无人设备定位方法、装置、设备及存储介质
CN113763534B (zh) * 2021-08-24 2023-12-15 同致电子科技（厦门）有限公司 一种基于视觉环视系统点云建图方法
CN113970753B (zh) * 2021-09-30 2024-04-30 南京理工大学 一种基于激光雷达和视觉检测的无人机定位控制方法及系统
CN113743385A (zh) * 2021-11-05 2021-12-03 陕西欧卡电子智能科技有限公司 一种无人船水面目标检测方法、装置及无人船
CN114241298A (zh) * 2021-11-22 2022-03-25 腾晖科技建筑智能(深圳)有限公司 一种激光雷达和图像融合的塔吊环境目标检测方法及系统
CN114202684B (zh) * 2021-11-29 2023-06-16 哈尔滨工程大学 一种适用于水面环境的点云数据投影方法、系统及装置
CN114359181B (zh) * 2021-12-17 2024-01-26 上海应用技术大学 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN114494806A (zh) * 2021-12-17 2022-05-13 湖南国天电子科技有限公司 基于多元信息融合的目标识别方法、系统、设备和介质
CN114332784A (zh) * 2021-12-30 2022-04-12 江苏集萃深度感知技术研究所有限公司 基于机器视觉以及雷达的港口船体识别方法
CN114578807A (zh) * 2022-01-05 2022-06-03 北京华如科技股份有限公司 一种无人靶车雷视融合的主动目标检测与避障方法
CN114648686A (zh) * 2022-03-10 2022-06-21 哈尔滨工程大学 一种融合激光点云与rgb图像数据的逆光水面目标识别方法、系统及装置
CN114926726B (zh) * 2022-07-20 2022-10-28 陕西欧卡电子智能科技有限公司 基于多任务网络的无人船感知方法及相关设备
CN116862922B (zh) * 2023-06-20 2024-03-19 运来智能装备(无锡)有限公司 基于图像分割与雷达信息融合的目标定位方法、系统及介质
CN117470249B (zh) * 2023-12-27 2024-04-02 湖南睿图智能科技有限公司 基于激光点云和视频图像融合感知的船舶防碰撞方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274037A (ja) * 2006-03-30 2007-10-18 Daihatsu Motor Co Ltd 障害物認識方法及び障害物認識装置
CN105371840A (zh) * 2015-10-30 2016-03-02 北京自动化控制设备研究所 一种惯性/视觉里程计/激光雷达的组合导航方法
CN106355194A (zh) * 2016-08-22 2017-01-25 广东华中科技大学工业技术研究院 一种基于激光成像雷达的无人艇水面目标处理方法
CN107167811A (zh) * 2017-04-26 2017-09-15 西安交通大学 基于单目视觉与激光雷达融合的道路可行驶区域检测方法
CN108519075A (zh) * 2018-03-22 2018-09-11 北京控制工程研究所 一种空间多目标位姿测量方法
CN108646741A (zh) * 2018-05-31 2018-10-12 哈尔滨工程大学 一种基于视觉反馈的无人艇目标跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274037A (ja) * 2006-03-30 2007-10-18 Daihatsu Motor Co Ltd 障害物認識方法及び障害物認識装置
CN105371840A (zh) * 2015-10-30 2016-03-02 北京自动化控制设备研究所 一种惯性/视觉里程计/激光雷达的组合导航方法
CN106355194A (zh) * 2016-08-22 2017-01-25 广东华中科技大学工业技术研究院 一种基于激光成像雷达的无人艇水面目标处理方法
CN107167811A (zh) * 2017-04-26 2017-09-15 西安交通大学 基于单目视觉与激光雷达融合的道路可行驶区域检测方法
CN108519075A (zh) * 2018-03-22 2018-09-11 北京控制工程研究所 一种空间多目标位姿测量方法
CN108646741A (zh) * 2018-05-31 2018-10-12 哈尔滨工程大学 一种基于视觉反馈的无人艇目标跟踪方法

Also Published As

Publication number Publication date
CN109444911A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN109444911B (zh) 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN110781827B (zh) 一种基于激光雷达与扇状空间分割的路沿检测系统及其方法
CN109283538B (zh) 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
CN109100741B (zh) 一种基于3d激光雷达及图像数据的目标检测方法
CN108509918B (zh) 融合激光点云与图像的目标检测与跟踪方法
WO2022141914A1 (zh) 一种基于雷视融合的多目标车辆检测及重识别方法
CN108445480B (zh) 基于激光雷达的移动平台自适应扩展目标跟踪系统及方法
CN112149550B (zh) 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN108828621A (zh) 基于三维激光雷达的障碍检测和路面分割算法
US20200302237A1 (en) System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor
CN106646474A (zh) 一种非结构化道路凹凸障碍物检测装置
CN110794396B (zh) 基于激光雷达和导航雷达的多目标识别方法及系统
CN113850102B (zh) 基于毫米波雷达辅助的车载视觉检测方法及系统
CN111781608A (zh) 一种基于fmcw激光雷达的运动目标检测方法及系统
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN112232139B (zh) 一种基于Yolo v4与Tof算法相结合的避障方法
CN111123262B (zh) 自动驾驶3d建模方法、装置及系统
Qu et al. Improving maritime traffic surveillance in inland waterways using the robust fusion of AIS and visual data
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
CN111999744A (zh) 一种无人机多方位探测、多角度智能避障方法
CN114821526A (zh) 基于4d毫米波雷达点云的障碍物三维边框检测方法
CN116699602A (zh) 一种基于毫米波雷达和相机融合的目标检测系统及方法
CN115327572A (zh) 一种车辆前方障碍物检测方法
KR20230101560A (ko) 차량용 라이다 시스템 및 그 객체 검출 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant