CN111352128A - 一种基于融合点云的多传感器融合感知方法与系统 - Google Patents

一种基于融合点云的多传感器融合感知方法与系统 Download PDF

Info

Publication number
CN111352128A
CN111352128A CN201811567620.8A CN201811567620A CN111352128A CN 111352128 A CN111352128 A CN 111352128A CN 201811567620 A CN201811567620 A CN 201811567620A CN 111352128 A CN111352128 A CN 111352128A
Authority
CN
China
Prior art keywords
data
point cloud
sensor
fusion
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811567620.8A
Other languages
English (en)
Other versions
CN111352128B (zh
Inventor
罗少波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Weigong Intelligent Technology Co ltd
Original Assignee
Shanghai Weigong Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weigong Intelligent Technology Co ltd filed Critical Shanghai Weigong Intelligent Technology Co ltd
Priority to CN201811567620.8A priority Critical patent/CN111352128B/zh
Publication of CN111352128A publication Critical patent/CN111352128A/zh
Application granted granted Critical
Publication of CN111352128B publication Critical patent/CN111352128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明公开了一种基于融合点云的多传感器融合感知方法：步骤一：通过传感器实时采集点云信息数据；步骤二：根据采集的点云信息数据建立无人参考坐标系；步骤三：将无人参考坐标系融合聚类与时间序列分析得到无人系统的运动表面与运动个体的切分，并根据本级信息生成第一级判断数据，用于判断距离防止碰撞；步骤四：点云信息数据中的地面点云信息数据经坐标转换与和相机融合产生安全运行空间数据；进行每个运动个体的相机空间坐标转换取得每个物体的空间图像信息，将该空间图像信息进行物体类别识别生成第二级判断数据，用于判断与多个物体间的距离；步骤五：根据安全运行空间数据与第二级判断数据的结合判断单个或多个物体的信息。

Description

一种基于融合点云的多传感器融合感知方法与系统
技术领域
本发明涉及自动化领域，具体涉及一种基于融合点云的多传感器融合感知方法与系统。
背景技术
无人系统作为一种主动的交互设备，已经逐渐进入人类的生活方方面面。如机器人，无人车等。如何能够保证无人系统的安全是一个重要的问题。通常无人系统包含环境感知，路径规划，车辆控制等模块。其中环境感知作为一种重要的功能，在无人系统中占有非常高的地位。它如同人的感官，能够提供丰富的环境理解信息。环境感知模块通常集成多种传感器，如激光雷达，毫米波雷达，单双目相机等，现有环境感知模块，通过单独的相机或者雷达去检车障碍物体；或者通过相机去识别固定类别的障碍物后通过激光雷达或毫米波雷达去验证物体；或者通过相机识别分类路面，天空等。由于机器学习的不确定性和传感器局限性，不当的使用容易造成错误判断和假报警等问题。如何使用一种策略去感知环境并保证无人系统和环境的交互安全是一个非常值得研究的课题。
发明内容
本发明要解决的技术问题是提供一种基于融合点云的多传感器融合感知方法，能够消除实际部署无人系统中机器学习的不确定对行驶安全的影响；保证无人系统的安全实用性；积累多个无人系统的经验并实现物体检测模块的快速迭代，用以解决现有技术导致的缺陷。
本发明还提供一种基于融合点云的多传感器融合感知系统。
为解决上述技术问题本发明提供以下的技术方案：一种基于融合点云的多传感器融合感知方法，其中，包括以下步骤：
步骤一：通过传感器实时采集点云信息数据，该传感器内置有多维点云信息模块；
步骤二：根据采集的点云信息数据建立无人参考坐标系；
步骤三：将无人参考坐标系融合聚类与时间序列分析得到无人系统的运动表面与运动个体的切分，并根据本级信息生成第一级判断数据，用于判断物体与距离，防止碰撞；
步骤四：点云信息数据中的地面点云信息数据经坐标转换与和相机融合产生安全运行空间数据；
进行每个运动个体的相机空间坐标转换取得每个物体的空间图像信息，将该空间图像信息进行物体类别识别生成第二级判断数据，用于判断具体物体的类别与运动信息并进行预测；
步骤五：根据安全运行空间数据与第二级判断数据的结合判断单个或多个物体的位置、体积、类别、运动信息等。
上述的一种基于融合点云的多传感器融合感知方法，其中，所述步骤一中的传感器包括激光雷达、毫米波雷达、相机。
一种基于融合点云的多传感器融合感知系统，其中，包括服务云端以及依次连接的传感器模块、环境分割模块、物体检测模块，所述物体检测模块与所述服务云端通过无线创建连接，
所述传感器模块用于连接传感器并实时接收所述传感器检测的数据形成传输至所述环境分割模块的检测数据；
所述环境分割模块用于接收所述检测数据并创建空间点云；
所述物体检测模块用于识别具体物体，还用于生成传输至所述服务云端的未识别数据；
所述服务云端用于接收所述未识别数据进行人工辅助判断并将判断结果传输至所述物体检测模块进行更新。
上述的一种基于融合点云的多传感器融合感知系统，其中，所述传感器包括激光雷达、毫米波雷达、相机。
依据上述本发明一种基于融合点云的多传感器融合感知方法与系统提供的技术方案效果是：能够消除实际部署无人系统中机器学习的不确定对行驶安全的影响；保证无人系统的安全实用性；积累多个无人系统的经验并实现物体检测模块的快速迭代。
具体实施方式
为了使发明实现的技术手段、创造特征、达成目的和功效易于明白了解，进一步阐述本发明。
本发明的一较佳实施例是提供一种基于融合点云的多传感器融合感知方法与系统，目的是消除实际部署无人系统中机器学习的不确定对行驶安全的影响；保证无人系统的安全实用性；积累多个无人系统的经验并实现物体检测模块的快速迭代。
一种基于融合点云的多传感器融合感知方法，其中，包括以下步骤：
步骤一：通过传感器实时采集点云信息数据，该传感器内置有多维点云信息模块；
步骤二：根据采集的点云信息数据建立无人参考坐标系；
步骤三：将无人参考坐标系融合聚类与时间序列分析得到无人系统的运动表面与运动个体的切分，并根据本级信息生成第一级判断数据，用于判断物体与距离，防止碰撞；
步骤四：点云信息数据中的地面点云信息数据经坐标转换与和相机融合产生安全运行空间数据；
进行每个运动个体的相机空间坐标转换取得每个物体的空间图像信息，将该空间图像信息进行物体类别识别生成第二级判断数据，用于判断具体物体的类别与运动信息并进行预测；
步骤五：根据安全运行空间数据与第二级判断数据的结合判断单个或多个物体的位置、体积、类别、运动信息等。
本实施例提供的一种基于融合点云的多传感器融合感知方法，采用的步骤一中的传感器包括激光雷达、毫米波雷达、相机。
一种基于融合点云的多传感器融合感知系统，其中，包括服务云端以及依次连接的传感器模块、环境分割模块、物体检测模块，物体检测模块与服务云端通过无线创建连接，
传感器模块用于连接传感器并实时接收传感器检测的数据形成传输至环境分割模块的检测数据；
环境分割模块用于接收检测数据并创建空间点云；
物体检测模块用于识别具体物体，还用于生成传输至服务云端的未识别数据；
服务云端用于接收未识别数据进行人工辅助判断并将判断结果传输至物体检测模块进行更新。
本实施例提供的一种基于融合点云的多传感器融合感知系统，采用的传感器包括激光雷达、毫米波雷达、相机。
综上，本发明的一种基于融合点云的多传感器融合感知方法与系统，能够消除实际部署无人系统中机器学习的不确定对行驶安全的影响；保证无人系统的安全实用性；积累多个无人系统的经验并实现物体检测模块的快速迭代。
以上对发明的具体实施例进行了描述。需要理解的是，发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；本领域技术人员可以在权利要求的范围内做出各种变形或修改做出若干简单推演、变形或替换，这并不影响发明的实质内容。

Claims (4)

1.一种基于融合点云的多传感器融合感知方法，其特征在于，包括以下步骤：
步骤一：通过传感器实时采集点云信息数据，该传感器内置有多维点云信息模块；
步骤二：根据采集的点云信息数据建立无人参考坐标系；
步骤三：将无人参考坐标系融合聚类与时间序列分析得到无人系统的运动表面与运动个体的切分，并根据本级信息生成第一级判断数据，用于判断物体与距离，防止碰撞；
步骤四：点云信息数据中的地面点云信息数据经坐标转换与和相机融合产生安全运行空间数据；
进行每个运动个体的相机空间坐标转换取得每个物体的空间图像信息，将该空间图像信息进行物体类别识别生成第二级判断数据，用于判断具体物体的类别与运动信息并进行预测；
步骤五：根据安全运行空间数据与第二级判断数据的结合判断单个或多个物体的位置、体积、类别、运动信息等。
2.如权利要求1所述的一种基于融合点云的多传感器融合感知方法，其特征在于，所述步骤一中的传感器包括激光雷达、毫米波雷达、相机。
3.一种基于融合点云的多传感器融合感知系统，其特征在于，包括服务云端以及依次连接的传感器模块、环境分割模块、物体检测模块，所述物体检测模块与所述服务云端通过无线创建连接，
所述传感器模块用于连接传感器并实时接收所述传感器检测的数据形成传输至所述环境分割模块的检测数据；
所述环境分割模块用于接收所述检测数据并创建空间点云；
所述物体检测模块用于识别具体物体，还用于生成传输至所述服务云端的未识别数据；
所述服务云端用于接收所述未识别数据进行人工辅助判断并将判断结果传输至所述物体检测模块进行更新。
4.如权利要求3所述的一种基于融合点云的多传感器融合感知系统，其特征在于，所述传感器包括激光雷达、毫米波雷达、相机。
CN201811567620.8A 2018-12-21 2018-12-21 一种基于融合点云的多传感器融合感知方法与系统 Active CN111352128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811567620.8A CN111352128B (zh) 2018-12-21 2018-12-21 一种基于融合点云的多传感器融合感知方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811567620.8A CN111352128B (zh) 2018-12-21 2018-12-21 一种基于融合点云的多传感器融合感知方法与系统

Publications (2)

Publication Number Publication Date
CN111352128A true CN111352128A (zh) 2020-06-30
CN111352128B CN111352128B (zh) 2023-03-24

Family

ID=71193800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811567620.8A Active CN111352128B (zh) 2018-12-21 2018-12-21 一种基于融合点云的多传感器融合感知方法与系统

Country Status (1)

Country Link
CN (1) CN111352128B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359333A (zh) * 2022-10-24 2022-11-18 山东矩阵软件工程股份有限公司 基于多种类数据采集设备的多维度信息融合方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069012A1 (en) * 2011-11-07 2013-05-16 Dimensional Perception Technologies Ltd. Method and system for determining position and/or orientation
US20150268058A1 (en) * 2014-03-18 2015-09-24 Sri International Real-time system for multi-modal 3d geospatial mapping, object recognition, scene annotation and analytics
GB201615052D0 (en) * 2016-09-05 2016-10-19 Return To Scene Ltd Method and system for recording spatial information
US20170016870A1 (en) * 2012-06-01 2017-01-19 Agerpoint, Inc. Systems and methods for determining crop yields with high resolution geo-referenced sensors
CN106774296A (zh) * 2016-10-24 2017-05-31 中国兵器装备集团自动化研究所 一种基于激光雷达和ccd摄像机信息融合的障碍检测方法
CN107607953A (zh) * 2017-06-01 2018-01-19 王玲 一种侧向车辆防碰撞系统及其方法
EP3293669A1 (en) * 2016-09-12 2018-03-14 Delphi Technologies, Inc. Enhanced camera object detection for automated vehicles
CN108037515A (zh) * 2017-12-27 2018-05-15 清华大学苏州汽车研究院（吴江） 一种激光雷达和超声波雷达信息融合系统及方法
CN108445885A (zh) * 2018-04-20 2018-08-24 鹤山东风新能源科技有限公司 一种基于纯电动物流车的自动驾驶系统及其控制方法
CN108509972A (zh) * 2018-01-16 2018-09-07 天津大学 一种基于毫米波和激光雷达的障碍物特征提取方法
DE102017106433A1 (de) * 2017-03-24 2018-09-27 Ovd Kinegram Ag Sicherheitselement und Verfahren zur Herstellung eines Sicherheitselements
CN108780154A (zh) * 2016-03-14 2018-11-09 亿目朗欧洲股份有限公司 3d点云的处理方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069012A1 (en) * 2011-11-07 2013-05-16 Dimensional Perception Technologies Ltd. Method and system for determining position and/or orientation
US20170016870A1 (en) * 2012-06-01 2017-01-19 Agerpoint, Inc. Systems and methods for determining crop yields with high resolution geo-referenced sensors
US20150268058A1 (en) * 2014-03-18 2015-09-24 Sri International Real-time system for multi-modal 3d geospatial mapping, object recognition, scene annotation and analytics
CN108780154A (zh) * 2016-03-14 2018-11-09 亿目朗欧洲股份有限公司 3d点云的处理方法
GB201615052D0 (en) * 2016-09-05 2016-10-19 Return To Scene Ltd Method and system for recording spatial information
EP3293669A1 (en) * 2016-09-12 2018-03-14 Delphi Technologies, Inc. Enhanced camera object detection for automated vehicles
CN106774296A (zh) * 2016-10-24 2017-05-31 中国兵器装备集团自动化研究所 一种基于激光雷达和ccd摄像机信息融合的障碍检测方法
DE102017106433A1 (de) * 2017-03-24 2018-09-27 Ovd Kinegram Ag Sicherheitselement und Verfahren zur Herstellung eines Sicherheitselements
CN107607953A (zh) * 2017-06-01 2018-01-19 王玲 一种侧向车辆防碰撞系统及其方法
CN108037515A (zh) * 2017-12-27 2018-05-15 清华大学苏州汽车研究院（吴江） 一种激光雷达和超声波雷达信息融合系统及方法
CN108509972A (zh) * 2018-01-16 2018-09-07 天津大学 一种基于毫米波和激光雷达的障碍物特征提取方法
CN108445885A (zh) * 2018-04-20 2018-08-24 鹤山东风新能源科技有限公司 一种基于纯电动物流车的自动驾驶系统及其控制方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
YONG K. CHO 等: "Projection-Recognition-Projection Method for Automatic Object Recognition and Registration for Dynamic Heavy Equipment Operations", 《JOURNAL OF COMPUTING IN CIVIL ENGINEERING》 *
左亮 等: "基于多传感器融合的复杂地形分类算法研究", 《第三十二届中国控制会议论文集（D卷）》 *
汪忠国 等: "分布式环境下散乱点云数据挖掘改进算法", 《西安工程大学学报》 *
王东敏 等: "视觉与激光点云融合的深度图像获取方法", 《军事交通学院学报》 *
王战古: "大型客车环境感知系统设计及前方障碍物检测方法研究", 《万方学位论文》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359333A (zh) * 2022-10-24 2022-11-18 山东矩阵软件工程股份有限公司 基于多种类数据采集设备的多维度信息融合方法
CN115359333B (zh) * 2022-10-24 2023-03-24 山东矩阵软件工程股份有限公司 基于多种类数据采集设备的多维度信息融合方法

Also Published As

Publication number Publication date
CN111352128B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
US10943355B2 (en) Systems and methods for detecting an object velocity
CN106503653B (zh) 区域标注方法、装置和电子设备
US10878288B2 (en) Database construction system for machine-learning
Ilas Electronic sensing technologies for autonomous ground vehicles: A review
EP3477616A1 (en) Method for controlling a vehicle using a machine learning system
CN107406073B (zh) 用于在无碰撞性方面监视要由车辆驶过的额定轨迹的方法和设备
Khatab et al. Vulnerable objects detection for autonomous driving: A review
CN112693466A (zh) 一种车辆环境感知传感器性能测评系统及方法
Hafeez et al. Insights and strategies for an autonomous vehicle with a sensor fusion innovation: A fictional outlook
CN109270524B (zh) 基于无人驾驶的多数据融合障碍物检测装置及其检测方法
CN112379674B (zh) 一种自动驾驶设备及系统
CN108106617A (zh) 一种无人机自动避障方法
CN112660128B (zh) 用于确定自动驾驶车辆的车道变更路径的设备及其方法
CN110936959B (zh) 车辆感知系统在线诊断和预测
Pietzsch et al. Results of a precrash application based on laser scanner and short-range radars
Alam et al. Object detection learning for intelligent self automated vehicles
CN111731304B (zh) 车辆控制装置、车辆控制方法及存储介质
CN208180984U (zh) 先进驾驶辅助系统及设备
CN111352128B (zh) 一种基于融合点云的多传感器融合感知方法与系统
CN109633684A (zh) 用于分类的方法、装置、机器学习系统和机器可读存储介质
CN115909815B (zh) 基于多元数据的融合检测方法、装置、设备及存储介质
Rana et al. The perception systems used in fully automated vehicles: a comparative analysis
Gogineni Multi-sensor fusion and sensor calibration for autonomous vehicles
Rezaei et al. Multisensor data fusion strategies for advanced driver assistance systems
EP3223188A1 (en) A vehicle environment mapping system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant