CN114152955A - 一种基于slam技术的障碍物高精度识别系统 - Google Patents

一种基于slam技术的障碍物高精度识别系统 Download PDF

Info

Publication number
CN114152955A
CN114152955A CN202111366020.7A CN202111366020A CN114152955A CN 114152955 A CN114152955 A CN 114152955A CN 202111366020 A CN202111366020 A CN 202111366020A CN 114152955 A CN114152955 A CN 114152955A
Authority
CN
China
Prior art keywords
information
point cloud
laser radar
image
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111366020.7A
Other languages
English (en)
Inventor
崔高健
商小强
贺红春
陆柏霖
李博士
楚明杨
李绍松
张袅娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Technology
Original Assignee
Changchun University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Technology filed Critical Changchun University of Technology
Priority to CN202111366020.7A priority Critical patent/CN114152955A/zh
Publication of CN114152955A publication Critical patent/CN114152955A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3484—Personalized, e.g. from learned user behaviour or user-defined profiles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于SLAM技术的障碍物高精度识别系统，所述系统由相机与激光雷达作为传感器，通过深度学习的方法来实现障碍物的高精度识别，从而实现路径规划与导航避障功能。所述系统中相机用于图像采集获取RGB彩色图像，通过深度学习映射模型实现从图像到三维场景的RGB可视化映射，再通过深度学习估计模型估计像素点的坐标，从而进行位姿估计，实现自身定位，同时将彩色图像经过灰度处理后提取特征；激光雷达用于进行点云信息采集，所采集到的点云信息进行处理后提取特征信息，获取周边障碍物的位置信息。由图像提取到的特征信息和由点云提取到的特征信息进行交叉对比、信息组合及障碍物信息优化处理，从而进行决策与路线指定，同时由得到的特征信息进行特征对象的追踪，提高障碍物识别精度。

Description

一种基于SLAM技术的障碍物高精度识别系统
技术领域
本发明涉及智能驾驶技术领域，具体为一种基于SLAM技术的障碍物高精度识别系统。
背景技术
目前用在智能驾驶领域的主流SLAM趋向于多传感器融合技术，旨在提供更精确的主动建图与导航避障，但在现实生活中，障碍物的类型多样性极大限制了车辆的导航避障能力，在智能驾驶技术的实际应用中导致频频交通事故，已成为亟待解决的难题。
发明内容
本发明的目的在于提供一种基于SLAM技术的障碍物高精度识别系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
本发明提供了一种基于SLAM技术的障碍物高精度识别系统，包括相机传感器和激光雷达传感器；
所述相机传感器，用于图像采集获取RGB彩色图像；
通过深度学习映射模型实现从图像到三维场景的RGB可视化映射；
再通过深度学习估计模型估计像素点的坐标，从而估计相机位姿，实现自身定位；
同时彩色图像经过灰度处理，进行特征识别与特征提取；
所述激光雷达传感器，由激光雷达技术获得周围空间信息；
通过点云聚类分割将障碍物从背景信息中分离出来；
再由物体框线检测与最小凸包法得到障碍物包围最小面积，之后利用激光雷达采集的空间信息进行全景地图绘制；
再对采集到的点云信息进行点云处理提取特征信息，获取周边障碍物的位置信息；
所述由相机传感器采集到的图像信息中提取到的特征与激光雷达传感器采集到的点云信息中提取到的特征，进行交叉对比与信息重组及障碍物信息优化处理后，经控制与识别模块进行决策从而进行路线的制定；
同时，根据重组及优化后的信息由特征对象追踪模块进行特征对象的跟踪与行为预测；
并将反馈信息传递回信息组合处，经过信息重组后实时更新路径规划。
所述RGB彩色图像为采集的原色调图像；
所述深度学习映射模型用于实现从图像到三维场景的RGB可视化映射；
所述深度学习估计模型用于估计像素点的坐标，从而估计相机位姿，实现自身定位；
所述灰度图像为灰度化的图像；
所述特征识别用于识别灰度图像与点云信息中的特征对象；
所述特征提取用于提取特征识别模块中灰度图像与点云信息的特征对象；
所述激光雷达用于采集获得周围空间点云信息；
所述点云聚类分割用于将障碍物从背景信息中分离出来；
所述物体框线检测与最小凸包法用于得到障碍物包围最小面积；
所述全景地图绘制利用激光雷达获取的信息绘制全景地图。
所述交叉对比用于将相机采集的图像信息中的特征对象与激光雷达采集的空间点云信息的特征对象进行交叉对比，并将属于同一物品的特征对象进行信息重组及障碍物信息优化处理；
所述控制模块根据信息重组传递的特征对象信息建立实时行走路线；
所述识别模块包括轨迹识别、动态物体识别和行为预测；
所述轨迹识别用于判断特征对象行走的轨迹；
所述动态物体识别用于对动态物体进行识别；
所述行为预测用于对动态物体进行行为预测；
所述特征对象追踪用于追踪特征对象。
本发明的有益效果是：
1、本发明通过相机采集的原色图像经过深度学习映射模型实现从图像到三维场景的RGB可视化映射，再通过深度学习估计模型估计像素点的坐标，从而估计相机位姿，实现自身定位；为了减轻数据的计算负担，将相机的彩色图像进行灰度化处理，用于特征提取；空间信息采集基于激光雷达输出的点云数据进行特征提取，获取周边障碍物的位置信息，传输给交叉对比模块，信息重组模块将特征对象进行组合及障碍物信息优化处理，并传递至控制模块处，建立实时行走路线，从而达到提高障碍物识别精度的目的；
2、本发明同时还通过识别模块中的动态物体识别，识别特征对象是否为动态物体，并经由信息组合将动态特征传递至特征对象追踪模块处，通过特征对象追踪模块实时追踪特征对象，对其行为进行预测，并将反馈传递回信息组合处，控制模块实时制定规避路线。
附图说明
图1为本发明整体结构控制框图；
图中：前端数据采集，包括相机传感器与激光雷达传感器；后端数据处理，包括信息交叉对比、信息重组、特征对象追踪与路线制定。
具体实施方式
步骤一：在使用时，该发明利用相机传感器和激光雷达传感器，所述相机传感器用于图像采集获取RGB彩色图像，通过深度学习映射模型实现从图像到三维场景的RGB可视化映射，再通过深度学习估计模型估计像素点的坐标，从而估计相机位姿，实现自身定位，同时彩色图像经过灰度处理，进行特征识别与特征提取。
步骤二：由激光雷达技术获得周围空间信息，通过点云聚类分割将障碍物从背景信息中分离出来，再由物体框线检测与最小凸包法得到障碍物包围最小面积，之后利用激光雷达采集的空间信息进行全景地图绘制，再对采集到的点云信息进行点云处理提取特征信息，获取周边障碍物的位置信息。
步骤三：所述由相机传感器采集到的图像信息中提取到的特征与激光雷达传感器采集到的点云信息中提取到的特征，进行交叉对比与信息重组及障碍物信息优化处理后，经控制与识别模块进行决策从而进行路线的制定；同时，根据重组及优化后的信息由特征对象追踪模块进行特征对象的跟踪与行为预测，并将反馈传递回信息组合处，控制模块实时制定规避路线。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (2)

1.一种基于SLAM技术的障碍物高精度识别系统，包括相机和激光雷达，其特征在于：所述相机传感器，用于图像采集获取RGB彩色图像，通过深度学习映射模型实现从图像到三维场景的RGB可视化映射，再通过深度学习估计模型估计像素点的坐标，从而进行自身位姿估计，同时彩色图像经过灰度处理，进行特征识别与特征提取；所述激光雷达用于点云信息的采集，并对采集到的点云信息进行点云处理提取特征信息。
2.所述由相机传感器采集到的图像信息中提取到的特征与激光雷达传感器采集到的点云信息中提取到的特征，进行交叉对比与信息重组及障碍物信息优化处理后，经控制与识别模块进行决策，从而进行路线的制定；同时，根据重组后的信息由特征对象追踪模块进行特征对象的跟踪与行为预测，并将反馈信息传递回信息组合处，经过信息重组后实时更新路径规划。
CN202111366020.7A 2021-11-18 2021-11-18 一种基于slam技术的障碍物高精度识别系统 Pending CN114152955A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111366020.7A CN114152955A (zh) 2021-11-18 2021-11-18 一种基于slam技术的障碍物高精度识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111366020.7A CN114152955A (zh) 2021-11-18 2021-11-18 一种基于slam技术的障碍物高精度识别系统

Publications (1)

Publication Number Publication Date
CN114152955A true CN114152955A (zh) 2022-03-08

Family

ID=80456860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111366020.7A Pending CN114152955A (zh) 2021-11-18 2021-11-18 一种基于slam技术的障碍物高精度识别系统

Country Status (1)

Country Link
CN (1) CN114152955A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115421113A (zh) * 2022-09-29 2022-12-02 成都环泰睿诚科技有限公司 一种用于毫米波雷达的测试装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115421113A (zh) * 2022-09-29 2022-12-02 成都环泰睿诚科技有限公司 一种用于毫米波雷达的测试装置

Similar Documents

Publication Publication Date Title
Zhang et al. Vehicle tracking and speed estimation from roadside lidar
CN109597087B (zh) 一种基于点云数据的3d目标检测方法
EP2574958B1 (en) Road-terrain detection method and system for driver assistance systems
Levinson et al. Traffic light mapping, localization, and state detection for autonomous vehicles
CN112149550B (zh) 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN113111887B (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN108303096B (zh) 一种视觉辅助激光定位系统及方法
Nedevschi et al. A sensor for urban driving assistance systems based on dense stereovision
CN115032651B (zh) 一种基于激光雷达与机器视觉融合的目标检测方法
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN116310679A (zh) 多传感器融合目标检测方法、系统、介质、设备及终端
Chetan et al. An overview of recent progress of lane detection for autonomous driving
CN114120283A (zh) 一种道路场景三维语义分割中未知障碍物的判别方法
CN112261719A (zh) 一种slam技术结合深度学习的区域定位方法
CN117111085A (zh) 一种自动驾驶汽车车路云融合感知方法
Yoneda et al. Simultaneous state recognition for multiple traffic signals on urban road
CN114152955A (zh) 一种基于slam技术的障碍物高精度识别系统
Ortigosa et al. Obstacle-free pathway detection by means of depth maps
Karunasekera et al. Energy minimization approach for negative obstacle region detection
CN116699602A (zh) 一种基于毫米波雷达和相机融合的目标检测系统及方法
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
Zheng et al. Automatic detection technique of preceding lane and vehicle
Ma et al. A multifeature-assisted road and vehicle detection method based on monocular depth estimation and refined UV disparity mapping
US20230343228A1 (en) Information processing apparatus, information processing system, and information processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination