CN113821040A - 一种深度视觉相机与激光雷达融合导航的机器人 - Google Patents
一种深度视觉相机与激光雷达融合导航的机器人 Download PDFInfo
- Publication number
- CN113821040A CN113821040A CN202111146008.5A CN202111146008A CN113821040A CN 113821040 A CN113821040 A CN 113821040A CN 202111146008 A CN202111146008 A CN 202111146008A CN 113821040 A CN113821040 A CN 113821040A
- Authority
- CN
- China
- Prior art keywords
- control system
- robot
- vision camera
- walking
- depth vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 8
- 238000013439 planning Methods 0.000 claims abstract description 8
- 239000002245 particle Substances 0.000 claims description 45
- 230000006872 improvement Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 7
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 238000011161 development Methods 0.000 description 12
- 230000018109 developmental process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 240000007651 Rubus glaucus Species 0.000 description 2
- 235000011034 Rubus glaucus Nutrition 0.000 description 2
- 235000009122 Rubus idaeus Nutrition 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012356 Product development Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
- G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Abstract
本发明公开了一种深度视觉相机与激光雷达融合导航的机器人，包括：行走系统；控制系统，用于控制行走系统；驱动板，用于连接行走系统和控制系统，将控制系统的指令下发至行走系统并将行走系统反馈的信息上报至控制系统；电池，为所述机器人供电；机架，用于承载行走系统、控制系统、驱动板以及电池；所述行走系统包括用于构建地图、规划行走路径导航系统和用于按规划好的行走路径驱动所述机器人到达目的地的运动系统；所述导航系统包括深度视觉相机和激光雷达。支持多种算法建图，配合搭载的激光雷达和深度视觉相机作为导航传感器，可实现多数据多传感器融合，从而降低导航系统造价，提高导航精度和准确性。
Description
技术领域
本发明涉及一种智能设备，尤其是一种深度视觉相机与激光雷达系统融合导航机器人。
背景技术
目前各类工业机器人、服务型机器人已经广泛应用于社会生产、生活的各个方面，为生产生活带来了极大的便捷。其中应用最广泛的是应用于各类搬运、巡检、清扫等应用场景的机器人设备。在机器人设计开发领域中，机器人自动行走系统是各类机器人产品开发的重点，直接影响机器人行走路线规划、自动导航、自动巡航等功能。
市场现有机器人有以下缺点：1、自动行走系统通过搭载大量激光传感器、红外传感器、超声波传感器、碰撞传感器等辅助设备进行目标定位、物体识别、距离感知等功能，造成机器人自动行走系统价格高昂，体积庞大等缺点，使得用户在考虑应用场景和实际投入产出比后往往由于其高昂的价格而放弃使用，影响了机器人产品在生产、生活中的应用推广。2、自动行走系统往往基于单一应用场景或地形地貌进行开发，无法满足各类尺寸和场地的不同应用场景和地形地貌使用，同时，该类产品几乎不支持用于进行扩展开发和应用创新开发。3、自动行走系统在导航算法方面也比较单一，在部分场景中会出现导航偏差等问题。
发明内容
有鉴于此，本发明提供一种深度视觉相机与激光雷达融合导航的机器人，旨在降低行走系统的成本，提高导航精确度。
为解决以上技术问题，本发明的技术方案为采用一种深度视觉相机与激光雷达融合导航的机器人，包括：行走系统；控制系统，用于控制行走系统；驱动板，用于连接行走系统和控制系统，将控制系统的指令下发至行走系统并将行走系统反馈的信息上报至控制系统；电池，为所述机器人供电；机架，用于承载行走系统、控制系统、驱动板以及电池；所述行走系统包括用于构建地图、规划行走路径导航系统和用于按规划好的行走路径驱动所述机器人到达目的地的运动系统；所述导航系统包括深度视觉相机和激光雷达。
作为一种改进，所述深度视觉相机和激光雷达可获取信息，控制系统根据该信息生成地图；控制系统在生成的地图中对自身即时位置进行定位，并规划从自身即时位置到目的地的行走路径；控制系统控制运动系统根据行走路径驱动所述机器人到达目的地。
作为一种进一步的改进，生成地图的步骤包括：S11控制系统设定粒子数量，并通过激光雷达将粒子平均分布在规划区域内；S12控制系统根据状态转移方程对每个粒子进行状态估计，从而产生与之对应的预测粒子；S13控制系统将深度视觉相机采集到的信息与激光雷达采集到的信息进行叠加获得更精确的预测粒子，并对预测粒子进行评价并赋予相应的权重，权重大小和其与真实值的差距成反比，即与真实值的差距越小权重越大；S14控制系统对预测粒子进行筛选，保留权重大于设定值的预测粒子，部分保留权重小于设定值的预测粒子，并添加新的预测粒子使得预测粒子的总量不变；S15控制根据状态转移方程对筛选后的预测粒子进行状态估计，从而产生与之对应的新的预测粒子；进行步骤S13；进行步骤S14；循环进行步骤S15；S16选取最优预测粒子，利用激光雷达采集的信息构建2D地图，并在按照2D地图运动的过程中利用深度视觉相机采集的信息构建3D地图。
作为另一种更进一步的改进，所述驱动板内置有驱动运动系统的驱动程序，并预留有插接运动系统电机接口、舵机接口、电源接口。
作为一种改进，所述运动系统包括阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统中的一种，所述机架上预留有安装阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统的螺孔；所述驱动板上内置有阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统的驱动程序，并预留有阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统的电机接口、舵机接口和电源插口。
作为一种改进，还包括识别系统，所述识别系统包括摄像头；所述摄像头通过驱动板与控制系统连接，可进行人脸识别、人体识别、物体识别。
作为一种改进，所述人脸识别包括：将摄像头采集到的人脸图片存储到控制系统；控制系统提取人脸特征；根据同一人脸的若干张图片提取的特征计算128D特征值，并计算出该人脸的128D特征均值；对摄像头实时采集到的人脸图片提取特征并计算128D特征值，将实时采集到的人脸图片128D特征值与存储的人脸128D特征均值进行比较判断是否为同一人脸。
作为一种改进，所述人体和物体识别包括：控制系统将摄像头采集到的人体或者物体图片进行预处理，所述预处理包括编码、阈值运算、模式改善、正规化和离散模式运算；提取人体或者物体特有的特征，包括形状特征、纹理特征、颜色特征；选择人体或者物体特有特征进行建模并训练；利用训练好的模型识别人体或者物体。
作为一种改进，所述机架包括顶板和底板，所述顶板和底板之间利用立柱连接。
作为一种改进，所述控制系统设置在顶板顶面，所述激光雷达设置在顶板顶面位于控制系统前方，所述深度视觉相机设置在顶板顶面位于激光雷达前方并高于激光雷达；所述驱动板利用连接杆设置在顶板底面；所述电池以及运动系统设置在底板上。
本发明的有益之处在于：
(1)采用主流人工智能学习平台进行上位机设计，相比市场大部分同类产品使用的树莓派平台具有更强的计算能力和更快的处理速度，保障所研机器人性能更强，运行更流畅；
(2)在自主导航方面，支持多种算法建图，配合搭载的多类传感器设备，可实现多数据多传感器融合；
(3)搭载多种人工智能算法图像，具备图像处理功能，可进行人脸检测、人体检测、物体检测等功能开发，支持多种人脸识别算法和目标检测与分类算法；
(4)利用深度相机获取场景深度图像数据，可进行融合点云数据获取等功能，配合激光雷达进行精准导航；
(5)可根据应用场景随时进行多种底盘更换，兼容两轮、四驱、麦克纳姆轮、履带轮和阿克曼转向结构等多种底盘和车型；
(6)分层、分模块的设计结构可有效应用于教学场景，使学生根据自己需要进行模块更换、外设开发和应用开发，同时该机器人可作为各类人工智能算法学习和验证平台供师生使用，对于机械、电子、通信、电信、物联网、人工智能等各专业课程均适用。
(7)在工程应用领域，可根据实际需求进行不同应用扩展和功能开发，也可将该机器人作为底盘，搭载机械臂、机械手等外设进行更丰富的新型机器人产品开发。
附图说明
图1为本发明的结构示意图。
图中标记：1机架、2控制系统、3驱动板、4运动系统、5激光雷达、6深度视觉相机、7摄像头、8电池、11顶板、12立柱、13底板。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面结合具体实施方式对本发明作进一步的详细说明。
如图1本发明包括：
行走系统，所述行走系统包括用于构建地图、规划行走路径导航系统和用于按规划好的行走路径驱动所述机器人到达目的地的运动系统；所述导航系统包括深度视觉相机6和激光雷达5。运动系统4包括阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统中的一种，可以根据地形和应用场景进行随时更换。
本实施例中，激光雷达5采用思岚A1激光雷达，该雷达测量范围半径为0.15米至12米，基本满足除大型空旷场景以外的任何场景使用需求，主要进行雷达数据读取、驱动开发和SLAM导航建模等工作。为将激光雷达扫描输出的电信号转换为上位机可识别的标准接口数据，拟开发激光数据转换器模块将电信化转化为二级制数据并通过USB接口与上位机进行数据传输。
深度视觉相机4采用奥比中光astra pro深度相机，该摄像机工作范围为0.6米至8米，基本满足各类场景需求，可通过USB将相机识别数据与上位机进行直接通信，主要用于RGBD导航、视觉跟随、视觉识别、视觉巡线等功能的开发。
识别系统，所述识别系统包括摄像头7；所述摄像头7通过驱动板3与控制系统2连接，可进行人脸识别、人体识别、物体识别。
控制系统2，用于控制行走系统和识别系统。本实施例中，控制系统选用的是NIVIDA Jetson Nano小型计算机，该计算机支持边缘AI应用程序和设备开发，并搭载深度学习、计算机视觉、图形、多媒体加速库，有助于机器人各类算法的开发。该小型计算机将搭载Ubuntu操作系统，自主安装melodic版本ROS系统，主要进行ROS机器人控制系统开发及视觉识别、自主建图和导航路径决策等功能的开发。
驱动板3，用于连接行走系统和控制系统2，将控制系统2的指令下发至行走系统并将行走系统反馈的信息上报至控制系统2；也用于连接识别系统和控制系统2，将控制系统2的指令下发至识别系统并将识别系统反馈的信息上报至控制系统2。驱动板内置有驱动运动系统的驱动程序，并预留有插接运动系统电机接口、舵机接口、电源接口以及摄像头插口。具体地，所述驱动板上内置有阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统的驱动程序，并预留有阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统的电机接口、舵机接口和电源插口。
本实施例中，驱动板3基于STM32单片机进行自主开发，驱动板MCU将选用STM32F103RCT6，板载MPU6050 IMU角速度陀螺仪传感器，支持4路直流电机闭环驱动控制，一路超声波传感器控制，两路舵机驱动控制，一路温湿度传感器，一路蓝牙控制，SWD固件程序烧录口，其余IO接口以排针、串口线等方式引出以供用户二次开发使用。下位机主要进行电源控制、IMU数据读取、电机驱动开发、舵机驱动开发等工作，与上位机之间采用串口通信转USB通信的方式进行数据交互，下位机主要作用为将上位机的决策进行有效执行。
电池8，为所述机器人供电。
机架1，用于承载行走系统、识别系统、控制系统2、驱动板3以及电池8；机架包括顶板11和底板13，所述顶板11和底板13之间利用立柱12连接。控制系统2设置在顶板11顶面，所述激光雷达5设置在顶板11顶面位于控制系统2前方，所述深度视觉相机6和摄像头7设置在顶板11顶面位于激光雷达5前方并高于激光雷达5；所述驱动板3利用连接杆设置在顶板11底面；所述电池8以及运动系统4设置在底板13上。机架1的底板13上预留有安装阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统的螺孔。
另外，本发明还可以搭载工业级5G通信模组，可通过5G信道与外界进行通信。与物联网平台实现了对接，在云端可与任何物联网设备进行数据通信和指令通信，方便用户在云端进行数据管理和设备管理。借助5G通信和物联网平台的力量可实时与平台接入的任何物联网设备进行数据交互，也可通过平台利用5G通信协议直接对机器人下达任务指令，也可通过平台利用5G通信协议将机器人与其他物联网设备、智能设备进行联动控制。
本发明采用分层、分块结构设计，即将控制系统、驱动板、导航传感器、电机、舵机、摄像头等多个部分分层、分块设计开发，各部分之间采用串口总线通信，方便安装的同时，也可灵活的根据需要增加额外设备；在功能方面，底盘下位机可以支持阿克曼转向、两轮差速转向、坦克履带、麦克纳姆轮等4种不同驱动方式，用户可根据需要随时替换。在导航机制方面，也支持单一激光雷达导航、单一深度视觉相机导航、激光雷达+深度视觉相机导航等多种方式，用户可根据需要进行不同配置。
导航系统进行导航的过程如下：
S1所述深度视觉相机和激光雷达可获取信息，控制系统根据该信息生成地图；其具体步骤又包括：
S11控制系统设定粒子数量，并通过激光雷达将粒子平均分布在规划区域内；
S12控制系统根据状态转移方程对每个粒子进行状态估计，从而产生与之对应的预测粒子；
S13控制系统将深度视觉相机采集到的信息与激光雷达采集到的信息进行叠加获得更精确的预测粒子，并对预测粒子进行评价并赋予相应的权重，权重大小和其与真实值的差距成反比，即与真实值的差距越小权重越大；
S14控制系统对预测粒子进行筛选，保留权重大于设定值的预测粒子，部分保留权重小于设定值的预测粒子，并添加新的预测粒子使得预测粒子的总量不变；
S15控制根据状态转移方程对筛选后的预测粒子进行状态估计，从而产生与之对应的新的预测粒子；进行步骤S13；进行步骤S14；
循环进行步骤S15；
S16选取最优预测粒子，利用激光雷达采集的信息构建2D地图，并在按照2D地图运动的过程中利用深度视觉相机采集的信息构建3D地图。
S2控制系统在生成的地图中对自身即时位置进行定位，并规划从自身即时位置到目的地的行走路径。
S3控制系统控制运动系统根据行走路径驱动所述机器人到达目的地。
识别系统进行人脸识别的步骤包括：
S1将摄像头采集到的人脸图片存储到控制系统；
S2控制系统提取人脸特征，根据同一人脸的若干张图片提取的特征计算128D特征值，并计算出该人脸的128D特征均值；
S3对摄像头实时采集到的人脸图片提取特征并计算128D特征值；
S4将实时采集到的人脸图片128D特征值与存储的人脸128D特征均值进行欧式距离计算，比较判断是否为同一人脸。
识别系统进行人体和物体识别的步骤包括：
控制系统将摄像头采集到的人体或者物体图片进行预处理，所述预处理包括编码、阈值运算、模式改善、正规化和离散模式运算；其目的在于在不改变图像承载的本质信息的前提下，使每张图像的表观特性尽可能一直，以便于后续处理。
提取人体或者物体特有的特征，包括形状特征、纹理特征、颜色特征；提取代表该模式特有的性质。提取人体或物体的主要特征点和不同于其他图像的根本属性点并进行存储。
选择人体或者物体特有特征进行建模并训练；
利用训练好的模型识别人体或者物体。运用已建模的模型去识别新的图像属于哪一类物体(人体)，并给出边界，将物体(人体)与图像的其他部分分隔开。
以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种深度视觉相机与激光雷达融合导航的机器人，包括：
行走系统；
控制系统，用于控制行走系统
驱动板，用于连接行走系统和控制系统，将控制系统的指令下发至行走系统并将行走系统反馈的信息上报至控制系统；
电池，为所述机器人供电；
机架，用于承载行走系统、控制系统、驱动板以及电池；
其特征在于：所述行走系统包括用于构建地图、规划行走路径导航系统和用于按规划好的行走路径驱动所述机器人到达目的地的运动系统；所述导航系统包括深度视觉相机和激光雷达。
2.根据权利要求1所述的一种深度视觉相机与激光雷达融合导航的机器人，其特征在于：所述深度视觉相机和激光雷达可获取信息，控制系统根据该信息生成地图；控制系统在生成的地图中对自身即时位置进行定位，并规划从自身即时位置到目的地的行走路径；控制系统控制运动系统根据行走路径驱动所述机器人到达目的地。
3.根据权利要求2所述的一种深度视觉相机与激光雷达融合导航的机器人，其特征在于生成地图的步骤包括：
S11控制系统设定粒子数量，并通过激光雷达将粒子平均分布在规划区域内；
S12控制系统根据状态转移方程对每个粒子进行状态估计，从而产生与之对应的预测粒子；
S13控制系统将深度视觉相机采集到的信息与激光雷达采集到的信息进行叠加获得更精确的预测粒子，并对预测粒子进行评价并赋予相应的权重，权重大小和其与真实值的差距成反比，即与真实值的差距越小权重越大；
S14控制系统对预测粒子进行筛选，保留权重大于设定值的预测粒子，部分保留权重小于设定值的预测粒子，并添加新的预测粒子使得预测粒子的总量不变；
S15控制根据状态转移方程对筛选后的预测粒子进行状态估计，从而产生与之对应的新的预测粒子；进行步骤S13；进行步骤S14；
循环进行步骤S15；
S16选取最优预测粒子，利用激光雷达采集的信息构建2D地图，并在按照2D地图运动的过程中利用深度视觉相机采集的信息构建3D地图。
4.根据权利要求1所述的一种深度视觉相机与激光雷达融合导航的机器人，其特征在于：所述驱动板内置有驱动运动系统的驱动程序，并预留有插接运动系统电机接口、舵机接口、电源接口。
5.根据权利要求1所述的一种深度视觉相机与激光雷达融合导航的机器人，其特征在于：所述运动系统包括阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统中的一种，所述机架上预留有安装阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统的螺孔；所述驱动板上内置有阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统的驱动程序，并预留有阿克曼转向系统、2轮差速转向系统、履带系统、麦克纳姆轮系统的电机接口、舵机接口和电源插口。
6.根据权利要求1所述的一种深度视觉相机与激光雷达融合导航的机器人，其特征在于：还包括识别系统，所述识别系统包括摄像头；所述摄像头通过驱动板与控制系统连接，可进行人脸识别、人体识别、物体识别。
7.根据权利要求6所述的一种深度视觉相机与激光雷达融合导航的机器人，其特征在于所述人脸识别包括：
将摄像头采集到的人脸图片存储到控制系统；控制系统提取人脸特征；根据同一人脸的若干张图片提取的特征计算128D特征值，并计算出该人脸的128D特征均值；对摄像头实时采集到的人脸图片提取特征并计算128D特征值，将实时采集到的人脸图片128D特征值与存储的人脸128D特征均值进行比较判断是否为同一人脸。
8.据权利要求6所述的一种深度视觉相机与激光雷达融合导航的机器人，其特征在于所述人体和物体识别包括：
控制系统将摄像头采集到的人体或者物体图片进行预处理，所述预处理包括编码、阈值运算、模式改善、正规化和离散模式运算；提取人体或者物体特有的特征，包括形状特征、纹理特征、颜色特征；选择人体或者物体特有特征进行建模并训练；利用训练好的模型识别人体或者物体。
9.根据权利要求1所述的一种深度视觉相机与激光雷达融合导航的机器人，其特征在于：所述机架包括顶板和底板，所述顶板和底板之间利用立柱连接。
10.根据权利要求9所述的一种深度视觉相机与激光雷达融合导航的机器人，其特征在于：所述控制系统设置在顶板顶面，所述激光雷达设置在顶板顶面位于控制系统前方，所述深度视觉相机设置在顶板顶面位于激光雷达前方并高于激光雷达；所述驱动板利用连接杆设置在顶板底面；所述电池以及运动系统设置在底板上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111146008.5A CN113821040A (zh) | 2021-09-28 | 2021-09-28 | 一种深度视觉相机与激光雷达融合导航的机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111146008.5A CN113821040A (zh) | 2021-09-28 | 2021-09-28 | 一种深度视觉相机与激光雷达融合导航的机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113821040A true CN113821040A (zh) | 2021-12-21 |
Family
ID=78915809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111146008.5A Pending CN113821040A (zh) | 2021-09-28 | 2021-09-28 | 一种深度视觉相机与激光雷达融合导航的机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113821040A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114236563A (zh) * | 2022-02-23 | 2022-03-25 | 博学宽行(成都)科技有限公司 | 一种基于激光与视觉识别导航的机器人导航方法 |
| CN114265417A (zh) * | 2022-03-01 | 2022-04-01 | 博学宽行(成都)科技有限公司 | 一种基于激光与视觉识别导航的机器人控制系统 |
| CN114355910A (zh) * | 2021-12-23 | 2022-04-15 | 西安建筑科技大学 | 一种基于Jetson Nano的室内机器人自主建图导航系统及方法 |
| CN115793649A (zh) * | 2022-11-29 | 2023-03-14 | 硕能(上海)自动化科技有限公司 | 一种电缆沟自动巡检装置及巡检方法 |
| CN116107321A (zh) * | 2023-04-13 | 2023-05-12 | 无锡科技职业学院 | 基于视觉与激光雷达融合的无人车路径规划系统及方法 |
| CN116518969A (zh) * | 2023-04-25 | 2023-08-01 | 南京艾小宝智能科技有限公司 | 一种室内场景下的视觉定位系统及其方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN207319062U (zh) * | 2017-06-28 | 2018-05-04 | 深圳灵喵机器人技术有限公司 | 一种机器人自主导航及运动控制系统 |
| CN110244322A (zh) * | 2019-06-28 | 2019-09-17 | 东南大学 | 基于多源传感器的路面施工机器人环境感知系统及方法 |
| CN110362090A (zh) * | 2019-08-05 | 2019-10-22 | 北京深醒科技有限公司 | 一种巡检机器人控制系统 |
| CN110532871A (zh) * | 2019-07-24 | 2019-12-03 | 华为技术有限公司 | 图像处理的方法和装置 |
| CN111105495A (zh) * | 2019-11-26 | 2020-05-05 | 四川阿泰因机器人智能装备有限公司 | 一种融合视觉语义信息的激光雷达建图方法及系统 |
| CN212781778U (zh) * | 2020-09-29 | 2021-03-23 | 南京信息工程大学 | 一种基于视觉slam的智能车 |
| CN112757300A (zh) * | 2020-12-31 | 2021-05-07 | 广东美的白色家电技术创新中心有限公司 | 机器人的防护系统及方法 |
| CN112784712A (zh) * | 2021-01-08 | 2021-05-11 | 重庆创通联智物联网有限公司 | 一种基于实时监控的失踪儿童预警实现方法、装置 |
| CN113110510A (zh) * | 2021-05-19 | 2021-07-13 | 悟空智能科技常州有限公司 | 一种灭火机器人自主导航控制系统 |
-
2021
- 2021-09-28 CN CN202111146008.5A patent/CN113821040A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN207319062U (zh) * | 2017-06-28 | 2018-05-04 | 深圳灵喵机器人技术有限公司 | 一种机器人自主导航及运动控制系统 |
| CN110244322A (zh) * | 2019-06-28 | 2019-09-17 | 东南大学 | 基于多源传感器的路面施工机器人环境感知系统及方法 |
| CN110532871A (zh) * | 2019-07-24 | 2019-12-03 | 华为技术有限公司 | 图像处理的方法和装置 |
| CN110362090A (zh) * | 2019-08-05 | 2019-10-22 | 北京深醒科技有限公司 | 一种巡检机器人控制系统 |
| CN111105495A (zh) * | 2019-11-26 | 2020-05-05 | 四川阿泰因机器人智能装备有限公司 | 一种融合视觉语义信息的激光雷达建图方法及系统 |
| CN212781778U (zh) * | 2020-09-29 | 2021-03-23 | 南京信息工程大学 | 一种基于视觉slam的智能车 |
| CN112757300A (zh) * | 2020-12-31 | 2021-05-07 | 广东美的白色家电技术创新中心有限公司 | 机器人的防护系统及方法 |
| CN112784712A (zh) * | 2021-01-08 | 2021-05-11 | 重庆创通联智物联网有限公司 | 一种基于实时监控的失踪儿童预警实现方法、装置 |
| CN113110510A (zh) * | 2021-05-19 | 2021-07-13 | 悟空智能科技常州有限公司 | 一种灭火机器人自主导航控制系统 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114355910A (zh) * | 2021-12-23 | 2022-04-15 | 西安建筑科技大学 | 一种基于Jetson Nano的室内机器人自主建图导航系统及方法 |
| CN114236563A (zh) * | 2022-02-23 | 2022-03-25 | 博学宽行(成都)科技有限公司 | 一种基于激光与视觉识别导航的机器人导航方法 |
| CN114265417A (zh) * | 2022-03-01 | 2022-04-01 | 博学宽行(成都)科技有限公司 | 一种基于激光与视觉识别导航的机器人控制系统 |
| CN115793649A (zh) * | 2022-11-29 | 2023-03-14 | 硕能(上海)自动化科技有限公司 | 一种电缆沟自动巡检装置及巡检方法 |
| CN115793649B (zh) * | 2022-11-29 | 2023-09-01 | 硕能(上海)自动化科技有限公司 | 一种电缆沟自动巡检装置及巡检方法 |
| CN116107321A (zh) * | 2023-04-13 | 2023-05-12 | 无锡科技职业学院 | 基于视觉与激光雷达融合的无人车路径规划系统及方法 |
| CN116518969A (zh) * | 2023-04-25 | 2023-08-01 | 南京艾小宝智能科技有限公司 | 一种室内场景下的视觉定位系统及其方法 |
| CN116518969B (zh) * | 2023-04-25 | 2023-10-20 | 南京艾小宝智能科技有限公司 | 一种室内场景下的视觉定位系统及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113821040A (zh) | 一种深度视觉相机与激光雷达融合导航的机器人 | |
| CN112130570B (zh) | 一种基于强化学习的最优输出反馈控制器的导盲机器人 | |
| CN112068574A (zh) | 一种无人车在动态复杂环境中的控制方法及系统 | |
| CN111609851A (zh) | 一种移动型导盲机器人系统及导盲方法 | |
| CN113071518B (zh) | 一种自动无人驾驶方法、小巴、电子设备以及存储介质 | |
| CN108919810A (zh) | 基于视觉示教的移动机器人定位与导航系统 | |
| CN114005021B (zh) | 基于激光视觉融合的水产养殖车间无人巡检系统和方法 | |
| CN112405490A (zh) | 一种具有自主导航定位功能的柔性装配机器人 | |
| Jun et al. | Autonomous driving system design for formula student driverless racecar | |
| Zhou et al. | Automated process for incorporating drivable path into real-time semantic segmentation | |
| Chen et al. | Cognitive map-based model: Toward a developmental framework for self-driving cars | |
| Liu et al. | The multi-sensor fusion automatic driving test scene algorithm based on cloud platform | |
| Mutz et al. | Following the leader using a tracking system based on pre-trained deep neural networks | |
| CN116839570A (zh) | 一种基于传感器融合目标检测的作物行间作业导航方法 | |
| Chen et al. | From perception to control: an autonomous driving system for a formula student driverless car | |
| CN115359222A (zh) | 一种基于扩展现实的无人交互控制方法及系统 | |
| Tian et al. | Autonomous formula racecar: Overall system design and experimental validation | |
| CN112947428A (zh) | 一种四足机器人的移动控制方法及装置 | |
| CN218938828U (zh) | 一种基于激光与视觉识别导航的多功能机器人 | |
| CN218446478U (zh) | 一种基于履带式机器人的安全巡检系统 | |
| Li et al. | Research and realization of target following and autonomous obstacle avoidance algorithm of quadruped robot | |
| Zhang et al. | Cross‐entropy‐based adaptive fuzzy control for visual tracking of road cracks with unmanned mobile robot | |
| Jain et al. | Development of a Low Cost Autonomous Ground Vehicle | |
| JP2923664B2 (ja) | 自動走行装置 | |
| CN216443525U (zh) | 一种社区配送机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |