CN113031002A - 基于Kinect3和激光雷达的SLAM陪跑小车 - Google Patents
基于Kinect3和激光雷达的SLAM陪跑小车 Download PDFInfo
- Publication number
- CN113031002A CN113031002A CN202110214570.0A CN202110214570A CN113031002A CN 113031002 A CN113031002 A CN 113031002A CN 202110214570 A CN202110214570 A CN 202110214570A CN 113031002 A CN113031002 A CN 113031002A
- Authority
- CN
- China
- Prior art keywords
- slam
- kinect3
- user
- trolley
- article
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 title claims description 5
- 230000000007 visual effect Effects 0.000 claims abstract description 25
- 240000007651 Rubus glaucus Species 0.000 claims abstract description 17
- 235000011034 Rubus glaucus Nutrition 0.000 claims abstract description 17
- 235000009122 Rubus idaeus Nutrition 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 9
- 238000005457 optimization Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 241000190070 Sarracenia purpurea Species 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于Ki nect3和激光雷达的SLAM陪跑小车，包括覆带小车，安装在覆带小车上的Ki nect3摄像头、RPLIDAR A3，内载于覆带小车内的Jetson TX2模块以及安装在覆带小车上的机械手；Ki nect3摄像头用于实现视觉SLAM，通过扫描覆带小车周围环境并实现覆带小车自身和使用者的定位，RPLI DAR A3用于实现激光SLAM，消除视觉SLAM的累积误差，Ki nect3摄像头和RPLI DAR A3将采集到的信息发送至Jetson TX2模块进行处理，经树莓派实现覆带小车和机械手工作状态的调控。本发明不需要连接网络就可以实现自身和使用者的高准确度定位，并保持距离紧密跟随。
Description
技术领域
本发明涉及视觉和雷达SLAM定位技术领域，具体涉及一种基于Kinect3 和激光雷达的SLAM陪跑小车。
背景技术
随着SLAM(同步定位与建图)技术兴起及其在机器人室外定位问题上的重要性愈发凸显，越来越多的企业和科研机构纷纷投入到SLAM技术的研发中，如今，SLAM技术是业界公认的前沿定位技术方向，目前SLAM分为视觉SLAM 和激光SLAM，两者各有相应的优缺点。
发明内容
本发明的目的在于提供一种基于Kinect3和激光雷达的SLAM陪跑小车，通过Kinect3来定位目标，再由激光雷达来校正消除视觉SLAM的累积误差，由此实现高准确度的SLAM定位，能够实时定位运动员，并保持距离紧密跟随。
为实现上述目的，本发明采取的技术方案为：
基于Kinect3和激光雷达的SLAM陪跑小车，包括覆带小车，安装在覆带小车上的Kinect3摄像头、RPLIDAR A3，内载于覆带小车内的Jetson TX2模块以及安装在覆带小车上的机械手；所述Kinect3摄像头用于实现视觉SLAM，通过扫描覆带小车周围环境并实现覆带小车自身和使用者的定位，所述 RPLIDAR A3用于实现激光SLAM，消除视觉SLAM的累积误差，Kinect3摄像头和RPLIDAR A3将采集到的信息发送至Jetson TX2模块进行处理，经树莓派实现覆带小车和机械手工作状态的调控。
进一步地，覆带小车工作时首先依靠激光SLAM确认自身位置，使用 RPLIDAR A3扫描采集周围环境数据，初步建立地图，定位覆带小车自身位置；
之后启用视觉SLAM，使用Kinect现场训练使用者的模型并初步定位使用者位置，并测量覆带小车和使用者之间的距离。
之后，将使用者的位置信息、机器人自身的位置信息与测量到的距离信息将传输到树莓派，由树莓派控制履带车追踪使用者并保持一定距离。
进一步地，机械臂用于抓取使用者递过来的水杯等物体，当使用者递过来的物体被抓住后，Kinect3会采集物品特征数据并传输至Jetson TX2进行分类和训练，最后得出物品的特征模型。
进一步地，使用者取用物品时，Kinect3会根据前一步训练好的物品模型，对被取用的物品进行实时识别和跟踪，并将物品位置信息传输到树莓派，当使用者放下物品后，树莓派会根据机器人自身位置和物品位置控制机械手去抓取物品。
进一步地，所述Jetson TX2模块采用安装Python 3.6的PC或其他安装 Python3.6环境的处理器或嵌入式系统。
本发明具有以下有益效果：
基于SLAM的实时定位系统，结合了两大SLAM定位方法的优点，利用激光 SLAM的精确性来验证校准视觉SLAM累积误差的算法，实现了长时间精准地定位。
利用履带车作为机器人地盘可以适应各种复杂地形，顺利追踪使用者，利用机械臂抓取用户使用后随意放置的物品并携带跟随用户，这样用户不需要随身携带水瓶、手机等物品也可以随时随地使用它们。
不需要连接网络就可以实现自身和使用者的定位，采用先进的SLAM建图技术，并且将两种SLAM技术的主要实现方案的优点结合起来，实现大范围精确定位建图。
附图说明
图1为本发明实施例一种基于Kinect3和激光雷达的SLAM陪跑小车的工作原理图。
图2为本发明实施例中树莓派与Jetson TX2的数据传输电路。
图3为基于极限学习机修正卡尔曼滤波的原理图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1-图2所示，本发明实施例提供了一种基于Kinect3和激光雷达的SLAM陪跑小车，包括覆带小车，安装在覆带小车上的Kinect3摄像头、RPLIDAR A3，内载于覆带小车内的Jetson TX2模块以及安装在覆带小车上的机械手；所述Kinect3摄像头用于实现视觉SLAM，通过扫描覆带小车周围环境并实现覆带小车自身和使用者的定位以及物体的检测，所述Kinect3摄像头除了常规 RGB摄像头外还有100万像素的深度摄像头和电子加速度计和电子陀螺仪IMU，可以产生可直接由程序读取的距离数据，大大简化了程序复杂度和缩短了建图定位时间；所述RPLIDAR A3用于实现激光SLAM，消除视觉SLAM的累积误差，测量测量半径为25米，在系统持续运行过程中，视觉SLAM逐渐产生累积误差，可能会对计算使用者位置造成影响，为了消除这种误差，需要利用激光SLAM 确定机器人位置的地图对视觉SLAM进行一次校对，选用激光SLAM去矫正视觉 SLAM的原因是Lidar A3在构建地图时相比Kinect3而言距离很短(25米)，但是精确度极高，不会产生严重影响精度的误差；Kinect3摄像头和RPLIDAR A3 将采集到的信息发送至Jetson TX2模块进行处理，经树莓派实现覆带小车和机械手工作状态的调控。
本实施例中，所述Jetson TX2模块是NVIDIA公司发布的一款可嵌入式 AI计算设备，采用安装Python 3.6的PC或其他安装Python 3.6环境的处理器或嵌入式系统。
视觉SLAM：SLAM是“Simultaneous Localization And Mapping”的缩写，可译为同步定位与建图，只利用相机作为外部感知传感器的SLAM称为视觉 SLAM，是指仅仅利用图片这一外部信息来确定环境中机器人、车辆或者移动相机的位置，同时能够建立已探索区域的一种表示法(地图)。视觉SLAM现在多应用于汽车的无人驾驶，无人机的定位等。
激光SLAM：就是以激光数据作为传感器输入的SLAM方案。相比视觉SLAM 其计算量更小，建图更“平面”，现在多用于家用扫地机器人对自身定位。
技术关键在于结合了两种SLAM定位方法的优点来实现长时间精准地定位，建立了利用了激光SLAM的精确性来验证校准视觉SLAM累积误差的算法，利用履带车作为机器人地盘可以适应各种复杂地形，顺利追踪使用者，利用机械臂抓取用户使用后随意放置的物品并携带跟随用户，这样用户不需要随身携带水瓶、手机等物品也可以随时随地使用它们。
视觉SLAM的累计误差：视觉SLAM对于运动的判断是基于一种视觉里程计的算法，这种算法是通过相邻两帧图像计算两帧之间的相机运动，这样的计算得到的相机位姿会有一定误差，一次两次的误差不会有很大影响，但是这种误差多次累积后会导致严重的建图偏差。
SLAM是移动机器人实现自主化的一项基本任务。目前，在小范围，静态的场景中，认为使用距离传感器(比如激光、声呐)来建立二维地图，能够很好的解决SLAM问题。然而，在动态，复杂，大场景下，仅使用视觉作为唯一的外部传感器来进行SLAM定位跟踪累积误差大，故提出了使用激光SLAM校正视觉SLAM累积误差，保证系统准确性，提高鲁棒性。
误差消除算法是利用卡尔曼滤波算法改进的，卡尔曼滤波是一种递推线性最小方差估计，这种滤波算法无需保存过去的历史数据，只要新数据测得后，结合前一时刻已求出的估计值及系统本身的状态方程，按一定的递推方式即可求得新的估计值。在基于视觉的定位过程中，由于摄像头的突然抖动、传感器故障等会产生突发性的野点噪声，这种噪声服从拉普拉斯分布，虽然不常发生，但是对定位精度影响极大。当用传统卡尔曼方法处理野点噪声时，由于卡尔曼滤波器会将稀疏噪声看作高斯噪声来分析，导致目标跟踪精度严重下降，甚至使滤波结果严重偏离，导致滤波器发散。为克服这一问题，本发明利用基于凸优化的改进卡尔曼滤波方法，来预测视觉SLAM即将产生的误差，从而消除预测到的误差即可避免累积误差，包含两个步骤：第一步是通过改进型卡尔曼滤波算法对目标位置信息进行估计；第二步是利用改进型极限学习机算法对卡尔曼滤波得到的结果进行二次修正。
在第一步中，卡尔曼滤波的目标跟踪系统模型可表示为：
xt＝Axt-1+wt
yt＝Cxt+vt+zt (1)
其中，xt∈RN表示t时刻目标的状态向量；xt-1∈RN表示t-1时刻目标的状态向量；yt∈RM是t时刻目标的观测向量(N表示状态向量中变量的个数；M表示观测向量中变量的个数)；A和C分别是系统状态转移矩阵、量测矩阵； wt∈RN表示系统的状态噪声；vt∈RM表示量测噪声；zt∈RM表示稀疏噪声。
使用凸优化技术，基于最大后验估计理论和贝叶斯理论的基础上，采用状态空间表达式呈现传统卡尔曼理论。
其中，λ是一个控制zt稀疏性的调节参数。
对优化公式(2)的形式进行进一步推导，就能发现改进型卡尔曼算法和传统卡尔曼算法的联系和区别。首先，定义vt＝yt-Cx-zt，则公式(2)中优化目标函数可以进一步表示为
对公式(3)中x求偏导，可以得到
令(4)为零，可以进一步得到
其中L＝∑CT(V+C∑CT)-1，
最终，将式(5)代入到优化公式 (2)中，可以得到鲁棒卡尔曼优化的另外一种表达形式
min(et-zt)Qs(et-zt)+λ||zt||1 (6)
其中，Qs＝(I-CL)TV-1(I-CL)+LTΣ-1L。在公式(6)中，稀疏噪声zt变成了唯一的变量。结合实际应用，考虑到实际中系统定位时噪声的复杂性(同时包含高斯噪声和野点噪声)，在凸优化技术的基础上构建了目标跟踪优化模型，使用凸约束形式将噪声统计特性引入优化问题中，实现了噪声混合下(同时包含高斯噪声和野点噪声)的定位误差估计任务，提高了系统定位精度。
此外，为了进一步提高定位精度，本专利采用改进型极限学习机方法来修正卡尔曼滤波结果。
ELM是一类基于前馈神经网络构建的机器学习方法，具有较好的训练效率和效果，是一种简单、高效的无监督学习算法。ELM在训练前，不需要对网络参数进行设置，仅对激励函数、隐层节点个数进行设置。
传统ELM框架采用伪逆算法估计输出权重，随机设定输入和隐层参数。故其存在容易过度学习、泛化能力低的问题。本专利使用一种基于L1/L2范数正则化约束的极限学习机算法(L1/L2-ELM)来修正卡尔曼滤波算法的结果。一个有T个隐层节点的ELM数学模型可以表示为：
其中，wj＝[wj1,wj1,…,wjki]为输入节点同第j个隐层节点之间的连接权重；βj为j个隐层节点输出权重；bj为第j个隐层节点的偏置；g(·)为激活函数。wj和 bj均随机给定且在训练过程中保持不变，这减少了训练时间，提高了算法训练速率.输出权重βj是ELM中唯一需要解析确定的参数.用矩阵形式重新表示式 (7)，可以得到式(8)，即
Φβ＝t (8)
式中β＝[β1,β2,…,βT]T,t＝[t1,t2,…,tN]T，
在传统ELM算法中，输出权重βj通过求解最小二乘问题得到
式中:
为伪逆，ELM算法在计算效率方面明显优于传统BP算法得益于最小二乘算法实现简单。但是在实际过程中，当Φ不适定时，输出权重β幅值会急剧增大，出现过拟合现象，导致ELM算法的模型准确性降低，ELM网络的泛化能力表现下降。
因此，在式(10)中加入L1范数约束，借助L1范数的稀疏能力使模型简单。L1范数约束可以提高算法的泛化能力，得到式(11)，即
在式(10)中加入L2范数约束，使输出权重幅值在保持稀疏特性(L1 范数约束)的同时，更有利于在ELM网络中学习到符合实际情况的有效特征，可以得到式(12)，即
为了方便求解公式(12)，定义如下矩阵，即
令
则式(12)可以写成如下形式，即
式(12)对β*求偏导，并令导数为零，可以得到
综上所述，基于L1/L2-ELM算法的步骤可以概括为以下三步。
(1)随机产生隐层节点参数wj和bj.
(2)计算隐层输出矩阵Φ.
(3)根据式(15)计算输出权重
L1/L2-ELM无需调整输入权值和隐层参数，训练过程一次完成，模型训练速度提升，网络的泛化能力表现上升。
利用L1/L2-ELM与改进型卡尔曼滤波结合提高室内定位滤波算法的精度，在定位阶段使用改进型卡尔曼滤波对测量值进行过滤。在进行卡尔曼滤波过程中，要求系统模型和噪声模型已知，并且滤波过程中不允许改变。将估计误差和测量误差以及卡尔曼增益作为L1/L2-ELM的输入，经过L1/L2-ELM的运算，输出真实值与估计值之间的差。结合L1/L2-ELM与改进型卡尔曼滤波算法可以大大提高室内定位系统的精度。鉴于神经网络的自适应能力，大大提高系统的鲁棒性，泛化能力表现上升。使用L1/L2-ELM修正卡尔曼滤波的整体原理框图，如图3所示。
由于室内定位有着先天的复杂性，单一的标准卡尔曼滤波不可能很好地解决定位问题，为此引入L1/L2-ELM。使用ELM修正卡尔曼滤波的流程图，如图 2所示。其中，改进卡尔曼滤波的估计结果与预测状态同期望预测状态的差
卡尔曼增益Kt、测量值与预计状态之差
相关。将这三个参数作为L1/L2-ELM的输入，输出参数为真实值和估计值之差，将这个L1/L2-ELM 的输出值和未经L1/L2-ELM修正的估计值相加即可得到一个非常接近真实值的估计。
本具体实施使用时，Kinect3摄像头在系统启动后，首先进行使用者的特征模型训练，提取使用者的外貌特征，如衣着、饰品、发型等，将这些特征数据传输至Jetson TX2，由TX2进行分类和训练。
其次，系统会执行激光SLAM程序确认自身位置，由RPLIDAR A3扫描并采集周围地图数据和环境深度信息，用以构建初步地图，这里将采集到的地图数据传输至Jetson TX2，并由TX2来处理数据并构建地图，定位覆带小车自身位置；
之后，启用视觉SLAM，Kinect3将根据前面训练好的使用者特征模型来实时识别使用者并确定使用者位置数据，并测量覆带小车和使用者之间的距离。
之后，将使用者的位置信息、机器人自身的位置信息与测量到的距离信息将传输到树莓派，由树莓派控制履带车追踪使用者并保持一定距离，这个过程中，Kinect3和LidarA3依然工作并实时更新使用者位置和机器人位置。
另外的机械手部分，机械臂用于抓取使用者递过来的水杯等物体，当使用者递过来的物体被抓住后，Kinect3会采集物品特征数据并传输至Jetson TX2 进行分类和训练，最后得出物品的特征模型。
使用者取用物品时，Kinect3会根据前一步训练好的物品模型，对被取用的物品进行实时识别和跟踪，并将物品位置信息传输到树莓派，当使用者放下物品后，树莓派会根据机器人自身位置和物品位置控制机械手去抓取物品。
本发明可以帮助爱好慢跑健身人士携带水杯和手机等慢跑时不便携带的物品，令使用者在顺利跑步健身过程中又可以随时补充水分和查阅手机等。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (5)
1.基于Kinect3和激光雷达的SLAM陪跑小车，其特征在于：包括覆带小车，安装在覆带小车上的Kinect3摄像头、RPLIDAR A3，内载于覆带小车内的Jetson TX2模块以及安装在覆带小车上的机械手；所述Kinect3摄像头用于实现视觉SLAM，通过扫描覆带小车周围环境并实现覆带小车自身和使用者的定位，所述RPLIDAR A3用于实现激光SLAM，消除视觉SLAM的累积误差，Kinect3摄像头和RPLIDAR A3将采集到的信息发送至Jetson TX2模块进行处理，经树莓派实现覆带小车和机械手工作状态的调控。
2.如权利要求1所述的基于Kinect3和激光雷达的SLAM陪跑小车，其特征在于：覆带小车工作时首先依靠激光SLAM确认自身位置，使用RPLIDAR A3扫描采集周围环境数据，初步建立地图，定位覆带小车自身位置；
之后启用视觉SLAM，使用Kinect现场训练使用者的模型并初步定位使用者位置，并测量覆带小车和使用者之间的距离。
之后，将使用者的位置信息、机器人自身的位置信息与测量到的距离信息将传输到树莓派，由树莓派控制履带车追踪使用者并保持一定距离。
3.如权利要求1所述的基于Kinect3和激光雷达的SLAM陪跑小车，其特征在于：机械臂用于抓取使用者递过来的物体，当使用者递过来的物体被抓住后，Kinect3会采集物品特征数据并传输至Jetson TX2进行分类和训练，最后得出物品的特征模型。
4.如权利要求1所述的基于Kinect3和激光雷达的SLAM陪跑小车，其特征在于：使用者取用物品时，Kinect3会根据前一步训练好的物品模型，对被取用的物品进行实时识别和跟踪，并将物品位置信息传输到树莓派，当使用者放下物品后，树莓派会根据机器人自身位置和物品位置控制机械手去抓取物品。
5.如权利要求1所述的基于Kinect3和激光雷达的SLAM陪跑小车，其特征在于：所述Jetson TX2模块采用安装Python 3.6的PC或其他安装Python3.6环境的处理器或嵌入式系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110214570.0A CN113031002B (zh) | 2021-02-25 | 2021-02-25 | 基于Kinect3和激光雷达的SLAM陪跑小车 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110214570.0A CN113031002B (zh) | 2021-02-25 | 2021-02-25 | 基于Kinect3和激光雷达的SLAM陪跑小车 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113031002A true CN113031002A (zh) | 2021-06-25 |
| CN113031002B CN113031002B (zh) | 2023-10-24 |
Family
ID=76462454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110214570.0A Active CN113031002B (zh) | 2021-02-25 | 2021-02-25 | 基于Kinect3和激光雷达的SLAM陪跑小车 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113031002B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086821A (zh) * | 2018-07-31 | 2018-12-25 | 太原理工大学 | 机器人的物体抓取判别方法 |
| CN113478456A (zh) * | 2021-07-19 | 2021-10-08 | 北京云迹科技有限公司 | 一种轮式运动陪伴机器人及其使用方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106803237A (zh) * | 2016-12-14 | 2017-06-06 | 银江股份有限公司 | 一种基于极限学习机的改进自适应加权平均图像去噪方法 |
| CN106933096A (zh) * | 2017-03-14 | 2017-07-07 | 广州幻境科技有限公司 | 一种为第三方提供空间定位信息的自跟随机器人装置及方法 |
| CN109327797A (zh) * | 2018-10-15 | 2019-02-12 | 山东科技大学 | 基于WiFi网络信号的移动机器人室内定位系统 |
| CN109822596A (zh) * | 2019-04-02 | 2019-05-31 | 成都信息工程大学 | 一种服务机器人及其控制系统 |
| CN109993113A (zh) * | 2019-03-29 | 2019-07-09 | 东北大学 | 一种基于rgb-d和imu信息融合的位姿估计方法 |
| CN110146080A (zh) * | 2019-04-24 | 2019-08-20 | 佛山科学技术学院 | 一种基于移动机器人的slam回环检测方法及装置 |
| CN110216688A (zh) * | 2019-05-23 | 2019-09-10 | 浙江工业大学 | 一种办公区送件服务机器人及其控制方法 |
| CN110361027A (zh) * | 2019-06-25 | 2019-10-22 | 马鞍山天邦开物智能商务管理有限公司 | 基于单线激光雷达与双目相机数据融合的机器人路径规划方法 |
| CN110575653A (zh) * | 2018-06-08 | 2019-12-17 | 北京眸视科技有限公司 | 一种智能捡网球机器人 |
| CN112093467A (zh) * | 2020-09-30 | 2020-12-18 | 中国计量大学 | 一种移动式搬运机器人系统及其控制方法 |
| CN112130559A (zh) * | 2020-08-21 | 2020-12-25 | 同济大学 | 一种基于uwb与激光雷达的室内行人跟随与避障方法 |
| CN112207839A (zh) * | 2020-09-15 | 2021-01-12 | 西安交通大学 | 可移动的家居服务机器人及方法 |
| CN112258600A (zh) * | 2020-10-19 | 2021-01-22 | 浙江大学 | 一种基于视觉与激光雷达的同时定位与地图构建方法 |
| CN212522923U (zh) * | 2020-07-08 | 2021-02-12 | 成都信息工程大学 | 拾球机器人系统 |
-
2021
- 2021-02-25 CN CN202110214570.0A patent/CN113031002B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106803237A (zh) * | 2016-12-14 | 2017-06-06 | 银江股份有限公司 | 一种基于极限学习机的改进自适应加权平均图像去噪方法 |
| CN106933096A (zh) * | 2017-03-14 | 2017-07-07 | 广州幻境科技有限公司 | 一种为第三方提供空间定位信息的自跟随机器人装置及方法 |
| CN110575653A (zh) * | 2018-06-08 | 2019-12-17 | 北京眸视科技有限公司 | 一种智能捡网球机器人 |
| CN109327797A (zh) * | 2018-10-15 | 2019-02-12 | 山东科技大学 | 基于WiFi网络信号的移动机器人室内定位系统 |
| CN109993113A (zh) * | 2019-03-29 | 2019-07-09 | 东北大学 | 一种基于rgb-d和imu信息融合的位姿估计方法 |
| CN109822596A (zh) * | 2019-04-02 | 2019-05-31 | 成都信息工程大学 | 一种服务机器人及其控制系统 |
| CN110146080A (zh) * | 2019-04-24 | 2019-08-20 | 佛山科学技术学院 | 一种基于移动机器人的slam回环检测方法及装置 |
| CN110216688A (zh) * | 2019-05-23 | 2019-09-10 | 浙江工业大学 | 一种办公区送件服务机器人及其控制方法 |
| CN110361027A (zh) * | 2019-06-25 | 2019-10-22 | 马鞍山天邦开物智能商务管理有限公司 | 基于单线激光雷达与双目相机数据融合的机器人路径规划方法 |
| CN212522923U (zh) * | 2020-07-08 | 2021-02-12 | 成都信息工程大学 | 拾球机器人系统 |
| CN112130559A (zh) * | 2020-08-21 | 2020-12-25 | 同济大学 | 一种基于uwb与激光雷达的室内行人跟随与避障方法 |
| CN112207839A (zh) * | 2020-09-15 | 2021-01-12 | 西安交通大学 | 可移动的家居服务机器人及方法 |
| CN112093467A (zh) * | 2020-09-30 | 2020-12-18 | 中国计量大学 | 一种移动式搬运机器人系统及其控制方法 |
| CN112258600A (zh) * | 2020-10-19 | 2021-01-22 | 浙江大学 | 一种基于视觉与激光雷达的同时定位与地图构建方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086821A (zh) * | 2018-07-31 | 2018-12-25 | 太原理工大学 | 机器人的物体抓取判别方法 |
| CN113478456A (zh) * | 2021-07-19 | 2021-10-08 | 北京云迹科技有限公司 | 一种轮式运动陪伴机器人及其使用方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113031002B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7339029B2 (ja) | モーション認識モデルを用いた自体運動推定装置及び方法並びにモーション認識モデルトレーニング装置及び方法 | |
| CN111368755A (zh) | 一种基于视觉的四足机器人行人自主跟随方法 | |
| CN104942809A (zh) | 基于视觉伺服系统的机械臂动态模糊逼近器 | |
| Choi et al. | Enhanced SLAM for a mobile robot using extended Kalman filter and neural networks | |
| CN113031002A (zh) | 基于Kinect3和激光雷达的SLAM陪跑小车 | |
| Kästner et al. | A 3d-deep-learning-based augmented reality calibration method for robotic environments using depth sensor data | |
| CN112629520A (zh) | 一种机器人导航与定位方法、系统、设备及存储介质 | |
| CN113848931B (zh) | 农机自动驾驶障碍物识别方法、系统、设备和存储介质 | |
| CN111258311A (zh) | 一种基于智能视觉的井下移动机器人避障方法 | |
| Nadour et al. | Hybrid type-2 fuzzy logic obstacle avoidance system based on horn-schunck method | |
| CN110764498A (zh) | 一种基于鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法 | |
| Hirose et al. | ExAug: Robot-conditioned navigation policies via geometric experience augmentation | |
| CN115032984A (zh) | 一种面向港口物流智能机器人的半自主导航方法及系统 | |
| CN114067210A (zh) | 一种基于单目视觉导引的移动机器人智能抓取方法 | |
| Lei et al. | Visually guided robotic tracking and grasping of a moving object | |
| Yu et al. | Indoor Localization Based on Fusion of AprilTag and Adaptive Monte Carlo | |
| Nikitenko et al. | Single robot localisation approach for indoor robotic systems through integration of odometry and artificial landmarks | |
| CN112907644B (zh) | 一种面向机器地图的视觉定位方法 | |
| Aspragkathos et al. | Event-triggered image moments predictive control for tracking evolving features using UAVs | |
| CN114237264A (zh) | 一种基于激光与视觉识别导航的机器人控制方法 | |
| Kyrylenko et al. | The Robotic Platform for Measuring Linear Velocity Using Computer Vision Algorithms | |
| Corpuz | Characterization of a mobile waste-robot: A heuristic method to path planning using artificial neural networks | |
| Rincon et al. | Adaptive cognitive robot using dynamic perception with fast deep-learning and adaptive on-line predictive control | |
| Nunes et al. | Time-to-Contact Map by Joint Estimation of Up-to-Scale Inverse Depth and Global Motion using a Single Event Camera | |
| CN116766187A (zh) | 一种面向水陆两栖机器人的环境自适应变构方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |