CN111609851A - 一种移动型导盲机器人系统及导盲方法 - Google Patents

一种移动型导盲机器人系统及导盲方法 Download PDF

Info

Publication number
CN111609851A
CN111609851A CN202010465070.XA CN202010465070A CN111609851A CN 111609851 A CN111609851 A CN 111609851A CN 202010465070 A CN202010465070 A CN 202010465070A CN 111609851 A CN111609851 A CN 111609851A
Authority
CN
China
Prior art keywords
robot
module
blind guiding
point cloud
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010465070.XA
Other languages
English (en)
Other versions
CN111609851B (zh
Inventor
戴亚平
王笑涵
赵乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010465070.XA priority Critical patent/CN111609851B/zh
Publication of CN111609851A publication Critical patent/CN111609851A/zh
Application granted granted Critical
Publication of CN111609851B publication Critical patent/CN111609851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes

Abstract

本发明涉及一种移动型导盲机器人系统及导盲方法，属于残疾人辅助设备领域。本发明能够实时的进行非结构化环境下的多源融合感知及智能评估，进而将评估结果提供给复杂环境约束下的决策规划模块进行运算，不仅能实现实时环境感知，同时可进行实时决策，实现全自主的路径引导。能够基于多源融合进行路面评估，从材质和平坦性两个维度对路面进行融合评估，获得更为全面的信息。当前的代表性方案普遍使用语义分割技术判别可行路面，通过RGB‑D数据，融合平坦度检测和材质检测，能为盲人更好更全面的探测和评估路面可通行性。

Description

一种移动型导盲机器人系统及导盲方法
技术领域
本发明涉及一种移动型导盲机器人系统及导盲方法，属于残疾人辅助设备领域。
背景技术
当前，我国视力障碍人士的数量超过500万人，位居世界前列。越来越多的视障人士认为，现阶段社会提供的导盲设施及工具均不能很好地满足他们的活动需要，难以提供有效的路径规划和避障服务，一定程度上造成了视力障碍人群出行难的问题。随着人工智能领域算法的突破性发展以及应用的日益普及，近年来智能硬件的成本大为降低，相关工具链也日益成熟，为新应用的形成奠定了必要的基础。当前智能导盲装置主要有穿戴式和杖式两大类，这两类导盲装置的主要技术缺陷有：
(1)受限于可穿戴属性或安装空间对体积和重量的限制，该类装置难以配备高性能计算设备和完善的多源信息感知系统。
(2)穿戴式智能导盲装置的感知传感器以人体为安装面，杖式智能导盲装置以盲杖前缘为安装面，均与人体运动强耦合，受人体正常运动的影响难以保持传感器参考系相对稳定，不利于提高感知精度。
(3)无法实现直接的引导，仅提供感知辅助，决策需盲人自身完成。
针对上述技术缺陷工业界发展了一类具有自主移动功能的导盲机器人，可初步处理上述缺陷，但仍存在诸多不足之处，如中国专利CN110368275A公开了一种导盲机器人硬件设计方法及与之配合的自主导盲方法，但没有考虑融合路面可通行性，在路径规划方面没有考虑导盲任务所处的行人环境。当前的代表性感知方案普遍使用语义分割技术判别可行路面，如中国专利CN201810534059.7公开的一种基于语义分割神经网络模型的目标和地形检测方法，能检测路面类型并通知盲人，但难以识别相同材质路面的平坦情况。专利CN102048612A公开了一种能自动识别交通信号灯、盲道等关键信息的移动机器人，但其无自主决策能力，仍需将信息汇报使用者令其自行决策。
发明内容
本发明的目的是为了解决现有只能导航存在的上述问题，提供一种移动型导盲机器人系统及导盲方法。该方法能够自主进行融合环境感知，运行避障和规划，在人机交互模块的调控下进行自动盲人引导。
本发明的目的是通过下述技术方案实现的。
一种移动型导盲机器人导盲方法，包括如下步骤：
步骤一、采集训练数据。拍摄采集多张周围环境图片，构成图集D；并通过人工标注每张数据的内容轮廓；
步骤二、构建识别网络。在图像集D基础上进行迁移学习，得到材质判别模型，之后进行修剪、量化和霍夫曼编码，将材质判别模型压缩并通过TensorRT工具优化材质判别模型的算力消耗，同时对每类材质赋予惩罚值l，得到材质惩罚系数表，再将判别模型和材质惩罚系数表一并存储在机器人系统中；所述惩罚值表示对系统在该材质上运动的拒绝程度。
步骤三、材质检测以及材质评分。
材质检测：在运行模式下，传感器将获取的深度相机和彩色相机数据帧分别发送给步骤二所得的判别模型；利用判别模型得到像素坐标系下的材质信息M；所述材质信息M元素格式为(u,v,C)，u表示x轴方向像素坐标；v表示y轴方向像素坐标；C表示材质类别。
材质评分：为将其与世界坐标系下点云
Figure BDA0002512315630000021
建立联系，切取世界坐标系中机器人正前方1m*1m区域，由其中的点
Figure BDA0002512315630000022
计算对应的像素坐标
Figure BDA0002512315630000023
其中TWC为世界坐标到相机坐标变换阵，由惯性测量单元(IMU)读取得到，Cm为相机矩阵，由传感器预先标定得到。由
Figure BDA0002512315630000024
在M中查询对应的材质类别，按步骤二预定义的惩罚值替换材质类别C，得到材质损失Lmaterial，Lmaterial元素格式为(x,y,z,l)，x,y,z表示世界坐标系下坐标；l表示惩罚值。
步骤四、基于点云平面拟合的平坦型检测；
1)通过深度相机的深度点云信息获取实时路面点云数据。将数据转换为PCL点云处理库的PointCloud2数据类型，使用聚类型点云滤波器进行异常点补偿和点云滤波。
2)对滤波后的点云数据进行随机采样一致性评估，获得拟检测地平面的参数，进而得到估计平面；为加速收敛，使用n-1帧的面内点集进行初始化。计算点云集中每一点到此平面的欧氏距离di，并按下式计算对应的li，进而得地平面平坦性描述T，T＝{l1,l2,…lN}；
Figure BDA0002512315630000025
上式中，均值
Figure BDA0002512315630000026
σ为敏感度阈值。选取T中位于世界坐标系中机器人正前方1m*1m区域的点构成集合，，记为平坦损失Lterrian。
步骤五、2.5维栅格地图融合。
将步骤四得到的Lterrian和步骤三得到的Lmaterial相加得总损失Lmerge，Lmerge向步骤四得到的估计平面投影，并栅格化。对每个栅格进行如下操作：无映射点的栅格记惩罚值为无穷大；存在多映射点的栅格取最大惩罚值，从而得到2.5维栅格地图，将栅格地图发布为ROS消息，提交给规划模块处理。
步骤六、全局路径规划。即路网级规划，通过调用百度地图或高德地图API实现，其决策结果为一个路网级的轨迹参考线。
步骤七、两步法进行局部路径规划。
第一步、局部路径规划粗生成。在步骤五得到的栅格地图的信息基础上，暂不考虑行人这类高动态非合作目标的避碰约束，利用RRT*,Hybrid A*等经典路径规划技术拟定初始局部规划的参考轨迹集
Figure BDA0002512315630000031
第二步、局部路径规划细生成。在初始参考轨迹集
Figure BDA0002512315630000032
的基础上考虑剩余约束要求和优化指标，生成最终的决策轨迹τ，进而由控制器生成具体的决策序列A0：T。
考虑控制时间片[t0,tf]，设
Figure BDA0002512315630000033
为处于导盲机器人领域中的Nnearby个行人在t时刻的状态向量，其中
Figure BDA0002512315630000034
Px,Py为位置、Vx,Vy为速度，θb,为躯干的方向角，θh为头部的方向角；容许控制ut＝[rls,rrs]；rls为机器人左轮转速，rrs为机器人右轮转速。优化的总体目标为:
Figure BDA0002512315630000035
其中，α*(tf-t0)为时间最短目标，
Figure BDA0002512315630000036
为各行人与机器人的距离和，
Figure BDA0002512315630000037
要求生成轨迹尽量接近初始参考轨迹
Figure BDA0002512315630000038
α,β,γ为非负的加权参数。以此为目标求解控制量，控制量需满足如下约束条件：满足
Figure BDA00025123156300000320
的控制约束，满足Δ＝|ut(1)-ut(2)|<ωmax的转向约束，满足
Figure BDA0002512315630000039
的加速度约束。并考虑人机关系，满足
Figure BDA00025123156300000310
的人机最大距离约束,其中
Figure BDA00025123156300000311
表示控制量上界，ωmax表示角速度上界，
Figure BDA00025123156300000312
表示加速度上界，
Figure BDA00025123156300000313
表示人机间最大允许距离。最后，满足系统的避碰约束即
Figure BDA00025123156300000314
和运动转移约束Pt＝Δ*ut-1+Pt-1，其中
Figure BDA00025123156300000315
表示机器人与行人间最小允许间距。为便于求解，本方法以将上述数学描述转化为强化学习的规范形式，即设状态S＝[H,x,y,vx,vy,]，其中H为
Figure BDA00025123156300000316
的全体；将约束的不等式转换为差值形式，差值形式的加权和为
Figure BDA00025123156300000317
定义奖励函数为
Figure BDA00025123156300000318
即将不等约束转化为惩罚项的形式，优化目标即转化为argminπ∈Πr。同时，记未知的动态模型为p(st|st-1,ut-1)～∑N(s|μ,∑)，待估值函数为
Figure BDA00025123156300000319
通过强化学习方法构建Agent，完成实时路径规划。将控制指令发送至行走电机控制器给定，推动机器人按规划轨迹行进。
实现上述方法的装置，包括：一个四轮差速式铝合底盘，具有4个0.1～0.2m直径的实心橡胶轮胎，使用无刷减速电机驱动；一个圆角矩形工程塑料材质防水车壳，包容所有内部部件，侧部安装有携行提手，在底部安装有一无线充电线圈；携行提手右上测车壳面板上安装有一控制面板。单线旋转式激光雷达安装于位于防水车壳前部的凸台上，上方有一半球形透明亚克力保护罩；深度相机和CSI彩色摄像头并排安装于防水车壳前端安装槽内，上方有透明亚克力保护罩，其中深度相机向下倾斜安装，相机成像面与车壳夹角为15°，CSI彩色摄像头向上倾斜安装，相机成像面与车壳夹角为15°；导盲牵引绳安装于轴承连杆装置上，轴承连杆装置安装于防水车壳后部的凸台上，连杆自由运动方向沿车轮轴向垂直，轴承中心旋转部位安装一枚8mm直径两级纽扣磁铁，磁铁NS方向与轮轴轴向方向垂直，正对两级纽扣磁铁上方布放一磁编码器芯片，与两级纽扣磁铁间的间隙为1mm，用于测量连杆与车壳顶面的夹角，牵引绳为尼龙材质，末端安装手柄，手柄上安装有紧急停止按钮，按钮上有防误触发保护盖。车壳前端立面安装左右转向示意灯，示意灯使用黄色高亮LED灯珠组成。
进一步的，对上述设计方案给出如下补充说明。所述铝合金底盘下侧安装的两部无刷驱动电机具有防水设计，分别驱动左侧和右侧的轮胎组，电机转速应使得机器人行进速度大于人平均步行速度，取人平均步行速度5km/h。左侧/右侧的轮胎组系指由前侧轮胎和后侧轮胎经由传动轴链接的组合体，具备同速运行的特点。所述激光雷达为采用人眼安全红外激光管构成的激光测距系统，其刷新率优于5Hz，视角为360°，角分辨率优于1°。所述深度相机为基于结构光原理的深度相机，具备大于320*240分辨率的深度图分辨率，具备大于224*224的彩色图分辨率，感知范围在0.1～10m之间，优选深度感知精度高的。所述CSI彩色摄像头为具有CSI相机接口的微型摄像头模组，该模组应具有动态范围高，夜间成像能力强的特点。所述无线充电线圈应能支撑大于15w的无线充电功率，接触距离应大于1cm，与导盲机器人无线充电底盘构成高安全无暴露充电系统，保证盲人使用的安全性。与安装在导盲机器人车体上的无线充电接收线圈配套的，应配备具有无线充电发射线圈功能的充电底座，底座应具有从市电输入的能力。特别的，导盲机器人无线充电底盘还应配备有一定位贴纸，该贴纸用于张贴到导盲机器人无线充电底盘所在位置后方，用于导盲机器人自主精确定位到无线充电器上方，将发射线圈和接收线圈精密对齐，提高输电功率。
下面对车体内部模块设计方案予以详细描述。所述车体内部有底盘驱动模块、中央处理模块、供配电模块和人机交互模块组成。其中底盘驱动模块由基于嵌入式微处理器开发的控制板、无刷电机电调板、数字温度传感器、MEMS型IMU构成，控制板运行双闭环数字PID控制进行转速电流双闭环电机调速控制，接收电调板的编码信息进行转速计算,接收并处理安装于电机、主控板和锂离子电池上的三只数字温度芯片的温度数据对设备运行温度进行校验，用于为后文所述方法启动热保护和低温保护提供感知依据。MEMS型IMU负责测量机器人位姿，安装在车体中央部位。中央处理模块由深度相机、激光雷达、深度学习计算卡、LTE-4G通信模块、卫星定位模块组成。所述深度学习计算卡系指可高效运行神经网络模型的高性能低成本边缘计算设备，可以保证本发明所述导盲机器人的相关方法对高性能计算的需求。所述深度相机连接到深度学习计算卡，可以保障在室外导盲环境下的稳定运行。所述激光雷达应连接到深度学习计算卡。所述LTE-4G通信模块应具有高速数据通信、高质量的语音、短信功能，是导盲机器人的必要通讯保障。所述卫星定位模块可支持北斗，GPS卫星信号，内置惯性融合单元，具有定位精度高，数据更新速度快的特点。供配电模块包括锂离子电池、DC-DC配电板、无线充电线圈和PTC加温模块。DC-DC配电板由高频反激式开关电源构成。PTC加温模块用于在低温时给电源加热至工作温区，防止电源低温放电损坏。人机交互模块包括蓝牙耳机与拾音器、转向灯组两个部分。所述蓝牙耳机与拾音器为通用型设备，与中央处理模块的深度学习计算卡通过蓝牙通讯相连接，该设备是支撑人机语音交互的核心设备。转向灯组包含左转向灯和右转向灯，用于告知外界机器人行进意图，方便对方适应性避让，提高通行效率。
有益效果
1、本发明的一种移动型导盲机器人导盲方法，能够实时的进行非结构化环境下的多源融合感知及智能评估，进而将评估结果提供给复杂环境约束下的决策规划模块进行运算，不仅能实现实时环境感知，同时可进行实时决策，实现全自主的路径引导。
2、本发明的一种移动型导盲机器人导盲方法，能够基于多源融合进行路面评估，从材质和平坦性两个维度对路面进行融合评估，获得更为全面的信息。本专利公开的方法通过RGB-D数据，融合平坦度检测和材质检测，能为盲人更好更全面的探测和评估路面可通行性。
3、本发明的一种移动型导盲机器人导盲方法，能有效解决当前导盲机器人在人流密集的城市便道中自主路径规划的能力不佳的问题。当前技术普遍使用通用化路径规划方法，未考虑导盲任务所面临的特殊性，在考虑行人避碰问题时容易出现规划死锁。本专利公开的方法基于强化学习框架，能模仿人类的路径选择习惯规划出一种符合人类社会习惯的路径，优化导盲场景下路径规划质量。
附图说明
附图1为发明内容中的硬件方案总图，包括侧视图和正视图；
附图2为发明内容中所诉车体内部硬件模块间连接结构；
附图3为地面评估方法流程图；
附图4为轨迹规划方法流程图；
附图5为轨迹粗生成效果图；
附图6为轨迹细生成效果图。
具体实施方式
下面将以实例方式给出按本发明描述的具体实施例，给出具体硬件选型方案以更好的说明和阐释本发明所述设计方案，对其有益效果进行分析和证明。需要特别说明的是，本部分所述实施例仅用于解释性目的，不对发明内容起限定性作用。
实施例1：
本实施例公开的移动型导盲机器人系统整体架构如附图1,2所示。首先说明符合本发明要求的硬件平台设计方案。考虑到机械强度和重量要求，设计方案所述铝合底盘由5mm厚标准6系铝合金板材制成，其上有减重开孔。底盘下侧安装的两部无刷驱动电机具有防水设计，功率约为50w，最大转速约为300转，在该转速下，配备直径10cm的橡胶轮胎，可实现最大5.5km/h的行进速度，已大于设计要求的人步行均速，满足设备设计需求。该电机分别驱动左侧和右侧的轮胎组。所述磁编码器选择AS5600型磁编码器，该型号磁编码器具有数字接口，其检测的角度精度优于1°，且无累积误差，能够很好的满足牵引杆角度精确测量的需求。所述激光雷达为采用人眼安全红外激光管构成的激光测距系统，具体型号可选RPLIDAR A1型雷达，该型号可进行每秒8000次以上的测距动作，其整周刷新率在5Hz以上，视角为360°，角分辨率优于1°感知距离大于10m，性价比高，满足设计需要。该型雷达使用了光磁融合无滑环技术保障了高能效长寿命工作的能力。所述深度相机为Intel公司生产的基于结构光原理的Realsense系列D435i相机，具备640*480分辨率的深度图分辨率，感知范围在0.1～10m之间，其体积仅为90mm x 25mm x 25mm，利于与移动平台进行整合，D435i深度相机具有对各种光照和反射材质变化不敏感的显著优势，可以保障在室外导盲环境下的稳定运行。所述CSI彩色摄像头为使用索尼IMX290传感器，具有CSI相机接口的微型摄像头模组，该模组具有动态范围高，夜间成像能力强的优点。所述无线充电线圈可选QI标准A11线圈，可实现大于20w的充电功率，且成本较低。导盲机器人无线充电底盘是由反激式开关降压电源和无线充电发射线圈组成的，具有工程塑料材质外壳，外壳为直径10cm高1cm的圆型圆角圆柱体，底部具有对称排布的橡胶吸盘，尾部有连接市电的电线。导盲机器人无线充电底盘所配备的定位贴纸尺寸为12cm*12cm，上印刷以边长为10cm的36h11型二维码，该贴纸用于张贴到导盲机器人无线充电底盘所在位置后方，36h11型二维码具有检出方便，精度高的特点，可有效提高机器人对充电器的定位精度。
所述底盘驱动模块由基于STM32F1系列32位嵌入式微处理器开发的控制板、无刷电机电调板、LM75A数字温度传感器、BMI160型IMU构成，控制板运行ROS底盘节点，运行双闭环数字PID控制进行转速电流双闭环电机调速控制，接收电调板的编码信息进行转速计算,接收处理安装于电机、主控板和锂离子电池上的三只LM75A数字温度芯片的温度数据。TI公司的LM75A型温度传感器具有280微安的超低工作电流，测量范围高达-55°到125°，可满足本发明需求。博世公司的BMI160微型超低功耗IMU具有功耗极低，精度高的优势，可满足设计的位姿测量需求。
所述中央处理模块由D435i深度相机、RPLIDAR A1激光雷达、Jetson Nano计算卡、华为ME909S-821型PCIE接口LTE三网通4G通信模块、NEO-M8N型卫星定位模块组成。选取Jetson Nano计算卡的原因是该板卡为高性能低成本边缘计算设备，可以保证本发明所述导盲方法对高性能计算的需求，Jetson Nano采用四核64位ARM CPU和128核集成NvidiaGPU，可提供472GFLOPS的计算性能，其仅5W/10W的电源消耗使得移动平台搭载成为可能。由于其提供了完整的桌面Linux环境，支持Nvidia CUDA，使得本发明所涉及的基于ROS开发的软件框架得以完美适配，保障了软件运行的可行性与便利性，极大的提高了可维护性。华为ME909S-821型4G通信模块支持下行150Mbps，上行50Mbps的传输速率，可以提供高质量的语音、短信功能，是导盲机器人的必要通讯保障。NEO-M8N型卫星定位模块可支持北斗，GPS卫星信号，内置惯性融合单元，具有定位精度高，数据更新速度快的特点。
所述供配电模块包括锂离子电池、DC-DC配电板、无线充电线圈和PTC加温模块构成。锂离子电池选取容量为220wh的4串软包锂电池，标准电压为12v。DC-DC配电板由典型工业DC-DC模块电源构成。PTC加温模块选用100mm*30mm*6mm的12v PTC发热片构成，具有热阻小、换热效率高、可自动恒温、安全性突出的优点。
基于上述硬件平台，进一步对本发明所述导盲方法进行阐释。软件系统所描述的导盲方法以数据为驱动，首先利用分别来自深度摄像头信息和彩色摄像头的RGB-D和RGB数据流进行融合，进行实时的路面可通行性评估。其优势在于利用了深度摄像头信息和彩色摄像头的互补性，分别从平坦性和材质两方面对路面情况进行融合评估，其中平坦性检测处理路面的坑洼障碍，材质检测处理结冰，积水等障碍，将两方面信息融合后形成用于避障的局部损失地图，之后将得到的地图结果发送到基于强化学习框架的自主运动规划及决策模块，该部分通过学习人类的决策策略改进传统规划方法，因此能在人流密集的城市人行便道中，克服传统方法中易出现的轨迹不友好、不符合社会习惯及容易导致可行解空间的冻结使得运动轨迹求解失败等缺点，能更好的服务于盲人导航场景，生成更佳的运动轨迹。
具体的，在准备阶段，执行如下步骤一和步骤二。
步骤一、采集训练数据。启动硬件平台的彩色摄像头分别拍摄包含积水、草地、柏油路、砖石路、冰面、盲道6种内容的照片约500张构成图集D。仅涉及上述6类材质类的原因是其已经能覆盖大部分常见情况，而继续增加类别数目除增加标注的工作量外，还会降低后续识别网络的分类精度。将原始图像裁剪至512*256大小并使用labelme工具通过人工标注每张图片的内容轮廓构成像素级分割信息。其中对非上述6种类型的内容不予标注。
步骤二、构建识别网络。在图像集D基础上基于以resnet18为骨架的SegNet进行迁移学习，得到材质判别模型并进行修剪、量化和霍夫曼编码，将模型转换为ONNX格式后基于TensorRT工具进行加速优化，存储在机器人系统中，赋予对每类材质预定义惩罚值，表示对系统在该材质上运动的拒绝程度。
在运行时，导盲机器人接受到上层指令，开始进行实时导航。首先执行步骤三至步骤五得到实时的路面评估信息，其流程如附图3所示。
步骤三、材质检测以及材质评分。在运行模式下，向机器人传感器发送数据请求指令，分别获取深度相机和彩色相机数据帧。将存储的识别网络模型加载至Jetson Nano处理板卡，利用材质判别模型进行推理，得到像素坐标系下的材质信息M，其元素格式为(u,v,C)，其中u表示x轴方向像素坐标；v表示y轴方向像素坐标；C表示材质类别。进一步的，为将其与世界坐标系下深度相机的点云
Figure BDA0002512315630000081
建立联系，方便后续融合，需进行后处理，其做法的是切取世界坐标系中机器人正前方1m*1m区域，由其中的点
Figure BDA0002512315630000082
计算对应的像素坐标
Figure BDA0002512315630000083
Figure BDA0002512315630000084
其中TWC为世界坐标到相机坐标变换阵，通过读取惯性测量单元(IMU)得到，Cm为相机矩阵，由预先的传感器标定予以确定，并存储于机器人中。由
Figure BDA0002512315630000085
在M中查询对应的类标签，按预定义惩罚值替换分类标签C，得到材质损失Lmaterial，其中Lmaterial元素格式为(x,y,z,l)，x,y,z表示世界坐标系下坐标；l表示惩罚值。
步骤四、基于点云平面拟合的平坦型检测。鉴于盲人行进的环境基本平坦，而非剧烈变化的起伏路面，故使用一种基于点云平面拟合的智能评估方法，而非基于SLAM的方案，这可显著降低SLAM方案所需稠密建图对有限算力资源的消耗。该步骤分为如下子步骤：首先订阅发布自深度相机的深度点云信息获取实时路面点云数据，并将原始点云数据转换为PCL点云处理库的PointCloud2数据类型，使用聚类型点云滤波器进行异常点补偿和点云滤波。设地平面模型为ax+by+cz+d＝0，采用随机采样一致性方法对滤波后的点云数据进行一致性采样，获得拟检测的平面参数。因本算法处理序列检测问题，两次检测之间的平面参数变化较小，故为加速算法收敛，提高实时性，使用n-1帧的面内点集进行第n帧检测迭代的初始化工作。计算点云集中每一点到此平面的欧氏距离di，按下式计算每一di对应的li，地平面平坦性描述T的每个元素由li构成，即T＝{l1,l2,…lN}：
Figure BDA0002512315630000086
式中
Figure BDA0002512315630000087
为di均值，σ为敏感度阈值。选取T中位于世界坐标系中机器人正前方1m*1m区域的点构成集合，记为平坦损失Lterrian。为优选随机采样一致性方法的迭代次数k，数据适应于模型的阈值t和判定模型是否适用于数据集的数据数目t，采用36h11二维码进行辅助参数整定，将印有36h11二维码的标定板放置于地平面上，运行AprilTag功能包从地平面上的二维码获取地平面法向量的测量值作为参考真值，将其与随机采样一致性给出的法向量进行对比，进而指导参数调整。
步骤五、2.5维栅格地图融合。将Lterrian和Lmaterial相加得Lmerge，向步骤四估计的平面投影，并栅格化(1000*1000)。对每个栅格进行如下操作：无映射点的栅格记惩罚值为无穷大，存在多点的栅格取最大惩罚值，从而得到2.5维栅格地图，其尺寸为1000*1000，将其发布为ROS消息，提交给规划模块处理。
当获取到记录有路面信息的栅格损失地图后，开始运行规划模块的相关步骤六和步骤七，其流程如附图4。
步骤六、全局路径规划。即路网级规划，通过调用百度地图或高德地图API实现，其决策结果为一个路网级的轨迹参考线。
步骤七、两步法进行局部路径规划。
第一步、局部路径规划粗生成。在步骤五得到的栅格地图的信息基础上，以2.5维栅格地图为输入，不考虑行人这类高动态非合作目标的避碰约束，利用OMPL规划包中的Hybrid A*经典局部路径规划技术拟定初始局部规划的参考轨迹集
Figure BDA0002512315630000091
参考轨迹集合包含一组指标(总路径损失)相等或近似的路径，称为对称路径，即
Figure BDA0002512315630000092
中的路径在仅考虑地面评估信息的要求时效果相同，为轨迹细生成的进一步优化提供空间。如附图5所示，在步骤5给出的损失地图上，损失大小以灰度值表示，灰度值越高，损失越大。轨迹集
Figure BDA0002512315630000093
中的轨迹通过Hybrid A*生成，具有相似的性能指标，为一组对称路径，粗生成在给定的损失地图下最小总损失指标意义下的一组最优轨迹集合，交由细生成进一步考虑行人障碍、社会习惯等指标进一步优化，形成最终的轨迹及相应控制量。
第二步、局部路径规划细生成。在初始参考轨迹集
Figure BDA0002512315630000094
的基础上考虑剩余约束要求和优化指标，生成最终的决策轨迹τ，进而由控制器生成具体的决策序列A0：T。鉴于传统局部规划方法已不能很好地解决第二步所涉及的动态复杂约束，引入基于学习的方法，通过模仿人类行走时的决策策略予以解决，这一基于模仿的策略能生成符合人类社会习惯的路径。具体的，本部分采用如下的强化学习思路，其描述如下：考虑控制时间片[t0,tf]，设
Figure BDA0002512315630000095
Figure BDA0002512315630000096
为处于导盲机器人领域中的Nnearby个行人在t时刻的状态向量，其中
Figure BDA0002512315630000097
Figure BDA0002512315630000098
Px,Py为位置、Vx,Vy为速度，θb,为躯干的方向角，θh为头部的方向角；容许控制ut＝[rls,rrs]；rls为机器人左轮转速，rrs为机器人右轮转速。优化的总体目标为:
Figure BDA0002512315630000099
其中，α*(tf-t0)为时间最短目标，
Figure BDA00025123156300000910
为各行人与机器人的距离和，
Figure BDA00025123156300000911
要求生成轨迹尽量接近初始参考轨迹
Figure BDA00025123156300000912
α,β,γ为非负的加权参数。以此为目标求解控制量，控制量需满足如下约束条件：满足
Figure BDA00025123156300000913
的控制约束，满足Δ＝|ut(1)-ut(2)|<ωmax的转向约束，满足
Figure BDA0002512315630000101
的加速度约束。并考虑人机关系，满足
Figure BDA0002512315630000102
的人机最大距离约束,其中
Figure BDA0002512315630000103
表示控制量上界，ωmax表示角速度上界，
Figure BDA0002512315630000104
表示加速度上界，
Figure BDA0002512315630000105
表示人机间最大允许距离。最后，满足系统的避碰约束即
Figure BDA0002512315630000106
和运动转移约束Pt＝Δ*ut-1+Pt-1，其中
Figure BDA0002512315630000107
表示机器人与行人间最小允许间距。为便于求解，将上述数学描述转化为强化学习的规范形式，即设状态S＝[H,x,y,vx,vy,]，其中H为
Figure BDA0002512315630000108
的全体；将约束的不等式转换为差值形式，记差值形式加权和为
Figure BDA0002512315630000109
定义奖励函数为
Figure BDA00025123156300001010
即将不等约束转化为惩罚项的形式，优化目标即转化为argminπ∈Πr。同时，记未知的动态模型为p(st|st-1,ut-1)～∑N(s|μ,∑)，待估值函数为
Figure BDA00025123156300001011
通过DDPG强化学习方法构建Agent，其中Agent初始化为完全按参考轨迹输出动作。为解决在线训练对数据量要求高的问题，使用Crowds-by-Example数据集和BIWI Walking Pedestrians dataset提供的公共场所真实场景的行人位置信息进行预训练。如附图6所示，蓝色轨迹为经由细生成阶段得到的最终轨迹，红色表明行人的位置、朝向、速度。虚线框标出细生成轨迹同粗生成轨迹集
Figure BDA00025123156300001012
对比的主要差异。左侧线框处，生成轨迹的Agent选择下方轨迹，其原因是预训练数据集中所收集的样例遵循靠右行进的社会规范，因而Agent在不违反
Figure BDA00025123156300001013
尽可能小这一约束下倾向于选择行进方向右侧路线。右侧线框处，Agent受与周围行人间距‖pi-p‖2不应太小这一约束影响，牺牲一部分路径距离进行规避，实现高质量的局部自主路径规划。最后，将计算得到的左右轮组转速控制指令发往硬件平台运动控制器，完成自主牵引的任务。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种移动型导盲机器人导盲方法，其特征在于：包括如下步骤：
步骤一、采集训练数据；拍摄采集多张周围环境图片，构成图集D；并通过人工标注每张数据的内容轮廓；
步骤二、构建识别网络；在图像集D基础上进行迁移学习，得到材质判别模型，之后进行修剪、量化和霍夫曼编码，将材质判别模型压缩并通过TensorRT工具优化材质判别模型的算力消耗，同时对每类材质赋予惩罚值l，得到材质惩罚系数表，再将判别模型和材质惩罚系数表一并存储在机器人系统中；所述惩罚值表示对系统在该材质上运动的拒绝程度；
步骤三、材质检测以及材质评分；
材质检测：在运行模式下，传感器将获取的深度相机和彩色相机数据帧分别发送给步骤二所得的判别模型；利用判别模型得到像素坐标系下的材质信息M；所述材质信息M元素格式为(u，v，C)，u表示x轴方向像素坐标；v表示y轴方向像素坐标；C表示材质类别；
材质评分：为将其与世界坐标系下点云
Figure FDA0002512315620000011
建立联系，切取世界坐标系中机器人正前方1m*1m区域，由其中的点
Figure FDA0002512315620000012
计算对应的像素坐标
Figure FDA0002512315620000013
其中Twc为世界坐标到相机坐标变换阵，由惯性测量单元(IMU)读取得到，Cm为相机矩阵，由传感器预先标定得到；由
Figure FDA0002512315620000014
在M中查询对应的材质类别，按步骤二预定义的惩罚值替换材质类别C，得到材质损失Lmaterial，Lmaterial元素格式为(x，y，z，l)，x，y，z表示世界坐标系下坐标；l表示惩罚值；
步骤四、基于点云平面拟合的平坦型检测；
1)通过深度相机的深度点云信息获取实时路面点云数据；将数据转换为PCL点云处理库的PointCloud2数据类型，使用聚类型点云滤波器进行异常点补偿和点云滤波；
2)对滤波后的点云数据进行随机采样一致性评估，获得拟检测地平面的参数，进而得到估计平面；计算点云集中每一点到此平面的欧氏距离di，并按下式计算对应的li，进而得地平面平坦性描述T，T＝{l1，l2，...lN}；
Figure FDA0002512315620000015
上式中，均值
Figure FDA0002512315620000016
σ为敏感度阈值；选取T中位于世界坐标系中机器人正前方1m*1m区域的点构成集合，记为平坦损失Lterrian；
步骤五、2.5维栅格地图融合；
将步骤四得到的Lterrian和步骤三得到的Lmaterial相加得总损失Lmerge，Lmerage向步骤四得到的估计平面投影，并栅格化；对每个栅格进行如下操作：无映射点的栅格记惩罚值为无穷大；存在多映射点的栅格取最大惩罚值，从而得到2.5维栅格地图，将栅格地图发布为ROS消息，提交给规划模块处理；
步骤六、全局路径规划；即路网级规划，通过调用百度地图或高德地图API实现，其决策结果为一个路网级的轨迹参考线；
步骤七、两步法进行局部路径规划；
第一步、局部路径规划粗生成；在步骤五得到的栅格地图的信息基础上，暂不考虑行人这类高动态非合作目标的避碰约束，利用经典路径规划技术拟定初始局部规划的参考轨迹集
Figure FDA0002512315620000021
第二步、局部路径规划细生成；在初始参考轨迹集
Figure FDA0002512315620000022
的基础上考虑剩余约束要求和优化指标，生成最终的决策轨迹τ，进而由控制器生成具体的决策序列A0：T；
考虑控制时间片[t0，tf]，设
Figure FDA0002512315620000023
为处于导盲机器人领域中的Nnearby个行人在t时刻的状态向量，其中
Figure FDA0002512315620000024
Px，Py，为位置、Vx，Vy为速度，θb，为躯干的方向角，θh为头部的方向角；容许控制ut＝[rls，rrs]；rls为机器人左轮转速，rrs为机器人右轮转速。优化的总体目标为：
Figure FDA0002512315620000025
其中，α*(tf-t0)为时间最短目标，
Figure FDA0002512315620000026
为各行人与机器人的距离和，
Figure FDA0002512315620000027
要求生成轨迹尽量接近初始参考轨迹
Figure FDA0002512315620000028
α，β，γ为非负的加权参数；以此为目标求解控制量，控制量需满足如下约束条件：满足
Figure FDA00025123156200000210
的控制约束，满足Δ＝|ut(1)-ut(2)|＜ωmax的转向约束，满足
Figure FDA0002512315620000029
的加速度约束；并考虑人机关系，满足
Figure FDA0002512315620000031
的人机最大距离约束，其中
Figure FDA0002512315620000032
表示控制量上界，ωmax表示角速度上界，
Figure FDA0002512315620000033
表示加速度上界，
Figure FDA0002512315620000034
表示人机间最大允许距离；最后，满足系统的避碰约束即
Figure FDA0002512315620000035
和运动转移约束Pt＝Δ*ut-1+Pt-1，其中
Figure FDA0002512315620000036
表示机器人与行人间最小允许间距；为便于求解，本方法以将上述数学描述转化为强化学习的规范形式，即设状态S＝[H，x，y，vx，vy，]，其中H为
Figure FDA0002512315620000037
的全体；将约束的不等式转换为差值形式，差值形式的加权和为
Figure FDA0002512315620000038
定义奖励函数为
Figure FDA0002512315620000039
即将不等约束转化为惩罚项的形式，优化目标即转化为argminπ∈∏r；同时，记未知的动态模型为p(st|st-1，ut-1)～∑N(s|μ，∑)，待估值函数为
Figure FDA00025123156200000310
通过强化学习方法构建Agent，完成实时路径规划；将控制指令发送至行走电机控制器给定，推动机器人按规划轨迹行进。
2.实现如权利要求1所述方法的装置，其特征在于：包括：四轮差速式底盘、轮胎、减速电机和车壳；车壳侧部安装有携行提手，车壳底部安装有无线充电线圈；深度相机、CSI彩色摄像头、单线旋转式激光雷达、控制面板安装在车壳上；所述深度相机向下倾斜安装，CSI彩色摄像头向上倾斜安装；通过两级纽扣磁铁和磁编码器芯片测量连杆与车壳顶面的夹角；车体内部包括底盘驱动模块、中央处理模块、供配电模块和人机交互模块。
3.如权利要求1所述方法，其特征在于：步骤七所述经典路径规划技术包括RRT*或HybridA*。
4.如权利要求1所述方法，其特征在于：步骤七所述完成实时路径规划是通过强化学习方法构建Agent完成的。
5.如权利要求2所述装置，其特征在于：所述深度相机成像面与车壳夹角为15°；所述CSI彩色摄像头成像面与车壳夹角为15°。
6.如权利要求2所述装置，其特征在于：所述底盘驱动模块由基于嵌入式微处理器开发的控制板、无刷电机电调板、数字温度传感器、MEMS型IMU构成，控制板运行双闭环数字PID控制进行转速电流双闭环电机调速控制，接收电调板的编码信息进行转速计算，接收并处理安装于电机、主控板和锂离子电池上的三只数字温度芯片的温度数据对设备运行温度进行校验；MEMS型IMU负责测量机器人位姿，安装在车体中央部位。
7.如权利要求2所述装置，其特征在于：所述中央处理模块包括深度相机、激光雷达、深度学习计算卡、LTE-4G通信模块和卫星定位模块；所述深度学习计算卡系指可高效运行神经网络模型的高性能低成本边缘计算设备，能够保证本发明所述导盲机器人的相关方法对高性能计算的需求；所述深度相机连接到深度学习计算卡，能够保障在室外导盲环境下的稳定运行；所述激光雷达应连接到深度学习计算卡；所述LTE-4G通信模块应具有高速数据通信、高质量的语音、短信功能，是导盲机器人的必要通讯保障；所述卫星定位模块可支持北斗，GPS卫星信号，内置惯性融合单元，具有定位精度高，数据更新速度快的特点。
8.如权利要求2所述装置，其特征在于：所述供配电模块包括锂离子电池、DC-DC配电板、无线充电线圈和PTC加温模块；DC-DC配电板由高频反激式开关电源构成；PTC加温模块用于在低温时给电源加热至工作温区，防止电源低温放电损坏。
9.如权利要求2所述装置，其特征在于：人机交互模块包括蓝牙耳机与拾音器、转向灯组两个部分；所述蓝牙耳机与拾音器为通用型设备，与中央处理模块的深度学习计算卡通过蓝牙通讯相连接，该设备是支撑人机语音交互的核心设备；转向灯组包含左转向灯和右转向灯，用于告知外界机器人行进意图，方便对方适应性避让，提高通行效率。
10.如权利要求2所述装置，其特征在于：两级纽扣磁铁位于轴承中心旋转位置；轴承连杆装置安装于防水车壳后部的凸台上，连杆自由运动方向沿车轮轴向垂直。
CN202010465070.XA 2020-05-28 2020-05-28 一种移动型导盲机器人系统及导盲方法 Active CN111609851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010465070.XA CN111609851B (zh) 2020-05-28 2020-05-28 一种移动型导盲机器人系统及导盲方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010465070.XA CN111609851B (zh) 2020-05-28 2020-05-28 一种移动型导盲机器人系统及导盲方法

Publications (2)

Publication Number Publication Date
CN111609851A true CN111609851A (zh) 2020-09-01
CN111609851B CN111609851B (zh) 2021-09-24

Family

ID=72205760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010465070.XA Active CN111609851B (zh) 2020-05-28 2020-05-28 一种移动型导盲机器人系统及导盲方法

Country Status (1)

Country Link
CN (1) CN111609851B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112130570A (zh) * 2020-09-27 2020-12-25 重庆大学 一种基于强化学习的最优输出反馈控制器的导盲机器人
CN112975977A (zh) * 2021-03-05 2021-06-18 西北大学 一种高效的机械臂抓取深度强化学习奖励训练方法及系统
CN113332110A (zh) * 2021-06-02 2021-09-03 西京学院 一种基于景物听觉感知的导盲手电及导盲方法
CN113365370A (zh) * 2021-05-24 2021-09-07 内蒙古工业大学 一种基于LoRa技术的智能移动系统
CN113917452A (zh) * 2021-09-30 2022-01-11 北京理工大学 一种视觉与雷达结合的盲道检测装置和方法
CN113946125A (zh) * 2021-10-21 2022-01-18 启迪云控(上海)汽车科技有限公司 一种基于多源感知与控制信息的决策方法及装置
CN114374241A (zh) * 2021-12-16 2022-04-19 杭州申昊科技股份有限公司 一种用于智能巡检机器人的自动充电方法和无线充电屋
CN114578834A (zh) * 2022-05-09 2022-06-03 北京大学 基于目标分层双感知域的强化学习的无人车路径规划方法
CN117687307A (zh) * 2024-02-02 2024-03-12 广东控银实业有限公司 一种多摇杆控制方法、装置、设备及存储介质
CN117687307B (zh) * 2024-02-02 2024-04-26 广东控银实业有限公司 一种多摇杆控制方法、装置、设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102048612A (zh) * 2011-01-07 2011-05-11 东华大学 一种基于机器视觉的导盲机器人
CN105761242A (zh) * 2016-01-27 2016-07-13 北京航空航天大学 一种基于计算机双目视觉与惯性测量的盲人行走定位方法
CN106074102A (zh) * 2016-08-12 2016-11-09 李乾 一种导盲机器人
CN106840148A (zh) * 2017-01-24 2017-06-13 东南大学 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法
CN206543260U (zh) * 2016-08-12 2017-10-10 陈星兆 一种导盲机器人
CN107613125A (zh) * 2017-09-22 2018-01-19 常州大学 一种基于智能手机的盲人识别及引导式导盲的方法
CN108764146A (zh) * 2018-05-29 2018-11-06 杭州视氪科技有限公司 一种地形和目标检测方法
CN109002039A (zh) * 2018-07-06 2018-12-14 达闼科技（北京）有限公司 避障提醒方法、相关装置及计算机可读存储介质
CN109074490A (zh) * 2018-07-06 2018-12-21 深圳前海达闼云端智能科技有限公司 通路检测方法、相关装置及计算机可读存储介质
CN110309785A (zh) * 2019-07-03 2019-10-08 孙启城 一种基于图像识别技术的导盲机器人控制方法
CN110368275A (zh) * 2019-08-12 2019-10-25 广州大学 一种导盲机器人及导盲系统、导盲方法
CN110478206A (zh) * 2019-09-10 2019-11-22 李少阳 一种智能导盲系统及设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102048612A (zh) * 2011-01-07 2011-05-11 东华大学 一种基于机器视觉的导盲机器人
CN105761242A (zh) * 2016-01-27 2016-07-13 北京航空航天大学 一种基于计算机双目视觉与惯性测量的盲人行走定位方法
CN106074102A (zh) * 2016-08-12 2016-11-09 李乾 一种导盲机器人
CN206543260U (zh) * 2016-08-12 2017-10-10 陈星兆 一种导盲机器人
CN106840148A (zh) * 2017-01-24 2017-06-13 东南大学 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法
CN107613125A (zh) * 2017-09-22 2018-01-19 常州大学 一种基于智能手机的盲人识别及引导式导盲的方法
CN108764146A (zh) * 2018-05-29 2018-11-06 杭州视氪科技有限公司 一种地形和目标检测方法
CN109002039A (zh) * 2018-07-06 2018-12-14 达闼科技（北京）有限公司 避障提醒方法、相关装置及计算机可读存储介质
CN109074490A (zh) * 2018-07-06 2018-12-21 深圳前海达闼云端智能科技有限公司 通路检测方法、相关装置及计算机可读存储介质
CN110309785A (zh) * 2019-07-03 2019-10-08 孙启城 一种基于图像识别技术的导盲机器人控制方法
CN110368275A (zh) * 2019-08-12 2019-10-25 广州大学 一种导盲机器人及导盲系统、导盲方法
CN110478206A (zh) * 2019-09-10 2019-11-22 李少阳 一种智能导盲系统及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李星河: "基于激光扫描与视觉融合的地形估计与属性认知研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112130570A (zh) * 2020-09-27 2020-12-25 重庆大学 一种基于强化学习的最优输出反馈控制器的导盲机器人
CN112130570B (zh) * 2020-09-27 2023-03-28 重庆大学 一种基于强化学习的最优输出反馈控制器的导盲机器人
CN112975977A (zh) * 2021-03-05 2021-06-18 西北大学 一种高效的机械臂抓取深度强化学习奖励训练方法及系统
CN113365370A (zh) * 2021-05-24 2021-09-07 内蒙古工业大学 一种基于LoRa技术的智能移动系统
CN113332110A (zh) * 2021-06-02 2021-09-03 西京学院 一种基于景物听觉感知的导盲手电及导盲方法
CN113332110B (zh) * 2021-06-02 2023-06-27 西京学院 一种基于景物听觉感知的导盲手电及导盲方法
CN113917452A (zh) * 2021-09-30 2022-01-11 北京理工大学 一种视觉与雷达结合的盲道检测装置和方法
CN113917452B (zh) * 2021-09-30 2022-05-24 北京理工大学 一种视觉与雷达结合的盲道检测装置和方法
CN113946125A (zh) * 2021-10-21 2022-01-18 启迪云控(上海)汽车科技有限公司 一种基于多源感知与控制信息的决策方法及装置
CN113946125B (zh) * 2021-10-21 2023-12-22 云控智行(上海)汽车科技有限公司 一种基于多源感知与控制信息的决策方法及装置
CN114374241A (zh) * 2021-12-16 2022-04-19 杭州申昊科技股份有限公司 一种用于智能巡检机器人的自动充电方法和无线充电屋
CN114374241B (zh) * 2021-12-16 2023-12-26 杭州申昊科技股份有限公司 一种用于智能巡检机器人的自动充电方法和无线充电屋
CN114578834A (zh) * 2022-05-09 2022-06-03 北京大学 基于目标分层双感知域的强化学习的无人车路径规划方法
CN117687307A (zh) * 2024-02-02 2024-03-12 广东控银实业有限公司 一种多摇杆控制方法、装置、设备及存储介质
CN117687307B (zh) * 2024-02-02 2024-04-26 广东控银实业有限公司 一种多摇杆控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111609851B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN111609851B (zh) 一种移动型导盲机器人系统及导盲方法
WO2021027568A1 (zh) 障碍物避让方法及装置
US11348339B2 (en) Association and tracking for autonomous devices
US11934962B2 (en) Object association for autonomous vehicles
US11635764B2 (en) Motion prediction for autonomous devices
US11548533B2 (en) Perception and motion prediction for autonomous devices
CN110543814B (zh) 一种交通灯的识别方法及装置
CN108196535B (zh) 基于增强学习和多传感器融合的自动驾驶系统
CN110400490B (zh) 轨迹预测方法和装置
US11420648B2 (en) Trajectory prediction for autonomous devices
US11682137B2 (en) Refining depth from an image
CN107943016A (zh) 用于自主车辆的群体驾驶风格学习框架
WO2020086358A1 (en) Object action classification for autonomous vehicles
CN113453970A (zh) 基于外观的运动预测
EP2526508A1 (en) Traffic signal mapping and detection
CN112543877B (zh) 定位方法和定位装置
JP2024041897A (ja) データ配信システム、センサデバイス及びサーバ
CN115578711A (zh) 自动换道方法、装置及存储介质
US20230048680A1 (en) Method and apparatus for passing through barrier gate crossbar by vehicle
CN112810603B (zh) 定位方法和相关产品
CN116261649A (zh) 一种车辆行驶意图预测方法、装置、终端及存储介质
WO2023230740A1 (zh) 一种异常驾驶行为识别的方法、装置和交通工具
CN114821212A (zh) 交通标志物的识别方法、电子设备、车辆和存储介质
WO2022041820A1 (zh) 换道轨迹的规划方法及装置
WO2022001432A1 (zh) 推理车道的方法、训练车道推理模型的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant