CN111708368B - 一种基于激光与视觉slam融合的智能轮椅 - Google Patents

一种基于激光与视觉slam融合的智能轮椅 Download PDF

Info

Publication number
CN111708368B
CN111708368B CN202010645727.0A CN202010645727A CN111708368B CN 111708368 B CN111708368 B CN 111708368B CN 202010645727 A CN202010645727 A CN 202010645727A CN 111708368 B CN111708368 B CN 111708368B
Authority
CN
China
Prior art keywords
module
laser
sending
wheelchair
control processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010645727.0A
Other languages
English (en)
Other versions
CN111708368A (zh
Inventor
陈勇
党淑雯
李陆君
王庆渠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Engineering Science
Original Assignee
Shanghai University of Engineering Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Engineering Science filed Critical Shanghai University of Engineering Science
Priority to CN202010645727.0A priority Critical patent/CN111708368B/zh
Publication of CN111708368A publication Critical patent/CN111708368A/zh
Application granted granted Critical
Publication of CN111708368B publication Critical patent/CN111708368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10—Parts, details or accessories
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/30—General characteristics of devices characterised by sensor means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/72—Electric energy management in electromobility

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Acoustics & Sound (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于激光与视觉SLAM融合的智能轮椅，包括轮椅本体；用于实时检测轮椅本体与周围障碍物之间的距离，并发送至环境感知模块的超声波传感器；用于实时获取轮椅本体周围的环境数据，并发送至环境感知模块的激光雷达；用于实时获取轮椅本体周围的RGB图像信息和深度，并发送至环境感知模块的深度相机；用于融合超声波传感器和激光雷达的实时检测值得到融合信息，同深度相机采集的数据一起发送至控制处理模块的环境感知模块；用于由融合信息、深度相机采集的数据和当前命令产生运动控制指令，并发送至电机驱动模块的控制处理模块；用于根据运动控制指令对轮椅本体进行驱动的电机驱动模块。本发明的轮椅能够自主定位避障且安全可靠。

Description

一种基于激光与视觉SLAM融合的智能轮椅
技术领域
本发明属于智能轮椅技术领域，涉及一种基于激光与视觉SLAM融合的智能轮椅，特别涉及一种室内多传感器融合的可实现自主定位、避障、语音交互、控制模式自主切换等功能的智能轮椅。
背景技术
作为世界第一人口大国的中国，我国的社会老龄化和残障人群总数不断攀升。截止2014年，60岁以上老年人口达到2.1亿，占总人口的比例15.5％，2.1亿的人里有将近4000万人是失能、半失能的老人。据有关部门预测，到2035年老年人口将达到4亿人，失能、半失能的老人数量会进一步增多。另外据第二次全国残疾人抽样调查数据推算，中国目前各类残疾人总数为8296万人，占全国人口总数6.34％，其中肢体残疾的占到了总人数的将近30％。在这两类人群中，丧失运动功能障碍的人数占相当一部分比例。在现代科学技术的快速发展，人们的生活水平不断上升的大环境下，如何改善他们的生活，提高有行动障碍的老年人及残障人士的行动能力，给他们提供性能优良的代步工具就显得尤为重要。
现在，市面上普通的轮椅对用户的上肢能动性要求较高，对于一些肢体存在功能障碍的人群使用和控制轮椅有一定难度。电动轮椅产品，功能过于简单，仅仅是以电力取代人力，并没有智能交互和自我处理能力，使用时存在操作不当，易与周围环境发生碰撞等安全隐患，难以满足老年人与残疾人这一特殊用户群的需求。国内外智能轮椅主要的供应商也大多集中于欧美发达国家，比较典型的有德国乌尔姆大学的MAID项目、不莱梅大学的Rolland项目、西班牙的SIAMO项目、希腊的SENARIO项目等，但是他们的产品销售价格却很昂贵，对于国内大多数残疾人来说是很难支付的。市场调查表明，70％以上的被调查人都表示，只要价格适当，将会选择智能轮椅产品。因此，研制一种结构可靠、便于操作而且价格又相对适中的多功能智能轮椅成为技术热点，不仅能为老年人或者身体有残疾的人提供性能优良和安全可靠的代步工具，也将会产生良好的经济效益，对增强我国老年人和肢体伤残病人的生活自理能力，提高他们的生活质量，减轻家庭和社会的负担，具有十分重要意义。
目前许多智能机器上运用SLAM(simultaneous localization and mapping)即时定位与地图构建，或并发建图与定位，基于SLAM算法实现精准定位要求，同步定位及建图技术使移动机器人具有自主导航能力的关键技术。它确保移动机器人在未知环境中，从未知起点增量式地构建环境地图，同时利用环境地图进行自我定位。激光SLAM是运用激光雷达通过360度向四周发射激光束感知周围环境，并获得其周围环境中障碍物的方位和距离信息。但仅仅只能扫描一个平面，由于安装位置和视野原因，又不可能装的特别低。视觉SLAM使用单目、多目、深度相机或者使用图像信息处理设备获得图像信息，但很难解决光线和过光物体的问题和无纹理区的处理难度。本发明提出了一种基于深度相机和2D激光雷达的建图方法，通过可旋转的激光雷达，实时获取所在环境的障碍物数据，融合了深度相机的点云数据，结合超声波传感器进行距离检测来感知周围环境并提取有用信息来建立地图，同时用该地图实现自身定位和避障。
发明内容
本发明的目的是解决现有技术中的问题，提供一种基于激光与视觉SLAM融合的智能轮椅。
为达到上述目的，本发明采用的技术方案如下：
一种基于激光与视觉SLAM融合的智能轮椅，包括轮椅本体、超声波传感器、激光雷达、深度相机、环境感知模块、控制处理模块和电机驱动模块；超声波传感器、激光雷达和深度相机与环境感知模块连接，环境感知模块和电机驱动模块同时与控制处理模块连接；
超声波传感器用于实时检测轮椅本体与周围障碍物之间的距离，并发送至环境感知模块；超声波传感器通过接受触发信号发射超声波，当遇到障碍物时反射，并由接收器接收到后，随即停止计数并输出回响信号，通过计算触发信号和回响信号的时间差，即可获取实时检测的距离；
激光雷达用于实时获取轮椅本体周围的环境数据，如目标距离、方位、高度、速度、姿态、甚至形状等参数，并发送至环境感知模块；
深度相机用于实时获取轮椅本体周围的RGB(rgbcube)图像信息和深度，并发送至环境感知模块；
环境感知模块用于将超声波传感器的实时检测值通过机器人通信协议，与软件系统连接，以激光检测形式表示，加入激光雷达的相应显示数组内，得到融合超声的激光雷达获得的信息，同深度相机采集的数据一起发送至控制处理模块；
控制处理模块用于由融合超声的激光雷达获得的信息求取位姿后，基于RBPF算法构建激光局部栅格地图，同时基于八叉树将深度相机采集的数据三维点云二维化得到投影环境地图，再基于概率模型的简化贝叶斯推理将激光局部栅格地图和投影环境地图的数据相融合，得到全局栅格地图，在收到当前命令后结合全局栅格地图产生运动控制指令，并发送至电机驱动模块；
本发明采用基于概率模型的简化贝叶斯推理来融合融合超声的激光雷达获得的场景信息与深度相机三维点云二维化获取的场景信息，这个方法使用当前已知的一个向量对未知的状态向量进行计算，即在一个状态空间中求取后验概率；
已知观测ZK＝{zi,i＝1,2....k}和当前时刻的概率xk，可以将先验分布表达为：
Figure BDA0002572964140000021
其中：p(zk|xk)表示基于传感器观测模型的似然函数；
p(xk|Zk-1)表示机器人动力学模型的先验分布；
p(Zk|Zk-1)表示归一化概率密度函数；
本文使用贝叶斯方法来对栅格地图的概率进行更新，规则如表1；
表1
Figure BDA0002572964140000031
通过贝叶斯推理，可以得到观测模型的条件概率：
Figure BDA0002572964140000032
Figure BDA0002572964140000033
式中，P(E|O)表示已被占据的情况下并且监测到障碍物的概率；
P(E)表示每个栅格单元的先验概率，因为对于栅格G其中开始的任意一个单元点
Figure BDA0002572964140000034
以根据贝叶斯递推法则结合当前观测值ri＝(rt,rt-n,...ro)得出如下融合公式计算估计值：
Figure BDA0002572964140000035
其中：Po表示测量距离为R的更新估计值即栅格单元条件概率；
Figure BDA0002572964140000036
表示传感器(即激光雷达和深度相机)通过观测确认栅格是否被占据的条件概率；
Figure BDA0002572964140000037
表示先验地图的栅格占据单元的先验概率，初始化为0.5；
根据上述方法，将每个栅格单元独立地计算占据概率，得到的是原始数据地图(即全局地图)和使用上述方法更新后的局部栅格地图，局部更新地图部分，按照更新全局地图的顺序依次添加到上一时刻更新的全局地图中即利用改进之后的栅格单元占据概率代替初始栅格单元占据概率；
对于融合超声的激光雷达和深度相机得到的栅格地图的对应坐标的占据栅格单元概率设立占据状态的事件优先级：占据→空→不确信；即融合规则为：占据+空＝占据；占据+不确信＝占据；空+不确信＝空；不确信+不确信＝不确信；当融合超声的激光雷达和深度相机得到的栅格地图的对应坐标的占据栅格单元概率都具有不确信度时，将其通过贝叶斯方法融合得到栅格单元占据概率Po f：
Figure BDA0002572964140000041
其中：P1 O与P2 O分别为融合超声的激光雷达和深度相机得到的栅格地图的对应坐标的占据栅格单元概率，为简化运算，当概率值大于初始概率时取值为1，小于初始概率时保持贝叶斯估计公式所求得的概率值不变；
电机驱动模块用于根据运动控制指令对轮椅本体进行驱动，实现驱动控制。
本发明基于激光与视觉SLAM融合对改善单一传感器观测存在不确定信息的问题十分有效，利用该系统可以更好的观测和描述障碍物。二维激光雷达抗干扰能力强，但仅仅只能扫描一个平面，由于安装位置和视野原因，又不可能装的特别低。深度相机存在易受日光干扰、无法测量透射材质等问题。针对激光建图方案以及深度相机建图方案的优缺点，本文基于贝叶斯推理将激光局部栅格地图和投影环境地图的数据相融合，采取了三种优先级(占据→空→不确信)的融合规则，单元栅格的概率融合使用贝叶斯推理构建模型，更新了对于栅格占据不确信度的融合方案。融合之后得到的地图具有三维信息，可弥补二维激光自身的局限性。融合算法相对于激光建图可以得到更加详细的场景信息，弥补了激光对平面外障碍物无法识别的局限；同时获得了比单独使用视觉传感器建图时更高的精度，建立更加精确完善的地图。具体设计如图1所示融合策略，首先利用安置的超声波传感器所测的距离信息，通过自定义机器人通信协议与BOOTBOT软件系统连接，由于各超声波传感器在一定的视野范围都将反馈的距离值表示成直线段，通过在激光雷达的驱动包内，改写相应部分程序，将超声波传感器实时检测值也以激光检测形式表示，加入相应显示数组内，通过融合超声的激光雷达能够有效检测透明玻璃和高反射物体，由融合超声的激光雷达获得的信息求取位姿，基于RBPF算法构建激光局部栅格地图；将深度相机采集的数据基于八叉树使其三维点云二维化，得到投影环境地图；基于贝叶斯推理使激光局部栅格地图和投影环境地图的数据相融合，得到全局栅格地图。融合方案既保留了激光数据的二维高精度同时增加了三维信息用于避障，地图鲁棒性增强。
作为优选的技术方案：
如上所述的一种基于激光与视觉SLAM融合的智能轮椅，轮椅本体包括底盘、电池组、左右扶手、靠背和两脚踏板，扶手旁设有挡板；底盘分为上下两层，上下两层通过空心立柱连接；电池组安装在底盘的上层。
如上所述的一种基于激光与视觉SLAM融合的智能轮椅，超声波传感器(数量可根据需求调整，本发明中以超声波传感器的数量为四个为例进行说明)和激光雷达安装在底盘的下层；深度相机安装在扶手旁的挡板的前端(本发明中所有的“前端”都是指沿轮椅本体前行方向靠前的一端)。
如上所述的一种基于激光与视觉SLAM融合的智能轮椅，电机驱动模块由一组从动轮和顺序连接的伺服控制器、伺服驱动器、伺服电机、一组驱动轮组成，伺服控制器与控制处理模块连接，控制处理模块传输信号到伺服控制器，伺服控制器接收到指令，再传输至伺服驱动器，使其驱动伺服电机运转，从而驱动驱动轮，驱动轮带动从动轮运动。
如上所述的一种基于激光与视觉SLAM融合的智能轮椅，驱动轮、从动轮和伺服电机安装在底盘的下层。
如上所述的一种基于激光与视觉SLAM融合的智能轮椅，基于激光与视觉SLAM融合的智能轮椅还包括传感器检测模块，传感器检测模块由红外测距传感器和碰撞开关组成；
红外测距传感器安装在两脚踏板的前端，安装方向斜向下，用于实时获取红外测距传感器与轮椅本体前方一定距离处的路面的距离，并发送至控制处理模块；
控制处理模块还用于在收到距离数据后，更新全局栅格地图，重新结合当前命令和全局栅格地图产生运动控制指令后，发送至电机驱动模块；
“一定距离”即红外测距传感器的检测距离，取决于红外测距传感器的安装位置和安装角度，可根据实际需要进行调整，举例说明如下：
红外测距传感器安装在两脚踏板的前端，安装方向斜向下，与水平成30度夹角，可使红外线斜向前下方射出，能够检测前方17cm处的路面情况，当地面平整时，红外测出的距离约为20cm，如果红外测出的距离突然边长，说明轮椅本体前方存在凹坑，控制处理模块接收到红外测距传感器发送的距离数据后会将其与标准值(20cm)进行比较，如果其不等于标准值则代表轮椅本体前方17cm处存在障碍物或凹坑，控制处理模块会更新全局栅格地图，将此位置标记为障碍物，再重新结合当前命令和更新后的全局栅格地图产生运动控制指令后发送至电机驱动模块，避免轮椅本体碰撞障碍物或陷入凹坑内；
碰撞开关安装在两脚踏板的前端和底盘下层的后端(本发明中所有的“后端”都是指沿轮椅本体前行方向靠后的一端)，用于在发生碰撞时，发送闭合信号至控制处理模块；
控制处理模块还用于在收到闭合信号后发出避碰警报。
基于超声波传感器、激光雷达和深度相机建立的全局栅格地图较为简略，只能反映轮椅本体周围的整体情况，并不能精确地反映轮椅本体前方较近距离处的情况，所以不可避免地会发生碰撞、跌落等情况，因此为了实现自主定位、避障、避碰、防跌，本发明增加了传感器检测模块，需要注意的是传感器检测模块并非必不可少的，当路况良好或者不考虑避碰、防跌等功能时，本发明的基于激光与视觉SLAM融合的智能轮椅也可以不包括传感器检测模块。
如上所述的一种基于激光与视觉SLAM融合的智能轮椅，基于激光与视觉SLAM融合的智能轮椅还包括手动摇控杆、麦克风、语音交互模块、音响和模式切换模块；
手动摇控杆安装在右扶手上，与电机驱动模块相连，其产生的运动控制指令由两路电压模拟信号组成，其中一路信号控制左右方向的转动，另一路控制前后方向的进退；
麦克风安装在扶手旁的挡板的后端，用于接收用户的当前命令，并发送至语音交互模块；
语音交互模块用于将用户的当前命令发送至控制处理模块，同时对用户作出应答，结合全局栅格地图产生运动控制指令进行运动，轮椅本体的行为完全取决于环境障碍的分布情况，而不受人工手动控制；
音响安装在左右扶手上，用于播放语音交互模块作出的应答；
模式切换模块通过安装在左扶手上的控制按钮来实现手动模式与自动模式的切换；切换到手动模式后，手动摇控杆开启，麦克风、语音交互模块和音响关闭，此时用户通过手动摇控杆控制轮椅运动；切换到自动模式后，手动摇控杆关闭，麦克风、语音交互模块和音响开启，此时用户通过简单语音命令输入如前行、转弯、停止等命令，结合全局栅格地图产生运动控制指令来控制轮椅运动。
手动模式与自动模式的控制按钮安装在左边扶手端，手动摇控杆安装在右边扶手端，两者可随用户使用情况交换位置，且与控制处理模块通信，根据周围环境人流等因素选择最佳模式，当处于人流或车流密集的情况，可以选择手动模式；当处于人流较少时，可以选择自动模式。
有益效果：
(1)自主定位与避障
本文提出使用激光与视觉SLAM融合的方法，根据激光雷达获取，进行相关性匹配，同时利用超声波传感器受光照影响小的特点，有效检测透明玻璃和高反射物体，融合激光和超声的传感器组合能够精确地获取轮椅的绝对位置或相对位置，从而定位轮椅位姿并建立激光局部栅格地图，根据深度相机数据提取ORB特征点，进行特征匹配，基于八叉树使其三维点云二维化，得到投影环境地图并与激光局部栅格地图使用贝叶斯进行融合；轮椅根据自身的传感器所提供的信息获取位姿，建立环境模型实现自主定位和避障；
(2)安全可靠性高
由红外测距传感器和碰撞开关组成的传感器检测模块能够在运行过程中实时监测路况，使得当遇到有凹坑、台阶或障碍物时，智能轮椅能够及时调整运行路线或者发出警报；
(3)操作简单
麦克风、语音交互模块、音响的存在赋予了智能轮椅语音交互的功能，能够让用户通过使用麦克风来直接用语音去输入命令，经过语音交互模块连接输送至控制处理模块，并发送运动控制指令至电机驱动模块，实现对轮椅本体的驱动控制，给一部分手不方便操作的用户带来更大的便利，更为人性化。
附图说明
图1为本发明的传感器融合策略图；
图2为本发明的自动控制系统示意图；
图3为本发明的智能轮椅的侧视图；
图4为本发明的智能轮椅底盘的俯视图；
其中，1-音响，2-手动摇控杆，3-深度相机，4-红外测距传感器，5-碰撞开关，6-激光雷达，7-从动轮，8-控制处理模块，9-伺服电机，10-驱动轮，11-超声波传感器，12-电池组，13-立柱。
具体实施方式
下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
一种基于激光与视觉SLAM融合的智能轮椅，如图3和图4所示，包括轮椅本体、超声波传感器11、激光雷达6、深度相机3、环境感知模块、控制处理模块8、电机驱动模块、传感器检测模块、手动摇控杆2、麦克风、语音交互模块、音响1和模式切换模块；
如图2所示，超声波传感器11、激光雷达6和深度相机3与环境感知模块连接；麦克风和音响1与语音交互模块连接；环境感知模块、电机驱动模块、传感器检测模块、语音交互模块和模式切换模块同时与控制处理模块8连接；
轮椅本体包括底盘、电池组12、左右扶手、靠背和两脚踏板，扶手旁设有挡板；底盘分为上下两层，上下两层通过空心立柱13连接；电池组12安装在底盘的上层；
超声波传感器11安装在底盘的下层，用于实时检测轮椅本体与周围障碍物之间的距离，并发送至环境感知模块；
激光雷达6安装在底盘的下层，用于实时获取轮椅本体周围的环境数据，并发送至环境感知模块；
深度相机3安装在扶手旁的挡板的前端，用于实时获取轮椅本体周围的RGB图像信息和深度，并发送至环境感知模块；
环境感知模块用于将超声波传感器11的实时检测值以激光检测形式表示，加入激光雷达6的相应显示数组内，得到融合超声的激光雷达6获得的信息，同深度相机3采集的数据一起发送至控制处理模块8；
控制处理模块8用于由融合超声的激光雷达6获得的信息求取位姿后，基于RBPF算法构建激光局部栅格地图，同时基于八叉树将深度相机3采集的数据三维点云二维化得到投影环境地图，再基于概率模型的简化贝叶斯推理将激光局部栅格地图和投影环境地图的数据相融合，得到全局栅格地图，在收到当前命令后结合全局栅格地图产生运动控制指令，并发送至电机驱动模块；
电机驱动模块用于根据运动控制指令对轮椅本体进行驱动，实现驱动控制；电机驱动模块由一组从动轮7和顺序连接的伺服控制器、伺服驱动器、伺服电机9、一组驱动轮10组成，伺服控制器与控制处理模块8连接；驱动轮10、从动轮7和伺服电机9安装在底盘的下层；
传感器检测模块由红外测距传感器4和碰撞开关5组成；红外测距传感器4安装在两脚踏板的前端，安装方向斜向下，用于实时获取红外测距传感器4与轮椅本体前方一定距离处的路面的距离，并发送至控制处理模块8；控制处理模块8还用于在收到距离数据后，更新全局栅格地图，重新结合当前命令和全局栅格地图产生运动控制指令后，发送至电机驱动模块；碰撞开关5安装在两脚踏板的前端和底盘下层的后端，用于在发生碰撞时，发送闭合信号至控制处理模块8；控制处理模块8还用于在收到闭合信号后发出避碰警报；
手动摇控杆2安装在右扶手上，与电机驱动模块相连，其产生的运动控制指令由两路电压模拟信号组成，其中一路信号控制左右方向的转动，另一路控制前后方向的进退；
麦克风安装在扶手旁的挡板的后端，用于接收用户的当前命令，并发送至语音交互模块；
语音交互模块用于将用户的当前命令发送至控制处理模块8，同时对用户作出应答；
音响1安装在左右扶手上，用于播放语音交互模块作出的应答；
模式切换模块通过安装在左扶手上的控制按钮来实现手动模式与自动模式的切换；切换到手动模式后，手动摇控杆2开启，麦克风、语音交互模块和音响1关闭；切换到自动模式后，手动摇控杆2关闭，麦克风、语音交互模块和音响1开启。
本发明的智能轮椅兼具多种功能，具体如下：
(1)自主定位与避障
控制处理模块同时与电机驱动模块、环境感知模块、传感器检测模块、语音交互模块和模式切换模块连接，当接收语音命令前，环境感知模块通过超声波传感器和激光雷达扫描环境周围，进行轮椅对应现在所处环境的位置坐标定位，构建激光局部栅格地图，运用深度相机进行数据采集，构建投影环境地图，最后将激光局部栅格地图和投影环境地图融合成全局栅格地图，实现自主定位及避障功能，这样把两者数据融合，能够提供更为完整的环境数据信息，使构建的图更具有鲁棒性，还解决了单用视觉传感器容易遇到特征不足的问题和即时重定位的问题，实现了连续定位；
(2)模式切换功能
当处于室外人流或车流密集的情况，在家人陪伴下出行，可以选择手动模式；当处于家室内时，可以选择自动模式；在自动模式下，可以通过语音对智能轮椅下达前进、停止、转向等命令，结合全局栅格地图产生运动控制指令，实现自主定位及避障行驶；
(3)语音交互功能
麦克风位于挡板后端，用于接收用户的命令，并传输到语音交互模块，进行语音交互模块的处理，与控制处理模块通信，再传输到电动驱动模块进行执行命令；当进入自动模式后，用户对麦克风说出唤醒语，如“小甲你好”，语音交互模块接收到后会做出定位判断到说话人的方向，其他角度的声音会被抑制接收，同时通过两扶手边的小音响发出语音，如“主人你好”，来作为回应，唤醒后支持持续的交互，用户可以连续的对话；
(4)避障防跌
避障系统由安装在轮椅前端左右的踏脚板上以及轮椅靠背后端的碰撞开关组成，用以防止在运动中发生碰撞；防跌落检测系统由两个安装在轮椅前端左右的踏脚板上的红外测距传感器组成，一旦测得距离边长，表面前方有台阶或者凹坑，随即调整出现路线。
现举例说明本发明的智能轮椅的使用过程，当用户在家里，其切换到自动模式时，并发出当前命令“前进”，当前命令经麦克风发送至语音交互模块，传输至控制处理模块，与此同时，超声波传感器实时检测轮椅本体与周围障碍物之间的距离数据，激光雷达实时获取轮椅本体周围的环境数据，深度相机实时获取轮椅本体周围的RGB图像信息和深度数据，这些数据经过控制处理模块融合构建得到了全局栅格地图，控制处理模块根据当前命令结合全局栅格地图产生运动控制指令，将运动控制指令传输至电机驱动模块，使轮椅执行当前命令，实现自主定位与避障。

Claims (4)

1.一种基于激光与视觉SLAM融合的智能轮椅，其特征在于，包括轮椅本体、超声波传感器、激光雷达、深度相机、环境感知模块、控制处理模块和电机驱动模块；超声波传感器、激光雷达和深度相机与环境感知模块连接，环境感知模块和电机驱动模块同时与控制处理模块连接；
超声波传感器用于实时检测轮椅本体与周围障碍物之间的距离，并发送至环境感知模块；
激光雷达用于实时获取轮椅本体周围的环境数据，并发送至环境感知模块；
深度相机用于实时获取轮椅本体周围的RGB图像信息和深度，并发送至环境感知模块；
环境感知模块用于将超声波传感器的实时检测值以激光检测形式表示，加入激光雷达的相应显示数组内，得到融合超声的激光雷达获得的信息，同深度相机采集的数据一起发送至控制处理模块；
控制处理模块用于由融合超声的激光雷达获得的信息求取位姿后，基于RBPF算法构建激光局部栅格地图，同时基于八叉树将深度相机采集的数据三维点云二维化得到投影环境地图，再基于概率模型的简化贝叶斯推理将激光局部栅格地图和投影环境地图的数据相融合，得到全局栅格地图，在收到当前命令后结合全局栅格地图产生运动控制指令，并发送至电机驱动模块；
电机驱动模块用于根据运动控制指令对轮椅本体进行驱动，实现驱动控制；
轮椅本体包括底盘、电池组、左右扶手、靠背和两脚踏板，扶手旁设有挡板；底盘分为上下两层，上下两层通过空心立柱连接；电池组安装在底盘的上层；
基于激光与视觉SLAM融合的智能轮椅还包括传感器检测模块，传感器检测模块由红外测距传感器和碰撞开关组成；
红外测距传感器安装在两脚踏板的前端，安装方向斜向下，用于实时获取红外测距传感器与轮椅本体前方一定距离处的路面的距离，并发送至控制处理模块；
控制处理模块还用于在收到距离数据后，更新全局栅格地图，重新结合当前命令和全局栅格地图产生运动控制指令后，发送至电机驱动模块；
碰撞开关安装在两脚踏板的前端和底盘下层的后端，用于在发生碰撞时，发送闭合信号至控制处理模块；
控制处理模块还用于在收到闭合信号后发出避碰警报；
基于激光与视觉SLAM融合的智能轮椅还包括手动摇控杆、麦克风、语音交互模块、音响和模式切换模块；
手动摇控杆安装在右扶手上，与电机驱动模块相连，其产生的运动控制指令由两路电压模拟信号组成，其中一路信号控制左右方向的转动，另一路控制前后方向的进退；
麦克风安装在扶手旁的挡板的后端，用于接收用户的当前命令，并发送至语音交互模块；
语音交互模块用于将用户的当前命令发送至控制处理模块，同时对用户作出应答；
音响安装在左右扶手上，用于播放语音交互模块作出的应答；
模式切换模块通过安装在左扶手上的控制按钮来实现手动模式与自动模式的切换；切换到手动模式后，手动摇控杆开启，麦克风和音响关闭；切换到自动模式后，手动摇控杆关闭，麦克风和音响开启。
2.根据权利要求1所述的一种基于激光与视觉SLAM融合的智能轮椅，其特征在于，超声波传感器和激光雷达安装在底盘的下层；深度相机安装在扶手旁的挡板的前端。
3.根据权利要求1所述的一种基于激光与视觉SLAM融合的智能轮椅，其特征在于，电机驱动模块由一组从动轮和顺序连接的伺服控制器、伺服驱动器、伺服电机、一组驱动轮组成，伺服控制器与控制处理模块连接。
4.根据权利要求3所述的一种基于激光与视觉SLAM融合的智能轮椅，其特征在于，驱动轮、从动轮和伺服电机安装在底盘的下层。
CN202010645727.0A 2020-07-07 2020-07-07 一种基于激光与视觉slam融合的智能轮椅 Active CN111708368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010645727.0A CN111708368B (zh) 2020-07-07 2020-07-07 一种基于激光与视觉slam融合的智能轮椅

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010645727.0A CN111708368B (zh) 2020-07-07 2020-07-07 一种基于激光与视觉slam融合的智能轮椅

Publications (2)

Publication Number Publication Date
CN111708368A CN111708368A (zh) 2020-09-25
CN111708368B true CN111708368B (zh) 2023-03-10

Family

ID=72546021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010645727.0A Active CN111708368B (zh) 2020-07-07 2020-07-07 一种基于激光与视觉slam融合的智能轮椅

Country Status (1)

Country Link
CN (1) CN111708368B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111093585B (zh) * 2017-09-11 2022-11-29 四川金瑞麒智能科学技术有限公司 一种轮椅、控制方法及计算机可读存储介质
CN112426289B (zh) * 2020-10-28 2023-05-12 北京工业大学 助老助残智能轮椅
CN112869968B (zh) * 2021-01-14 2023-01-17 安徽金百合医疗器械有限公司 一种基于电动轮椅自主运行方法及其装置
CN113119135A (zh) * 2021-02-26 2021-07-16 屈在留 基于智慧养老的智能机器人及其系统
CN113608532A (zh) * 2021-07-29 2021-11-05 深圳市眼科医院 一种用于盲人出行的自动避障系统及其代步车
CN113576780A (zh) * 2021-08-04 2021-11-02 北京化工大学 一种基于语义视觉slam的智能轮椅
CN113671959A (zh) * 2021-08-19 2021-11-19 成都视海芯图微电子有限公司 一种辅助运动支架的控制方法、装置及Soc系统
CN113616436B (zh) * 2021-08-23 2024-01-16 南京邮电大学 一种基于运动想象脑电与头姿的智能轮椅及控制方法
CN113689502B (zh) * 2021-09-01 2023-06-30 南京信息工程大学 一种多信息融合的障碍物测量方法
CN114265399A (zh) * 2021-11-25 2022-04-01 北京顺造科技有限公司 障碍物识别方法及自动清洁设备
CN114863075B (zh) * 2022-07-05 2022-10-14 深圳市新天泽消防工程有限公司 基于多传感器的消防疏散路径规划方法、装置、设备
CN115154080A (zh) * 2022-07-07 2022-10-11 广东职业技术学院 一种电动轮椅防碰撞系统及方法
CN115454057B (zh) * 2022-08-24 2023-11-10 中国矿业大学 一种煤矿机器人群数字孪生智能管控建模系统与方法
CN115328173A (zh) * 2022-10-14 2022-11-11 深圳市功夫机器人有限公司 基于激光雷达的移动机器人控制方法及移动机器人

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107174418A (zh) * 2017-06-28 2017-09-19 歌尔股份有限公司 一种智能轮椅及其控制方法
CN108710376A (zh) * 2018-06-15 2018-10-26 哈尔滨工业大学 基于多传感器融合的slam与避障的移动底盘
CN108920584A (zh) * 2018-06-25 2018-11-30 广州视源电子科技股份有限公司 一种语义栅格地图生成方法及其装置
CN109144067A (zh) * 2018-09-17 2019-01-04 长安大学 一种智能清洁机器人及其路径规划方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207824888U (zh) * 2017-06-27 2018-09-07 安徽奇智科技有限公司 一种智能移动机器人的避障控制系统
CN111221337B (zh) * 2020-01-19 2023-05-16 弗徕威智能机器人科技（上海）有限公司 机器人栅格地图的构建方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107174418A (zh) * 2017-06-28 2017-09-19 歌尔股份有限公司 一种智能轮椅及其控制方法
CN108710376A (zh) * 2018-06-15 2018-10-26 哈尔滨工业大学 基于多传感器融合的slam与避障的移动底盘
CN108920584A (zh) * 2018-06-25 2018-11-30 广州视源电子科技股份有限公司 一种语义栅格地图生成方法及其装置
CN109144067A (zh) * 2018-09-17 2019-01-04 长安大学 一种智能清洁机器人及其路径规划方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进RGB-D SLAM的移动机器人建图与导航研究;缪文良;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20200215;第46-49页第4.3节，第75页5.3.4节 *

Also Published As

Publication number Publication date
CN111708368A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN111708368B (zh) 一种基于激光与视觉slam融合的智能轮椅
CN107390703A (zh) 一种智能化导盲机器人及其导盲方法
CN207281590U (zh) 一种智能化导盲机器人装置
CN102631265B (zh) 一种智能轮椅的嵌入式控制系统
US11020294B2 (en) Mobility and mobility system
CN107174418A (zh) 一种智能轮椅及其控制方法
CN115143964B (zh) 一种基于2.5d代价地图的四足机器人自主导航方法
CN209154263U (zh) 一种基于双目视觉的自主避障智能轮椅
WO2020100595A1 (en) Information processing apparatus, information processing method, and program
CN110623820A (zh) 一种可穿戴式智能导盲装置
CN111035543A (zh) 一种智能导盲机器人
CN111258311A (zh) 一种基于智能视觉的井下移动机器人避障方法
CN113566808A (zh) 一种导航路径规划方法、装置、设备以及可读存储介质
CN210078040U (zh) 一种智能导盲装置
CN112554115B (zh) 一种导游扫地用机器人及其语音交互方法
CN113081525A (zh) 一种智能助行设备及智能助行设备的控制方法
CN114419842A (zh) 一种基于人工智能的辅助用户至智能马桶的跌倒报警方法及装置
CN206484563U (zh) 一种太阳能智能防摔导盲机器人
Hersh et al. Mobility: an overview
CN111966088B (zh) 一种自动驾驶儿童玩具车控制系统及控制方法
Zhao et al. A multi-sensor fusion system for improving indoor mobility of the visually impaired
CN211750566U (zh) 一种具有自主召唤功能的智能轮椅
CN112869968B (zh) 一种基于电动轮椅自主运行方法及其装置
CN110882110B (zh) 一种小区域智能行进轮椅
CN114494655A (zh) 一种基于人工智能辅助用户至智能马桶的导盲方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant