CN209154263U - 一种基于双目视觉的自主避障智能轮椅 - Google Patents
一种基于双目视觉的自主避障智能轮椅 Download PDFInfo
- Publication number
- CN209154263U CN209154263U CN201821073454.1U CN201821073454U CN209154263U CN 209154263 U CN209154263 U CN 209154263U CN 201821073454 U CN201821073454 U CN 201821073454U CN 209154263 U CN209154263 U CN 209154263U
- Authority
- CN
- China
- Prior art keywords
- camera
- wheelchair
- wheel chair
- handrail
- automatic obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本实用新型涉及一种基于双目视觉的自主避障智能轮椅;其包含电动轮椅主体，其特征在于，电动轮椅主体为由电池驱动的轮椅，电动轮椅设置有左扶手和右扶手，其右扶手的前方设置有两个摄像头，分别为左相机和右相机，在电动轮椅主体的车身内部还包含视觉处理器、电机控制器，电动轮椅还包含驱动车轮的两个电机。左相机和右相机连接至视觉处理器，视觉处理器连接电机控制器，电机控制器连接两个电机，本实用新型采用双目视觉测距的方法，属于面阵扫描，实现轮椅的自主避障，与传统线性扫描的超声波、激光雷达方法相比，建立的环境地图无盲区，且体积更小、成本更低。
Description
技术领域
本实用新型涉及智能轮椅避障技术领域,涉及一种基于双目视觉的智能轮椅避障轮椅。
背景技术
现有的一种人口老龄化和残疾人士的起居和出行，都非常不方便，轮椅成为这一个特殊社会群体的一个重要工具。通常情况下，老年人和残疾人士的行动能力和反应能力都低于普通人，具备自动避障的电动轮椅，无论是在室外活动、还是在室内狭小环境，都是一个不可缺少的安全保障。目前，大部分使用超声波传感器、红外传感器，只能感知障碍物，没办法自主绕开障碍物，也不能自主控制轮椅通过空间狭小的门或拐角；也有一部分使用kinet深度相机、激光雷达来感知障碍物，生成地图，实现自主避障和室内导航，但其价格比较昂贵，体积也比较大，一般消费者难以承受。
实用新型内容
本实用新型针对以上不足，提出一种基于双目视觉的自主避障智能轮椅，其可以实现自主绕开障碍物，具有制造成本低的优点。
一种基于双目视觉的自主避障智能轮椅，其包含电动轮椅主体，其特征在于，电动轮椅主体为由电池驱动的轮椅，轮椅设置有左扶手和右扶手，其右手扶手的前方设置有两个摄像头，分别为左相机和右相机，在电动轮椅主体的车身内部还包含视觉处理器、电机控制器、还包含驱动车轮的两个电机。
左相机和右相机连接至视觉处理器，视觉处理器连接至电机控制器，电机控制器连接两个电机。
进一步地，左相机和右相机安装位置高度相同，其水平距离小于20cm,左相机和右相机安装在同一个扶手上，左相机和右相机并排对着前方，其作用是便于获取图像差，减少运算量。
进一步地，视觉处理器上安装有IMU器件，作用是进行惯性运动估计，同时用图像深度信息与环境地图做匹配，定位轮椅当前位置。
本实用新型通过左相机和右相机标定地图的方式来实现自主避障，具体步骤为：
左、右相机标定：左、右相机分别采集不同距离、不同角度的棋盘网格图像，对网格交叉点进行标定，计算出左相机的内参数和外参数、右相机的内参数和外参数，再由这些参数生成立体测距参数。
左相机和右相机图像同时输入视觉处理器，视觉处理器对左右相机图像进行块匹配，得到视差图。由视差图和立体测距参数，得到深度图。
由不同位置的深度图，计算出点云。
结合IMU，进行轮椅的运动估计，此时估计出来的轮椅位置存在比较大的误差。用当前深度图跟环境地图进行匹配，得到较为精确的轮椅位置。
由匹配后的位置，结合深度图，重新更新环境地图，以适应变化的环境。
根据轮椅当前位置、环境地图，判断前进方向是否有障碍物。若有障碍物，寻找适合通过的空隙，控制电机方向，顺利通过空隙，实现自主的避障和绕碍功能。
附图说明
图1是本实用新型实施例的一种基于双目视觉的智能轮椅避障轮椅结构示意图。
图2是本实用新型实施例的一种基于双目视觉的智能轮椅避障轮椅系统工作示意图。
图3是本实用新型实施例的一种基于双目视觉的智能轮椅避障轮椅系统工作示意图。
图4是本实用新型实施例的相机标定时图像坐标与参考坐标的转换公式。
图5是本实用新型实施例的相机标定时图像坐标与参考坐标的转换公式。
具体实施方式
以下将结合具体实施例和附图对本实用新型进行详细说明。
请参阅图1-2，示出一种基于双目视觉的自主避障智能轮椅，其可以实现自主绕开障碍物，具有制造成本低的优点。
本发明的目的在于解决电动轮椅使用过程中易撞人、撞门的现实问题，提供一种基于双目视觉的自主避障方案。
一种基于双目视觉的自主避障智能轮椅，其包含电动轮椅主体1，电动轮椅主体为由电池驱动的轮椅，电动轮椅主体设置有左扶手12和右扶手11，其右扶手11的前方设置有两个摄像头13，分别为左相机和右相机，在电动轮椅主体1的车身内部还包含视觉处理器、电机控制器、还包含驱动车轮的两个电机，视觉处理器上安装有IMU器件。
具体地，左相机和右相机连接至视觉处理器，视觉处理器连接至电机控制器，电机控制器连接两个电机。
具体地，左相机和右相机安装位置高度相同，其水平距离小于20cm,左相机和右相机安装在同一个扶手上，左相机和右相机并排对着前方，其作用是便于获取图像差，减少运算量。
如图3，本实用新型通过左相机和右相机标定地图的方式来实现自主避障，具体步骤为：
1、左、右相机标定：左、右相机分别采集不同距离、不同角度的棋盘网格图像，对网格交叉点进行标定，计算出左相机的内参数和外参数、右相机的内参数和外参数，再由这些参数生成立体测距参数。
2、左相机和右相机图像同时输入视觉处理器，视觉处理器对左右相机图像进行块匹配，得到视差图。由视差图和立体测距参数，得到深度图。
3、由不同位置的深度图，计算出点云。
4、结合IMU，进行轮椅的运动估计，此时估计出来的轮椅位置存在比较大的误差。用当前深度图跟环境地图进行匹配，得到较为精确的轮椅位置。
5、由匹配后的位置，结合深度图，重新更新环境地图，以适应变化的环境。
6、根据轮椅当前位置、环境地图，判断前进方向是否有障碍物。若有障碍物，寻找适合通过的空隙，控制电机方向，顺利通过空隙，实现自主的避障和绕碍功能。
如图4-5，为相机标定时图像坐标与参考坐标的转换公式：需要在相机前方放置一个棋盘网格，在不同距离、不同角度采集图像，对网格交叉点进行标定。计算左、右相机各自的内参数(Fx, Fy)和(Cx, Cy)，外参数R和T。其中(X， Y， Z)为参考坐标系，I(x, y)为图像坐标系，(Oc, Xc, Yc)为相机坐标系。图像坐标与参考坐标的转换如图4-5，通过棋盘网格，可经过光束平差算法求解出。由左、右相机的内参数和外参数，生成立体测距参数，用于视差图转深度图。
本实用新型的实施步骤为：视觉处理器从左相机和右相机获取实时图像，进行双目视觉测距，得到图像深度信息，结合SLAM技术定位建立环境地图。视觉处理器上安装有IMU器件，进行惯性运动估计，同时用图像深度信息与环境地图做匹配，定位轮椅当前位置。视觉处理器由轮椅当前位置和环境地图，感知轮椅周围环境，遇到障碍物时，能自动寻找障碍物周围合适通过的空隙。视觉处理器通过电机控制器精确控制各电机的转动角度，在通过门或拐角等狭小空间，也能顺利无停顿的安全通过。
本发明的有益效果有于：采用双目视觉测距的方法，属于面阵扫描，与传统线性扫描的超声波、激光雷达方法相比，建立的环境地图无盲区，且体积更小、成本更低。
以上所揭露的仅为本实用新型一种较佳实施例而已，当然不能以此来限定本实用新型之权利范围，因此依本实用新型权利要求所作的等同变化，仍属本实用新型所涵盖的范围。
Claims (3)
1.一种基于双目视觉的自主避障智能轮椅，其包含电动轮椅主体，其特征在于，电动轮椅主体为由电池驱动的轮椅，电动轮椅设置有左扶手和右扶手，其右扶手的前方设置有两个摄像头，分别为左相机和右相机，在电动轮椅主体的车身内部还包含视觉处理器、电机控制器，电动轮椅还包含驱动车轮的两个电机,左相机和右相机连接至视觉处理器，视觉处理器连接电机控制器，电机控制器连接两个电机。
2.根据权利要求1所述的一种基于双目视觉的自主避障智能轮椅，其特征在于，左相机和右相机安装位置高度相同，其水平距离小于20cm,左相机和右相机安装在同一个扶手上，左相机和右相机并排对着前方。
3.根据权利要求1所述的一种基于双目视觉的自主避障智能轮椅，其特征在于，视觉处理器上安装有IMU器件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201821073454.1U CN209154263U (zh) | 2018-07-09 | 2018-07-09 | 一种基于双目视觉的自主避障智能轮椅 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201821073454.1U CN209154263U (zh) | 2018-07-09 | 2018-07-09 | 一种基于双目视觉的自主避障智能轮椅 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN209154263U true CN209154263U (zh) | 2019-07-26 |
Family
ID=67327339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201821073454.1U Expired - Fee Related CN209154263U (zh) | 2018-07-09 | 2018-07-09 | 一种基于双目视觉的自主避障智能轮椅 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN209154263U (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110572444A (zh) * | 2019-08-21 | 2019-12-13 | 深圳市普威技术有限公司 | 一种用于传递神经信号的系统及方法 |
| CN110888441A (zh) * | 2019-11-29 | 2020-03-17 | 广州乐比计算机有限公司 | 一种基于陀螺仪的轮椅车控制系统 |
| CN112245128A (zh) * | 2020-09-10 | 2021-01-22 | 山东科技大学 | 脑电信号控制的助老助残机器人及人员监护系统 |
| CN112869968A (zh) * | 2021-01-14 | 2021-06-01 | 北京三角洲机器人科技有限公司 | 一种基于电动轮椅自主运行方法及其装置 |
| CN113081525A (zh) * | 2021-03-30 | 2021-07-09 | 南京工程学院 | 一种智能助行设备及智能助行设备的控制方法 |
| CN113576780A (zh) * | 2021-08-04 | 2021-11-02 | 北京化工大学 | 一种基于语义视觉slam的智能轮椅 |
-
2018
- 2018-07-09 CN CN201821073454.1U patent/CN209154263U/zh not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110572444A (zh) * | 2019-08-21 | 2019-12-13 | 深圳市普威技术有限公司 | 一种用于传递神经信号的系统及方法 |
| CN110572444B (zh) * | 2019-08-21 | 2021-11-19 | 深圳市普威技术有限公司 | 一种用于传递神经信号的系统及方法 |
| CN110888441A (zh) * | 2019-11-29 | 2020-03-17 | 广州乐比计算机有限公司 | 一种基于陀螺仪的轮椅车控制系统 |
| CN110888441B (zh) * | 2019-11-29 | 2023-04-07 | 广州乐比计算机有限公司 | 一种基于陀螺仪的轮椅车控制系统 |
| CN112245128A (zh) * | 2020-09-10 | 2021-01-22 | 山东科技大学 | 脑电信号控制的助老助残机器人及人员监护系统 |
| CN112245128B (zh) * | 2020-09-10 | 2022-02-08 | 山东科技大学 | 脑电信号控制的助老助残机器人及人员监护系统 |
| CN112869968A (zh) * | 2021-01-14 | 2021-06-01 | 北京三角洲机器人科技有限公司 | 一种基于电动轮椅自主运行方法及其装置 |
| CN113081525A (zh) * | 2021-03-30 | 2021-07-09 | 南京工程学院 | 一种智能助行设备及智能助行设备的控制方法 |
| CN113576780A (zh) * | 2021-08-04 | 2021-11-02 | 北京化工大学 | 一种基于语义视觉slam的智能轮椅 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN209154263U (zh) | 一种基于双目视觉的自主避障智能轮椅 | |
| CN109634279B (zh) | 基于激光雷达与单目视觉的物体定位方法 | |
| CN105411490B (zh) | 移动机器人的实时定位方法及移动机器人 | |
| CN111708368B (zh) | 一种基于激光与视觉slam融合的智能轮椅 | |
| EP2769239B1 (en) | Methods and systems for creating maps with radar-optical imaging fusion | |
| CN205905026U (zh) | 一种基于双目立体视觉的机器人系统 | |
| WO2016033797A1 (en) | Multi-sensor environmental mapping | |
| US20190192361A1 (en) | Mobility and mobility system | |
| US11378693B2 (en) | Floor surveying system | |
| EP3659001A1 (de) | Magnetometer für die roboternavigation | |
| CN110163963B (zh) | 一种基于slam的建图装置和建图方法 | |
| CN105389543A (zh) | 基于全方位双目视觉深度信息融合的移动机器人避障装置 | |
| CN108255177A (zh) | 机器人自主充电系统 | |
| CN110427042A (zh) | 基于超声波和双目视觉的无人机低空避障方法 | |
| CN109282808A (zh) | 用于桥梁三维巡航检测的无人机与多传感器融合定位方法 | |
| CN108478348A (zh) | 一种室内自主导航物联的智能轮椅车及控制方法 | |
| Pradeep et al. | A wearable system for the visually impaired | |
| CN108205314A (zh) | 基于立体视觉匹配的机器人导航装置及系统 | |
| Kumar et al. | Sensor fusion of laser and stereo vision camera for depth estimation and obstacle avoidance | |
| Gebre et al. | Remotely operated and autonomous mapping system (ROAMS) | |
| CN114923477A (zh) | 基于视觉与激光slam技术的多维度空地协同建图系统和方法 | |
| Droeschel et al. | Omnidirectional perception for lightweight UAVs using a continuously rotating 3D laser scanner | |
| CN108171754A (zh) | 一种基于双目视觉的机器人导航装置及方法 | |
| CN113081525B (zh) | 一种智能助行设备及智能助行设备的控制方法 | |
| CN111157008A (zh) | 基于多维环境信息感知的局部自主导航系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200122 Address after: 518000 room 304, block B, HuiFu building, tongfuyu Industrial Zone, Aiqun Road, Shangwu community, Shiyan street, Bao'an District, Shenzhen City, Guangdong Province Patentee after: Shenzhen Yimai Chuangxing Technology Co., Ltd Address before: 338000 Photoelectric Park No. 11, Emerging Industrial Park, Yushui District, Xinyu City, Jiangxi Province Patentee before: Jiangxi Smigo Medical Device Technology Co., Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190726 Termination date: 20210709 |