CN110338993A - 一种电动轮椅及电动轮椅自动跟随人员的方法 - Google Patents

Abstract

一种电动轮椅及电动轮椅自动跟随人员的方法，属于智能电子设备技术领域，在传统的电动轮椅结构上增设嵌入式计算机、双目相机及触摸屏，其结构新颖，而电动轮椅自动跟随人员的方法则丰富了现有市场上电动轮椅的功能，特别是将行人检测与双目相机相结合，在室内与室外环境下均可实现准确的二维图像上的人检测与三维空间中的人定位；根据空间位置关系实现了被跟随人员的自动选取；利用三维空间中人移动的连续性可快速确定被跟随的目标人员；采用比例控制器控制轮椅运动完成目标人员跟随，简单可靠。

Description

一种电动轮椅及电动轮椅自动跟随人员的方法

技术领域

本发明属于智能电子设备技术领域，涉及一种电动轮椅运动控制技术，具体的说是涉及一种电动轮椅及电动轮椅自动跟随人员的方法。

背景技术

老年人口占总人口的比例不断攀升，同时因残疾导致出行不便的人也很多，这使得电动轮椅成为了社会大众的必需品。如何设计出舒适、多功能和智能的电动轮椅是发展趋势。跟随旅行箱、跟随购物车等概念的提出与产品的出现，拓展了人们对于消费产品的功能认知与期望。目前，能自动跟随人员的电动轮椅产品还未出现。如将自动跟随技术应用于电动轮椅，实现自动跟随目标人员(如护工、医生、乘坐者亲人等)，必然会改善轮椅使用者的使用体验。轮椅乘坐者与陪护人员均可以将双手解放出来，陪护人员在对轮椅乘坐者进行自然的路径引导的同时，两者还可以进行面对面交流。

发明内容

本发明的目的是为了丰富电动轮椅的功能，提出一种电动轮椅及电动轮椅自动跟随人员的方法，使得电动轮椅除手动操控外，可将轮椅乘坐者与陪护人员的双手解放出来，陪护人员在对轮椅乘坐者进行自然的路径引导的同时，两者还可以进行面对面交流，可广泛投放于医院、敬老院、公园等地助力出行不便的人。

本发明的技术方案是：一种电动轮椅，包括框架结构、直流电机、电机驱动器、轮椅控制板、电源；其特征在于，所述电动轮椅还由嵌入式计算机、双目相机、触摸屏组成；所述嵌入式计算机安装在所述框架结构的底部，所述双目相机设置在所述轮椅框架上，面向轮椅前方，所述嵌入式计算机与双目相机均通过USB接口连接，所述嵌入式计算机从USB接口采集双目相机的图像数据，USB接口同时为双目相机供电，所述触摸屏设置在轮椅框架上，所述触摸屏与嵌入式计算机通过HDMI接口以及USB接口连接，所述嵌入式计算机通过HDMI接口将显示信号显示在所述触摸屏上，所述触摸屏的触摸信号通过USB接口输入至所述嵌入式计算机中，所述嵌入式计算机和触摸屏均与电源形成供电连接，所述嵌入式计算机与轮椅控制板通过串口连接。

一种电动轮椅自动跟随人员的方法，包括如下步骤：

(1)等待启动跟随

轮椅系统上电后，处于等待状态，直至用户手动启动轮椅跟随功能后，转步骤(2)；

(2)行人检测

针对双目相机采集的彩色图像，采用行人检测算法，得到双目相机视野内所有人的二维图像像素坐标H^I＝{(u₁,v₁),(u₂,v₂),L,(u_N,v_N)}，其中N是检测出的人员的数量，表示图像中的第i个人员，对任一个从双目相机采集的点云中获取双目相机坐标系下的对应的三维空间点进而得到所有人在双目相机坐标系下的三维空间点根据双目相机与轮椅的固定安装位姿关系，转换得到轮椅坐标系下所有人的空间位置设轮椅的中心位置为轮椅坐标系原点，采用右手准则，轮椅前进方向为x轴方向，左侧方向为y轴方向，上方为z轴方向；

(3)目标人员自动选择

设当前时刻为t时刻，步骤(2)中的H^W记为如果为空集，则转步骤(2)，不考虑人的高度，从中自动选择距离轮椅近的人作为被跟随的目标人员

(4)目标人员跟踪

t+1时刻，执行步骤(2)更新H^W，将H^W记为如果为空集，则转步骤(1)，从中选择距离g_t最近的人更新

(5)轮椅跟随控制

控制轮椅跟随目标人员g_t+1，选择比例控制，轮椅的线速度控制量为角速度控制量为其中k₁和k₂为比例控制增益，通过轮椅运动使得目标人员处于轮椅正前方且保持设定的距离d，更新t＝t+1，重复执行步骤(4)、(5)，实现目标人员跟随，在跟随过程中，当用户手动停止跟随功能后，轮椅跟随过程终止，转步骤(1)。

本发明的有益效果为：本发明提出的一种电动轮椅，在传统的电动轮椅结构上增设嵌入式计算机、双目相机及触摸屏，其结构新颖，而电动轮椅自动跟随人员的方法则丰富了现有市场上电动轮椅的功能，特别是将行人检测与双目相机相结合，在室内与室外环境下均可实现准确的二维图像上的人检测与三维空间中的人定位；根据空间位置关系实现了被跟随人员的自动选取；利用三维空间中人移动的连续性可快速确定被跟随的目标人员；采用比例控制器控制轮椅运动完成目标人员跟随，简单可靠。

附图说明

图1为本发明中电动轮椅结构示意图。

图2为本发明中电动轮椅自动跟随人员方法的程序流程图。

具体实施方式

下面结合附图对本发明作进一步说明：

如图1所示，本发明所涉及的一种电动轮椅是在市场上常见的电动轮椅(轮椅框架结构1、直流电机2、电机驱动器3、轮椅控制板4、电源5等)基础上增设嵌入式计算机6、双目相机7、触摸屏8等硬件。

选用Nvidia Jetson TX2开发板作为嵌入式计算机6，选用Stereolabs ZED双目相机7，安装在轮椅框架1上，面向轮椅前方，不被轮椅框架和乘坐者遮挡。嵌入式计算机6与双目相机7通过USB接口连接，嵌入式计算机6从USB接口采集双目相机7的图像数据，USB接口同时为双目相机供电。选用7寸LCD电容触摸屏8，安装在轮椅框架1上，能够被轮椅使用者接触使用。触摸屏8与嵌入式计算机6通过HDMI接口以及USB接口连接，嵌入式计算机6通过HDMI接口将显示信号显示在触摸屏8上，触摸屏8的触摸信号通过USB接口输入至嵌入式计算机6中；嵌入式计算机6和触摸屏8由电动轮椅电源5供电。嵌入式计算机6与轮椅控制板4通过串口连接。直流电机2、电机驱动器3、轮椅控制板4、电源5均为成熟技术，未说明部分不再赘述。

如图2所示，一种电动轮椅自动跟随人员的方法，具体步骤包括：

步骤(1)：等待启动跟随

轮椅系统上电后，处于等待状态，用户点击触摸屏8上启动按钮，启动轮椅跟随，转步骤(2)。

步骤(2)：行人检测

以Tensor RT为深度学习计算引擎，在嵌入式计算机6上部署美国卡耐基梅隆大学开源的实时多人关键点检测模型OpenPose，实时处理双目相机7的彩色图像，得到图像中所有人的人体骨架信息，其中每个人的人体骨架信息包括18个骨骼关键点的图像像素坐标。选择脖颈关键点表示某一个人，则得到双目相机视野内所有人的二维图像像素坐标H^I＝{(u₁,v₁),(u₂,v₂),L,(u_N,v_N)}，其中N是检测出的人员的数量，表示图像中的第i个人员。

在嵌入式计算机6上运行双目相机7官方驱动与应用包，获取场景点云，点云中的点与图像中的像素一一对应。对任一个从双目相机7采集的场景点云中获取双目相机坐标系下的对应的三维空间点进而得到所有人在双目相机坐标系下的三维空间点根据双目相机7与轮椅的固定安装位姿关系，转换得到轮椅坐标系下所有人的空间位置设轮椅的中心位置为轮椅坐标系原点，采用右手准则，轮椅前进方向为x轴方向，左侧方向为y轴方向，上方为z轴方向。

步骤(3)：目标人员自动选择

设当前时刻为t时刻，步骤2中的H^W记为如果为空集，则转步骤(2)。不考虑人的高度，从中自动选择距离轮椅近的人作为被跟随的目标人员

步骤(4)：目标人员跟踪

t+1时刻，执行步骤(2)更新H^W，将H^W记为如果为空集，则转步骤(1)。从中选择距离g_t最近的人更新

步骤(5)：轮椅跟随控制

控制轮椅跟随目标人员g_t+1，选择比例控制，轮椅的线速度控制量为角速度控制量为其中k₁和k₂为比例控制增益。嵌入式计算机6通过串口将轮椅运动的线速度与角速度控制量发送至轮椅控制板4执行，通过轮椅运动使得目标人员处于轮椅正前方且保持设定的距离d。更新t＝t+1，重复执行步骤(4)、(5)，实现目标人员跟随。在跟随过程中，当用户手动点击触摸屏8上停止按钮停止跟随功能后，轮椅跟随过程终止，转步骤(1)。

Claims (2)

1.一种电动轮椅，包括框架结构(1)、直流电机(2)、电机驱动器(3)、轮椅控制板(4)、电源(5)；其特征在于，所述电动轮椅还由嵌入式计算机(6)、双目相机(7)、触摸屏(8)组成；所述嵌入式计算机(6)安装在所述框架结构(1)的底部，所述双目相机(7)设置在所述轮椅框架(1)上，面向轮椅前方，所述嵌入式计算机(6)与双目相机(7)均通过USB接口连接，所述嵌入式计算机(6)从USB接口采集双目相机(7)的图像数据，USB接口同时为双目相机(7)供电，所述触摸屏(8)设置在轮椅框架(1)上，所述触摸屏(8)与嵌入式计算机(6)通过HDMI接口以及USB接口连接，所述嵌入式计算机(6)通过HDMI接口将显示信号显示在所述触摸屏(8)上，所述触摸屏(8)的触摸信号通过USB接口输入至所述嵌入式计算机(6)中，所述嵌入式计算机(6)和触摸屏(8)均与电源(5)形成供电连接，所述嵌入式计算机(6)与轮椅控制板(4)通过串口连接。

2.一种电动轮椅自动跟随人员的方法，其特征在于，使用权利要求1所述的电动轮椅，包括如下步骤：

(1)等待启动跟随

轮椅系统上电后，处于等待状态，直至用户手动启动轮椅跟随功能后，转步骤(2)；

(2)行人检测

针对双目相机采集的彩色图像，采用行人检测算法，得到双目相机视野内所有人的二维图像像素坐标H^I＝{(u₁,v₁),(u₂,v₂),L,(u_N,v_N)}，其中N是检测出的人员的数量，表示图像中的第i个人员，对任一个从双目相机采集的点云中获取双目相机坐标系下的对应的三维空间点进而得到所有人在双目相机坐标系下的三维空间点根据双目相机与轮椅的固定安装位姿关系，转换得到轮椅坐标系下所有人的空间位置设轮椅的中心位置为轮椅坐标系原点，采用右手准则，轮椅前进方向为x轴方向，左侧方向为y轴方向，上方为z轴方向；

(3)目标人员自动选择

设当前时刻为t时刻，步骤(2)中的H^W记为如果为空集，则转步骤(2)，不考虑人的高度，从中自动选择距离轮椅近的人作为被跟随的目标人员

(4)目标人员跟踪

t+1时刻，执行步骤(2)更新H^W，将H^W记为如果为空集，则转步骤(1)，从中选择距离g_t最近的人更新

(5)轮椅跟随控制

控制轮椅跟随目标人员g_t+1，选择比例控制，轮椅的线速度控制量为角速度控制量为其中k₁和k₂为比例控制增益，通过轮椅运动使得目标人员处于轮椅正前方且保持设定的距离d，更新t＝t+1，重复执行步骤(4)、(5)，实现目标人员跟随，在跟随过程中，当用户手动停止跟随功能后，轮椅跟随过程终止，转步骤(1)。