CN108743086A - 用于跟踪前方陪护人员目标的智能轮椅控制方法 - Google Patents

Abstract

一种用于跟踪前方陪护人员目标的智能轮椅控制方法，针对渐冻症患者等残障人士无法直接用手控制轮椅的问题，实现了智能轮椅对前方陪护人员的自动跟随。其实现过程是：将架设在轮椅上的正对前方陪护人员的摄像头获取的彩色图像实时传输给上位机，上位机在检测到开始轮椅跟踪的陪护人员手势图像后，对彩色图像中陪护人员所在的矩形框位置进行跟踪，依据矩形框的位置变化，控制智能轮椅移动，直至上位机检测到结束轮椅跟踪的陪护人员手势图像为止。本发明通过与陪护人员的交互来控制智能轮椅移动，稳定性强，易于操作，方便残障人士出行的同时简化了陪护工作。

Description

用于跟踪前方陪护人员目标的智能轮椅控制方法

技术领域

本发明属于计算机技术领域，更进一步涉及人机交互领域的一种用于跟踪前方陪护人员目标的智能轮椅控制方法。本发明可实现智能轮椅对前方陪护人员的目标跟踪与智能跟随，服务于渐冻症患者等行动不便的残障人士。

背景技术

对于残疾人或者康复病人，轮椅可以是他们的的代步工具，也可以方便他们进行身体锻炼和参与社会活动。电动轮椅与传统的电动代步车、电瓶车，自行车等代步工具的根本性的区别，在于电动轮椅拥有智能化的操纵控制器。如今，电动轮椅已成为行动不便的老年人、残疾人不可缺少的代步工具，适用对象十分广泛，只要使用者意识清晰，认知能力正常，且具备一定的自由活动能力，就能自主控制轮椅。现有的轮椅控制方法有手摇、声控、手势识别、脑电波控制等。

长安大学在其申请的专利文献“基于手势控制的智能轮椅系统及控制方法”(申请号：CN201710509586.8，公开号：CN107390573A)中提出了一种对智能轮椅的手势控制方法。该方法通过架设在轮椅前方的正对轮椅使用者上半身的摄像头，获取轮椅使用者的手势信息，再将其传入智能轮椅的控制器从而实现对轮椅前进、后退、转弯等运动方式的控制。该方法使轮椅使用者可以直接通过手势来控制轮椅运动，具有方便、可靠的特点。但是，该方法仍然存在的不足之处是：由于该轮椅控制方法需要通过轮椅使用者的手势进行控制，因此不能适用于渐冻症患者等手部无法灵活活动的人群。同时，由于该轮椅的控制方法未设置开始控制与结束控制的信号，因此无意义的手势可能引起控制轮椅时的误操作。另外，该方法对于无法自由活动的残疾人需要陪护人员进行交互时，无法适用。

常州峰成科技有限公司在其申请的专利文献“一种自主跟踪式智能轮椅”(申请号：CN201620007496.X，公开号：CN205322640U)中提出了一种智能轮椅的自主跟踪、避障、遥控等多功能控制方法。该方法通过红外传感器、超声波传感器、GPS定位系统等，实现了轮椅的自主跟踪功能。该方法将红外通信模块、人体红外传感器和超声波传感器与主控制器相连接，合理布置在轮椅车体上，其中，红外通信模块作为一级跟踪模块，人体红外传感器作为二级跟踪模块，一级跟踪优先于二级跟踪，超声波传感器用于确保轮椅和人体始终保持一定的距离。该轮椅控制方法使用简单、形式灵活，实现了轮椅对目标者的自动跟随，解决了老年人下车行走时轮椅的安置问题。但是，该方法仍然存在的不足之处是：采用红外通信、GPS定位对轮椅前方行走的人进行定位时易受天气、噪声的影响，且要求使用者必须随身佩戴红外通信模块，造成轮椅跟随的准确性有所不足且使用过程繁琐的问题，。另外，该轮椅的自动跟随方法主要适用于可自由活动的老年人，该方法对于无法自由活动的残疾人需要陪护人员进行交互时，无法适用。

发明内容

本发明的目的在于针对上述已有技术的不足，提出了一种用于跟踪前方陪护人员目标的智能轮椅控制方法。

实现本发明目的的思路是，利用目标跟踪技术，在无需使用者手动遥控操作轮椅的情况下，将摄像头获取的彩色图像实时传输给上位机，上位机在检测到开始轮椅跟踪的陪护人员手势图像后，对彩色图像中陪护人员所在的矩形框位置进行跟踪，依据矩形框的位置变化，控制智能轮椅移动，直至上位机检测到结束轮椅跟踪的陪护人员手势图像。该方法的优势在于其跟随精度很高，受扰动少，在方便渐冻人等残障人士出行的同时简化了陪护人员工作，且能在一定程度上解决现有医疗陪护人员供不应求的问题。

本发明的具体包括以下步骤：

(1)按帧依次传输实时彩色图像：

将安置在智能轮椅前方水平支架正中央的摄像头所获取的轮椅正前方的彩色图像的每一帧，传输给设置于智能轮椅上的上位机；

(2)依次读取上位机接收的彩色图像中的连续10帧图像；

(3)判断10帧图像中的每一帧彩色图像中是否均包含陪护人员图像，若是，则执行步骤(4)；否则，执行步骤(2)；

(4)判断10帧图像中是否包含开始轮椅跟踪的陪护人员手势图像，若是，则执行步骤(5)；否则，执行步骤(2)；

(5)手动框出前方陪护人员：

上位机选取包含前方陪护人员的一帧图像，作为当前帧图像，框出陪护人员在当前帧图像中所在的矩形框，记录矩形框的左上角顶点的横、纵坐标；

(6)计算当前帧矩形框内彩色图像的特征向量：

利用方向梯度直方图方法，将当前帧矩形框内彩色图像划分成n个单元格，得到当前帧矩形框内彩色图像的9×n维的特征向量；

(7)计算下一帧彩色图像中矩形框的左上角顶点的横、纵坐标值：

(8)控制智能轮椅移动：

(8a)以当前帧彩色图像中矩形框的左上角顶点为参考坐标点，根据下一帧彩色图像中矩形框的左上角顶点的横、纵坐标值与参考坐标点的横、纵坐标值分别作差后的结果，得到陪护人员的行走方向信息；

(8b)上位机将陪护人员的行走方向信息传输到电机控制系统；

(8c)电机控制系统依据陪护人员的行走方向信息，控制智能轮椅移动；

(9)判断从当前帧后连续的10帧图像中是否包含结束轮椅跟踪的陪护人员手势图像，若是，则执行步骤(10)；否则，将下一帧作为当前帧后执行步骤(6)；

(10)结束前方陪护人员对智能轮椅的控制。

本发明与现有的技术相比具有以下优点：

第一，由于本发明以当前帧彩色图像的矩形框的左上角顶点为对比坐标点，根据下一帧彩色图像的矩形框的左上角顶点的横、纵坐标值，确定陪护人员的行走方向，克服了现有技术采用红外通信、GPS定位对轮椅前方行走的人进行定位时易受天气、噪声的影响，且要求使用者必须随身佩戴红外通信模块，造成轮椅跟随的准确性有所不足、使用过程繁琐的问题，使得本发明具有了稳定性强，易于操作的优点。

第二，由于本发明设置了开始轮椅跟踪的陪护人员手势图像与结束轮椅跟踪的陪护人员手势图像，克服了现有技术无意义的手势可能引起控制轮椅时的误操作的问题，使得本发明具有了稳定性强，控制过程完整清晰的优点。

第三，由于本发明采用电机控制系统依据陪护人员的行走方向信息，控制智能轮椅移动，克服了现有技术主要适用于可自由活动的老年人，对于无法自由活动的残疾人需要陪护人员进行交互时，无法适用的问题，使得本发明具有了无需使用者手动操作，可通过与陪护人员的有效交互来控制智能轮椅移动的优点。

附图说明

图1为本发明的流程图；

图2为本发明的智能轮椅整体结构示意图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照附图1，对本发明的实现的步骤详细描述如下。

步骤1，按帧依次传输实时彩色图像。

将安置在智能轮椅前方水平支架正中央的摄像头所获取的轮椅正前方的彩色图像的每一帧，传输给设置于智能轮椅上的上位机。

步骤2，依次读取上位机接收的彩色图像中的连续10帧图像。

步骤3，判断10帧图像中的每一帧彩色图像中是否均包含陪护人员图像，若是，则执行步骤4；否则，执行步骤2。

步骤4，判断10帧图像中是否包含开始轮椅跟踪的陪护人员手势图像，若是，则执行步骤5；否则，执行步骤2。

所述的开始轮椅跟踪的陪护人员手势图像是指：在连续10帧彩色图像中，将陪护人员左手抬到的最高位置与降到的最低位置的高度落差达到20厘米时的手势图像，作为开始轮椅跟踪的陪护人员手势图像。

步骤5，手动框出前方陪护人员。

上位机选取包含前方陪护人员的一帧图像，作为当前帧图像，框出陪护人员在当前帧图像中所在的矩形框，记录矩形框的左上角顶点的横、纵坐标。

步骤6，计算当前帧矩形框内彩色图像的特征向量。

利用方向梯度直方图方法，将当前帧矩形框内彩色图像划分成n个单元格，得到当前帧矩形框内彩色图像的9×n维的特征向量。

所述方向梯度直方图方法的具体步骤如下：

按照下式，将当前帧矩形框内包含陪护人员的彩色图像转化为灰度图像：

I(x,y)′＝I(x,y)^1/2

其中，I(x,y)′表示当前帧矩形框内包含陪护人员的灰度图像在坐标(x,y)处像素的灰度值，I(x,y)表示当前帧矩形框内包含陪护人员的彩色图像在坐标(x,y)处像素的灰度值。

按照下式，计算当前帧矩形框内包含陪护人员的灰度图像中每个像素位置的梯度值：

其中，M_x(x,y),M_y(x,y),H(x,y)分别表示当前帧矩形框内包含陪护人员的灰度图像中像素点(x,y)处的水平方向梯度值、垂直方向梯度值和灰度值。

按照下式，计算当前帧矩形框内包含陪护人员的灰度图像中每个像素的梯度方向角度：

其中，α(x,y)表示当前帧矩形框内包含陪护人员的灰度图像中每个像素的梯度方向角度，tan(·)表示正切操作，M_x(x,y),M_y(x,y)表示当前帧矩形框内包含陪护人员的灰度图像中像素点(x,y)处的水平方向梯度值、垂直方向梯度值。

将灰度图像划分为大小为6*6像素的单元格，统计每个单元格内所有像素点的梯度方向角度的分布情况，将360度均分为9个部分，统计每个部分中所包含的梯度方向角度个数，得到每个单元格的一个9维特征向量。

将当前帧矩形框内灰度图像内的所有单元格的特征向量串联起来，得到当前帧矩形框内图像的多维特征向量。

步骤7，计算下一帧彩色图像中矩形框的左上角顶点的横、纵坐标值。

所述的计算下一帧彩色图像中矩形框的横、纵坐标值的公式如下：

其中，x表示下一帧彩色图像中矩形框的左上角顶点的横坐标值，表示对x的最大值取反操作，F表示当前帧矩形框内图像的灰度值，-1表示取倒数操作，∑表示求和操作，表示对当前帧矩形框内图像的多维特征向量的共轭向量与当前帧矩形框内的图像信息的第l维的灰度值F^l的乘积取共轭操作，l的取值范围为[1,d]，x^l表示下一帧彩色图像的矩形框左上角顶点的第l维横坐标值，λ表示当前帧矩形框内图像的多维特征向量的共轭向量与当前帧矩形框内的图像信息的第l维的灰度值F^l的乘积的最小值，y表示下一帧彩色图像中矩形框的左上角顶点的横坐标值，表示对y的最大值取反操作，y^l表示下一帧彩色图像中矩形框的左上角顶点的第l维纵坐标值。

步骤8，控制智能轮椅移动。

以当前帧彩色图像中矩形框的左上角顶点为参考坐标点，根据下一帧彩色图像中矩形框的左上角顶点的横、纵坐标值与参考坐标点的横、纵坐标值分别作差后的结果，得到陪护人员的行走方向信息。

所述根据下一帧彩色图像中矩形框的左上角顶点的横、纵坐标值与参考坐标点的横、纵坐标值分别作差后的结果，确定陪护人员的行走方向信息是指：

横坐标作差后的结果为正数时，将陪护人员行走方向定位向右运动。

横坐标作差后的结果为负数时，将陪护人员行走方向定位向左运动。

纵坐标作差后的结果为正数时，将陪护人员行走方向定位向远离轮椅方向运动。

纵坐标作差后的结果为负数时，将陪护人员行走方向定位向靠近轮椅方向运动。

上位机将陪护人员的行走方向信息传输到电机控制系统。

电机控制系统依据陪护人员的行走方向信息，控制智能轮椅移动。

所述的电机控制系统依据陪护人员的行走方向信息，控制智能轮椅移动是指：

若行走方向信息为陪护人员行走方向定位向右运动，则电机控制系统控制智能轮椅向右转动5度。

若行走方向信息为陪护人员行走方向定位向左运动，则电机控制系统控制智能轮椅向左转动5度。

若行走方向信息为陪护人员行走方向定位向远离轮椅方向运动，则电机控制系统控制智能轮椅向前运动。

若行走方向信息为陪护人员行走方向定位向靠近轮椅方向运动，则电机控制系统控制智能轮椅向后运动。

步骤9，判断从当前帧后连续的10帧图像中是否包含结束轮椅跟踪的陪护人员手势图像，若是，则执行步骤10；否则，将下一帧作为当前帧后执行步骤6。

所述的结束轮椅跟踪的陪护人员手势图像是指：在连续10帧彩色图像中，将陪护人员右手抬到的最高位置与最低位置的高度落差达到20厘米时的手势图像，作为结束轮椅跟踪的陪护人员手势图像。

步骤10，结束前方陪护人员对智能轮椅的控制。

参照附图2，对本发明实现的具体操作步骤做进一步的描述。

智能轮椅上设置有用于拍摄前方陪护人员彩色图像的摄像头1，摄像头1安置在前方水平支架2上，将摄像头获取的彩色图像实时传输给上位机3，上位机3在检测到开始轮椅跟踪的陪护人员手势图像后，对彩色图像中陪护人员所在的矩形框位置进行跟踪。设置在智能轮椅上的安全支架4用于保证轮椅使用者的安全。上位机3依据矩形框的位置、大小变化得到陪护人员的行走方向信息，将其实时传输到电机控制系统5。电机控制系统5依据陪护人员的行走方向信息，控制智能轮椅进行左转、右转、前进、后退等移动。

使用智能轮椅时，首先将前方水平支架和安全支架打开，帮助轮椅使用者坐入轮椅，将坐姿调整到舒适位置后闭合前方水平支架和安全支架，然后让需要跟随的陪护人员站在智能轮椅的正前方，保证陪护人员的图像包含在安置在智能轮椅前方水平支架正中央的摄像头所采集的彩色图像内，启动智能轮椅的电源。在轮椅上安置的上位机中，框出站在摄像头前方的陪护人员所在的矩形框。上位机在检测到开始轮椅跟踪的陪护人员手势图像后，对彩色图像中陪护人员所在的矩形框位置进行跟踪，得到陪护人员的行走方向信息，并据此控制智能轮椅进行移动，直至上位机检测到结束轮椅跟踪的陪护人员手势图像。具体的，当矩形框内的陪护人员向右侧行走时，电机控制系统控制智能轮椅向右转动5度；当矩形框内的陪护人员向左侧行走时，电机控制系统控制智能轮椅向左转动5度；当矩形框内的陪护人员向远离轮椅的方向行走时，电机控制系统控制智能轮椅向前运动；当矩形框内的陪护人员向靠近轮椅的方向行走时，电机控制系统控制智能轮椅向后运动。在使用过程中，闭合的安全支架用于保护轮椅使用者的安全。智能轮椅使用结束后，关闭电源，将前方水平支架和安全支架打开，帮助使用者起身离开智能轮椅。

Claims (7)

1.一种用于跟踪前方陪护人员目标的智能轮椅控制方法，其特征在于，将摄像头获取的彩色图像实时传输给上位机，上位机在检测到开始轮椅跟踪的陪护人员手势图像后，对彩色图像中陪护人员所在的矩形框位置进行跟踪，依据矩形框的位置变化，控制智能轮椅移动，直至上位机检测到结束轮椅跟踪的陪护人员手势图像，具体包括以下步骤：

(1)按帧依次传输实时彩色图像：

将安置在智能轮椅前方水平支架正中央的摄像头所获取的轮椅正前方的彩色图像的每一帧，传输给设置于智能轮椅上的上位机；

(2)依次读取上位机接收的彩色图像中的连续10帧图像；

(3)判断10帧图像中的每一帧彩色图像中是否均包含陪护人员图像，若是，则执行步骤(4)；否则，执行步骤(2)；

(4)判断10帧图像中是否包含开始轮椅跟踪的陪护人员手势图像，若是，则执行步骤(5)；否则，执行步骤(2)；

(5)手动框出前方陪护人员：

上位机选取包含前方陪护人员的一帧图像，作为当前帧图像，框出陪护人员在当前帧图像中所在的矩形框，记录矩形框的左上角顶点的横、纵坐标；

(6)计算当前帧矩形框内彩色图像的特征向量：

利用方向梯度直方图方法，将当前帧矩形框内彩色图像划分成n个单元格，得到当前帧矩形框内彩色图像的9×n维的特征向量；

(7)计算下一帧彩色图像中矩形框的左上角顶点的横、纵坐标值：

(8)控制智能轮椅移动：

(8a)以当前帧彩色图像中矩形框的左上角顶点为参考坐标点，根据下一帧彩色图像中矩形框的左上角顶点的横、纵坐标值与参考坐标点的横、纵坐标值分别作差后的结果，得到陪护人员的行走方向信息；

(8b)上位机将陪护人员的行走方向信息传输到电机控制系统；

(8c)电机控制系统依据陪护人员的行走方向信息，控制智能轮椅移动；

(9)判断从当前帧后连续的10帧图像中是否包含结束轮椅跟踪的陪护人员手势图像，若是，则执行步骤(10)；否则，将下一帧作为当前帧后执行步骤(6)；

(10)结束前方陪护人员对智能轮椅的控制。

2.根据权利要求1所述的用于跟踪前方陪护人员目标的智能轮椅控制方法，其特征在于，步骤(4)中所述的开始轮椅跟踪的陪护人员手势图像是指：在连续10帧彩色图像中，将陪护人员左手抬到的最高位置与降到的最低位置的高度落差达到20厘米时的手势图像，作为开始轮椅跟踪的陪护人员手势图像。

3.根据权利要求1所述的用于跟踪前方陪护人员目标的智能轮椅控制方法，其特征在于，步骤(6)中所述方向梯度直方图方法的具体步骤如下：

第一步，按照下式，将当前帧矩形框内包含陪护人员的彩色图像转化为灰度图像：

I(x,y)′＝I(x,y)^1/2

其中，I(x,y)′表示当前帧矩形框内包含陪护人员的灰度图像在坐标(x,y)处像素的灰度值，I(x,y)表示当前帧矩形框内包含陪护人员的彩色图像在坐标(x,y)处像素的灰度值；

第二步，按照下式，计算当前帧矩形框内包含陪护人员的灰度图像中每个像素位置的梯度值：

其中，M_x(x,y),M_y(x,y),H(x,y)分别表示当前帧矩形框内包含陪护人员的灰度图像中像素点(x,y)处的水平方向梯度值、垂直方向梯度值和灰度值；

第三步，按照下式，计算当前帧矩形框内包含陪护人员的灰度图像中每个像素的梯度方向角度：

其中，α(x,y)表示当前帧矩形框内包含陪护人员的灰度图像中每个像素的梯度方向角度，tan(·)表示正切操作，M_x(x,y),M_y(x,y)表示当前帧矩形框内包含陪护人员的灰度图像中像素点(x,y)处的水平方向梯度值、垂直方向梯度值；

第四步，将灰度图像划分为大小为6*6像素的单元格，统计每个单元格内所有像素点的梯度方向角度的分布情况，将360度均分为9个部分，统计每个部分中所包含的梯度方向角度个数，得到每个单元格的一个9维特征向量；

第五步，将当前帧矩形框内灰度图像内的所有单元格的特征向量串联起来，得到当前帧矩形框内图像的多维特征向量。

4.根据权利要求1所述的用于跟踪前方陪护人员目标的智能轮椅控制方法，其特征在于，步骤(7)中所述的计算下一帧彩色图像中矩形框的横、纵坐标值的公式如下：

其中，x表示下一帧彩色图像中矩形框的左上角顶点的横坐标值，表示对x的最大值取反操作，F表示当前帧矩形框内图像的灰度值，-1表示取倒数操作，∑表示求和操作，表示对当前帧矩形框内图像的多维特征向量的共轭向量与当前帧矩形框内的图像信息的第l维的灰度值F^l的乘积取共轭操作，l的取值范围为[1,d]，x^l表示下一帧彩色图像的矩形框左上角顶点的第l维横坐标值，λ表示当前帧矩形框内图像的多维特征向量的共轭向量与当前帧矩形框内的图像信息的第l维的灰度值F^l的乘积的最小值，y表示下一帧彩色图像中矩形框的左上角顶点的横坐标值，表示对y的最大值取反操作，y^l表示下一帧彩色图像中矩形框的左上角顶点的第l维纵坐标值。

5.根据权利要求1所述的用于跟踪前方陪护人员目标的智能轮椅控制方法，其特征在于，步骤(8a)中所述根据下一帧彩色图像中矩形框的左上角顶点的横、纵坐标值与参考坐标点的横、纵坐标值分别作差后的结果，确定陪护人员的行走方向信息是指：

A.横坐标作差后的结果为正数时，将陪护人员行走方向定位向右运动；

B.横坐标作差后的结果为负数时，将陪护人员行走方向定位向左运动；

C.纵坐标作差后的结果为正数时，将陪护人员行走方向定位向远离轮椅方向运动；

D.纵坐标作差后的结果为负数时，将陪护人员行走方向定位向靠近轮椅方向运动。

6.根据权利要求1所述的用于跟踪前方陪护人员目标的智能轮椅控制方法，其特征在于，步骤(8c)中所述的电机控制系统依据陪护人员的行走方向信息，控制智能轮椅移动是指：

若行走方向信息为陪护人员行走方向定位向右运动，则电机控制系统控制智能轮椅向右转动5度；

若行走方向信息为陪护人员行走方向定位向左运动，则电机控制系统控制智能轮椅向左转动5度；

若行走方向信息为陪护人员行走方向定位向远离轮椅方向运动，则电机控制系统控制智能轮椅向前运动；

若行走方向信息为陪护人员行走方向定位向靠近轮椅方向运动，则电机控制系统控制智能轮椅向后运动。

7.根据权利要求1所述的用于跟踪前方陪护人员目标的智能轮椅控制方法，其特征在于，步骤(9)中所述的结束轮椅跟踪的陪护人员手势图像是指：在连续10帧彩色图像中，将陪护人员右手抬到的最高位置与最低位置的高度落差达到20厘米时的手势图像，作为结束轮椅跟踪的陪护人员手势图像。