CN107621880A - 一种基于改进头姿估计方法的机器人轮椅交互控制方法 - Google Patents

Abstract

本发明提供一种基于改进头姿估计方法的机器人轮椅交互控制方法，该方法利用随机森林结合最近点迭代算法实时计算头部姿态，从而让使用对象能够用头部来控制机器人轮椅的运动。其具体实现包括如下步骤：构建头部姿态检测的随机森林；构建个人头部点云模板；利用深度数据传感器采集头部深度图像并预处理；通过随机森林算法检测当前头部的粗略姿态；通过最近点迭代算法精确计算当前头部姿态；再根据不同的头部姿态参数给机器人轮椅发出不同的控制命令。利用本发明的方法，使得老年和残障人士可以利用头部稳定地控制机器人轮椅，方便了他们的出行。

Description

一种基于改进头姿估计方法的机器人轮椅交互控制方法

技术领域

本发明涉及机器视觉控制领域，具体涉及一种基于改进头姿估计方法的机器人轮椅交互控制方法，应用于机器人轮椅交互系统上，适于在机器人轮椅交互系统上实现基于随机森林结合最近点迭代算法的头部姿势实时估算并基于此来实现对机器人轮椅系统的控制。

背景技术

随着社会的发展，人口老龄化问题已经成为发达国家和部分发展中国家共同面对的挑战，预测显示，从2015-2035年的20年时间，中国老年人口比例将会增加一倍，达到20％，其中不乏由于疾病导致活动不便的老人，加上由于各种灾难事故造成的各种行动不便的残障人士的数量也在逐渐增加，尤其是高位截瘫和手臂残疾的人士，他们中一部分的出行活动受到了极大的制约。为了出行便利以提高他们的生活质量，近年来，便利的出行代步工具成为了社会和研究机构关注的热点，其中智能服务机器人更成为了其中的热点研究对象。机器人轮椅作为一种具有代表性的智能服务机器人，具有摇杆控制，肢体控制，导航，避障，康复等功能。其中摇杆控制拥有良好的控制性能，但对于双手残疾或高位截瘫导致双手无法运动的人来说，摇杆控制以及部分肢体控制例如手势控制等方法受到了很大的制约，因此，头势控制作为一种新型的人机交互方式成为了近年来研究的热点。

当前已有的识别头姿的方法有：

1、佩戴运动传感器方法，此类方法要求使用者在头部佩戴加速度计和陀螺仪传感器，通过接收传感器的姿态数据判断头姿，该类方法精度高，但需要佩戴装置，用户体验较差。

2、机器视觉方法，此方法通过摄像头采集头部图像通过算法判断头姿，是目前的主流方法，与测试对象零接触，用户体验较好，其中现有的手段主要是利用模式识别算法通过图像估计头姿，例如传统的模板匹配算法、主流的随机森林分类器、脸部特征点几何关系方法等。

发明内容

本发明目的在于提供一种基于改进头姿估计方法的机器人轮椅交互控制方法，采用基于深度图像的随机森林结合最近点迭代方法来估计头部姿态方式，利用头部转动模拟摇杆的控制方法实现对机器人轮椅的运动控制。

为达成上述目的，本发明提出一种基于改进头姿估计方法的机器人轮椅交互控制方法，以随机森林和最近点迭代算法为基础，获取头部姿态并控制机器人轮椅，其具体实现包括如下步骤：

S1，通过头部姿态样本库构建头部姿态估计的随机森林模型：

该步骤的目的是利用样本库中不同姿态的头部深度图像构建头部姿态估计的随机森林，通过该随机森林可以实时估计头部的姿态数据，应用于后面粗略检测头姿步骤。

S2，通过深度传感器采集包含头部的深度图像并预处理：

此步骤中利用Kinect采集包含头部的深度图像，采集速率为每秒30帧。由于原始深度数据存在噪声等干扰，因此需要对采集的深度数据进行滤波等处理，并将深度数据转换为点云数据。

S3，构建使用者的头部点云模型：

利用上述步骤中的方法得到的点云数据，通过拼接多幅不同角度的头部点云数据来构建完整的头部点云模型，后续将此点云模型作为基准点云来使用点云配准的方法得到精确的头部姿态。

S4，利用随机森林结合点云配准的方法检测头部姿态：

该步骤中首先利用步骤S1中的随机森林模型估计粗略的头部姿态，再利用得到的粗略头部姿态结合步骤S3中的个人头部点云模型通过点云配准算法计算精确的头部姿态，使用两种方法的结合兼顾了头姿检测的实时性和精确性。

S5，通过头部转动模拟控制摇杆的方式实现对机器人轮椅的控制：

此步骤中利用头部转动模拟控制摇杆的方式直观显示当前头部姿态，通过上位机根据当前的头部姿势发出对应的控制命令给机器人轮椅，控制命令通过串口发送下位机控制器，下位机再发送控制命令给电机驱动从而控制机器人轮椅的运动。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

图1为机器人轮椅的结构图以及Kinect摄像头安装位置示意图。

图2为机器人轮椅控制系统结构图。

图3为头部点云模型示意图。

图4为头部姿态与轮椅运动状态映射图。

图5为头部模拟摇杆控制示意图。

图6为头部姿态识别算法流程图。

图7为控制界面示意图。

图8为实际软件控制界面。

有益效果

本发明通过结合随机森林算法和最近点迭代算法估计头部姿态，两种算法的结合兼顾了头姿检测的实时性和精确性，适用于实现对机器人轮椅系统的控制。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

图1为机器人轮椅的结构图，机器人轮椅100具有一个主体以及设置在主体上的各个构件，这些构件包括：头枕101、Kinect摄像头102、PC控制器103、操纵杆104、电机105、电池106、前轮107、后轮108以及防后倾轮109。如图所示，Kinect摄像头102安装在使用者头部的正前方约60cm左右处，确保能够正对头部且将整个头部包含在采集的画面中，距离60cm左右能够较好地采集包含头部的深度图像。

应当理解，图1中，前述头枕101、PC控制器103、操纵杆104、电机105、电池106、前轮107、后轮108以及防后倾轮109，均为机器人轮椅上的常用设置，其具体构造、功能和/或效果在此不再赘述。这些构件图1所示的安装位置和/或其组合仅仅是示例性的，在一些需要或者必要的例子中，这些构件的构造方式、组合和/或其安装位置可以是任意方式的。

图2示例性地表示了机器人轮椅控制系统结构图，此控制系统包括图像采集模块、图像处理模块、机器人轮椅控制模块、机器人轮椅。其中，图像采集模块即Kinect摄像头，图像处理模块使用PC控制器，机器人轮椅控制模块使用DSP，通过PC控制器对图像处理后识别得到的头部姿势信息来对机器人轮椅进行行动控制。

图6为根据本发明某些实施例的基于改进头姿估计方法的机器人轮椅交互控制方法的算法流程图，具体步骤如下：

S1，通过深度传感器采集包含头部的深度图像并预处理；

S2，构建头部姿态估计的随机森林模型并检测头部姿态；

S3，预先构建使用者的头部点云模型；

S4，利用随机森林结合ICP算法检测头部姿态；

S5，通过头部转动模拟控制摇杆的方式实现对机器人轮椅的控制；

下面结合附图所示，更加具体地描述前述基于改进头姿估计方法的机器人轮椅交互控制方法的示例性实现。

步骤S1，通过深度传感器采集包含头部的深度图像并预处理，通过Kinect摄像头采集深度图像，经过计算机处理，去除原始深度数据的背景干扰和噪声干扰，在一些例子中，该步骤的具体实施方法如下：

S11，遍历一幅深度图像中所有像素点，设定深度阈值为0.6-1.5m，即保留深度值在此区间的像素点，去除不符合的像素点，得到去除背景的深度图像。

S12，对去除背景后的深度图像进行中值滤波去除噪声，构建中值滤波器模板，将该模板在深度图像中依次滑动，当到达某个像素位置时，取出该像素点周围像素的值，将这些像素的值的中值重新赋予该像素点，直到遍历完所有像素点。

S13，对中值滤波后的深度图像进行形态学滤波去除孔洞，使用形态学滤波中的闭运算，即先膨胀，后腐蚀得到最终处理后的深度图像。

步骤S2中，通过头部姿态样本库构建头部姿态估计的随机森林模型的具体步骤如下：

S21，搜集N个头部样本，要求样本都为使用Kinect采集包含头部的深度图像，每个样本包含该样本中头部的姿态数据；

S22，通过重采样方法在N个样本中抽取n次构成样本集D1；

S23，利用样本集D1构建一棵决策树；

S24，重复S22-S23步骤K次，构建K棵决策树组成随机森林分类器。

S25，利用随机森林模型检测实时的头部姿态数据。现有待检测头部姿态的一幅深度图像，取深度图像中多个随机深度图像块，图像块的大小应与训练样本大小相同。将每个图像块通过随机森林模型中的每棵决策树，每棵决策树都会得到一个头姿结果，通常取所有输出结果的平均值作为最终输出结果：

其中R_i代表第i棵决策树的分类结果。

在一些例子中，前述步骤S23中利用n个样本构建决策树，包括以下步骤：

S231，首先选定训练样本，本方法使用在深度图像中提取的方形深度图像块作为训练样本，每个方形深度图像块具有相同大小，且每个训练样本具有唯一的标签定位：

β_i＝(θ_x,θ_y,θ_z,θ_yaw,θ_pitch,θ_roll)

其中前三个参数(θ_x,θ_y,θ_z)代表该图像块的中心距离该图像鼻尖点P的偏移向量v，后三个参数(θ_yaw,θ_pitch,θ_roll)代表该图像中头部的姿态数据；

S232，本方法以图像块的深度信息表征训练样本的特征，在节点分裂中应用一个二分测试，根据测试的结果将当前节点处的训练样本分为左右两个子节点：

其中F₁和F₂分别为训练样本图像块中两个随机的矩形区域，q代表矩形区域中的点，I^f(q)代表该点的深度值，t代表一个阈值，该式的意义就是计算两个矩形区域中的平均深度值的差值，如果大于某一个阈值，代表通过测试，将通过测试的样本分到左节点，未通过测试的样本分到右节点。

S233，记S232中一个二分测试为ε_i，在每个节点的分裂中，选取随机区域F₁和F₂以及随机阈值t，产生多个测试记为测试集{ε}，通过信息增益方法来在测试集中选取最佳的测试：

InfoGain(ε)＝Info(P)-Info(P_L)-Info(P_R)

S234，根据步骤S233中节点分裂方法，以某一训练集为根节点开始进行分裂，直到该决策树深度大于阈值或某节点处样本数小于设定阈值，则完成节点分裂，构成一棵决策树。

步骤S3，构建使用者的头部点云模型，在一些例子中，该步骤的具体方法如下。

S31，固定Kinect使其正对头部，开始采集点云数据，并通过步骤2中的方法进行预处理，设此时的时间为t₁，得到的点云数据为C₁。

S32，头部开始向左或右旋转，到达时间t₂，设此时得到的一帧点云数据为C₂。

S33，根据ICP算法计算点云C₂到C₁的姿态变换矩阵T_1,2，对点云C₂做T_1,2变换，得到新的点云C'₂，将点云C'₂和点云C₁合并，得到t₁时刻和t₂时刻融合而成的新点云C_1～2，用公式表示为：

C′₂＝C₂*T_1,2

C_1～2＝C₁+C′₂

S34，继续旋转头部到达时间t₃，设此时采集的一帧点云数据为C₃，通过ICP算法得到点云C₃到C'₂的变换矩阵T_2,3，对点云C₃做T_2,3变换，得到新的点云C'₃，将C'₃与上述点云C_1～2合并，得到t₁时刻和t₃时刻融合而成的新点云C_1～3。

S35，重复以上步骤直到t_n时刻得到C_1～n点云，该点云即代表头部的点云模型，如图3所示。

步骤S4，利用随机森林结合点云配准的方法检测头部姿态，该步骤的具体方法如下：

S41，设置模板点云的初始位置。设步骤S3中得到的个人头部点云模板为C_t，步骤S2中获取的经过预处理的实时点云数据为C_s，将C_t放入点云场景中坐标系原点的位置，保持初始姿态都为0。

S42，根据步骤S1中随机森林算法检测头部姿态的结果变换点云C_t的姿态，设此时的姿态为T₁。

S43，经过姿态变换的点云C_t与点云C_s之间已比较接近，但未完全重合，利用ICP迭代算法求两幅点云之间的变换姿态T₂，因此所要求的当前点云C_s中的精确头部姿态T_F可以表示为：

T_F＝T₁*T₂

S44，重复以上步骤求实时连续的头部姿态数据。

步骤S5，通过头部转动模拟控制摇杆的方式实现对机器人轮椅的控制，这里以控制电动轮椅为例，头部姿态与轮椅运动状态之间对应关系如图4所示，使用者通过抬头，低头，左右转动头部等运动来控制轮椅前进，后退，左转右转等运动。该步骤具体方法如下：

S51，将计算获取的头部姿态数据使用更为直观的头部朝向向量表示。

S52，如图5中头部模型所示，头部朝向空间通常呈现一圆锥形区域，截取锥形的某一圆形截面，在头部转动过程中，某一时刻头部的朝向向量必与该截面交于一点，模拟手柄的控制方式即通过控制该点在圆形截面中的位置来控制机器人轮椅的方向与速度。

S53，如图5右边部分，以圆心为坐标原点，x轴代表轮椅的左右速度，y轴代表轮椅的前后速度，当某一时刻头部朝向向量与该截面的交点处于点(x₁,y₁)处时，此时应控制机器人轮椅的运动速度为运动方向用向量表示为

S54，在截面内设置一定范围的冗余区域，从而当轮椅静止时也允许使用者的头部小范围转动，如图7所示为两个同心圆构成的控制界面示意图，当交点在内圆中时智能轮椅保持静止，在环形区域时根据步骤S53计算运动数据。根据界面示意图在计算机端编写控制界面如图8所示，界面中利用游标表示交点的位置，通过头部转动控制界面游标的运动。

结合以上实施例中所描述的控制方法，结合图1、图2所示，在光照度适中的室内，使用者在智能轮椅上保持正坐姿势，Kinect摄像头放置在头部前方50厘米左右位置，开启智能轮椅的头姿控制功能，使用者通过抬头，低头，左右转头等方式来控制智能轮椅的运动。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (1)

1.一种基于改进头姿估计方法的机器人轮椅交互控制方法，其特征在于，包括如下步骤：

S1，通过头部姿态样本库构建头部姿态估计的随机森林模型：

利用样本库中不同姿态的头部深度图像构建头部姿态估计的随机森林，通过该随机森林可以实时估计头部的姿态数据，应用于后面粗略检测头姿步骤；

S2，通过深度传感器采集包含头部的深度图像并预处理：

利用Kinect采集包含头部的深度图像，采集速率为每秒30帧；由于原始深度数据存在噪声干扰，因此需要对采集的深度数据进行滤波处理，并将深度数据转换为点云数据；

S3，构建使用者的头部点云模型：

利用S2中的方法得到的点云数据，通过拼接多幅不同角度的头部点云数据来构建完整的头部点云模型，后续将此点云模型作为基准点云来使用点云配准的方法得到精确的头部姿态；

S4，利用随机森林结合点云配准的方法检测头部姿态：

首先利用步骤S1中的随机森林模型估计粗略的头部姿态，再利用得到的粗略头部姿态结合步骤S3中的个人头部点云模型通过点云配准算法计算精确的头部姿态，使用两种方法的结合兼顾了头姿检测的实时性和精确性；

S5，通过头部转动模拟控制摇杆的方式实现对机器人轮椅的控制：“

利用头部转动模拟控制摇杆的方式直观显示当前头部姿态，通过上位机根据当前的头部姿势发出对应的控制命令给机器人轮椅，控制命令通过串口发送下位机控制器，下位机再发送控制命令给电机驱动从而控制机器人轮椅的运动。