CN109875777B - 一种带有取物功能的轮椅的取物控制方法 - Google Patents

Abstract

本发明公开了一种带有取物功能的轮椅的取物控制方法，带有取物功能的轮椅包括电动轮椅、类人机械臂和轮椅控制系统，轮椅控制系统包括眼动仪、微型计算机、摄像头和麦克风；所述取物控制方法包括步骤：一、残疾人坐在电动轮椅上佩戴眼动仪；二、残疾人先对着麦克风说出想要取什么物品，再注视轮椅要到达的位置；三、轮椅控制系统控制电动轮椅从当前位置到达轮椅要到达的眼睛注视点的位置；四、得到残疾人说出的想要取的物品，并确定出目标信息的中心坐标；五、轮椅控制系统控制类人机械臂到达所取物品的位置并进行取物。本发明设计新颖合理，控制精度高，使电动轮椅和类人机械臂能够自动协助残疾人取物，将为残疾人生活提供极大便利，实用性强。

Description

一种带有取物功能的轮椅的取物控制方法

技术领域

本发明属于智能控制技术领域，具体涉及一种带有取物功能的轮椅的取物控制方法。

背景技术

轮椅是康复的重要工具，它不仅是肢体残疾者的代步工具，更重要的是使他们借助于轮椅进行身体锻炼和参与社会活动，老年人及残疾人使用轮椅已经非常普遍。现代科技的进步也使得轮椅得到了很大的发展，出现了电动轮椅、GPS电动轮椅、特制轮椅、运动轮椅等多功能轮椅，电动轮椅的出现给人们提供了自动代步、按摩、高度调节和爬坡功能，满足了更多人的需求。智能轮椅目前已有大量研究，但其自由度少，功能有限如匹兹堡大学Cooper等人制作的手动激活助力轮椅、日本Keigo Shiral等人开发的Glimmer全方位轮椅。将轮椅和机械臂结合起来使用可增加其通用性。

现有轮椅机械臂大致分为以下两种，一种需要人对外部设备进行手动操作，不适用于完全不能行动的残疾人，而且患者在出行时，被其他事物所吸引注意力后，当遇到突发情况时如果反应不够迅速，不能及时操纵轮椅的移动，就会有巨大的安全隐患存在。如荷兰Exact Dynamics公司生产的轮椅机械臂系统iRAM，但是这一系统的机械臂控制方式为16键的软键盘配合一个2D操作杆，用户需要切换各关节的控制来实现机械臂的运动；加拿大Kinova公司发布的产品JACO控制方式以操作杆操作为主。另一种则是由机器去料理人的生活，鲜有人机交互，不能照顾到使用者的感受，如定时电动轮椅机械臂。

在现有的眼动控制(视觉跟踪控制)轮椅的移动中，从检索出的文献中发现，在目前眼动控制轮椅中有两篇具有代表性的论文。第一篇，杭州电子科技大学2014级周婷婷的硕士毕业论文《基于有意眼动控制电动轮椅的研究》，该论文中将眼动控制这块用收集眼部电信号的方法来识别眼睛的运动方向，不够快捷方便；第二篇，国防科学技术大学2015级袁春兴的硕士毕业论文《基于眼动的人机自然交互》，该论文中可以短距离内将眼动控制轮椅，但是一旦当患者注视的位置较远时，就不能让轮椅自动的去进行路径规划和自主移动。

现有技术中，还缺乏设计合理、实用性强、使用效果好的带有取物功能的轮椅及其取物控制方法。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种结构简单、设计新颖合理、实现方便、能够自动协助残疾人取物、实用性强、使用效果好、便于推广使用的带有取物功能的轮椅。

为解决上述技术问题，本发明采用的技术方案是：一种带有取物功能的轮椅，包括电动轮椅，还包括类人机械臂和轮椅控制系统，所述类人机械臂安装在电动轮椅的右前方，所述轮椅控制系统包括供坐在电动轮椅上的残疾人佩戴的眼动仪和安装在电动轮椅座位底部的微型计算机，所述电动轮椅的顶部安装有高度可调的滑杆，所述滑杆上安装有摄像头，所述眼动仪的输出端和摄像头的输出端均与微型计算机的输入端连接，所述电动轮椅上设置有电动轮椅控制器和用于驱动电动轮椅电机的轮椅电机驱动模块，所述类人机械臂上设置有类人机械臂控制器、用于对类人机械臂的位置进行实时检测的类人机械臂位置传感器和用于驱动类人机械臂电机的机械臂电机驱动模块，所述轮椅电机驱动模块与电动轮椅控制器的输出端连接，所述类人机械臂位置传感器与类人机械臂控制器的输入端连接，所述机械臂电机驱动模块与类人机械臂控制器的输出端连接，所述电动轮椅控制器和类人机械臂控制器均与微型计算机相接，所述微型计算机上还接有用于拾取人的声音信号的麦克风，所述麦克风安装在类人机械臂上。

上述的一种带有取物功能的轮椅，所述类人机械臂为六自由度类人机械臂；所述电动轮椅控制器和类人机械臂控制器均为单片机。

本发明还公开了一种设计新颖合理、实现方便、控制精度高、使电动轮椅和类人机械臂能够自动协助残疾人取物、将为残疾人的生活提供极大便利、实用性强的带有取物功能的轮椅的取物控制方法，该方法包括以下步骤：

步骤一、残疾人坐在电动轮椅上，佩戴眼动仪；

步骤二、当残疾人想要到某个位置处取物品时，残疾人先对着麦克风说出想要取什么物品，所述麦克风将其拾取到的残疾人的声音信号传输给微型计算机，同时，摄像头采集电动轮椅前方的环境图像并将采集到的环境图像传输给微型计算机；残疾人再注视轮椅要到达的位置；

步骤三、轮椅控制系统控制电动轮椅从当前位置到达轮椅要到达的眼睛注视点的位置，具体过程为：

步骤301、眼动图像采集及传输：眼动仪对坐在电动轮椅上的人的眼动图像进行采集并将采集到的眼动图像实时传输给微型计算机；

步骤302、眼动图像处理：微型计算机调用眼动图像处理模块对眼动图像进行处理，得到人眼睛注视点的特征值；

步骤303、路径规划：微型计算机调用轮椅路径规划模块规划出电动轮椅从当前位置到达眼睛注视点位置的路径；

步骤304、轮椅运动：微型计算机根据规划的路径控制电动轮椅从当前位置到达眼睛注视点位置；

步骤四、当电动轮椅到达轮椅要到达的眼睛注视点的位置后，所述微型计算机调用声音信号处理模块对麦克风输出的声音信号进行处理，得到残疾人说出的想要取的物品；所述微型计算机调用目标信息提取模块对此时摄像头采集到的环境图像进行处理，提取得到环境图像中的与残疾人想要取的多种物品对应的多个目标信息；然后，所述微型计算机从环境图像中的多个目标信息中找出与残疾人说出的想要取的物品所对应的目标信息，调用目标中心坐标确定模块确定出该目标信息的中心坐标；

步骤五、轮椅控制系统控制类人机械臂到达所取物品的位置并进行取物，具体过程为：

步骤501、所述微型计算机将目标信息的中心坐标输入预先训练好的专家系统模型中，得到类人机械臂各自由度电机的目标角度；

步骤502、类人机械臂位置传感器对类人机械臂的位置进行实时检测并将检测到的类人机械臂各自由度电机的位置信号输出给类人机械臂控制器，类人机械臂控制器再传输给微型计算机；

步骤503、微型计算机调用机械臂路径规划模块对检测到的类人机械臂各自由度电机的位置信号与各自由度电机的目标角度进行处理，得到类人机械臂的运动轨迹；

步骤504、类人机械臂控制器根据类人机械臂的运动轨迹控制类人机械臂到达所取物品的位置并进行取物。

上述的方法，步骤302中所述微型计算机调用眼动图像处理模块对眼动图像进行处理，得到人眼睛注视点的特征值的具体过程为：

步骤30201、所述微型计算机调用图像灰度化处理模块，对眼动图像进行灰度化处理；

步骤30202、所述微型计算机调用图像高斯滤波处理模块，对眼动图像进行高斯滤波处理；

步骤30203、所述微型计算机调用图像二值化处理模块，并采用Otsu自适应阈值分割方法对眼动图像进行二值化处理；

步骤30204、所述微型计算机调用瞳孔中心定位处理模块，对眼动图像进行瞳孔中心定位处理；

步骤30205、所述微型计算机调用角膜反射光斑中心提取处理模块，并采用加权质心定位算法对眼动图像进行角膜反射光斑中心提取处理；

步骤30206、所述微型计算机调用注视点标定处理模块，将步骤30204处理得到的瞳孔中心和步骤30205处理得到的角膜反射光斑中心的相对偏移量代入预先构建的瞳孔光斑相对偏移量与注视点的映射函数关系式中，标定出人眼的注视点。

上述的方法，步骤30201中所述微型计算机调用图像灰度化处理模块，对眼动图像进行灰度化处理时，采用加权平均法进行，具体方法为：所述微型计算机根据公式f(x′，y′)＝0.212671R(x'，y′)+0.715160G(x'，y′)+0.072169B(x'，y')对眼动图像上位置(x′，y′)处的RGB三个分量进行加权平均，得到加权平均后的系数值f(x′，y′)并保存，其中，R(x′，y′)为眼动图像上位置(x′，y′)处的R分量，G(x′，y′)为眼动图像上位置(x′，y′)处的G分量，B(x′，y′)为眼动图像上位置(x′，y′)处的B分量；

步骤30204中所述微型计算机调用瞳孔中心定位处理模块，对眼动图像进行瞳孔中心定位处理时，采用代数距离最小的最小二乘法进行椭圆拟合，并采用莱特准则对椭圆拟合的结果进行优化，剔除粗大误差点，直至拟合得到最优的椭圆，并将椭圆的中心确定为瞳孔中心；具体过程为：

步骤302041、所述微型计算机在二值化处理后的眼动图像中，提取出瞳孔轮廓曲线；

步骤302042、所述微型计算机从瞳孔轮廓曲线上任意取6个特征点，带入公式Bxy+C(y²-x²)+Dx+Ey+F＝-x²进行椭圆拟合，并添加约束条件A+C＝1，解方程组得到方程系数A、B、C、D、E、F的值；

步骤302043、所述微型计算机根据公式

计算椭圆的中心点坐标(x_o，y_o)；

步骤302044、所述微型计算机将瞳孔轮廓曲线上的特征点p′(x_τp′，y_τp′)与椭圆的中心点连接，得到与点p′(x_τp′，y_τp′)对应的拟合椭圆上的点p(x_τp，y_τp)；其中，τ的取值为1～N的自然数，N为取的瞳孔轮廓曲线上的特征点的总个数且N的取值为大于1的正整数；

步骤302045、所述微型计算机根据公式

计算点p'(x_τp′，y_τp′)与点p(x_τp，y_τp)之间的像素距离l(τ)；

步骤302046、所述微型计算机将τ的值从1取到N，对l(τ)进行基于莱特准则的数据分析，将l(τ)不满足条件时瞳孔轮廓曲线上的点定义为粗大误差点，并将瞳孔轮廓曲线上的粗大误差点剔除，再返回执行步骤302042～步骤302046，直至l(τ)全部满足条件，得到最优的椭圆，并将椭圆的中心确定为瞳孔中心；其中，判断l(τ)是否满足条件的过程为：

步骤3020461、所述微型计算机根据公式

计算τ的值从1取到N时l(τ)的算术平均值

步骤3020462、所述微型计算机根据公式

计算标准差σ；

步骤3020463、所述微型计算机根据公式

计算残差l_b(τ)；

步骤3020464、所述微型计算机将τ的值从1取到N，并将l_b(τ)的值与-3σ和3σ比较，当l_b≤-3σ或l_b≥3σ时，将l(τ)对应的瞳孔轮廓曲线上的点定义为粗大误差点；

步骤30206中所述构建瞳孔光斑相对偏移量与注视点的映射函数关系式时，采用9参数拟合函数，用户注视呈田字格显示的9个参考点，所述轮椅控制系统测量瞳孔与光斑的相对位置偏移量，然后通过最小二乘曲线拟合确定出瞳孔光斑相对偏移量与注视点的映射函数关系式。

上述的方法，步骤303中所述微型计算机调用路径规划模块规划出轮椅从当前位置到达眼睛注视点位置的路径时，采用遗传算法进行路径规划，并采用改进的细菌觅食优化算法产生遗传算法的初始群体；具体过程为：

步骤30301、环境建模：将电动轮椅看作一个点，并设置电动轮椅与环境中障碍物的理想间隔距离为

步骤30302、染色体编码：将电动轮椅到达眼睛注视点的整个路径表示为

其中

为第i′段路径段的矢量表示，它的两个端点分别表示为P_i′和P_i′+1，符号“+”表示矢量的运算；用O表示原点，将

表示为

整个机器人的运动路径表示为路点矢量集合

n为路点总数，

中i′的取值为1～n-1，

为原点O到端点P_i′的路径段的矢量表示，

为原点O到端点P_i′+1的路径段的矢量表示；设P_i′的坐标点表示为

将路径以坐标点形式储存，完成对染色体的编码，所有的路径T是可能的一个满足条件路径；

步骤30303、群体初始化：采用改进的细菌觅食优化算法产生从当前位置到眼睛注视点的可行路径集合，作为遗传算法的初始群体；

步骤30304、构造适应度函数：构造适应度函数为f(p)＝w_d·dist(p)+w_s·smooth(p)+w_c·clear(p)，其中，dist(p)为路径长度且用公式表示为

d(L_i′，L_i′+1)表示L_i′与L_i′+1之间的距离，L_i′+1为第i′+1段路径段的矢量表示，w_d为路径长度的加权系数；smoot(p)为平滑度且用公式表示为

ψ为电动轮椅的理想偏转角度且

S′为场景面积，O_S′为所有障碍物所占的面积，κ为电动轮椅的偏转角度，w_s为平滑度的加权系数；clear(p)为间隔度且用公式表示为

γ_i′为第i′段路径段离障碍物的最短距离，w_c为间隔度的加权系数；

步骤30305、遗传操作，具体过程包括：

步骤303051、选择遗传操作的参数；所述遗传操作的参数包括种群规模、交叉概率和变异概率；

步骤303052、交叉算子：对两个对象进行随即分割，然后重组得到两个新的个体；采用的线段的相交函数为

当第i′段路径段与所有的障碍物不相交时

的取值为0，当第i′段路径段与障碍物相交时

的取值为1，并定义该段路径段与障碍物相交状态变化函数为

当第i′+1段路径段与障碍物相交且第i′段路径段与所有的障碍物不相交时g′_i′的取值为1，当第i′段路径段与障碍物相交且第i′+1段路径段与所有的障碍物不相交时g′_i′的取值为-1，当第i′+1段路径段与障碍物相交且第i′段路径段与障碍物相交时，或者第i′+1段路径段与所有的障碍物不相交且第i′段路径段与所有的障碍物不相交时g′_i′的取值为0；选择分割点的原则是：选择g′_i′为1时对应的变化点作为1号父个体的第一分割点，选择紧随该点之后使得g′_i′为-1的点作为第2分割点；对于2号父个体，选择过程恰好相反，选择g′_i′为-1时对应的变化点作为2号父个体的第一分割点，选择紧随该点之后使得g′_i′为1的变化点作为第2分割点；染色体的长度crossnm的选取公式为

其中，clen为交叉点数，N_max为交叉点数的最大取值；

步骤303053、变异算子：采用启发式变异，以增加一个点、减少一个点和移动一个点3种方式，先对穿越障碍物的中途点以一定概率进行变异，当路径个体中不存在穿越障碍物的点后随机变异路径个体的中途点，使变异所得的路点新坐标

满足

和

进行路径的优化；其中，

为原点O到新端点

的路径段的矢量表示，增加一个点的方法为：对于路径

统计穿越障碍物的线段并记录到存储器R中，当R不为空时，随机从R中取一段并在这一段之间增加一点，否则，随机选取路径L中一个点；减少一个点的方法为：对于路径

当其中间点

与

之间连接没有穿越障碍物时，将点

记录到R中，当R不为空时，从R中随机选取一点删除，否则，随机选取路径中一点删除；移动一个点的方法为：对于路径

将其中穿越障碍物的线段端点记录到R中，当R不空时，在R中随机选取一个点进行移动，否则，随机选取路径个体中一点进行移动；

步骤303054、插入算子：在电动轮椅运动的路径规划所作用路径

上增加不与障碍物相交的路点；

步骤303055、删除算子：该算子在所操作路径上记录所有位于障碍物内部空间的路点，随机选择其中之一并予以删除；对于不和障碍物相交的路径，该算子则在其全体路点中随机选择删除点；

步骤303056、计算种群中各染色体的适应度值和种群的平均适应度值，当种群中一半以上的染色体达到相同的适应度值，且种群的平均适应度值不变时，将这一代种群作为终止种群；否则，循环执行步骤30305。

上述的方法，步骤30303中所述采用改进的细菌觅食优化算法产生从当前位置到眼睛注视点的可行路径集合，作为遗传算法的初始群体的具体过程为：

步骤303031、初始化细菌觅食优化算法参数：所述细菌觅食优化算法参数包括细菌菌群中与电动轮椅从当前位置到眼睛注视点的可行路径相对应的细菌总数S、电动轮椅移动时的搜索的工作维度p、电动轮椅移动时的趋化次数N_c、趋化过程中电动轮椅单向运动的最大步数N_S、电动轮椅移动时的复制次数N_re，、电动轮椅移动时的学习次数N_ed、电动轮椅移动时的最大趋化步长C_max和电动轮椅移动时的最小趋化步长C_min；

步骤303032、初始化菌群位置：采用随机初始化的方法并按照公式X＝X_min+rand×(X_max-X_min)在p维空间初始化2S个点作为细菌的初始化位置，其中随机选取S个细菌作为菌群X₁，剩下的S个细菌作为菌群X₂；X_min为优化区间的最小值，X_max为优化区间的最大值，X为细菌的初始化位置，rand为均匀分布在[0，1]区间的随机数；

步骤303033、适应度值更新：按照公式

计算各个细菌的适应度值；其中，d_attract为细菌与细菌之间引力的深度，w_attract为细菌与细菌之间引力的宽度，h_repellent细菌与细菌之间斥力的高度，w_repellent为细菌与细菌之间斥力的宽度，P(i，j，k，l)为细菌i在第j次趋向性操作、第k次复制操作和第l次迁徙操作后的位置，P(1：S，j，k，l)为当前个体P(i，j，k，l)的邻域内的一个随机位置，J_CC(i，j，k，l)为细菌i在第j次趋向性操作、第k次复制操作和第l次迁徙操作后的适应度值；

步骤303034、设置循环变量的参数：其中趋化循环次数j为1～N_c，复制循环次数k为1～N_re，学习循环次数l为1～N_ed；

步骤303035、进入趋化循环，进行趋化操作，具体方法为：

对菌群X₂，按照以下步骤Q21～步骤Q211的趋化操作对每个细菌进行趋化：

步骤Q21、将细菌i重新赋值为i+1，判断细菌i的规模是否小于细菌规模S，当小于时执行步骤Q22，当不小于时跳转执行步骤Q212；

步骤Q22、计算细菌i的适应度值；

步骤Q23、细菌i在随机产生的方向上翻转一个单位步长；

步骤Q24、令j初始化为1；

步骤Q25、计算新位置上细菌i的适应度值；

步骤Q26、判断j是否小于最大步数N_c，当小于时执行步骤Q27，当不小于时跳转执行步骤Q21；

步骤Q27、将j的重新赋值为j+1；

步骤Q28、判断新位置上细菌i的适应度值是否改变，当改变时执行步骤Q29，当没有改变时令j＝N_S，并跳转执行步骤Q26；

步骤Q29、更新细菌i的适应度值；

步骤Q210、细菌种群在翻转的方向上继续游动；

步骤Q211、跳转执行步骤Q25，继续循环，直至步骤Q21中i的取值等于S为止；

步骤Q212、趋化操作结束；

对菌群X₁，按照以下步骤Q11～步骤Q112的趋化操作对每个细菌进行趋化：

步骤Q11、将细菌i重新赋值为i+1，判断细菌i的规模是否小于细菌菌落规模S，当小于时执行步骤Q12，当不小于时跳转执行步骤Q112；

步骤Q12、计算细菌i的适应度值；

步骤Q13、根据公式

计算细菌菌群密度函数因子D(i)，并根据公式C(i)＝A·D(i)+B计算趋化步长C(i)；再令细菌i在随机产生的方向上翻转步长C(i)；其中，L为搜索空间对角线中最大长度，X(m，i)为细菌i在搜索空间第m维的位置坐标值，

为当前搜索空间内所有细菌在搜索空间第m维的平均位置坐标值；

步骤Q14、令j初始化为1；

步骤Q15、计算新位置上细菌i的适应度值；

步骤Q16、判断j是否小于最大步数N_c，当小于时执行步骤Q17，当不小于时跳转执行步骤Q11；

步骤Q17、将j的重新赋值为j+1；

步骤Q18、判断新位置上细菌i的适应度值是否改变，当改变时执行步骤Q19，当没有改变时令j＝N_S，并跳转执行步骤Q16；

步骤Q19、更新细菌i的适应度值；

步骤Q110、细菌种群在翻转的方向上继续游动；

步骤Q111、跳转执行步骤Q15，继续循环，直至步骤Q11中i的取值等于S为止；

步骤Q112、趋化操作结束；

步骤303036、进入复制循环，进行复制操作，具体方法为：

对菌群X₁，按照以下步骤F11～步骤F16的复制操作对每个细菌进行复制：

步骤F11、将细菌i重新赋值为i+1，判断细菌i的规模是否小于细菌规模S，当小于时执行步骤F12，当不小于时跳转执行步骤F16；

步骤F12、计算细菌在上次复制操作循环中经过的所有位置的适应度之和，并定义为健康度值；

步骤F13、按照健康度值的优劣将细菌进行排序；

步骤F14、跳转执行步骤F11；

步骤F15、淘汰健康度差的

个细菌，剩余的

个细菌各自分裂出一个与自己完全相同的新个体；

步骤F16、复制操作结束；

对菌群X₂，按照以下步骤F21～步骤F24的复制操作对每个细菌进行复制：

步骤F21、计算所有细菌的适应度值并按照从小到大的顺序进行排序，并选出当前最优的细菌作为精英细菌；

步骤F22、对当前最好的一半细菌，按照公式X′₂(i)＝X₂(i)+N(0，1)实施变异操作，生成

个新细菌并与原来的细菌构成新的子细菌群X′₂；其中，N(0，1)为服从均值为0、均方差为1的高斯分布；

步骤F23、对当前最差的一半细菌，按照黄金分割率并取排序在前61.8％的细菌与步骤F21中挑选出来的精英细菌进行交叉操作，生成

个新细菌并与原来的细菌构成新的子细菌群X″₂；

步骤F24、从子细菌群X′₂与子细菌群X″₂中挑选出适应度值最好的前S个细菌替换原来的细菌群X₂；

步骤303037、进入学习循环，进行学习操作，具体方法为：将菌群X₁与菌群X₂中的细菌进行排序，并将菌群X₁的排序在前61.8％的细菌按照轮盘赌法选择出0.382S个细菌与菌群X₂中排序在后38.2％的细菌进行交换，交换来的0.382S个细菌组成新的菌群X₂；

步骤303038、判断趋化循环、复制循环和学习循环的循环次数是否已达到设置值，当达到时，循环结束，通过适应度值比较两个菌群中发现的最优细菌，选择出最好的作为全局最优解，并将结果输出，否则，继续循环执行步骤303035～步骤303038，直到趋化循环、复制循环和学习循环的循环次数已达到设置值。

上述的方法，步骤303051中所述交叉概率P_c和变异概率P_m的选择采用基于余弦函数的自适应概率公式：

其中，P_c1为最大的交叉概率，P_c2为最小的交叉概率，f′为个体的适应度值，f_avg为平均适应度值，f_max为最大的适应度值，P_m1为最大的变异概率，P_m2为最小的变异概率。

上述的方法，步骤四中所述微型计算机调用声音信号处理模块对麦克风输出的声音信号进行处理，得到残疾人说出的想要取的物品的具体过程为：

步骤D1、所述微型计算机调用语谱图绘制模块，将接收到的声音信号绘制为语谱图；

步骤D2、所述微型计算机将语谱图输入预先构建的Tensorflow深度学习语义识别网络中，得到语义识别的结果，多种语义分别对应残疾人想要取的多种物品；

所述Tensorflow深度学习语义识别网络的构建方法为：

步骤D201、人对着麦克风说话时，所述麦克风将其拾取到的人的声音信号传输给微型计算机；所述微型计算机采集声音信号；

步骤D202、所述微型计算机调用语谱图绘制模块，将接收到的声音信号绘制为语谱图；

步骤D203、重复执行步骤D201和步骤D202，直至所述微型计算机存储了残疾人想要取的多种物品多种语义各500组时长为2s的声音信号的语谱图；

步骤D204、所述微型计算机构建一个卷积网络核的层数为五层、输入层节点为256×256个像素的语谱图、输出层节点数与残疾人需要取的物品类别数相等的Tensorflow深度学习网络，并将其存储的残疾人想要取的多种物品多种语义各500组时长为2s的声音信号的语谱图作为训练样本，对Tensorflow深度学习网络进行训练，得到Tensorflow深度学习语义识别网络；所述Tensorflow深度学习语义识别网络五层卷积网络核的大小从一层到第五层分别为3x3，2x2，3x3，2x2，2x2；所述Tensorflow深度学习语义识别网络的输出为分别对应于残疾人想要取的多种物品的多种语义；

步骤四中所述微型计算机调用目标信息提取模块对此时摄像头采集到的环境图像进行处理，提取得到环境图像中的与残疾人想要取的多种物品对应的多个目标信息的具体过程为：

步骤E1、所述微型计算机调用二次线性插值图像处理模块对环境图像进行平滑处理；

步骤E2、所述微型计算机将经过步骤E1平滑处理后的环境图像输入预先训练好的faster-RCNN网络模型中，得到faster-RCNN网络模型的输出，faster-RCNN网络模型的输出中提取出了环境图像中的与残疾人想要取的多种物品对应的多个目标信息；

其中，预先训练faster-RCNN网络模型的具体过程为：

步骤E201、构建RPN卷积神经网络和fast-RCNN卷积神经网络，所述RPN卷积神经网络由八个卷积层和一个Softmax层构成，所述fast-RCNN卷积神经网络由五个卷积层、一个ROIpooling层、四个全连接层和一个Softmax层构成；

步骤E202、对RPN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

步骤E203、将多个类别的目标图像分别作为输入的训练样本图像，对输入的训练样本图像赋予多个尺度和多个比例的基准框，通过向初始化后的RPN卷积神经网络中输入训练样本图像的基准框来训练RPN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小；多个类别的目标图像分别与残疾人想要取的多种物品对应的多个目标信息相对应；

步骤E204、在训练样本图像上运用训练好的RPN卷积神经网络模型，得到训练样本集的多个类别的目标的粗选框；

步骤E205、对fast-RCNN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

步骤E206、输入训练样本图像和步骤E204中获得的训练样本集的多个类别的目标的粗选框，对输入的训练样本图像每一点都赋予多个尺度和多个比例的基准框，通过向初始化后的fast-RCNN卷积神经网络中输入训练样本图像的基准框，并结合样本集的标注和标签来训练fast-RCNN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小，得到训练好的fast-RCNN卷积神经网络；

步骤E207、重新训练RPN卷积神经网络，将RPN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤E206的fast-RCNN卷积神经网络模型，训练得到新的RPN卷积神经网络模型；

步骤E208、在训练样本图像上运用新训练好的RPN卷积神经网络模型，重新得到训练样本集的多个类别的目标的粗选框；

步骤E209、重新训练fast-RCNN卷积神经网络，将fast-RCNN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤E208中的RPN卷积神经网络模型，使用训练样本集和步骤E208中的训练样本集的多个类别的目标的粗选框标注，重新训练得到新的fast-RCNN卷积神经网络模型；

步骤三中所述微型计算机从环境图像中的多个目标信息中找出与残疾人说出的想要取的物品所对应的目标信息，调用目标中心坐标确定模块确定出该目标信息的中心坐标的具体过程为：

步骤F1、所述微型计算机从环境图像中的多个目标信息中找出与残疾人说出的想要取的物品所对应的目标信息；

步骤F2、所述微型计算机调用边界提取模块对步骤F1中得到的目标进行边界提取，提取得到目标边界；

步骤F3、所述微型计算机对提取出的目标边界像素坐标进行椭圆拟合，并对目标边界像素坐标的椭圆拟合结果进行错误剔除，得到目标边界椭圆的中心坐标、长半轴长度、短半轴长度和长半轴方向；

步骤F4、所述微型计算机采用重心法确定出目标的中心坐标。

上述的方法，步骤501中所述专家系统模型的训练过程为：选取一名或多名志愿者取残疾人想要取的多种物品，记录各个采样时间点右手臂与类人机械臂中各电机位置对应的各关节角度，建立专家系统模型并存储在微型计算机中；

步骤503中所述微型计算机调用机械臂路径规划模块对检测到的类人机械臂各自由度电机的位置信号与各自由度电机的目标角度进行处理，得到类人机械臂的运动轨迹时，采用能量最小原则设计，将类人机械臂中与人的右手臂各关节对应的各电机能量消耗最小的运动轨迹确定为各电机的运动轨迹，其中，对单个电机的路径进行规划的具体过程为：

步骤B1、假设电机需要从角度θ₀运动到角度θ₁，运动过程中花费的时间为T′；

步骤B2、将电机的总能耗W表示为：

其中，W_p为电机的输出功率且

θ(t)为电机的角度，t为时间，τ′为电机输出转矩；W_f为电机发热能耗且

I为电机的有效电流且

K为转矩常数，R′为电机的等效电阻；

步骤B3、在时间段[0，T′]内，定义采样时间间隔为Δt且Δt为能整除T′的正整数，建立路径规划的优化问题为：

其中，Δt＝t_m+1-t_m，m为采样次数且m的取值为正整数；当t_m＝0时，存在约束：

当t_m+1＝T′时，存在约束：

在每个采样周期内利用路径规划的优化问题计算电机运动的角加速度

得到电机的运动轨迹。

1、本发明的带有取物功能的轮椅，结构简单，设计新颖合理，实现方便。

2、本发明的带有取物功能的轮椅的取物控制方法，采用技术成熟的眼动仪进行人的眼动图像采集，眼动仪基于光线反射原理和光线捕捉相结合，眼动图像采集频率高，精度高；眼动图像处理采用了灰度化、高斯滤波、二值化、瞳孔中心定位、角膜反射光斑中心提取等处理，轮椅路径规划采用了遗传算法和细菌觅食优化算法相结合的方法，运算速度快、识别精度高、关联设备少，而且不受时间、空间、外在环境等限制，在人机交互时所展现的直接性、自然性和双向性均优于市面上已经出现的各种电动轮椅控制系统及方法。

3、本发明的带有取物功能的轮椅的取物控制方法，轮椅路径规划时，采用改进的细菌觅食优化算法产生从当前位置到眼睛注视点的可行路径集合，作为遗传算法的初始群体，避免了种群规模过大或过小的问题，不会使遗传算法的搜索空间受到限制，还便于找到全局最优解，提高了路径规划的速度和精度，使得控制的电动轮椅能够快速响应人需要完成的动作。

4、本发明的带有取物功能的轮椅的取物控制方法，通过采用解码器模块、声音信号处理模块、目标信息提取模块、专家系统模型和基于能量最小原则的机械臂路径规划模块，能够实现类人机械臂的自主控制，使类人机械臂能够自动协助残疾人取物。

5、本发明的带有取物功能的轮椅的取物控制方法，通过麦克风和眼动仪，实现了语音输入和图像采集的融合，能够精确控制电动轮椅运动到目标位置处。

6、本发明通过电动轮椅和机械臂组合构成带有取物功能的轮椅，能够协助残疾人或老年人取物，有助于改善老年人和肢体残疾人的移动能力和生活质量，本发明的推广使用，将为残疾人的生活提供极大便利，能够有效减轻照顾残疾人的负担，本发明的实用性强，使用效果好，便于推广使用。

综上所述，本发明的设计新颖合理，实现方便，控制精度高，使电动轮椅和类人机械臂能够自动协助残疾人取物，将为残疾人的生活提供极大便利，实用性强，使用效果好，便于推广使用。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明带有取物功能的轮椅的结构示意图。

图2为本发明轮椅控制系统的电路原理框图。

图3为本发明带有取物功能的轮椅的取物控制方法的方法流程框图。

具体实施方式

如图1和图2所示，本发明的带有取物功能的轮椅，包括电动轮椅1，还包括类人机械臂2和轮椅控制系统，所述类人机械臂2安装在电动轮椅1的右前方，所述轮椅控制系统包括供坐在电动轮椅1上的残疾人佩戴的眼动仪5和安装在电动轮椅1座位底部的微型计算机3，所述电动轮椅1的顶部安装有高度可调的滑杆4，所述滑杆4上安装有摄像头6，所述眼动仪5的输出端和摄像头6的输出端均与微型计算机3的输入端连接，所述电动轮椅1上设置有电动轮椅控制器1-2和用于驱动电动轮椅电机的轮椅电机驱动模块1-1，所述类人机械臂2上设置有类人机械臂控制器2-2、用于对类人机械臂2的位置进行实时检测的类人机械臂位置传感器2-2和用于驱动类人机械臂电机的机械臂电机驱动模块2-1，所述轮椅电机驱动模块1-1与电动轮椅控制器1-2的输出端连接，所述类人机械臂位置传感器2-2与类人机械臂控制器2-2的输入端连接，所述机械臂电机驱动模块2-1与类人机械臂控制器2-2的输出端连接，所述电动轮椅控制器1-2和类人机械臂控制器2-2均与微型计算机3相接，所述微型计算机3上还接有用于拾取人的声音信号的麦克风7，所述麦克风7安装在类人机械臂2上。

本实施例中，所述类人机械臂2为六自由度类人机械臂；所述电动轮椅控制器1-2和类人机械臂控制器2-2均为单片机。

具体实施时，所述眼动仪5上安装有水平陀螺仪。所述电动轮椅1包括前轮电机和后轮电机，所述轮椅电机驱动模块1-1用于驱动电动轮椅1的前轮电机和后轮电机；所述类人机械臂2包括第一自由度电机、第二自由度电机、第三自由度电机、第四自由度电机、第五自由度电机和第六自由度电机，所述机械臂电机驱动模块2-1用于驱动类人机械臂2的第一自由度电机、第二自由度电机、第三自由度电机、第四自由度电机、第五自由度电机和第六自由度电机。

如图3所示，本发明的带有取物功能的轮椅的取物控制方法，包括以下步骤：

步骤一、残疾人坐在电动轮椅1上，佩戴眼动仪5；

步骤二、当残疾人想要到某个位置处取物品时，残疾人先对着麦克风7说出想要取什么物品，所述麦克风7将其拾取到的残疾人的声音信号传输给微型计算机3，同时，摄像头6采集电动轮椅1前方的环境图像并将采集到的环境图像传输给微型计算机3；残疾人再注视轮椅要到达的位置；

步骤三、轮椅控制系统控制电动轮椅1从当前位置到达轮椅要到达的眼睛注视点的位置，具体过程为：

步骤301、眼动图像采集及传输：眼动仪5对坐在电动轮椅上的人的眼动图像进行采集并将采集到的眼动图像实时传输给微型计算机3；

步骤302、眼动图像处理：微型计算机3调用眼动图像处理模块对眼动图像进行处理，得到人眼睛注视点的特征值；

本实施例中，步骤302中所述微型计算机3调用眼动图像处理模块对眼动图像进行处理，得到人眼睛注视点的特征值的具体过程为：

步骤30201、所述微型计算机3调用图像灰度化处理模块，对眼动图像进行灰度化处理；

本实施例中，步骤30201中所述微型计算机3调用图像灰度化处理模块，对眼动图像进行灰度化处理时，采用加权平均法进行，具体方法为：所述微型计算机3根据公式f(x′，y′)＝0.212671R(x′，y′)+0.715160G(x′，y′)+0.072169B(x′，y′)对眼动图像上位置(x′，y′)处的RGB三个分量进行加权平均，得到加权平均后的系数值f(x′，y′)并保存，其中，R(x′，y′)为眼动图像上位置(x′，y′)处的R分量，G(x′，y′)为眼动图像上位置(x′，y′)处的G分量，B(x′，y′)为眼动图像上位置(x′，y′)处的B分量；

现有技术中经常采用的灰度化图像处理方法有分量法、平均值法、最大值法，但是，容易使彩色图像丢失颜色等级，在图像处理过程中，不能有效获取图像信息；因此，本发明采用加权平均法，能够根据RGB三个分量的不同亮度值通过不同的权值来加权平均后分配得到一个合适的系数值，便于保存图像的信息；

步骤30202、所述微型计算机3调用图像高斯滤波处理模块，对眼动图像进行高斯滤波处理；

由于现有技术中常用的中值滤波会使图像的部分结构丢失并且运算时间长，均值滤波也不能有效地保护图像完整细节，去噪过程中也消除了图像的结构，因此使图像变得不清晰，不能有效地达到去噪的目的，因此本发明采用高斯滤波的方法进行滤波，能够有效地去除服从正态分布的图像噪声，还能保存图像所需的信息，获取到清晰的眼动图像。

步骤30203、所述微型计算机3调用图像二值化处理模块，并采用Otsu自适应阈值分割方法对眼动图像进行二值化处理；

步骤30204、所述微型计算机3调用瞳孔中心定位处理模块，对眼动图像进行瞳孔中心定位处理；

本实施例中，步骤30204中所述微型计算机3调用瞳孔中心定位处理模块，对眼动图像进行瞳孔中心定位处理时，采用代数距离最小的最小二乘法进行椭圆拟合，并采用莱特准则对椭圆拟合的结果进行优化，剔除粗大误差点，直至拟合得到最优的椭圆，并将椭圆的中心确定为瞳孔中心；具体过程为：

步骤302041、所述微型计算机3在二值化处理后的眼动图像中，提取出瞳孔轮廓曲线；

步骤302042、所述微型计算机3从瞳孔轮廓曲线上任意取6个特征点，带入公式Bxy+C(y²-x²)+Dx+Ey+F＝-x²进行椭圆拟合，并添加约束条件A+C＝1，解方程组得到方程系数A、B、C、D、E、F的值；

步骤302043、所述微型计算机3根据公式

计算椭圆的中心点坐标(x_o，y_o)；

步骤302044、所述微型计算机3将瞳孔轮廓曲线上的特征点p′(x_τp′，y_τp′)与椭圆的中心点连接，得到与点p′(x_τp′，y_τp′)对应的拟合椭圆上的点p(x_τp，y_τp)；其中，τ的取值为1～N的自然数，N为取的瞳孔轮廓曲线上的特征点的总个数且N的取值为大于1的正整数；

步骤302045、所述微型计算机3根据公式

计算点p′(x_τp′，y_τp′)与点p(x_τp，y_τp)之间的像素距离l(τ)；

步骤302046、所述微型计算机3将τ的值从1取到N，对l(τ)进行基于莱特准则的数据分析，将l(τ)不满足条件时瞳孔轮廓曲线上的点定义为粗大误差点，并将瞳孔轮廓曲线上的粗大误差点剔除，再返回执行步骤302042～步骤302046，直至l(τ)全部满足条件，得到最优的椭圆，并将椭圆的中心确定为瞳孔中心；其中，判断l(τ)是否满足条件的过程为：

步骤3020461、所述微型计算机3根据公式

计算τ的值从1取到N时l(τ)的算术平均值

步骤3020462、所述微型计算机3根据公式

计算标准差σ；

步骤3020463、所述微型计算机3根据公式

计算残差l_b(τ)；

步骤3020464、所述微型计算机3将τ的值从1取到N，并将l_b(τ)的值与-3σ和3σ比较，当l_b≤-3σ或l_b≥3σ时，将l(τ)对应的瞳孔轮廓曲线上的点定义为粗大误差点；

眼动仪5在采集人的眼动图像时，因为眼睛的快速运动和外界震动，不可避免地会存在误差较大的样本拟合点，如果只用最小二乘法进行拟合，拟合误差较大，不能满足检测要求，因此本发明提出了采用最小二乘法和莱特准则相结合进行椭圆拟合的方法，能够有效降低拟合误差，得到更加准确的拟合椭圆，且计算量少，适用于高速眼动的情况；

步骤30205、所述微型计算机3调用角膜反射光斑中心提取处理模块，并采用加权质心定位算法对眼动图像进行角膜反射光斑中心提取处理；

步骤30206、所述微型计算机3调用注视点标定处理模块，将步骤30204处理得到的瞳孔中心和步骤30205处理得到的角膜反射光斑中心的相对偏移量代入预先构建的瞳孔光斑相对偏移量与注视点的映射函数关系式中，标定出人眼的注视点。

本实施例中，步骤30206中所述构建瞳孔光斑相对偏移量与注视点的映射函数关系式时，采用9参数拟合函数，用户注视呈田字格显示的9个参考点，所述轮椅控制系统测量瞳孔与光斑的相对位置偏移量，然后通过最小二乘曲线拟合确定出瞳孔光斑相对偏移量与注视点的映射函数关系式。

具体实施时，用V(x，y)表示瞳孔与光斑的相对位置偏移量向量，用S_g表示眼动仪5获得的注视点坐标与实际注视点坐标之间的误差的横坐标，用S_k表示眼动仪5获得的注视点坐标与实际注视点坐标之间的误差的纵坐标，拟合函数表示为：

S_g＝b₁x⁸+b₂x⁷+b₃x⁶+b₄x⁵+b₅x⁴+b₆x³+b₇x²+b₈x+b₉

S_k＝c₁y⁸+c₂y⁷+c₃y⁶+c₄y⁵+c₅y⁴+c₆y³+c₇y²+c₈y+c₉

其中，b₁～b₉和c₁～c₉均为系数，通过最小二乘曲线拟合确定出。

步骤303、路径规划：微型计算机3调用轮椅路径规划模块规划出电动轮椅从当前位置到达眼睛注视点位置的路径；

本实施例中，步骤303中所述微型计算机3调用路径规划模块规划出轮椅从当前位置到达眼睛注视点位置的路径时，采用遗传算法进行路径规划，并采用改进的细菌觅食优化算法产生遗传算法的初始群体；具体过程为：

步骤30301、环境建模：将电动轮椅看作一个点，并设置电动轮椅与环境中障碍物的理想间隔距离为

步骤30302、染色体编码：将电动轮椅到达眼睛注视点的整个路径表示为

其中

为第i′段路径段的矢量表示，它的两个端点分别表示为P_i′和P_i′+1，符号“+”表示矢量的运算；用O表示原点，将

表示为

整个机器人的运动路径表示为路点矢量集合

n为路点总数，

中i′的取值为1～n-1，

为原点O到端点P_i′的路径段的矢量表示，

为原点O到端点P_i′+1的路径段的矢量表示；设P_i′的坐标点表示为

将路径以坐标点形式储存，完成对染色体的编码，所有的路径T是可能的一个满足条件路径；

步骤30303、群体初始化：采用改进的细菌觅食优化算法产生从当前位置到眼睛注视点的可行路径集合，作为遗传算法的初始群体；

本实施例中，步骤30303中所述采用改进的细菌觅食优化算法产生从当前位置到眼睛注视点的可行路径集合，作为遗传算法的初始群体的具体过程为：

步骤303031、初始化细菌觅食优化算法参数：所述细菌觅食优化算法参数包括细菌菌群中与电动轮椅从当前位置到眼睛注视点的可行路径相对应的细菌总数S、电动轮椅移动时的搜索的工作维度p、电动轮椅移动时的趋化次数N_c、趋化过程中电动轮椅单向运动的最大步数N_s、电动轮椅移动时的复制次数N_re，、电动轮椅移动时的学习次数N_ed、电动轮椅移动时的最大趋化步长C_max和电动轮椅移动时的最小趋化步长C_min；

步骤303032、初始化菌群位置：采用随机初始化的方法并按照公式X＝X_min+rand×(X_max-X_min)在p维空间初始化2S个点作为细菌的初始化位置，其中随机选取S个细菌作为菌群X₁，剩下的S个细菌作为菌群X₂；X_min为优化区间的最小值，X_max为优化区间的最大值，X为细菌的初始化位置，rand为均匀分布在[0，1]区间的随机数；

步骤303033、适应度值更新：按照公式

计算各个细菌的适应度值；其中，d_attract为细菌与细菌之间引力的深度，w_attract为细菌与细菌之间引力的宽度，h_repellent细菌与细菌之间斥力的高度，w_repellent为细菌与细菌之间斥力的宽度，P(i，j，k，l)为细菌i在第j次趋向性操作、第k次复制操作和第l次迁徙操作后的位置，P(1：S，j，k，l)为当前个体P(i，j，k，l)的邻域内的一个随机位置，J_CC(i，j，k，l)为细菌i在第j次趋向性操作、第k次复制操作和第l次迁徙操作后的适应度值；

步骤303034、设置循环变量的参数：其中趋化循环次数j为1～N_c，复制循环次数k为1～N_re，学习循环次数l为1～N_ed；

步骤303035、进入趋化循环，进行趋化操作，具体方法为：

对菌群X₂，按照以下步骤Q21～步骤Q211的趋化操作对每个细菌进行趋化：

步骤Q21、将细菌i重新赋值为i+1，判断细菌i的规模是否小于细菌规模S，当小于时执行步骤Q22，当不小于时跳转执行步骤Q212；

步骤Q22、计算细菌i的适应度值；

步骤Q23、细菌i在随机产生的方向上翻转一个单位步长；

步骤Q24、令j初始化为1；

步骤Q25、计算新位置上细菌i的适应度值；

步骤Q26、判断j是否小于最大步数N_c，当小于时执行步骤Q27，当不小于时跳转执行步骤Q21；

步骤Q27、将j的重新赋值为j+1；

步骤Q28、判断新位置上细菌i的适应度值是否改变，当改变时执行步骤Q29，当没有改变时令j＝N_S，并跳转执行步骤Q26；

步骤Q29、更新细菌i的适应度值；

步骤Q210、细菌种群在翻转的方向上继续游动；

步骤Q211、跳转执行步骤Q25，继续循环，直至步骤Q21中i的取值等于S为止；

步骤Q212、趋化操作结束；

对菌群X₁，按照以下步骤Q11～步骤Q112的趋化操作对每个细菌进行趋化：

步骤Q11、将细菌i重新赋值为i+1，判断细菌i的规模是否小于细菌菌落规模S，当小于时执行步骤Q12，当不小于时跳转执行步骤Q112；

步骤Q12、计算细菌i的适应度值；

步骤Q13、根据公式

计算细菌菌群密度函数因子D(i)，并根据公式C(i)＝A·D(i)+B计算趋化步长C(i)；再令细菌i在随机产生的方向上翻转步长C(i)；其中，L为搜索空间对角线中最大长度，X(m，i)为细菌i在搜索空间第m维的位置坐标值，

为当前搜索空间内所有细菌在搜索空间第m维的平均位置坐标值；

步骤Q14、令j初始化为1；

步骤Q15、计算新位置上细菌i的适应度值；

步骤Q16、判断j是否小于最大步数N_c，当小于时执行步骤Q17，当不小于时跳转执行步骤Q11；

步骤Q17、将j的重新赋值为j+1；

步骤Q18、判断新位置上细菌i的适应度值是否改变，当改变时执行步骤Q19，当没有改变时令j＝N_S，并跳转执行步骤Q16；

步骤Q19、更新细菌i的适应度值；

步骤Q110、细菌种群在翻转的方向上继续游动；

步骤Q111、跳转执行步骤Q15，继续循环，直至步骤Q11中i的取值等于S为止；

步骤Q112、趋化操作结束；

步骤303036、进入复制循环，进行复制操作，具体方法为：

对菌群X₁，按照以下步骤F11～步骤F16的复制操作对每个细菌进行复制：

步骤F11、将细菌i重新赋值为i+1，判断细菌i的规模是否小于细菌规模S，当小于时执行步骤F12，当不小于时跳转执行步骤F16；

步骤F12、计算细菌在上次复制操作循环中经过的所有位置的适应度之和，并定义为健康度值；

步骤F13、按照健康度值的优劣将细菌进行排序；

步骤F14、跳转执行步骤F11；

步骤F15、淘汰健康度差的

个细菌，剩余的

个细菌各自分裂出一个与自己完全相同的新个体；

步骤F16、复制操作结束；

对菌群X₂，按照以下步骤F21～步骤F24的复制操作对每个细菌进行复制：

步骤F21、计算所有细菌的适应度值并按照从小到大的顺序进行排序，并选出当前最优的细菌作为精英细菌；

步骤F22、对当前最好的一半细菌，按照公式X′₂(i)＝X₂(i)+N(0，1)实施变异操作，生成

个新细菌并与原来的细菌构成新的子细菌群X′₂；其中，N(0，1)为服从均值为0、均方差为1的高斯分布；

步骤F23、对当前最差的一半细菌，按照黄金分割率并取排序在前61.8％的细菌与步骤F21中挑选出来的精英细菌进行交叉操作，生成

个新细菌并与原来的细菌构成新的子细菌群X″₂；

步骤F24、从子细菌群X′₂与子细菌群X″₂中挑选出适应度值最好的前S个细菌替换原来的细菌群X₂；

步骤303037、进入学习循环，进行学习操作，具体方法为：将菌群X₁与菌群X₂中的细菌进行排序，并将菌群X₁的排序在前61.8％的细菌按照轮盘赌法选择出0.382S个细菌与菌群X₂中排序在后38.2％的细菌进行交换，交换来的0.382S个细菌组成新的菌群X₂；

步骤303038、判断趋化循环、复制循环和学习循环的循环次数是否已达到设置值，当达到时，循环结束，通过适应度值比较两个菌群中发现的最优细菌，选择出最好的作为全局最优解，并将结果输出，否则，继续循环执行步骤303035～步骤303038，直到趋化循环、复制循环和学习循环的循环次数已达到设置值。

步骤30304、构造适应度函数：构造适应度函数为f(p)＝w_d·dist(p)+w_s·smooth(p)+w_c·clear(p)(即适应度函数由路径长度dis(p)、平滑度smooth(p)和间隔度clear(p)三个目标函数组成)，其中，dist(p)为路径长度且用公式表示为

d(L_i′，L_i′+1)表示L_i′与L_i′+1之间的距离，L_i′+1为第i′+1段路径段的矢量表示，w_d为路径长度的加权系数；smooth(p)为平滑度且用公式表示为

ψ为电动轮椅的理想偏转角度且

S′为场景面积，O_S′为所有障碍物所占的面积，κ为电动轮椅的偏转角度，w_s为平滑度的加权系数；clear(p)为间隔度且用公式表示为

γ_i′为第i′段路径段离障碍物的最短距离，w_c为间隔度的加权系数；

由于轮椅本身具有一定的尺寸且要求一定的安全制动距离，因此在适应度函数的构建中引入了间隔度，即环境中障碍物与轮椅的理想间隔距离τ，通过在步骤30301中自己定义轮椅与环境中障碍物的理想间隔距离s，能够通过适应度函数f(p)来约束障碍物与轮椅之间的距离。通过路径长度dist(p)、平滑度smooth(p)和间隔度clear(p)三个函数构造适应度函数，便于得到最优的路径。

步骤30305、遗传操作，具体过程包括：

步骤303051、选择遗传操作的参数；所述遗传操作的参数包括种群规模、交叉概率和变异概率；

具体实施时，种群规模越大，种群中个体的多样性就越高，因而容易找到全局最优解；但大群体增加了个体适应性评价的计算量，会使收敛速度降低，若群体规模太小，则会使遗传算法的搜索空间受到限制，可能产生未成熟收敛的现象，种群规模的取值范围为20～100，优选为30；

本实施例中，步骤303051中所述交叉概率P_c和变异概率P_m的选择采用基于余弦函数的自适应概率公式：

其中，P_c1为最大的交叉概率，P_c2为最小的交叉概率，f′为个体的适应度值，f_avg为平均适应度值，f_max为最大的适应度值，P_m1为最大的变异概率，P_m2为最小的变异概率。

具体实施时，交叉概率决定了交叉操作被使用的频率，较大的交叉概率可使各代充分交叉，但种群中的优良模式遭到破坏的可能性增大，从而使搜索走向随机化；而交叉概率太低，就会使得更多的个体直接复制到下一代，遗传搜索可能陷入停滞状态；变异操作是保持群体多样性的手段，交叉结束后，交配池中的全部个体位串上的每位等位基因按变异概率随机改变；变异概率的选取受种群大小、染色体长度等因素影响，若选取较高的变异概率，可增加样本模式的多样性，但可能引起不稳定。采用本发明的方法选择交叉概率P_c和变异概率P_m，交叉概率和变异概率能够随适应度值自动改变，当种群各个体适应度趋于局部最优时，使交叉概率和变异概率二者增加，而当群体适应度比较分散时，使交叉概率和变异概率减少；对于适应值高于群体平均适应值的个体，对应于较低的交叉概率和变异概率，使该个体得以保护进入下一代；而低于平均适应值的个体，相对应于较高的交叉概率和变异概率，使该个体被淘汰掉；本发明的方法能够提供相对某个解的最佳交叉概率和变异概率。

步骤303052、交叉算子：对两个对象进行随即分割，然后重组得到两个新的个体；采用的线段的相交函数为

当第i′段路径段与所有的障碍物不相交时

的取值为0，当第i′段路径段与障碍物相交时

的取值为1，并定义该段路径段与障碍物相交状态变化函数为

当第i′+1段路径段与障碍物相交且第i′段路径段与所有的障碍物不相交时g′_i′的取值为1，当第i′段路径段与障碍物相交且第i′+1段路径段与所有的障碍物不相交时g′_i′的取值为-1，当第i′+1段路径段与障碍物相交且第i′段路径段与障碍物相交时，或者第i′+1段路径段与所有的障碍物不相交且第i′段路径段与所有的障碍物不相交时g′_i′的取值为0(即第i′+1段路径段和第i′段路径段与障碍物的相交情况相同时g′_i′的取值为0)；选择分割点的原则是：选择g′_i′为1时对应的变化点作为1号父个体的第一分割点，选择紧随该点之后使得g′_i′为-1的点作为第2分割点；对于2号父个体，选择过程恰好相反，选择g′_i′为-1时对应的变化点作为2号父个体的第一分割点，选择紧随该点之后使得g′_i′为1的变化点作为第2分割点；更多的分割点同理可得；染色体的长度crossnm的选取公式为

其中，clen为交叉点数，N_max为交叉点数的最大取值；通过设定染色体的长度crossnm的选取规则，能够避免前面的交叉操作使最后的染色体很短；

步骤303053、变异算子：采用启发式变异，以增加一个点、减少一个点和移动一个点3种方式，先对穿越障碍物的中途点以一定概率进行变异，当路径个体中不存在穿越障碍物的点后随机变异路径个体的中途点，使变异所得的路点新坐标

满足

和

进行路径的优化；其中，

为原点O到新端点

的路径段的矢量表示，增加一个点的方法为：对于路径

统计穿越障碍物的线段并记录到存储器R中，当R不为空时，随机从R中取一段并在这一段之间增加一点，否则，随机选取路径L中一个点；减少一个点的方法为：对于路径

当其中间点

与

之间连接没有穿越障碍物时，将点

记录到R中，当R不为空时，从R中随机选取一点删除，否则，随机选取路径中一点删除；移动一个点的方法为：对于路径

将其中穿越障碍物的线段端点记录到R中，当R不空时，在R中随机选取一个点进行移动，否则，随机选取路径个体中一点进行移动；

为变异所得的第i′-1段路径段的矢量表示，

为变异所得的第i′-1段路径段的相交函数且取值方法与

的取值方法相同，当变异所得的第i′-1段路径段与所有的障碍物不相交时

的取值为0，当变异所得的第i′-1段路径段与障碍物相交时

的取值为1；

为变异所得的第i′段路径段的相交函数且取值方法与

的取值方法相同，当变异所得的第i′段路径段与所有的障碍物不相交时

的取值为0，当变异所得的第i′段路径段与障碍物相交时

的取值为1；这样的变异过程保证了每次变异对路径优化的非负效果，避免了路径劣化；

步骤303054、插入算子：在电动轮椅运动的路径规划所作用路径

上增加不与障碍物相交的路点；

具体实施时，考虑路径上某一直线段

与障碍物相交，并且有端点坐标P_i′处于障碍物外部空间，于是通过在P_i′与P_i′+1之间插入合适的端点

一定可以得到不与障碍物相交；同理，对于P_i′+1处于障碍物外部空间时，一定可以有

不与障碍物相交；对于P_i′和P_i′+1均位于障碍物内部的情况，该算子将随机生成坐标值，满足

位于所有障碍物的外部空间；其中，

为原点O到新端点

的路径段的矢量表示；

步骤303055、删除算子：该算子在所操作路径上记录所有位于障碍物内部空间的路点，随机选择其中之一并予以删除；对于不和障碍物相交的路径，该算子则在其全体路点中随机选择删除点；

步骤303056、计算种群中各染色体的适应度值和种群的平均适应度值，当种群中一半以上的染色体达到相同的适应度值，且种群的平均适应度值不变时，将这一代种群作为终止种群；否则，循环执行步骤30305。

步骤304、轮椅运动：微型计算机3根据规划的路径控制电动轮椅从当前位置到达眼睛注视点位置；

步骤四、当电动轮椅1到达轮椅要到达的眼睛注视点的位置后，所述微型计算机3调用声音信号处理模块对麦克风7输出的声音信号进行处理，得到残疾人说出的想要取的物品；所述微型计算机3调用目标信息提取模块对此时摄像头6采集到的环境图像进行处理，提取得到环境图像中的与残疾人想要取的多种物品对应的多个目标信息；然后，所述微型计算机3从环境图像中的多个目标信息中找出与残疾人说出的想要取的物品所对应的目标信息，调用目标中心坐标确定模块确定出该目标信息的中心坐标；

本实施例中，步骤四中所述微型计算机3调用声音信号处理模块对麦克风7输出的声音信号进行处理，得到残疾人说出的想要取的物品的具体过程为：

步骤D1、所述微型计算机3调用语谱图绘制模块，将接收到的声音信号绘制为语谱图；

具体实施时，所述微型计算机3是在MATLAB软件中，运用spectrogram函数，将其接收到的声音信号绘制为语谱图的。

步骤D2、所述微型计算机3将语谱图输入预先构建的Tensorflow深度学习语义识别网络中，得到语义识别的结果，多种语义分别对应残疾人想要取的多种物品；

所述Tensorflow深度学习语义识别网络的构建方法为：

步骤D201、人对着麦克风7说话时，所述麦克风7将其拾取到的人的声音信号传输给微型计算机3；所述微型计算机3采集声音信号；

步骤D202、所述微型计算机3调用语谱图绘制模块，将接收到的声音信号绘制为语谱图；

步骤D203、重复执行步骤D201和步骤D202，直至所述微型计算机3存储了残疾人想要取的多种物品多种语义各500组时长为2s的声音信号的语谱图；

步骤D204、所述微型计算机3构建一个卷积网络核的层数为五层、输入层节点为256×256个像素的语谱图、输出层节点数与残疾人需要取的物品类别数相等的Tensorflow深度学习网络，并将其存储的残疾人想要取的多种物品多种语义各500组时长为2s的声音信号的语谱图作为训练样本，对Tensorflow深度学习网络进行训练，得到Tensorflow深度学习语义识别网络；所述Tensorflow深度学习语义识别网络五层卷积网络核的大小从一层到第五层分别为3x3，2x2，3x3，2x2，2x2；所述Tensorflow深度学习语义识别网络的输出为分别对应于残疾人想要取的多种物品的多种语义。

本实施例中，步骤四中所述微型计算机3调用目标信息提取模块对此时摄像头6采集到的环境图像进行处理，提取得到环境图像中的与残疾人想要取的多种物品对应的多个目标信息的具体过程为：

步骤E1、所述微型计算机3调用二次线性插值图像处理模块对环境图像进行平滑处理；

步骤E2、所述微型计算机3将经过步骤E1平滑处理后的环境图像输入预先训练好的faster-RCNN网络模型中，得到faster-RCNN网络模型的输出，faster-RCNN网络模型的输出中提取出了环境图像中的与残疾人想要取的多种物品对应的多个目标信息；

其中，预先训练faster-RCNN网络模型的具体过程为：

步骤E201、构建RPN卷积神经网络和fast-RCNN卷积神经网络，所述RPN卷积神经网络由八个卷积层和一个Softmax层构成，所述fast-RCNN卷积神经网络由五个卷积层、一个ROIpooling层、四个全连接层和一个Softmax层构成；

步骤E202、对RPN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

步骤E203、将多个类别的目标图像分别作为输入的训练样本图像，对输入的训练样本图像赋予多个尺度和多个比例的基准框，通过向初始化后的RPN卷积神经网络中输入训练样本图像的基准框来训练RPN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小；多个类别的目标图像分别与残疾人想要取的多种物品对应的多个目标信息相对应；

具体实施时，所述残疾人想要取的多种物品包括“杯子”、“遥控器”和“手机”，多个类别的目标图像即为杯子图像、遥控器图像、手机图像；

步骤E204、在训练样本图像上运用训练好的RPN卷积神经网络模型，得到训练样本集的多个类别的目标的粗选框；

步骤E205、对fast-RCNN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

步骤E206、输入训练样本图像和步骤E204中获得的训练样本集的多个类别的目标的粗选框，对输入的训练样本图像每一点都赋予多个尺度和多个比例的基准框，通过向初始化后的fast-RCNN卷积神经网络中输入训练样本图像的基准框，并结合样本集的标注和标签来训练fast-RCNN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小，得到训练好的fast-RCNN卷积神经网络；

步骤E207、重新训练RPN卷积神经网络，将RPN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤E206的fast-RCNN卷积神经网络模型，训练得到新的RPN卷积神经网络模型；

步骤E208、在训练样本图像上运用新训练好的RPN卷积神经网络模型，重新得到训练样本集的多个类别的目标的粗选框；

步骤E209、重新训练fast-RCNN卷积神经网络，将fast-RCNN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤E208中的RPN卷积神经网络模型，使用训练样本集和步骤E208中的训练样本集的多个类别的目标的粗选框标注，重新训练得到新的fast-RCNN卷积神经网络模型；

步骤三中所述微型计算机3从环境图像中的多个目标信息中找出与残疾人说出的想要取的物品所对应的目标信息，调用目标中心坐标确定模块确定出该目标信息的中心坐标的具体过程为：

步骤F1、所述微型计算机3从环境图像中的多个目标信息中找出与残疾人说出的想要取的物品所对应的目标信息；

步骤F2、所述微型计算机3调用边界提取模块对步骤F1中得到的目标进行边界提取，提取得到目标边界；

步骤F3、所述微型计算机3对提取出的目标边界像素坐标进行椭圆拟合，并对目标边界像素坐标的椭圆拟合结果进行错误剔除，得到目标边界椭圆的中心坐标、长半轴长度、短半轴长度和长半轴方向；

具体实施时，所述微型计算机3对提取出的目标边界像素坐标进行椭圆拟合采用了最小二乘法；所述微型计算机3对目标边界像素坐标的椭圆拟合结果进行错误剔除的具体方法为：以拟合得到的目标边界椭圆的长半轴长度为观测值，采用粗差探测法对目标边界像素坐标的椭圆拟合结果进行错误剔除。

步骤F4、所述微型计算机3采用重心法确定出目标的中心坐标。

步骤五、轮椅控制系统控制类人机械臂2到达所取物品的位置并进行取物，具体过程为：

步骤501、所述微型计算机3将目标信息的中心坐标输入预先训练好的专家系统模型中，得到类人机械臂2各自由度电机的目标角度；

本实施例中，步骤501中所述专家系统模型的训练过程为：选取一名或多名志愿者取残疾人想要取的多种物品，记录各个采样时间点右手臂与类人机械臂2中各电机位置对应的各关节角度，建立专家系统模型并存储在微型计算机3中；

步骤502、类人机械臂位置传感器2-2对类人机械臂2的位置进行实时检测并将检测到的类人机械臂2各自由度电机的位置信号输出给类人机械臂控制器2-2，类人机械臂控制器2-2再传输给微型计算机3；

步骤503、微型计算机3调用机械臂路径规划模块对检测到的类人机械臂2各自由度电机的位置信号与各自由度电机的目标角度进行处理，得到类人机械臂2的运动轨迹；

本实施例中，步骤503中所述微型计算机3调用机械臂路径规划模块对检测到的类人机械臂2各自由度电机的位置信号与各自由度电机的目标角度进行处理，得到类人机械臂2的运动轨迹时，采用能量最小原则设计，将类人机械臂2中与人的右手臂各关节对应的各电机能量消耗最小的运动轨迹确定为各电机的运动轨迹，其中，对单个电机的路径进行规划的具体过程为：

步骤B1、假设电机需要从角度θ₀运动到角度θ₁，运动过程中花费的时间为T′；

步骤B2、将电机的总能耗W表示为：

其中，W_p为电机的输出功率且

θ(t)为电机的角度，t为时间，τ′为电机输出转矩；W_f为电机发热能耗且

I为电机的有效电流且

K为转矩常数，R′为电机的等效电阻；

步骤B3、在时间段[0，T′]内，定义采样时间间隔为Δt且Δt为能整除T′的正整数，建立路径规划的优化问题为：

其中，Δt＝t_m+1-t_m，m为采样次数且m的取值为正整数；当t_m＝0时，存在约束：

当t_m+1＝T′时，存在约束：

在每个采样周期内利用路径规划的优化问题计算电机运动的角加速度

得到电机的运动轨迹。

步骤504、类人机械臂控制器2-2根据类人机械臂2的运动轨迹控制类人机械臂2到达所取物品的位置并进行取物。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (6)

1.一种带有取物功能的轮椅的取物控制方法，所述带有取物功能的轮椅包括电动轮椅(1)，还包括类人机械臂(2)和轮椅控制系统，所述类人机械臂(2)安装在电动轮椅(1)的右前方，所述轮椅控制系统包括供坐在电动轮椅(1)上的残疾人佩戴的眼动仪(5)和安装在电动轮椅(1)座位底部的微型计算机(3)，所述电动轮椅(1)的顶部安装有高度可调的滑杆(4)，所述滑杆(4)上安装有摄像头(6)，所述眼动仪(5)的输出端和摄像头(6)的输出端均与微型计算机(3)的输入端连接，所述电动轮椅(1)上设置有电动轮椅控制器(1-2)和用于驱动电动轮椅电机的轮椅电机驱动模块(1-1)，所述类人机械臂(2)上设置有类人机械臂控制器、用于对类人机械臂(2)的位置进行实时检测的类人机械臂位置传感器和用于驱动类人机械臂电机的机械臂电机驱动模块(2-1)，所述轮椅电机驱动模块(1-1)与电动轮椅控制器(1-2)的输出端连接，所述类人机械臂位置传感器与类人机械臂控制器的输入端连接，所述机械臂电机驱动模块(2-1)与类人机械臂控制器的输出端连接，所述电动轮椅控制器(1-2)和类人机械臂控制器均与微型计算机(3)相接，所述微型计算机(3)上还接有用于拾取人的声音信号的麦克风(7)，所述麦克风(7)安装在类人机械臂(2)上；其特征在于，该方法包括以下步骤：

步骤一、残疾人坐在电动轮椅(1)上，佩戴眼动仪(5)；

步骤二、当残疾人想要到某个位置处取物品时，残疾人先对着麦克风(7)说出想要取什么物品，所述麦克风(7)将其拾取到的残疾人的声音信号传输给微型计算机(3)，同时，摄像头(6)采集电动轮椅(1)前方的环境图像并将采集到的环境图像传输给微型计算机(3)；残疾人再注视轮椅要到达的位置；

步骤三、轮椅控制系统控制电动轮椅(1)从当前位置到达轮椅要到达的眼睛注视点的位置，具体过程为：

步骤301、眼动图像采集及传输：眼动仪(5)对坐在电动轮椅上的人的眼动图像进行采集并将采集到的眼动图像实时传输给微型计算机(3)；

步骤302、眼动图像处理：微型计算机(3)调用眼动图像处理模块对眼动图像进行处理，得到人眼睛注视点的特征值；

步骤303、路径规划：微型计算机(3)调用轮椅路径规划模块规划出电动轮椅从当前位置到达眼睛注视点位置的路径；

步骤304、轮椅运动：微型计算机(3)根据规划的路径控制电动轮椅从当前位置到达眼睛注视点位置；

步骤四、当电动轮椅(1)到达轮椅要到达的眼睛注视点的位置后，所述微型计算机(3)调用声音信号处理模块对麦克风(7)输出的声音信号进行处理，得到残疾人说出的想要取的物品；所述微型计算机(3)调用目标信息提取模块对此时摄像头(6)采集到的环境图像进行处理，提取得到环境图像中的与残疾人想要取的多种物品对应的多个目标信息；然后，所述微型计算机(3)从环境图像中的多个目标信息中找出与残疾人说出的想要取的物品所对应的目标信息，调用目标中心坐标确定模块确定出该目标信息的中心坐标；

步骤五、轮椅控制系统控制类人机械臂(2)到达所取物品的位置并进行取物，具体过程为：

步骤501、所述微型计算机(3)将目标信息的中心坐标输入预先训练好的专家系统模型中，得到类人机械臂(2)各自由度电机的目标角度；

步骤502、类人机械臂位置传感器对类人机械臂(2)的位置进行实时检测并将检测到的类人机械臂(2)各自由度电机的位置信号输出给类人机械臂控制器，类人机械臂控制器再传输给微型计算机(3)；

步骤503、微型计算机(3)调用机械臂路径规划模块对检测到的类人机械臂(2)各自由度电机的位置信号与各自由度电机的目标角度进行处理，得到类人机械臂(2)的运动轨迹；

步骤504、类人机械臂控制器根据类人机械臂(2)的运动轨迹控制类人机械臂(2)到达所取物品的位置并进行取物；

所述类人机械臂(2)为六自由度类人机械臂；所述电动轮椅控制器(1-2)和类人机械臂控制器均为单片机；

步骤302中所述微型计算机(3)调用眼动图像处理模块对眼动图像进行处理，得到人眼睛注视点的特征值的具体过程为：

步骤30201、所述微型计算机(3)调用图像灰度化处理模块，对眼动图像进行灰度化处理；

步骤30202、所述微型计算机(3)调用图像高斯滤波处理模块，对眼动图像进行高斯滤波处理；

步骤30203、所述微型计算机(3)调用图像二值化处理模块，并采用Otsu自适应阈值分割方法对眼动图像进行二值化处理；

步骤30204、所述微型计算机(3)调用瞳孔中心定位处理模块，对眼动图像进行瞳孔中心定位处理；

步骤30205、所述微型计算机(3)调用角膜反射光斑中心提取处理模块，并采用加权质心定位算法对眼动图像进行角膜反射光斑中心提取处理；

步骤30206、所述微型计算机(3)调用注视点标定处理模块，将步骤30204处理得到的瞳孔中心和步骤30205处理得到的角膜反射光斑中心的相对偏移量代入预先构建的瞳孔光斑相对偏移量与注视点的映射函数关系式中，标定出人眼的注视点；

步骤30201中所述微型计算机(3)调用图像灰度化处理模块，对眼动图像进行灰度化处理时，采用加权平均法进行，具体方法为：所述微型计算机(3)根据公式f(x′,y′)＝0.212671R(x′,y′)+0.715160G(x′,y′)+0.072169B(x′,y′)对眼动图像上位置(x′,y′)处的RGB三个分量进行加权平均，得到加权平均后的系数值f(x′,y′)并保存，其中，R(x′,y′)为眼动图像上位置(x′,y′)处的R分量，G(x′,y′)为眼动图像上位置(x′,y′)处的G分量，B(x′,y′)为眼动图像上位置(x′,y′)处的B分量；

步骤30204中所述微型计算机(3)调用瞳孔中心定位处理模块，对眼动图像进行瞳孔中心定位处理时，采用代数距离最小的最小二乘法进行椭圆拟合，并采用莱特准则对椭圆拟合的结果进行优化，剔除粗大误差点，直至拟合得到最优的椭圆，并将椭圆的中心确定为瞳孔中心；具体过程为：

步骤302041、所述微型计算机(3)在二值化处理后的眼动图像中，提取出瞳孔轮廓曲线；

步骤302042、所述微型计算机(3)从瞳孔轮廓曲线上任意取6个特征点，带入公式Bxy+C(y²-x²)+Dx+Ey+F＝-x²进行椭圆拟合，并添加约束条件A+C＝1，解方程组得到方程系数A、B、C、D、E、F的值；

步骤302043、所述微型计算机(3)根据公式

计算椭圆的中心点坐标(x_o,y_o)；

步骤302044、所述微型计算机(3)将瞳孔轮廓曲线上的特征点p′(x_τp′,y_τp′)与椭圆的中心点连接，得到与点p′(x_τp′,y_τp′)对应的拟合椭圆上的点p(x_τp,y_τp)；其中，τ的取值为1～N的自然数，N为取的瞳孔轮廓曲线上的特征点的总个数且N的取值为大于1的正整数；

步骤302045、所述微型计算机(3)根据公式

计算点p′(x_τp′，y_τp′)与点p(x_τp，y_τp)之间的像素距离l(τ)；

步骤302046、所述微型计算机(3)将τ的值从1取到N，对l(τ)进行基于莱特准则的数据分析，将l(τ)不满足条件时瞳孔轮廓曲线上的点定义为粗大误差点，并将瞳孔轮廓曲线上的粗大误差点剔除，再返回执行步骤302042～步骤302046，直至l(τ)全部满足条件，得到最优的椭圆，并将椭圆的中心确定为瞳孔中心；其中，判断l(τ)是否满足条件的过程为：

步骤3020461、所述微型计算机(3)根据公式

计算τ的值从1取到N时l(τ)的算术平均值

步骤3020462、所述微型计算机(3)根据公式

计算标准差σ；

步骤3020463、所述微型计算机(3)根据公式

计算残差l_b(τ)；

步骤3020464、所述微型计算机(3)将τ的值从1取到N，并将l_b(τ)的值与-3σ和3σ比较，当l_b≤-3σ或l_b≥3σ时，将l(τ)对应的瞳孔轮廓曲线上的点定义为粗大误差点；

步骤30206中所述构建瞳孔光斑相对偏移量与注视点的映射函数关系式时，采用9参数拟合函数，用户注视呈田字格显示的9个参考点，所述轮椅控制系统测量瞳孔与光斑的相对位置偏移量，然后通过最小二乘曲线拟合确定出瞳孔光斑相对偏移量与注视点的映射函数关系式。

2.按照权利要求1所述的一种带有取物功能的轮椅的取物控制方法，其特征在于：步骤303中所述微型计算机(3)调用路径规划模块规划出轮椅从当前位置到达眼睛注视点位置的路径时，采用遗传算法进行路径规划，并采用改进的细菌觅食优化算法产生遗传算法的初始群体；具体过程为：

步骤30301、环境建模：将电动轮椅看作一个点，并设置电动轮椅与环境中障碍物的理想间隔距离为

步骤30302、染色体编码：将电动轮椅到达眼睛注视点的整个路径表示为

其中

为第i′段路径段的矢量表示，它的两个端点分别表示为P_i′和P_i′+1，符号“+”表示矢量的运算；用O表示原点，将

表示为

整个机器人的运动路径表示为路点矢量集合

n为路点总数，

中i′的取值为1～n-1，

为原点O到端点P_i′的路径段的矢量表示，

为原点O到端点P_i′+1的路径段的矢量表示；设P_i′的坐标点表示为(x_pi′,y_pi′)，将路径以坐标点形式储存，完成对染色体的编码，所有的路径T是可能的一个满足条件路径；

步骤30303、群体初始化：采用改进的细菌觅食优化算法产生从当前位置到眼睛注视点的可行路径集合，作为遗传算法的初始群体；

步骤30304、构造适应度函数：构造适应度函数为f(p)＝w_d·dist(p)+w_s·smooth(p)+w_c·clear(p)，其中，dist(p)为路径长度且用公式表示为

d(L_i′,L_i′+1)表示L_i′与L_i′+1之间的距离，L_i′+1为第i′+1段路径段的矢量表示，w_d为路径长度的加权系数；smooth(p)为平滑度且用公式表示为

ψ为电动轮椅的理想偏转角度且

S′为场景面积，O_S′为所有障碍物所占的面积，κ为电动轮椅的偏转角度，w_s为平滑度的加权系数；clear(p)为间隔度且用公式表示为

γ_i′为第i′段路径段离障碍物的最短距离，w_c为间隔度的加权系数；

步骤30305、遗传操作，具体过程包括：

步骤303051、选择遗传操作的参数；所述遗传操作的参数包括种群规模、交叉概率和变异概率；

步骤303052、交叉算子：对两个对象进行随即分割，然后重组得到两个新的个体；采用的线段的相交函数为

当第i′段路径段与所有的障碍物不相交时

的取值为0，当第i′段路径段与障碍物相交时

的取值为1，并定义该段路径段与障碍物相交状态变化函数为

当第i′+1段路径段与障碍物相交且第i′段路径段与所有的障碍物不相交时g′_i′的取值为1，当第i′段路径段与障碍物相交且第i′+1段路径段与所有的障碍物不相交时g′_i′的取值为-1，当第i′+1段路径段与障碍物相交且第i′段路径段与障碍物相交时，或者第i′+1段路径段与所有的障碍物不相交且第i′段路径段与所有的障碍物不相交时g′_i′的取值为0；选择分割点的原则是：选择g′_i′为1时对应的变化点作为1号父个体的第一分割点，选择紧随该点之后使得g′_i′为-1的点作为第2分割点；对于2号父个体，选择过程恰好相反，选择g′_i′为-1时对应的变化点作为2号父个体的第一分割点，选择紧随该点之后使得g′_i′为1的变化点作为第2分割点；染色体的长度crossnm的选取公式为

其中，clen为交叉点数，N_max为交叉点数的最大取值；

步骤303053、变异算子：采用启发式变异,以增加一个点、减少一个点和移动一个点3种方式，先对穿越障碍物的中途点以一定概率进行变异,当路径个体中不存在穿越障碍物的点后随机变异路径个体的中途点,使变异所得的路点新坐标

满足

和

进行路径的优化；其中，

为原点O到新端点

的路径段的矢量表示，增加一个点的方法为：对于路径

统计穿越障碍物的线段并记录到存储器R中，当R不为空时，随机从R中取一段并在这一段之间增加一点,否则，随机选取路径L中一个点；减少一个点的方法为：对于路径

当其中间点

与

之间连接没有穿越障碍物时,将点

记录到R中，当R不为空时，从R中随机选取一点删除，否则，随机选取路径中一点删除；移动一个点的方法为：对于路径

将其中穿越障碍物的线段端点记录到R中，当R不空时,在R中随机选取一个点进行移动,否则,随机选取路径个体中一点进行移动；

步骤303054、插入算子：在电动轮椅运动的路径规划所作用路径

上增加不与障碍物相交的路点；

步骤303055、删除算子：该算子在所操作路径上记录所有位于障碍物内部空间的路点，随机选择其中之一并予以删除；对于不和障碍物相交的路径，该算子则在其全体路点中随机选择删除点；

步骤303056、计算种群中各染色体的适应度值和种群的平均适应度值，当种群中一半以上的染色体达到相同的适应度值，且种群的平均适应度值不变时，将这一代种群作为终止种群；否则，循环执行步骤30305。

3.按照权利要求2所述的一种带有取物功能的轮椅的取物控制方法，其特征在于：步骤30303中所述采用改进的细菌觅食优化算法产生从当前位置到眼睛注视点的可行路径集合，作为遗传算法的初始群体的具体过程为：

步骤303031、初始化细菌觅食优化算法参数：所述细菌觅食优化算法参数包括细菌菌群中与电动轮椅从当前位置到眼睛注视点的可行路径相对应的细菌总数S、电动轮椅移动时的搜索的工作维度p、电动轮椅移动时的趋化次数N_c、趋化过程中电动轮椅单向运动的最大步数N_S、电动轮椅移动时的复制次数N_re、电动轮椅移动时的学习次数N_ed、电动轮椅移动时的最大趋化步长C_max和电动轮椅移动时的最小趋化步长C_min；

步骤303032、初始化菌群位置：采用随机初始化的方法并按照公式X＝X_min+rand×(X_max-X_min)在p维空间初始化2S个点作为细菌的初始化位置,其中随机选取S个细菌作为菌群X₁,剩下的S个细菌作为菌群X₂；X_min为优化区间的最小值，X_max为优化区间的最大值，X为细菌的初始化位置，rand为均匀分布在[0,1]区间的随机数；

步骤303033、适应度值更新：按照公式

计算各个细菌的适应度值；其中，d_attract为细菌与细菌之间引力的深度，w_attract为细菌与细菌之间引力的宽度，h_repellent细菌与细菌之间斥力的高度，w_repellent为细菌与细菌之间斥力的宽度，P(i,j,k,l)为细菌i在第j次趋向性操作、第k次复制操作和第l次迁徙操作后的位置，P(1:S,j,k,l)为当前个体P(i,j,k,l)的邻域内的一个随机位置,J_CC(i,j,k,l)为细菌i在第j次趋向性操作、第k次复制操作和第l次迁徙操作后的适应度值；

步骤303034、设置循环变量的参数：其中趋化循环次数j为1～N_c，复制循环次数k为1～N_re，学习循环次数l为1～N_ed；

步骤303035、进入趋化循环，进行趋化操作，具体方法为：

对菌群X₂，按照以下步骤Q21～步骤Q211的趋化操作对每个细菌进行趋化：

步骤Q21、将细菌i重新赋值为i+1，判断细菌i的规模是否小于细菌规模S，当小于时执行步骤Q22，当不小于时跳转执行步骤Q212；

步骤Q22、计算细菌i的适应度值；

步骤Q23、细菌i在随机产生的方向上翻转一个单位步长；

步骤Q24、令j初始化为1；

步骤Q25、计算新位置上细菌i的适应度值；

步骤Q26、判断j是否小于最大步数N_c，当小于时执行步骤Q27，当不小于时跳转执行步骤Q21；

步骤Q27、将j的重新赋值为j+1；

步骤Q28、判断新位置上细菌i的适应度值是否改变，当改变时执行步骤Q29，当没有改变时令j＝N_S,并跳转执行步骤Q26；

步骤Q29、更新细菌i的适应度值；

步骤Q210、细菌种群在翻转的方向上继续游动；

步骤Q211、跳转执行步骤Q25，继续循环，直至步骤Q21中i的取值等于S为止；

步骤Q212、趋化操作结束；

对菌群X₁，按照以下步骤Q11～步骤Q112的趋化操作对每个细菌进行趋化：

步骤Q11、将细菌i重新赋值为i+1，判断细菌i的规模是否小于细菌菌落规模S，当小于时执行步骤Q12，当不小于时跳转执行步骤Q112；

步骤Q12、计算细菌i的适应度值；

步骤Q13、根据公式

计算细菌菌群密度函数因子D(i)，并根据公式C(i)＝A·D(i)+B计算趋化步长C(i)；再令细菌i在随机产生的方向上翻转步长C(i)；其中，L为搜索空间对角线中最大长度，X(m,i)为细菌i在搜索空间第m维的位置坐标值，

为当前搜索空间内所有细菌在搜索空间第m维的平均位置坐标值；

步骤Q14、令j初始化为1；

步骤Q15、计算新位置上细菌i的适应度值；

步骤Q16、判断j是否小于最大步数N_c，当小于时执行步骤Q17，当不小于时跳转执行步骤Q11；

步骤Q17、将j的重新赋值为j+1；

步骤Q18、判断新位置上细菌i的适应度值是否改变，当改变时执行步骤Q19，当没有改变时令j＝N_S,并跳转执行步骤Q16；

步骤Q19、更新细菌i的适应度值；

步骤Q110、细菌种群在翻转的方向上继续游动；

步骤Q111、跳转执行步骤Q15，继续循环，直至步骤Q11中i的取值等于S为止；

步骤Q112、趋化操作结束；

步骤303036、进入复制循环,进行复制操作，具体方法为：

对菌群X₁，按照以下步骤F11～步骤F16的复制操作对每个细菌进行复制：

步骤F11、将细菌i重新赋值为i+1，判断细菌i的规模是否小于细菌规模S，当小于时执行步骤F12，当不小于时跳转执行步骤F16；

步骤F12、计算细菌在上次复制操作循环中经过的所有位置的适应度之和，并定义为健康度值；

步骤F13、按照健康度值的优劣将细菌进行排序；

步骤F14、跳转执行步骤F11；

步骤F15、淘汰健康度差的

个细菌，剩余的

个细菌各自分裂出一个与自己完全相同的新个体；

步骤F16、复制操作结束；

对菌群X₂，按照以下步骤F21～步骤F24的复制操作对每个细菌进行复制：

步骤F21、计算所有细菌的适应度值并按照从小到大的顺序进行排序,并选出当前最优的细菌作为精英细菌；

步骤F22、对当前最好的一半细菌，按照公式X′₂(i)＝X₂(i)+N(0,1)实施变异操作,生成

个新细菌并与原来的细菌构成新的子细菌群X′₂；其中，N(0,1)为服从均值为0、均方差为1的高斯分布；

步骤F23、对当前最差的一半细菌，按照黄金分割率并取排序在前61.8％的细菌与步骤F21中挑选出来的精英细菌进行交叉操作,生成

个新细菌并与原来的细菌构成新的子细菌群X″₂；

步骤F24、从子细菌群X′₂与子细菌群X″₂中挑选出适应度值最好的前S个细菌替换原来的细菌群X₂；

步骤303037、进入学习循环，进行学习操作，具体方法为：将菌群X₁与菌群X₂中的细菌进行排序,并将菌群X₁的排序在前61.8％的细菌按照轮盘赌法选择出0.382S个细菌与菌群X₂中排序在后38.2％的细菌进行交换,交换来的0.382S个细菌组成新的菌群X₂；

步骤303038、判断趋化循环、复制循环和学习循环的循环次数是否已达到设置值，当达到时，循环结束，通过适应度值比较两个菌群中发现的最优细菌,选择出最好的作为全局最优解,并将结果输出，否则，继续循环执行步骤303035～步骤303038，直到趋化循环、复制循环和学习循环的循环次数已达到设置值。

4.按照权利要求2所述的一种带有取物功能的轮椅的取物控制方法，其特征在于：步骤303051中所述交叉概率P_c和变异概率P_m的选择采用基于余弦函数的自适应概率公式:

其中，P_c1为最大的交叉概率，P_c2为最小的交叉概率，f′为个体的适应度值，f_avg为平均适应度值，f_max为最大的适应度值，P_m1为最大的变异概率，P_m2为最小的变异概率。

5.按照权利要求1所述的一种带有取物功能的轮椅的取物控制方法，其特征在于：步骤四中所述微型计算机(3)调用声音信号处理模块对麦克风(7)输出的声音信号进行处理，得到残疾人说出的想要取的物品的具体过程为：

步骤D1、所述微型计算机(3)调用语谱图绘制模块，将接收到的声音信号绘制为语谱图；

步骤D2、所述微型计算机(3)将语谱图输入预先构建的Tensorflow深度学习语义识别网络中，得到语义识别的结果，多种语义分别对应残疾人想要取的多种物品；

所述Tensorflow深度学习语义识别网络的构建方法为：

步骤D201、人对着麦克风(7)说话时，所述麦克风(7)将其拾取到的人的声音信号传输给微型计算机(3)；所述微型计算机(3)采集声音信号；

步骤D202、所述微型计算机(3)调用语谱图绘制模块，将接收到的声音信号绘制为语谱图；

步骤D203、重复执行步骤D201和步骤D202，直至所述微型计算机(3)存储了残疾人想要取的多种物品多种语义各500组时长为2s的声音信号的语谱图；

步骤D204、所述微型计算机(3)构建一个卷积网络核的层数为五层、输入层节点为256×256个像素的语谱图、输出层节点数与残疾人需要取的物品类别数相等的Tensorflow深度学习网络，并将其存储的残疾人想要取的多种物品多种语义各500组时长为2s的声音信号的语谱图作为训练样本，对Tensorflow深度学习网络进行训练，得到Tensorflow深度学习语义识别网络；所述Tensorflow深度学习语义识别网络五层卷积网络核的大小从一层到第五层分别为3x3,2x2,3x3,2x2,2x2；所述Tensorflow深度学习语义识别网络的输出为分别对应于残疾人想要取的多种物品的多种语义；

步骤四中所述微型计算机(3)调用目标信息提取模块对此时摄像头(6)采集到的环境图像进行处理，提取得到环境图像中的与残疾人想要取的多种物品对应的多个目标信息的具体过程为：

步骤E1、所述微型计算机(3)调用二次线性插值图像处理模块对环境图像进行平滑处理；

步骤E2、所述微型计算机(3)将经过步骤E1平滑处理后的环境图像输入预先训练好的faster-RCNN网络模型中，得到faster-RCNN网络模型的输出，faster-RCNN网络模型的输出中提取出了环境图像中的与残疾人想要取的多种物品对应的多个目标信息；

其中，预先训练faster-RCNN网络模型的具体过程为：

步骤E201、构建RPN卷积神经网络和fast-RCNN卷积神经网络，所述RPN卷积神经网络由八个卷积层和一个Softmax层构成，所述fast-RCNN卷积神经网络由五个卷积层、一个ROIpooling层、四个全连接层和一个Softmax层构成；

步骤E202、对RPN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

步骤E203、将多个类别的目标图像分别作为输入的训练样本图像，对输入的训练样本图像赋予多个尺度和多个比例的基准框，通过向初始化后的RPN卷积神经网络中输入训练样本图像的基准框来训练RPN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小；多个类别的目标图像分别与残疾人想要取的多种物品对应的多个目标信息相对应；

步骤E204、在训练样本图像上运用训练好的RPN卷积神经网络模型，得到训练样本集的多个类别的目标的粗选框；

步骤E205、对fast-RCNN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

步骤E206、输入训练样本图像和步骤E204中获得的训练样本集的多个类别的目标的粗选框，对输入的训练样本图像每一点都赋予多个尺度和多个比例的基准框，通过向初始化后的fast-RCNN卷积神经网络中输入训练样本图像的基准框，并结合样本集的标注和标签来训练fast-RCNN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小，得到训练好的fast-RCNN卷积神经网络；

步骤E207、重新训练RPN卷积神经网络，将RPN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤E206的fast-RCNN卷积神经网络模型，训练得到新的RPN卷积神经网络模型；

步骤E208、在训练样本图像上运用新训练好的RPN卷积神经网络模型，重新得到训练样本集的多个类别的目标的粗选框；

步骤E209、重新训练fast-RCNN卷积神经网络，将fast-RCNN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤E208中的RPN卷积神经网络模型，使用训练样本集和步骤E208中的训练样本集的多个类别的目标的粗选框标注，重新训练得到新的fast-RCNN卷积神经网络模型；

步骤三中所述微型计算机(3)从环境图像中的多个目标信息中找出与残疾人说出的想要取的物品所对应的目标信息，调用目标中心坐标确定模块确定出该目标信息的中心坐标的具体过程为：

步骤F1、所述微型计算机(3)从环境图像中的多个目标信息中找出与残疾人说出的想要取的物品所对应的目标信息；

步骤F2、所述微型计算机(3)调用边界提取模块对步骤F1中得到的目标进行边界提取，提取得到目标边界；

步骤F3、所述微型计算机(3)对提取出的目标边界像素坐标进行椭圆拟合，并对目标边界像素坐标的椭圆拟合结果进行错误剔除，得到目标边界椭圆的中心坐标、长半轴长度、短半轴长度和长半轴方向；

步骤F4、所述微型计算机(3)采用重心法确定出目标的中心坐标。

6.按照权利要求1所述的一种带有取物功能的轮椅的取物控制方法，其特征在于：步骤501中所述专家系统模型的训练过程为：选取一名或多名志愿者取残疾人想要取的多种物品，记录各个采样时间点右手臂与类人机械臂(2)中各电机位置对应的各关节角度，建立专家系统模型并存储在微型计算机(3)中；

步骤503中所述微型计算机(3)调用机械臂路径规划模块对检测到的类人机械臂(2)各自由度电机的位置信号与各自由度电机的目标角度进行处理，得到类人机械臂(2)的运动轨迹时，采用能量最小原则设计，将类人机械臂(2)中与人的右手臂各关节对应的各电机能量消耗最小的运动轨迹确定为各电机的运动轨迹，其中，对单个电机的路径进行规划的具体过程为：

步骤B1、假设电机需要从角度θ₀运动到角度θ₁,运动过程中花费的时间为T′；

步骤B2、将电机的总能耗W表示为：

其中，W_p为电机的输出功率且

θ(t)为电机的角度，t为时间，τ′为电机输出转矩；W_f为电机发热能耗且

I为电机的有效电流且

K为转矩常数,R′为电机的等效电阻；

步骤B3、在时间段[0，T′]内，定义采样时间间隔为Δt且Δt为能整除T′的正整数，建立路径规划的优化问题为：

其中，Δt＝t_m+1-t_m，m为采样次数且m的取值为正整数；当t_m＝0时，存在约束：

当t_m+1＝T′时，存在约束：

在每个采样周期内利用路径规划的优化问题计算电机运动的角加速度

得到电机的运动轨迹。

Images