CN109048918B - 一种轮椅机械臂机器人的视觉引导方法 - Google Patents

Abstract

本发明公开了一种可以用于辅助残疾人进行喝水任务轮椅机械臂机器人的视觉引导方法，具体包括以下步骤：1)通过在点云图像上的区域生长方法对背景平面和潜在目标物体进行分割；2)使用卷积神经网络对步骤1)中的潜在目标物体进行识别，找到使用者输入的目标物体；3)运用基于密度聚类的方法对步骤3)中获取到的目标物体的点云数据进行去噪处理；4)使用主成分分析方法，对目标物体的姿态进行估计，并且使用一种统计的方法进行朝向判断；5)分别对使用者的嘴部和目标物体的中心进行定位；6)将位置和姿态信息进行统一的坐标转换并返回给机器人系统进行抓取和递送的运动规划。本发明对水杯抓取任务提供了一种完整有效的解决方法。

Description

一种轮椅机械臂机器人的视觉引导方法

技术领域

本发明涉及计算机视觉的应用研究技术领域，具体涉及一种应用于轮椅机械臂机器人的辅助视觉引导方法。

背景技术

对于患有瘫痪、高位截瘫的重度残疾人来说，日常生活中的活动，例如喝水都显得非常困难。为了减轻这类残疾人日常活动的负担，一种轮椅机械臂机器人可以被用来辅助他们完成这些日常生活任务。然而，在控制的方式上，要求残疾人连续不断地集中精力直接控制机械臂进行低层级、高频率的运动是一件劳神的事情，且不容易实现较为精确的控制。因此，人机共享控制(shared control)被提出，并且越来越多地利用上了人工智能的技术，使轮椅机械臂机器人可以通过高层级、低频率的控制方式帮助残疾人完成任务。其中，机器视觉技术作为人工智能正在快速发展的一个分支，成为一个非常有前景的解决方案。

计算机视觉是一种用计算机来实现人的视觉功能的方法，通过摄像头和计算机算法对客观世界的三维场景进行感知、识别与建模，最终形成语义的理解表达。和人类视觉有区别的在于，借由深度摄像头，计算机视觉可以获取到的原始数据还可以包含深度信息，给三维环境的感知带来了便利。许多工业机器人视觉的方法已经被提出并且广泛应用到了工业生产中。然而，这些方法虽然可以在特定工业环境中取得好的结果，但是在比较复杂多变的日常生活环境中难以稳定有效。因此，针对残疾人辅助机器人这样的特定应用场景，需要相应的视觉方法。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种轮椅机械臂机器人的视觉引导方法，实现轮椅机械臂的人机共享控制，通过机器视觉的方法赋予轮椅机械臂自主找寻目标并操作的能力。

本发明的目的可以通过采取如下技术方案达到：

一种轮椅机械臂机器人的视觉引导方法，所述的视觉引导方法包括下列步骤：

s1、通过在点云图像上的区域生长方法对背景平面进行分割，并在此基础上进行二次区域生长分割出潜在的目标物体；

s2、使用卷积神经网络对步骤s1中被分割出潜在的目标物体进行识别，找到使用者输入的目标物体；

s3、运用基于密度聚类的方法对步骤s2中获取到的目标物体点云数据进行去噪处理；

s4、使用主成分分析的方法，对目标物体的姿态进行估计，并且使用统计方法对目标物体的正反两个朝向做出判断；

s5、分别对使用者的嘴部和目标物体中心进行定位；

s6、将位置和姿态信息进行统一的坐标转换并返回给轮椅机械臂机器人进行抓取和递送的运动规划。

进一步地，所述的视觉引导方法在步骤s1之前，还包括：

s0、采用两个Microsoft Kinect 2.0传感器，分别对于目标物体以及使用者的脸部信息进行检测，并通过坐标转换方法实现坐标系的统一转换。

进一步地，所述的步骤s1中进行二次区域生长分割出潜在的目标物体过程如下：

使用一次以点法向量垂直为标准的水平面区域生长以及一次以水平面凸包中非水平面点为标准的区域生长方法分割潜在的目标物体。

进一步地，所述的步骤s3中使用基于密度的有噪声的空间聚类方法对目标物体点云数据进行聚类，选取内点数最多的可达集合为主要的点云对象，排除由于深度摄像头精度和区域生长过程产生的非目标物体的噪声点。

进一步地，所述的步骤s4中使用主成分分析的方法，对目标物体的姿态进行估计的过程如下：

对于目标物体点云进行降维获得主方向信息，计算3×3协方差矩阵

其中Ω_w为上述步骤s3所获得的目标物体点的集合，

为该集合Ω_w中的点，P_m为目标物体所有点的均值；

协方差矩阵C_p为实对称阵，对其进行特征值分解，最大特征值所对应的特征向量为主方向向量，记为矢量L，通过比较矢量L在z轴方向上的长度相对于x,y轴方向的相对大小来确定目标物体的直立和平躺的情况，如果矢量L在z轴方向上的长度是最大的，则判断目标物体直立在平面上，否则判断目标物体平躺在平面上。

进一步地，所述的步骤s4中使用统计方法对目标物体的正反两个朝向做出判断的过程如下：

通过统计法向量与主方向同向或反向的点，以投票方式修正目标物体的正反朝向，对于同向法向量，应该满足

其中，

表示点法向量，

表示主方向向量，C_th∈[0,1]表示余弦阈值；反向法向量应该满足

分别统计两类点数量，数量较多的认为是目标物体的方向。

进一步地，所述的步骤s0过程如下：

对应于两个Kinect的相机空间、工作空间和面部空间，以上四个空间分别定义四个坐标系：{K₁}、{K₂}、{W}和{F}，对以上坐标系进行变换，变换公式如下：

其中[X_T Y_T Z_T]^T和[X_O Y_O Z_O]^T分别表示目标帧和原始坐标系中的3D点的对应位置矢量，

是4×4的齐次变换矩阵，

将点从原坐标映射到目标坐标，其组成部分

和

分别表示3×3旋转矩阵和3×1平移向量。

进一步地，所述的步骤s1中使用一次以点法向量垂直为标准的水平面区域生长以及一次以水平面凸包中非水平面点为标准的区域生长方法分割潜在的目标物体的过程如下：

首先检测工作空间{W}中表示背景平面的点云，假设物体放置在无障碍物的连续平面上，连续平面上的点具有垂直性和连续性的特征，从Kinect传感器获得彩色图像到相机空间的坐标映射，在2维彩色图像中的每个点p(x,y)，在三维相机空间{K₂}中都存在对应点P′(X,Y,Z)，通过式(1)计算工作空间{W}中的对应点P(X,Y,Z)，然后计算第k个三维点P_k的局部切向量的叉积作为法向量，如下式所示：

其中

表示第k个三维点P_k的点法向量，

和

分别表示其局部水平和垂直向量，表述式如下：

其中

分别表示被彩色点p(x_k,y_k-1)、p(x_k,y_k+1)、p(x_k-1,y_k)、p(x_k+1,y_k)映射的三维点，相应地称为p(x_k,y_k)周围的4邻域点的映射点，采用小写p表示一个彩色图像中的点，采用大写P表示空间中对应的三维点，采用S表示初始点集，在背景分割部分是法向量符合基本垂直条件的点的集合，其中点的法向量经由上述步骤计算得到，采用R表示区域生长需要满足的条件，在背景分割部分，条件R为：

(a)P_N∈S,即邻域内的点满足在初始点集中；

(b)||P_N-P_seed||₂≤D,其中D为距离的阈值，即邻域内的点应该满足一定的空间连续性；

在背景分割部分，取点数最多的潜在点集为目标平面S_B；

在潜在对象提取部分，首先将背景分割部分所获得的点集的凸包S_C，求平面对其差集为初始点集S，即S＝S_c-S_B，条件R为

(a)

即邻域内的点满足不是背景平面；

(b)||P_N-P_seed||₂≤D,其中D为距离的阈值，即邻域内的点应该满足一定的空间连续性。

本发明相对于现有技术具有如下的优点及效果：

本发明基于Kinect 2.0传感器，综合利用深度和彩色信息，对于用户指定的目标物体进行分割、识别以及姿态估计和定位，提供机器人进行水杯抓取运动规划的信息。本发明的特点在于利用计算机视觉方法赋予轮椅机械臂机器人自主找寻目标并且操作的能力，减轻使用者操作负担。

附图说明

图1是本发明方法的实施主体-轮椅机械臂机器人的整体结构图；

图2是本发明公开的视觉引导方法的流程图；

图3是轮椅机械臂机器人的视觉坐标系关系图；

图4是本发明中区域生长算法的一般化流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1所示，轮椅机械臂机器人可以分为四个组成部分：用户控制模块、视觉模块、共享控制模块和执行模块。

首先，用户可以通过语音识别、脑机接口或使用图形用户界面来操纵系统，以选择用户想要操作的目标对象。

其次，视觉模块旨在分离、识别、定位目标对象并检测用户面部。该视觉模块由两个Kinect传感器组成。面向人脸的Kinect传感器通过使用Kinect软件开发工具包检测用户的嘴部位置，而面向物体的Kinect传感器检测对象状态，包括提供给共享控制模块的目标位置和方向。通过在颜色和深度图像上应用区域生长算法，将潜在对象与背景平面分离。然后将卷积神经网络(CNN)用作分类器，将这些潜在对象作为输入来确定哪一个是真实目标。最后，通过方位估计算法，制定轮椅机械臂的最佳抓取策略。

第三，在共享控制模块中处理用户命令和视觉信息。该共享控制模块连接这些信息并制定执行模块的抓取和释放策略。

最后，执行模块接收来自前一模块的命令并执行物理任务。使用具有6个自由度(DOF)的机械臂(KINOVA JACO2)和由3个手指组成的夹具来执行辅助任务。

图2是视觉模块引导方法的流程，具体包括以下步骤：

s1、通过在点云图像上的区域生长方法对背景平面进行分割，并在此基础上进行二次区域生长分割出潜在的目标物体；

s2、使用卷积神经网络对步骤s1中被分割出潜在的目标物体进行识别，找到使用者输入的目标物体；

s3、运用基于密度聚类的方法对步骤s2中获取到的目标物体点云数据进行去噪处理；

s4、使用主成分分析的方法，对目标物体的姿态进行估计，并且使用统计方法对于正反两个方向做出判断；

s5、分别对使用者的嘴部和目标物体中心进行定位；

s6、将位置和姿态信息进行统一的坐标转换并返回给轮椅机械臂机器人进行抓取和递送的运动规划。

图3展示了轮椅机械臂机器人的视觉模块结构以及对应坐标系关系。视觉模块由两个Kinect 2.0传感器组成，两个传感器分别面向工作空间和用户的面部。因此，对应于两个Kinect的相机空间、工作空间和面部空间，定义了四个坐标系：{K₁}、{K₂}、{W}和{F}。由于Kinect传感器获得的点云在摄像机空间中表示，而机器人在工作空间和面部空间中执行操作，因此需要对这些坐标系进行变换，因此可以表示为

其中[X_T Y_T Z_T]^T和[X_O Y_O Z_O]^T分别表示目标帧和原始坐标系中的3D点的对应位置矢量。

是4×4的齐次变换矩阵，它将点从原坐标映射到目标坐标。它的组成部分，

和

分别表示3×3旋转矩阵和3×1平移向量。

在视觉模块中，两个变换的变换矩阵M，即

和

通过Matlab应用Zhang式标定的方法来获得，并通过计算逆矩阵来获得

和

为了方便机器人运动，本发明选择了和{W}具有相同的方向的面部坐标系{F}即

所以这两个坐标系之间只需要经过简单的平移。由于本视觉模块采用了eye-to-hand的标定范例，因此所有的转换都是固定的并且可以进行事先校准。

图4是区域生长算法的一般化流程图。该方法在本发明中被应用在了背景分割和潜在对象提取上。

首先检测工作空间{W}中表示背景平面的点云。假设物体放置在无障碍物的连续平面上，平面上的点应具有垂直性和连续性的特征。从彩色图像到相机空间的坐标映射可以从Kinect传感器获得。在2维彩色图像中的每个点p(x,y)，在三维相机空间{K₂}中都存在对应点P′(X,Y,Z)。通过式(1)计算工作空间{W}中的对应点P(X,Y,Z)。然后计算第k个三维点P_k的局部切向量的叉积作为法向量，如下式所示：

其中

表示第k个三维点P_k的点法向量，

和

分别表示其局部水平和垂直向量。具体来说：

其中

分别表示被彩色点p(x_k,y_k-1)、p(x_k,y_k+1)、p(x_k-1,y_k)、p(x_k+1,y_k)映射的三维点，相应地称为p(x_k,y_k)周围的4邻域点的映射点。为方便起见，使用小写字母p表示一个彩色图像中的点，用大写字母P表示空间中对应的三维点，即种子点。

在不失一般性的情况下，区域生长算法的流程图如图4所示。其中S表示初始点集(非空)，在背景分割部分是满足法向量基本垂直条件的点的集合，其中点的法向量经由上述步骤计算得到。R表示区域生长需要满足的条件，在背景分割部分，条件R为：

(a)P_N∈S,即邻域内的点满足在初始点集中；

(b)||P_N-P_seed||₂≤D,其中D为距离的阈值，即邻域内的点应该满足一定的空间连续性，其中P_seed表示种子点

在背景分割部分，本发明取点数最多的潜在点集为目标平面S_B。

在潜在对象提取部分，首先将背景分割部分所获得的点集的凸包S_C，求平面对其差集为初始点集S，即S＝S_c-S_B，条件R为

(a)

即邻域内的点满足不是背景平面

(b)||P_N-P_seed||₂≤D,其中D为距离的阈值。即邻域内的点应该满足一定的空间连续性。

其中条件(b)与上述背景分割中相同，条件(a)保证潜在物体点不是背景点，且可以超出原始集合的凸包范围。

本发明的CNN网络由三个由线性整流函数(relu)激活的卷积层和一个64个神经元的全连接层组成。每个卷积层之后是最大池化层，其核大小为2×2，步长为2个像素。具体来说，第一个卷积层有32个大小为3×3的卷积核，步长为1个像素。第二层和第三层也有相同的内核大小和步长，仅在深度上不同，即每层32和64个卷积核。该网络将大小为150×150×3的图像作为输入并输出分类矢量，其中每个元素表示物体的概率，包括罐、瓶、杯和背景。通过训练网络，目标对象图像应该在具有相应标签的末端神经元出有最大输出值。

为了获取目标物体的姿态和位置，本发明使用PCA的方法来对物体姿态进行估计。首先通过式(1)获得经过卷积神经网络识别以后的目标物体的点云进行坐标转化，得到在工作空间中的三维点集Ω_w。

由于区域增长算法可能包含一些噪声点，且Kinect计算各个点的距离时总会出现一定的误差，原始点集通常不是最好的选择。为了去除由这些因素所产生的噪声点，使用基于密度的空间聚类算法(DBSCAN)。首先，如果在欧几里德距离小于ε的邻域内有超过mPts个点，则将这个点定义为核心点，其中mPts和ε是预先定义的参数。然后，如果点q在核心点p的范围ε内，则定义点q为核心点p的直接可达点。最后，如果存在序列p,p₁,p₂,p₃…q，其中序列中每个点是前一个点的直接可达点，则定义点q为p的可达点。DBSCAN算法将所有可达点聚集在一起。具体实施方法相当于使用了区域生长的方法。与之不同的是在聚类算法中，邻域的定义为||P_N-P_C||≤ε，也即是以三维空间中的距离为度量，而非彩色空间中的相邻。原始点集S为目标物体点集，生长条件R为邻域内点数大于mPts。周围点很少的孤立噪声点不会包含在任何簇中，或者它们本身倾向于形成小簇。因此，取包含大多数点的最大聚类在为修正后的点集Ω_w。计算该点集的协方差矩阵如下：

其中

为修正后目标物体点集Ω_w中的点，P_m为目标物体所有点的均值，该均值坐标也被用作物体的位置信息。由于该协方差矩阵为实对称阵，对其进行特征值分解，最大特征值所对应的特征向量为主方向向量，记为L。可以通过比较矢量L在z方向上的长度相对于x,y方向的相对大小来确定类圆柱状杯子直立和平躺的情况。具体来说，如z轴上的长度是最大的，则是直立在平面上，否则是平躺的。

最后，依据杯子的特性，考虑杯口朝向问题。通过统计法向量与主方向同向或反向的点，以投票方式修正物体的正反朝向。对于同向法向量，应该满足

其中，

表示点法向量，

表示主方向向量，C_th∈[0,1]表示余弦阈值。与之类似，反向法向量应该满足

分别统计两类点数量，数量较多的认为是杯口方向。若正类较多，则不对向量L进行调整，否则，将其反向。

另一方面，对于朝向脸部的坐标系，通过应用Kinect提供的人脸检测算法，可以在相机空间坐标系{K₁}中获得用户嘴的三维位置信息，并且将坐标系转换到工作空间坐标系{W}下，提供给机械臂进行操纵。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种轮椅机械臂机器人的视觉引导方法，其特征在于，所述的视觉引导方法包括下列步骤：

s0、采用两个Microsoft Kinect 2.0传感器，分别对于目标物体以及使用者的脸部信息进行检测，并通过坐标转换方法实现坐标系的统一转换；

所述的步骤s0过程如下：

对应于两个Kinect的相机空间、工作空间和面部空间，分别定义四个坐标系：{K₁}、{K₂}、{W}和{F}，对以上坐标系进行变换，变换公式如下：

其中[X_T Y_T Z_T]^T和[X_O Y_O Z_O]^T分别表示目标帧和原始坐标系中的3D点的对应位置矢量，

是4×4的齐次变换矩阵，

将点从原坐标映射到目标坐标，其组成部分

和

分别表示3×3旋转矩阵和3×1平移向量；

s1、通过在点云图像上的区域生长方法对背景平面进行分割，并在此基础上进行二次区域生长分割出潜在的目标物体；其中，所述的步骤s1中使用一次以点法向量垂直为标准的水平面区域生长以及一次以水平面凸包中非水平面点为标准的区域生长方法分割潜在的目标物体的过程如下：

首先检测工作空间{W}中表示背景平面的点云，假设物体放置在无障碍物的连续平面上，连续平面上的点具有垂直性和连续性的特征，从Kinect传感器获得彩色图像到相机空间的坐标映射，在2维彩色图像中的每个点p(x,y)，在三维相机空间{K₂}中都存在对应点P′(X,Y,Z)，通过式(1)计算工作空间{W}中的对应点P(X,Y,Z)，然后计算第k个三维点P_k的局部切向量的叉积作为法向量，如下式所示：

其中

表示第k个三维点P_k的点法向量，

和

分别表示其局部水平和垂直向量，表述式如下：

其中

分别表示被彩色点p(x_k,y_k-1)、p(x_k,y_k+1)、p(x_k-1,y_k)、p(x_k+1,y_k)映射的三维点，相应地称为p(x_k,y_k)周围的4邻域点的映射点，采用小写p表示一个彩色图像中的点，采用大写P表示空间中对应的三维点，采用S表示初始点集，在背景分割部分S是法向量满足基本垂直条件的点的集合，其中点的法向量经由上述步骤计算得到，采用R表示区域生长需要满足的条件，在背景分割部分，条件R为：

(a)P_N∈S,即邻域内的点满足在初始点集中；

(b)||P_N-P_seed||₂≤D,其中D为距离的阈值，即邻域内的点应该满足一定的空间连续性；

在背景分割部分，取点数最多的潜在点集为目标平面S_B；

在潜在对象提取部分，首先将背景分割部分所获得的点集的凸包S_C，求平面对其差集为初始点集S，即S＝S_c-S_B，条件R为

(a)

即邻域内的点满足不是背景平面；

(b)||P_N-P_seed||₂≤D,其中D为距离的阈值，即邻域内的点应该满足一定的空间连续性；

s2、使用卷积神经网络对步骤s1中被分割出潜在的目标物体进行识别，找到使用者输入的目标物体；

s3、运用基于密度聚类的方法对步骤s2中获取到的目标物体点云数据进行去噪处理；

s4、使用主成分分析的方法，对目标物体的姿态进行估计，并且使用统计方法对目标物体的正反两个朝向做出判断；

s5、分别对使用者的嘴部和目标物体中心进行定位；

s6、将位置和姿态信息进行统一的坐标转换并返回给轮椅机械臂机器人进行抓取和递送的运动规划。

2.根据权利要求1所述的一种轮椅机械臂机器人的视觉引导方法，其特征在于，所述的步骤s3中使用基于密度的有噪声的空间聚类方法对目标物体点云数据进行聚类，选取内点数最多的可达集合为主要的点云对象，排除由于深度摄像头精度和区域生长过程产生的非目标物体的噪声点。

3.根据权利要求1所述的一种轮椅机械臂机器人的视觉引导方法，其特征在于，所述的步骤s4中使用主成分分析的方法，对目标物体的姿态进行估计的过程如下：

对于目标物体点云进行降维获得主方向信息，计算3×3协方差矩阵

其中Ω_w为上述步骤s3所获得的目标物体点的集合，

为该集合Ω_w中的点，P_m为目标物体所有点的均值；

协方差矩阵C_p为实对称阵，对其进行特征值分解，最大特征值所对应的特征向量为主方向向量，记为矢量L，通过比较矢量L在z轴方向上的长度相对于x,y轴方向的相对大小来确定目标物体的直立和平躺的情况，如果矢量L在z轴方向上的长度是最大的，则判断目标物体直立在平面上，否则判断目标物体平躺在平面上。

4.根据权利要求3所述的一种轮椅机械臂机器人的视觉引导方法，其特征在于，所述的步骤s4中使用统计方法对目标物体的正反两个朝向做出判断的过程如下：

通过统计法向量与主方向同向或反向的点，以投票方式修正目标物体的正反朝向，对于同向法向量，应该满足

其中，

表示点法向量，

表示主方向向量，C_th∈[0,1]表示余弦阈值；反向法向量应该满足

分别统计两类点数量，数量较多的认为是目标物体的方向。

Images