CN105291138B - 一种增强虚拟现实浸入感的视觉反馈平台 - Google Patents

Abstract

本发明公开了一种增强虚拟现实浸入感的视觉反馈平台，其特征在于包括机器人、视觉伺服跟踪控制单元、浸入式视觉反馈单元，并与用户构成闭合的临场感系统；所述视觉伺服跟踪控制单元用于跟踪用户的动作行为和环境建模，浸入式视觉反馈单元接收用户的动作行为和环境建模信息后将其与机器人的肢体模型一起融合在3D虚拟现实界面中，用户通过穿戴虚拟现实设备进行一系列的人机交互。本发明的视觉反馈平台人机交互浸入感强，硬件投入少，系统简单，集成度高，适用于构建不同用途的机器人人机交互系统。

Description

一种增强虚拟现实浸入感的视觉反馈平台

技术领域

本发明涉及人机交互技术领域，特别涉及一种增强虚拟现实浸入感的视觉反馈平台，利用Kinect双目摄像头及姿态控制机构，虚拟现实设备，双臂机器人和人构建一种闭合的3D临场感人机交互系统。

技术背景

近些年来，机器人技术获得了广泛应用，已在工业生产，高危作业等领域发挥了巨大作用，并带来了较好的市场收益。在可预见的未来，机器人将逐步走向人的个人生活，充当个人助理，遥控作业，整理家务，处理办公室日常重复性业务等。但是目前条件下，机器人的智能化程度还不足以理解人的意图，独立完成各种日常任务，此外多数机器人需要经过专业人员训练，才能操作，因而其人机交互界面普适性不强，无法满足人的个性化，多样化需求。

人机交互技术随着机器人的广泛应用越来越受到机器人研究人员和用户的重视，其交互技术的普适性将会影响机器人在生产，参与人的生活的效能。通常人与机器人交互通过手柄实现机器人位置，速度等参数的控制或者通过图形化编程界面，对机器人进行快速编程。手柄控制往往需要用户对机器人场景有一个较为充分的熟练度，否则很难对机器人进行精确，成功操作。图形编程界面往往需要对机器人具备一定的专业知识，逻辑性较强，对非专业用户普适性不强。基于视觉人的行为意图理解近些年来也获得了较多应用，通过人体行为意图的视觉提取，使机器人跟随人的运动或与人共同完成一项任务，或实现远程操作。虽然借助视觉，人可以与机器人实现自然交互，但是浸入感不强，不能获得较好的临场感，尤其在遥操作作业时，由于空间限制，人的活动和机器人的活动空间不能很好实现匹配，因而会出现视觉上的误差，出现“心有余而力不足”的情况。所以人的活动空间和机器人的活动空间匹配，融合对人和机器人处在同一时空环境至关重要。

中国专利公开号CN103921266A，发明名称为《一种基于Kinect的体感控制冰雪机器人方法》，主要提供了一种利用体感传感器Kinect遥操作机器人的方法，通过对人的肢体动作识别控制机器人的运行。通过体感传感器虽然能够很好的对机器人实现实时控制，由于该发明没有进行人，机器人，和环境的融合及反馈，因而操作者的临场感不够强，必须经过专门训练学习才能实现对机器人的控制。

中国专利公开号CN203092551U，发明名称为《一种基于Kinect和FPGA的家庭服务机器人》，该发明提供了一共提供了一种基于Kinect和FPGA的家庭服务机器人，用于跟踪人的运动。同样地，该发明仅实现对人的运动信息的提取，而未对机器人信息和人的信息实现时空融合，交互不具有双向性，因而功能单一，不能很好实现人机的协同作业。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种增强虚拟现实浸入感的视觉反馈平台，目的在于增加人与双臂机器人交互时的浸入感，实现直觉控制，同时要解决双臂机器人遥操作过程中，由于时空限制不能很好进行人及协同完成复杂任务功能的问题。

本发明的目的通过如下技术方案实现：一种增强虚拟现实浸入感的视觉反馈平台，由双臂机器人、视觉伺服跟踪控制单元、浸入式视觉反馈单元构成，并与用户构成闭合的临场感系统；所述视觉伺服跟踪控制单元用于跟踪用户的动作行为和环境建模，浸入式视觉反馈单元接收用户的动作行为和环境建模信息后将其与双臂机器人的肢体模型一起融合在3D虚拟现实界面中，用户通过穿戴虚拟现实设备进行一系列的人机交互。

所述视觉伺服跟踪控制单元包括三自由度转台、Kinect摄像头。

所述Kinect摄像头识别人体几何模型，构建人的运动学实时模型，包括手势模型、环境3D建模和人的表情模型。

所述三自由度转台由双臂机器人适配器通过连接螺钉连接摆动电机，所述摆动电机使Kinect摄像头起到摆动作用，摆动角为±40度，所述摆动电机通过转动轴连接支撑座，所述支撑座底板上连接直流伺服电机一和直流伺服电机二，所述直流伺服电机一和直流伺服电机二通过同步带一和同步带二连接两自由度差动齿轮机构，所述差动齿轮机构由锥齿轮一，锥齿轮二，锥齿轮三，锥齿轮四构成，所述锥齿轮一和锥齿轮二通过预紧连接杆连接；通过调节电机的转速和转向实现该机构的俯仰和旋转两种自由度的运动；锥齿轮一上连接有Kinect摄像头连接器，通过过盈配合和Kinect摄像头构成紧连接。

锥齿轮一7上连接有Kinect摄像头连接器，通过过盈配合和Kinect摄像头构成紧连接。锥齿轮一7和双目摄像头支座8通过螺钉连接，并通过放松螺纹孔a1和楔形压板a2防止摄像头轴向和横向跳动。

所述三自由度转台的控制通信方式采用模块化嵌入式无线通信，通过构建双臂机器人，控制计算机以及相关设备的局域网，实现数据的双向互通互联。

所述三自由度转台的控制界面参数调整采用图形化调节方式。便于用户或研究人员根据具体任务或环境变化进行相应的调整，使跟踪平台满足跟踪人的运动及相应的人机协同等作业。

所述浸入式视觉反馈单元包括虚拟现实设备和双目摄像头。

所述视觉伺服跟踪控制单元的运动参数由人的头部运动参数确定，通过配置在虚拟现实设备上的惯导单元IMU检测人的头部运动方向和速度大小，经过控制计算机处理，通过无线网络和Kinect摄像头运动控制嵌入式单元实现Kinect摄像头和人的头部运动随动。

所述计算机运行空间齐次转换矩阵计算法，以达到人手动作跟随和人手工作空间与双臂机器人手工作空间匹配。

所述虚拟现实设备接受所述Kinect摄像头构建的3D虚拟场景，并把人的肢体几何运动学模型和双臂机器人的肢体模型融合到3D环境中，用户通过穿戴虚拟现实设备通过其3D虚拟现实界面进行一些列人机交互。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明中采用双目摄像头以及三自由度人体头部运动跟踪转动平台，解决了以往用Kinect或双目视觉进行人机交互时视场固定，单一，双臂机器人工作空间受限的问题。

2、本发明的视觉反馈3D界面融合双臂机器人工作空间和人的肢体运动空间，实现了人的直觉控制，减少了训练和适应的时间。

3、本发明的人机交互浸入感强，硬件投入少，系统简单，集成度高，适用于构建不同用途的双臂机器人人机交互系统。

附图说明

图1为本发明整体系统示意图；

图2为双目视觉转动平台示意图；

图3为双目视觉支撑座结构图；

图4转动平台控制界面；

图5人眼-手-双臂机器人坐标变换示意图；

图6人手运动跟踪算法简图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

一种增强虚拟现实浸入感的视觉反馈平台，如图1所示，由双臂机器人、视觉伺服跟踪控制单元、浸入式视觉反馈单元构成，并与用户构成闭合的临场感系统；所述视觉伺服跟踪控制单元用于跟踪用户的动作行为和环境建模，浸入式视觉反馈单元接收用户的动作行为和环境建模信息后将其与双臂机器人的肢体模型一起融合在3D虚拟现实界面中，用户通过穿戴虚拟现实设备进行一系列的人机交互。

所述视觉伺服跟踪控制单元包括三自由度转台、Kinect。

所述Kinect识别人体几何模型，构建人的运动学实时模型，包括手势模型、环境3D建模和人的表情模型。

所述三自由度转台如图2所示，由双臂机器人适配器1通过连接螺钉连接摆动电机14，摆动电机14使Kinect起到摆动作用，摆动角±40度。摆动电机通过转动轴连接支撑座5，支撑座5底板上连接直流伺服电机一3和直流伺服电机二13，直流伺服电机一3和直流伺服电机二13通过同步带一4和同步带二12连接两自由度差动齿轮机构，如图3所示，差动齿轮机构由锥齿轮一7，锥齿轮二11，锥齿轮三6，锥齿轮四9构成，锥齿轮一7和锥齿轮二11通过预紧连接杆10连接。通过调节电机的转速和转向实现该机构的俯仰和旋转两种自由度的运动。锥齿轮一7上连接有Kinect连接器，通过过盈配合和Kinect构成紧连接。

所述三自由度转台的控制通信方式采用模块化嵌入式无线通信，通过构建双臂机器人，控制计算机以及相关设备的局域网，实现数据的双向互通互联。

所述三自由度转台的控制界面参数调整采用图形化调节方式。便于用户或研究人员根据具体任务或环境变化进行相应的调整，使跟踪平台满足跟踪人的运动及相应的人机协同等作业。

所述浸入式视觉反馈单元包括虚拟现实设备和双目摄像头。

所述视觉伺服跟踪控制单元的运动参数由人的头部运动参数确定，如图4所示，通过配置在虚拟现实设备上的惯导单元IMU检测人的头部运动方向和速度大小，经过控制计算机处理，通过无线网络和Kinect运动控制嵌入式单元实现Kinect和人的头部运动随动。

所述计算机运行空间齐次转换矩阵计算法，以达到人手动作跟随和人手工作空间与双臂机器人手工作空间匹配。即人手的工作空间和双臂机器人手的工作空间用齐次转换矩阵进行转化，首先在人手和双臂机器人手以及Kinect上建立空间坐标系，然后使用旋转矩阵和位移矩阵两两将其联系起来，而如果想得到所有坐标系彼此之间的关系，需要使用齐次转换矩阵，即用将旋转矩阵和位移矩阵统一放入齐次转换矩阵中，由于齐次矩阵的性质，可利用齐次转换矩阵构建人手和双臂机器人手上坐标系之间的关系。然后跟踪人手的运动需要用到笛卡尔空间规划算法。为了让双臂机器人末端很好的跟踪人的手部运动，使用轨迹规划中的关节空间规划法，在得到手部运动的轨迹后，仿照手部运动的轨迹模拟末端轨迹并以此来计算双臂机器人上各个关节角的大小，将各关节角大小写入双臂机器人中得到双臂机器人机械臂的实际轨迹并与模拟手部运动预计轨迹做误差分析，形成闭环回路，使其较好的跟踪到手部的运动轨迹。进而得到两者行为的匹配。

所述虚拟现实设备接受所述Kinect构建的3D虚拟场景，并把人的肢体几何运动学模型和双臂机器人的肢体模型融合到3D环境中，用户通过穿戴虚拟现实设备通过其3D虚拟现实界面进行一些列人机交互。

所述空间齐次转换矩阵计算法又如下步骤实现：

首先以两个位置方向均不相同的坐标系为例来分析两者之间的关系，设两个坐标系分别为A坐标系和B坐标系。如图5所示，其中A坐标系可以用来表示人眼坐标系，B坐标系可以用来表示Kinect骨骼坐标系。

考虑根据坐标系A来确定坐标系B的转动，这种旋转可以通过一个矩阵来表示，这个矩阵就是旋转矩阵。如下：

如上式，对于单位向量可以得出下面等式：

则B坐标系内的通过旋转矩阵转移到A坐标系中。是指在B坐标系中描述沿X轴姿态的单位矢量，同理这样由单位矢量的性质和上式就得到了旋转矩阵的另一种表示：

可知，由坐标系B到A的旋转矩阵就是在坐标系A中的组成部分。而对于可分别做与坐标系A中X、Y、Z轴单位矢量的点积运算即可得到：

可知，旋转矩阵中的每一列都是新的坐标系(B)在参考坐标系(A)中X、Y、Z轴上的单位矢量。即：

则对于坐标系B中的任意矢量该矢量在参考坐标系A中的可表示为

分析完一个双臂机器人的姿态以后，开始分析双臂机器人各关节的位置。P是B坐标系中的一点，O_A和O_B分别是A、B两个坐标系的原点，则矢量和两者在A坐标系中的矢量关系可表示为：

其中表示A坐标系平移到B坐标系的距离，即两个坐标系位置之间的关系。

运用之前所分析出的运用旋转公式得出相关姿态的方法，可将上式中A坐标系中的矢量转变为B坐标系中的矢量可以进一步得出下式：

这样得出了在不同坐标系中的位姿和之间的关系，应用这个变换可以计算并传递从一个坐标系到下一个坐标系再到下一个。不过目前这个等式中，和的关系并不是齐次变换的关系，结果就是只能简易计算相邻坐标系中位姿之间的关系，当不是相邻甚至要求末端执行器和基座坐标系上位姿的关系时，计算量太大太复杂。所以应该将这个等式放在齐次变换的形式中。因为在三维空间计算不能记做齐次变换的形式，所以扩大空间维数，将等式放入四维空间中，即：

将转换因子用T表示，即：

这样通过空间齐次转换矩阵T可以表示人眼坐标系到双臂机器人工作空间坐标系的变换。

如图5所示，将人眼坐标系和Kinect骨骼坐标系之间的关系通过旋转、位移两方面构成两者之间的齐次空间变换矩阵，用表示，同理，也可用来表示Kinect骨骼坐标系和双臂机器人手工作空间坐标系之间的关系。这样，由于齐次转换矩阵的性质，就可以直接得到人眼坐标系和双臂机器人工作空间坐标系之间的关系，如下式所示：

双臂机器人末端跟踪人的手部运动算法如下：

为了让双臂机器人末端很好的跟踪人的手部运动，使用轨迹规划中的关节空间规划法，在得到手部运动的轨迹后，仿照手部运动的轨迹模拟末端轨迹并以此来计算双臂机器人上各个关节角的大小(即由得到(θ₁、θ₂···θ_n-1、θ_n))，将各关节角大小写入双臂机器人中得到双臂机器人机械臂的实际轨迹并与模拟手部运动预计轨迹做误差分析，形成闭环回路，使其较好的跟踪到手部的运动轨迹。

如图6所示，通过前向运动学用关节角计算得到位置x和目标位置x_d相比较，得到误差e。具体如下式：

x＝f(q)

e＝x_d-x

由瞬态运动学方程可知，我们可以用雅克比矩阵将关节角速度和末端执行器上的速度联系起来，如下式：

δx_(m×1)＝J_(m×n)(q)δq_(n×1)

而前面计算得到的误差可通过一定的比例来得到末端执行其上的位置微分，而根据雅克比矩阵的性质，可以由雅克比矩阵的逆即转置与位置微分来得到双臂机器人的关节角速度，即：

δq_(n×1)＝J_(m×n) ^T(q)δx_(m×1)

再将得到的关节角速度进行积分就能够实时得到双臂机器人在跟踪某一轨迹时各关节角的大小。这种算法被普遍运用在双臂机器人的轨迹规划中。这样，通过这样的循环运算，双臂机器人的末端就可以很好的跟随人手运动。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种增强虚拟现实浸入感的视觉反馈平台，其特征在于：包括双臂机器人、视觉伺服跟踪控制单元、浸入式视觉反馈单元，并与用户构成闭合的临场感系统；所述视觉伺服跟踪控制单元用于跟踪用户的动作行为和环境建模，浸入式视觉反馈单元接收用户的动作行为和环境建模信息后将其与双臂机器人的肢体模型一起融合在3D虚拟现实界面中，用户通过穿戴虚拟现实设备进行一系列的人机交互，所述视觉伺服跟踪控制单元包括三自由度转台与Kinect摄像头，所述三自由度转台由双臂机器人适配器通过连接螺钉连接摆动电机，所述摆动电机使Kinect摄像头起到摆动作用，摆动角为±40度，所述摆动电机通过转动轴连接支撑座，所述支撑座底板上连接直流伺服电机一和直流伺服电机二，所述直流伺服电机一和直流伺服电机二通过同步带一和同步带二连接两自由度差动齿轮机构，所述差动齿轮机构由锥齿轮一，锥齿轮二，锥齿轮三，锥齿轮四构成，所述锥齿轮一和锥齿轮二通过预紧连接杆连接；通过调节电机的转速和转向实现该机构的俯仰和旋转两种自由度的运动；锥齿轮一上连接有Kinect摄像头连接器，通过过盈配合和Kinect摄像头构成紧连接，所述Kinect摄像头识别人体几何模型，构建人的运动学实时模型，包括手势模型、环境3D建模和人的表情模型，所述三自由度转台的控制通信方式采用模块化嵌入式无线通信，通过构建双臂机器人，控制计算机以及相关设备的局域网，实现数据的双向互通互联，所述三自由度转台的控制界面参数调整采用图形化调节方式。

2.根据权利要求1所述的增强虚拟现实浸入感的视觉反馈平台，其特征在于：所述浸入式视觉反馈单元包括虚拟现实设备和双目摄像头。

3.根据权利要求1所述的增强虚拟现实浸入感的视觉反馈平台，其特征在于：所述视觉伺服跟踪控制单元的运动参数由人的头部运动参数确定，通过配置在虚拟现实设备上的惯导单元IMU检测人的头部运动方向和速度大小，经过控制计算机处理，通过无线网络和Kinect摄像头运动控制嵌入式单元实现Kinect摄像头和人的头部运动随动。

4.根据权利要求1所述的增强虚拟现实浸入感的视觉反馈平台，其特征在于：所述控制计算机运行空间齐次转换矩阵计算法，以达到人手动作跟随和人手工作空间与双臂机器人手工作空间匹配。

5.根据权利要求1所述的增强虚拟现实浸入感的视觉反馈平台，其特征在于：所述虚拟现实设备接受所述Kinect摄像头构建的3D虚拟场景，并把人的肢体几何运动学模型和双臂机器人的肢体模型融合到3D环境中，用户通过穿戴虚拟现实设备通过其3D虚拟现实界面进行一些列人机交互。