CN115639910B - 面向被操控对象作业空间的全方位体感交互方法及设备 - Google Patents

Abstract

本发明公开了一种面向被操控对象作业空间的全方位体感交互方法及设备，该方法包括：操控者根据自己所处的绝对空间位姿以及操控习惯，自定义初始空间坐标系以及映射关系；当操控者空间位置发生变化时，可开启全方位体感交互模式；该模式下，采集操控者体感动作的空间位置矢量和姿态矢量；利用空间转换矩阵对空间位姿矢量实时进行空间坐标转换，处理成空间位置无关的位姿矢量，即为新的控制矢量，其叠加被操控对象在初始空间坐标系中的当前位姿，融合生成目标位姿，发送给被操控对象。本发明可实现面向被操控对象作业空间与操控者位置无关的全方位体感操控。

Description

面向被操控对象作业空间的全方位体感交互方法及设备

技术领域

本发明属于体感操控技术领域，具体涉及一种面向被操控对象作业空间的全方位体感交互方法及设备。

背景技术

目前，对动作类机器人或虚拟模型进行操控，通常采用与操作对象强相关的专用操控设备或者定制操控接口及标准协议来完成，而专用的体感操控设备及操控模式均为标准结构化场景，即由操控设备或其配套设备自己建立标准操控模型，人佩戴体感操控设备来完成对模型的操控或人机交互过程，或者由操控设备自带的视觉或其他类型的传感器，对人机交互对象进行实时建模并进行结构化处理，来完成人机交互过程。

已有技术方案存在的问题主要包括：

1、普通人机交互过程为自定义操控规范，多个厂家存在多个操控规范、接口和操控标准；

2、普通人机交互过程(包括手柄操控或专用示教器操控模式)均为面向机器人动作空间的交互模式，即机器人动作与操控设备上某一固定按钮或指令是唯一映射关系，当操控设备变换空间方位时，操控者无法第一时间敏感到机器人动作空间与自身的操控指令之间的对应关系；

3、目前的体感交互模式，人必须处于该结构化模型当中才能完成整个交互过程，而在结构化模型之外(即模型视界之外或模型与人的相对位置关系发生变化)，则无法顺利完成体感交互过程。

发明内容

本发明的目的在于，提供一种面向被操控对象作业空间的全方位体感交互方法及设备，实现面向被操控对象作业空间与操控者位置无关的全方位体感操控过程，即无论操做者和被操控对象的空间相对位置如何，被操控对象均可按照当前操做者所处的空间位置，按照体感动作指示，完成机器人或被操控对象的绝对空间运动。

本发明采用如下技术方案：

一种面向被操控对象作业空间的全方位体感交互方法，包括以下步骤：

操控者根据自己所处的绝对空间位姿以及操控习惯，自定义初始空间坐标系以及映射关系；

当操控者空间位置发生变化时，可开启全方位体感交互模式；全方位体感交互模式下，采集操控者体感动作的空间位置矢量和姿态矢量；利用空间转换矩阵对空间位姿矢量进行空间动态坐标转换，将空间位姿矢量处理成空间位置无关的位置矢量，即为新的控制矢量，其叠加被操控对象在初始空间坐标系中的当前位姿，融合生成目标位姿，发送给被操控对象。

进一步的，空间动态坐标转换的公式为：

式中，为空间位置无关的位姿矢量，/>为空间位姿矢量，/>为空间转换矩阵，表示如下：

式中，γ，θ，分别为当前空间姿态的横滚、俯仰和偏航角。

进一步的，目标位姿的融合生成公式为：

式中，V_A为目标位姿矢量，V_n为被操控对象在初始空间坐标系中的当前位姿矢量，为空间位置无关的位姿矢量。

进一步的，采集姿态矢量之前，将当前操控设备敏感到的角度，包括偏航角、俯仰角和横滚角置为零值或作为基准值记录下来。

进一步的，全方位体感交互模式包括高精度操控模式和高模仿操控模式；

高精度操控模式时，对一段时间内操控过程中的主运动方向进行提取，得到主运动方向的运动角度则该模式下空间转换矩阵变为：

高模仿操控模式时，对每个采样时刻进行实时空间动态坐标转换，设该时刻的运动角度为则该模式下空间转换矩阵变为：

进一步的，当操控设备的角速度以及加速度值在一段时间内维持在一个很小的阈值以内时，认为操控设备处于“静止状态”。

进一步的，将“静止状态”初始时刻的运动角度记为则高精度操控模式下空间转换矩阵变为：

高模仿操控模式下空间转换矩阵变为：

进一步的，被操控对象为虚拟操控模型对象时，借助三维立体空间投影显示完成体感操控过程；当虚拟模型展示于二维平面、或由于观测者视角受限、抑或要完成特定角度的二维平面观测的前提下的某个特殊角度投影，则根据实际投影关系，动态对虚拟模型进行实时投影变换，以完成模型展示。

进一步的，针对被操控对象，建立统一规范的控制描述文件及通信协议接口，包括：操控端口描述、被操控对象自由度、操控动作映射描述及自定义、操控频率、操控动作增益参数及其描述配置文件。

一种操控设备，该操控设备采用上述的面向被操控对象作业空间的全方位体感交互方法。

本发明与现有技术相比，具有以下优点及有益效果：

本发明对传统体感操控模式及交互方法进行更改优化，即通过手持式体感操控设备，可以实现面向被操控对象作业空间与操控者位置无关的全方位体感操控过程，即无论操做者和被操控对象的空间相对位置如何，被操控对象均可按照当前操作者所处的空间位置，按照体感动作指示，完成机器人或被操控对象的绝对空间运动。

该体感交互方法不仅适用于实体机器人操控对象，同样也适用于虚拟模型中的特定操控对象；且虚拟模型也不仅限于可视化的三维模型展示实体，也同样适用于普通三维模型在二维平面上的投影显示。

附图说明

图1是与操控者空间位置无关的体感控制示意图；

图2是面向虚拟三维模型展示的体感操控示意图；

图3是位置无关模式及体感控制流程图；

图4是动作类被控对象控制描述文件示意图。

图中：1-被操控对象，2-操控设备。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提出一种面向被操控对象作业空间的全方位体感交互方法及操控设备，尤其适用于采用手持式体感操控设备操作动作类机器人或对应虚拟模型等应用场景。该方法可以实现无论操做者和被操控对象的空间相对位置如何，被操控对象均可按照当前操作者所处的空间位置，按照体感动作指示，完成机器人或被操控对象的绝对空间运动。

体感控制端具备空间位姿感知功能，可感知操控者手部体感动作相对空间的位姿关系，加之被操控对象端具备的空间绝对位姿反演能力，建立操控者手部体感动作与被操控对象端相对作业场景的空间位姿关系。

本发明的面向被操控对象作业空间的全方位体感交互方法，如图3所示，主要包括：

操控者可根据自己的操控习惯以及所处的绝对空间实际情况，自行定义初始空间坐标系以及对应的操控正方向；

随着操控者空间位置的变化，可以自行选择是否开启全方位体感操控模式，当启用该模式时，则进行空间动态坐标转换以及对应的主方向提取或实时传感器数据滤波及映射数据处理；否则不进行空间动态坐标转换过程；

初始空间坐标系可以随时进行重新标定，特别的，当操控器长时间获取到的加速度或角速度维持在一个很小的值时，自动进行初始空间坐标系的动态标定。

全方位体感操控模式下，通过获取机器人当前位姿V_n矢量，叠加上操控人员手部体感动作处理出的位姿变换矢量得到目标位姿V_a矢量，并下发给机器人即可完成各种位置下对机器人的控制。

空间位姿关系的具体表示过程为：

1、实时获取当前机器人的位姿V_n：

其中，x、y和z为空间坐标，γ为当前空间姿态的横滚角，θ为当前空间姿态的俯仰角，为当前空间姿态的偏航角。

人工确认开始标定后，建立初始空间坐标系。针对实体机器人操控对象，可以针对机器人本体基准坐标系来建立初始空间坐标系，并基于该坐标系完成后续空间矢量的转换过程。记录当前操控器上的传感器敏感到的偏航角、俯仰角和横滚角，并将其置为零值，则在任意空间位置的位姿关系对应的空间转换矩阵为：

2、全方位体感交互模式可人为选择开启/关闭，当开启该模式时，按上述空间位姿关系转换矩阵对体感采集的空间矢量进行变换处理。

空间位置无关的位姿矢量表示为：

其中，为转换前体感操控设备原坐标系下的空间位姿矢量，其中姿态由/>矩阵动态得到。

以作为新的控制矢量完成对动作类被操控对象的操控指令生成，即发送给被控端目标位姿V_A为：

即可实现操控人员在作业场景空间中“自由行走移动”，并自由的操控机器人或虚拟模型完成相应运动，如图1所示。无论手持操控设备2的操作者和被操控对象1的空间相对位置如何，被操控对象2均可按照当前操作者所处的空间位置，按照体感动作指示，完成机器人或被操控对象的绝对空间运动。

如图3所示，根据操控模式的选择(高精度操控模式和高模仿操控模式)，确定空间位置矢量如何转变为最终动作指令：

当开启高精度操控模式时，对整个体感操控过程进行原始数据采集，并对操控过程中的主运动方向进行提取，得到主方向运动角度则该模式下空间转换矩阵变为：

当开启高模仿操控模式时，对每个采样时刻(该时刻运动角度为)进行实时空间转换，则该模式下实时空间转换矩阵/>变为：

特别的，当体感操控设备一段时间内获取到的角速度以及加速度值维持在一个很小的值时，认为此时体感操控设备处于“静止状态”，即没有任何操控指令输入。为防止角度漂移造成的空间转换矩阵的偏移误差，将“静止状态”初始时刻的角度计为则空间转换矩阵/>变为：

实时空间转换矩阵变为：

需要说明的是，空间矢量的转换过程，只是该方案描述的一种数学表示方法，空间矢量的转变也可以通过其他矢量运算方式完成。

针对虚拟操控模型对象，可以借助三维立体空间投影显示或其他三维展示方式，完成体感操控过程，如图2所示，特别的，当虚拟操控模型展示于二维平面、或由于观测者视角受限、抑或要完成特定角度的二维平面观测的前提下的某个特殊角度投影，则可以根据实际投影关系，动态对虚拟模型进行实时投影变换，以完成模型展示。

另外，基于多种对象的底层链路协议的软件编写，可将多对象体感操作集成进体感设备，通过对动作类被控对象建立统一规范的控制描述文件及通信协议接口，包括但不限于：操控端口描述，操控动作映射描述及自定义、操控频率、操控动作增益等关键参数，更改描述文件即可快速切换体感控制的基本信息的效果，如图4所示，并可随时升级软件动态扩容以兼容新设备。该方法可以适用于实体机器人被控对象，同时也适用于虚拟模型或模型中多个被控虚拟对象的体感操控及人机交互过程。

本领域的技术人员容易理解，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种面向被操控对象作业空间的全方位体感交互方法，其特征在于，包括以下步骤：

操控者根据自己所处的绝对空间位姿以及操控习惯，自定义初始空间坐标系以及映射关系；

当操控者空间位置发生变化时，开启全方位体感交互模式；所述全方位体感交互模式下，采集操控者体感动作的空间位姿矢量；利用空间转换矩阵对空间位姿矢量实时进行空间坐标转换，将所述空间位姿矢量处理成空间位置无关的位姿矢量，即为新的控制矢量，其叠加被操控对象在初始空间坐标系中的当前位姿，融合生成目标位姿，发送给被操控对象；

其中，所述空间坐标转换的公式为：

式中，为空间位置无关的位姿矢量，/>为空间位姿矢量，/>为空间转换矩阵；

所述空间转换矩阵表示如下：

式中，γ，θ，分别为被操控对象的横滚、俯仰和偏航角。

2.根据权利要求1所述的面向被操控对象作业空间的全方位体感交互方法，其特征在于，所述目标位姿的融合生成公式为：

式中，V_A为目标位姿矢量，V_n为被操控对象在初始空间坐标系中的当前位姿矢量，为空间位置无关的位姿矢量。

3.根据权利要求1所述的面向被操控对象作业空间的全方位体感交互方法，其特征在于，采集所述位姿矢量之前，将当前操控设备感测到的角度，包括偏航角、俯仰角和横滚角，置为零值或作为基准值记录下来。

4.根据权利要求1所述的面向被操控对象作业空间的全方位体感交互方法，其特征在于，所述全方位体感交互模式包括高精度操控模式和高模仿操控模式；

所述高精度操控模式时，对一段时间内操控过程中的主运动方向进行提取，得到主运动方向的运动角度，进而进行空间坐标转换；

所述高模仿操控模式时，对每个采样时刻均进行实时空间坐标转换。

5.根据权利要求4所述的面向被操控对象作业空间的全方位体感交互方法，其特征在于，当操控设备的角速度以及加速度值在一段时间内维持在一个很小的阈值以内时，认为操控设备处于“静止状态”。

6.根据权利要求5所述的面向被操控对象作业空间的全方位体感交互方法，其特征在于，将“静止状态”初始时刻的运动角度记为则所述高精度操控模式下角度控制量修正为/>对应修正空间转换矩阵；其中，/>为主运动方向的运动角度；

所述高模仿操控模式下角度控制量修正为对应修正空间转换矩阵；其中，/>为每个采样时刻的运动角度。

7.根据权利要求1所述的面向被操控对象作业空间的全方位体感交互方法，其特征在于，被操控对象为虚拟操控模型对象时，借助三维立体空间投影显示完成体感操控过程；当虚拟模型展示于二维平面、或由于观测者视角受限、抑或要完成特定角度的二维平面观测的前提下的某个特殊角度投影，则根据实际投影关系，动态对虚拟模型进行实时投影变换，以完成模型展示。

8.根据权利要求1所述的面向被操控对象作业空间的全方位体感交互方法，其特征在于，针对被操控对象，建立统一规范的控制描述文件及通信协议接口，包括：操控端口描述、被操控对象自由度、操控动作映射描述及自定义、操控频率、操控动作增益参数及其描述配置文件。

9.一种操控设备，其特征在于，所述操控设备采用权利要求1至8中任意一项所述的面向被操控对象作业空间的全方位体感交互方法。