CN115033105B - 一种支持裸手多元触力觉自然交互的大空间可移动平台 - Google Patents

Abstract

本发明公开一种支持裸手多元触力觉自然交互的大空间可移动平台，涉及人机交互技术领域，包括裸手多元触觉交互设备、六维力觉反馈设备和控制系统；其中，裸手多元触觉交互设备用于通过人手触摸或按压与人机交互场景进行交互以及反馈多模态触觉信息和感知到的人机交互信息，从而解决现有触力觉交互设备存在的触觉反馈模态单一、无感知功能、无法实现裸手自然交互的问题，六维力觉反馈设备则用于调节裸手多元触觉交互设备的位姿，并调节输出至裸手多元触觉交互设备的多维力觉，以及反馈裸手多元触觉交互设备的位姿和六维力觉反馈设备输出至裸手多元触觉交互设备的多维力觉，从而解决现有触力觉交互设备存在的力觉反馈维度单一的问题。

Description

一种支持裸手多元触力觉自然交互的大空间可移动平台

技术领域

本发明涉及人机交互技术领域，特别是涉及一种支持裸手多元触力觉自然交互的大空间可移动平台。

背景技术

在现实生活中，当我们与周围物体交互时，我们可以通过视觉通道看到交互物体的形貌特征，通过触觉通道感知物体的形状、大小、纹理、温度、软硬度、重力等多重属性，通过听觉通道感知交互对象的声音(交互过程中产生的声音)。但是，在虚拟世界中，目前我们仅可以通过声音或者图像信息听到或者看到交互物体，无法通过触摸与虚拟物体进行交互，大大降低了交互的真实性和沉浸感。

人机交互设备通过新材料-机械-电控系统为用户提供相应的力反馈或者触觉反馈，根据其机械结构的不同和发展历程，大致可以分为桌面式、手持式、穿戴式等多种形式。桌面式交互设备其基底固定在地面或者桌面上，无法进行移动，因此其工作空间相对较小。手持式交互设备最典型的代表是手柄，用户通过控制手柄上面的按键进行交互同时可以感知到一定的触觉反馈(振动反馈)。穿戴式触觉设备包括可以提供触觉反馈(振动反馈)的手套、振动背心和可以提供力反馈(单一维度的力觉反馈)的手套等装置，通过电机、气压等驱动方式为用户提供一定的触力觉反馈。但是上述交互设备均存在一定的局限性，主要体现在以下几个方面：

(1)现有的触力觉反馈设备(触力觉交互设备)大多数为单一模态的触觉反馈(如振动反馈)或者单一维度的力觉反馈(如法向力)，缺乏融合多元触觉和多维力觉反馈的设备。

(2)现有的触力觉反馈设备缺乏感知功能，无法精确地感知用户的交互力、交互速度、交互位置等多维度的交互信息。

(3)现有的触力觉反馈设备在前期需要进行大量的学习和练习，用户使用学习成本高，无法满足自然交互的需求；现有的触觉反馈设备在使用过程中，用户需要穿戴或者手持交互设备，交互设备阻碍了用户与虚拟环境中其他物品交互，难以实现用户与物品的裸手交互；受限于空间感知精度和范围，大部分触力觉反馈设备的工作空间较小，无法满足大空间操作或者多人协同操作的需求。

(4)现有的触力觉反馈设备大部分仅提供触觉通道的反馈信息，无法提供视觉通道和听觉通道信息；部分设备虽然可以提供一些视听觉信息，但是无法实现视听触多模态的时空一致性呈现。

综上，现有触力觉交互设备存在触觉反馈模态单一、力觉反馈维度单一、无感知功能、无法实现裸手自然交互的问题。

发明内容

本发明的目的是提供一种支持裸手多元触力觉自然交互的大空间可移动平台，以解决现有触力觉交互设备存在的触觉反馈模态单一、力觉反馈维度单一、无感知功能、无法实现裸手自然交互的问题。

为实现上述目的，本发明提供了如下方案：

一种支持裸手多元触力觉自然交互的大空间可移动平台，所述平台包括裸手多元触觉交互设备、六维力觉反馈设备和控制系统；

所述裸手多元触觉交互设备用于通过人手触摸或按压与人机交互场景进行交互，并反馈多模态触觉信息和感知到的人机交互信息给所述控制系统；所述多模态触觉信息包括温度、振动、纹理、摩擦、柔软度和形状；所述人机交互信息包括人与所述人机交互场景的交互位置、交互力、交互速度和加速度；

所述六维力觉反馈设备与所述裸手多元触觉交互设备连接；所述六维力觉反馈设备用于调节所述裸手多元触觉交互设备的位姿，并调节输出至所述裸手多元触觉交互设备的多维力觉；所述六维力觉反馈设备还用于反馈所述裸手多元触觉交互设备的位姿以及所述六维力觉反馈设备输出至所述裸手多元触觉交互设备的多维力觉；所述位姿和所述多维力觉用于与所述人机交互场景进行交互；所述多维力觉包括三维力和三维力矩；

所述控制系统分别与所述裸手多元触觉交互设备和所述六维力觉反馈设备连接；所述控制系统用于导入所述人机交互场景，根据所述人机交互场景获取第一反馈信息，并根据所述第一反馈信息驱动所述裸手多元触觉交互设备呈现出所述人机交互场景所需呈现的多模态触觉信息以及达到所述人机交互场景所需达到的位置、力、速度和加速度；所述第一反馈信息包括所述裸手多元触觉交互设备反馈的多模态触觉信息和人机交互信息；所述控制系统还用于根据所述人机交互场景获取第二反馈信息，并根据所述第二反馈信息驱动所述六维力觉反馈设备达到所述人机交互场景所需达到的位姿和多维力觉；所述第二反馈信息包括所述六维力觉反馈设备反馈的位姿和多维力觉。

可选地，所述平台还包括移动小车；

所述移动小车与所述六维力觉反馈设备连接；所述控制系统设置于所述移动小车中；

所述移动小车用于承载所述六维力觉反馈设备和所述裸手多元触觉交互设备，并在所述控制系统的控制下移动。

可选地，所述平台还包括显示设备；

所述显示设备与所述控制系统连接；所述显示设备用于显示所述人机交互场景。

可选地，所述裸手多元触觉交互设备具体包括内部驱动系统和电子皮肤；

所述电子皮肤蒙在所述内部驱动系统的表面；所述电子皮肤和所述内部驱动系统分别与所述控制系统连接；

所述电子皮肤用于监测和识别所述人机交互信息，并呈现所述温度、所述振动、所述纹理和所述摩擦；所述内部驱动系统用于驱动所述电子皮肤呈现所述柔软度和所述形状。

可选地，所述电子皮肤具体包括驱动层和传感层；

所述驱动层设置于所述传感层上或设置于所述传感层下；所述驱动层和所述传感层分别与所述控制系统连接；

所述传感层用于监测和识别所述人机交互信息；所述驱动层用于呈现所述温度、所述振动、所述纹理和所述摩擦。

可选地，所述内部驱动系统具体包括驱动器和传动构件；

所述驱动器分别与所述控制系统和所述传动构件连接；

所述驱动器用于驱动所述传动构件运动，使所述电子皮肤呈现所述柔软度和所述形状；所述驱动器包括电动驱动器、气动驱动器和液压驱动驱动器；所述传动构件包括所述电动驱动器对应的电动传动构件、所述气动驱动器对应的气动传动构件和所述液压驱动驱动器对应的液压驱动传动构件。

可选地，所述六维力觉反馈设备具体包括多自由度并联结构、支撑平台和电控系统；

所述多自由度并联结构分别与所述移动小车和所述支撑平台连接；所述支撑平台与所述裸手多元触觉交互设备固定连接；所述电控系统分别与所述控制系统和所述多自由度并联结构连接；

所述电控系统用于在所述控制系统的控制下驱动所述多自由度并联结构调节所述支撑平台的位姿，使所述裸手多元触觉交互设备的位姿与所述支撑平台的位姿保持一致，并调节输出至所述支撑平台的多维力觉，使所述支撑平台输出至裸手多元触觉交互设备的多维力觉与输出至所述支撑平台的多维力觉保持一致；所述电控系统还用于向所述控制系统反馈所述裸手多元触觉交互设备的位姿以及所述六维力觉反馈设备输出至所述裸手多元触觉交互设备的多维力觉。

可选地，所述移动小车中还设置有驱动系统和空间定位感知系统；

所述驱动系统分别与所述控制系统和所述移动小车的转动轮连接；所述空间定位感知系统与所述控制系统连接；

所述驱动系统用于在所述控制系统的控制下驱动所述移动小车进行全方位移动；所述全方位移动包括原地转动、360度任意方向移动和原地锁停；所述空间定位感知系统用于对所述移动小车进行空间定位，并将空间定位结果发送至所述控制系统。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开的支持裸手多元触力觉自然交互的大空间可移动平台，设置有裸手多元触觉交互设备和六维力觉反馈设备，其中，裸手多元触觉交互设备用于通过人手触摸或按压与人机交互场景进行交互以及反馈多模态触觉信息和感知到的人机交互信息，从而解决现有触力觉交互设备存在的触觉反馈模态单一、无感知功能、无法实现裸手自然交互的问题，六维力觉反馈设备则用于调节裸手多元触觉交互设备的位姿，并调节输出至裸手多元触觉交互设备的多维力觉，以及反馈裸手多元触觉交互设备的位姿和六维力觉反馈设备输出至裸手多元触觉交互设备的多维力觉，从而解决现有触力觉交互设备存在的力觉反馈维度单一的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明支持裸手多元触力觉自然交互的大空间可移动平台实施例的结构图；

图2为本发明单人与硬件平台进行交互的示意图；

图3为本发明大空间多人协同交互的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种支持裸手多元触力觉自然交互的大空间可移动平台，以解决现有触力觉交互设备存在的触觉反馈模态单一、力觉反馈维度单一、无感知功能、无法实现裸手自然交互的问题。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明支持裸手多元触力觉自然交互的大空间可移动平台实施例的结构图。参见图1，该支持裸手多元触力觉自然交互的大空间可移动平台包括裸手多元触觉交互设备101、六维力觉反馈设备102和控制系统(图中未示出)，以及移动小车103。

裸手多元触觉交互设备101用于通过人手触摸或按压与人机交互场景进行交互，并反馈多模态触觉信息和感知到的人机交互信息给控制系统；多模态触觉信息包括温度、振动、纹理、摩擦、柔软度和形状；人机交互信息包括人与人机交互场景的交互位置、交互力、交互速度和加速度。

六维力觉反馈设备102与裸手多元触觉交互设备101连接；六维力觉反馈设备102用于调节裸手多元触觉交互设备101的位姿，并调节输出至裸手多元触觉交互设备101的多维力觉；六维力觉反馈设备102还用于反馈裸手多元触觉交互设备101的位姿以及六维力觉反馈设备102输出至裸手多元触觉交互设备101的多维力觉；位姿和多维力觉用于与人机交互场景进行交互；多维力觉包括三维力和三维力矩。

控制系统分别与裸手多元触觉交互设备101和六维力觉反馈设备102连接；控制系统用于导入人机交互场景，根据人机交互场景获取第一反馈信息，并根据第一反馈信息驱动裸手多元触觉交互设备101呈现出人机交互场景所需呈现的多模态触觉信息以及达到人机交互场景所需达到的位置、力、速度和加速度；第一反馈信息包括裸手多元触觉交互设备101反馈的多模态触觉信息和人机交互信息；控制系统还用于根据人机交互场景获取第二反馈信息，并根据第二反馈信息驱动六维力觉反馈设备102达到人机交互场景所需达到的位姿和多维力觉；第二反馈信息包括六维力觉反馈设备102反馈的位姿和多维力觉。

移动小车103与六维力觉反馈设备102连接；控制系统设置于移动小车103中；移动小车103用于承载六维力觉反馈设备102和裸手多元触觉交互设备101，并在控制系统的控制下移动。

具体的，裸手多元触觉交互设备101具体包括内部驱动系统和电子皮肤；电子皮肤蒙在内部驱动系统的表面；电子皮肤和内部驱动系统分别与控制系统连接；电子皮肤用于监测和识别人机交互信息，并呈现温度、振动、纹理和摩擦；内部驱动系统用于驱动电子皮肤呈现柔软度和形状。

其中，电子皮肤具体包括驱动层和传感层；驱动层设置于传感层上或设置于传感层下；驱动层和传感层分别与控制系统连接；传感层用于监测和识别人机交互信息；驱动层用于呈现温度、振动、纹理和摩擦。

内部驱动系统具体包括驱动器和传动构件；驱动器分别与控制系统和传动构件连接；驱动器用于驱动传动构件运动，使电子皮肤呈现柔软度和形状；驱动器包括电动驱动器、气动驱动器和液压驱动驱动器(液压驱动器)；传动构件包括电动驱动器对应的电动传动构件、气动驱动器对应的气动传动构件和液压驱动驱动器对应的液压驱动传动构件。

裸手多元触觉交互设备101即多元触觉交互设备(多元触觉反馈设备)，多元触觉交互设备由内部驱动部分和蒙在外表的电子皮肤两部分组成。多元触觉交互设备用于呈现温度、振动、纹理、摩擦、柔软度、形状等多种触觉信息，感知交互位置、交互力、交互速度、加速度等不同类型交互信息。内部驱动系统(内部驱动部分)用于呈现形状和柔软度，电子皮肤的驱动层用于呈现(呈现不是显示，呈现指的是通过一定的技术再现出来，比如想要30度，通过柔性帕尔贴加热到30度，30度是无法显示的)纹理、振动、摩擦等信息。内部驱动部分由电动驱动器和电动传动构件组成、或者是由气动驱动器和气动传动构件组成、或者是由液压驱动驱动器和液压驱动传动构件组成。以电动举例来说，电动驱动器(电机)通过转动实现电动传动构件的伸长或者缩短，多个电动传动构件的伸长或者缩短，就可以改变形状了。

如图2所示，电子皮肤由传感层和驱动层两部分组成，其方案可以是传感层在上，驱动层在下，如图2中(a)部分所示，也可以是驱动层在上，传感层在下，如图2中(b)部分所示。其中，图2中(a)部分表示传感层在上，驱动层在下时，单人与硬件平台进行交互的示意图；图2中(b)部分表示驱动层在上，传感层在下时，单人与硬件平台进行交互的示意图。电子皮肤可以实现交互位置、交互力、交互速度、加速度等不同类型交互信息的监测和识别(主要由传感层实现)，同时可以呈现温度、振动、纹理、摩擦、柔软度、形状等多种触觉信息(主要由驱动层实现)。电子皮肤的具体结构形式丰富多样，例如，内部驱动部分由电动、气动、液压驱动等多种驱动器和传动构件组成(内部驱动部分具体是由电动驱动器和电动传动构件、气动驱动器和气动传动构件、液压驱动驱动器和液压驱动传动构件组成，可以是这些驱动方式，但是不局限于这些驱动方式，其功能是实现电子皮肤整体的形状变化)，用于改变多元触觉交互设备的形状，为用户提供交互物体的形貌反馈信息(可以由气动、电动、或者液压，也可以是其他的方式)。同时，内部驱动部分通过气压(气动)/液压驱动方式(气动驱动器或液压驱动驱动器)可以改变多元触觉交互设备的柔软度，为用户提供不同软硬度的触觉反馈信息。电子皮肤的驱动层部分内嵌有多种驱动器(例如：柔性帕尔贴或者柔性热电材料可以产生温度变化，但是不局限于上述两种方式；振动可以通过振动电机，但是不局限于该方式；纹理可以通过高密度纹理呈现阵列，驱动器可以是气动、电磁驱动、液晶弹性体驱动器、电活性聚合物驱动器等，不局限于上述驱动方式；摩擦可以是通过静电吸附进行调节，但是不局限于该方式)，可以产生温度、振动、纹理、摩擦等多种触觉反馈信息。传感层具有轻薄、柔性可延展的特点，可以随着多元触觉交互设备的形状改变而相应变化，同时可以感知用户与多元触觉交互设备的交互位置、交互力、交互速度、交互加速度等多种交互信息，并通过控制系统和网络可以实现交互信息的实时传输、处理和共享。

具体的，六维力觉反馈设备102具体包括多自由度并联结构、支撑平台和电控系统；多自由度并联结构分别与移动小车103和支撑平台连接；支撑平台与裸手多元触觉交互设备101固定连接；电控系统分别与控制系统和多自由度并联结构连接；电控系统用于在控制系统的控制下驱动多自由度并联结构调节支撑平台的位姿，使裸手多元触觉交互设备101的位姿与支撑平台的位姿保持一致，并调节输出至支撑平台的多维力觉，使支撑平台输出至裸手多元触觉交互设备101的多维力觉与输出至支撑平台的多维力觉保持一致；电控系统还用于向控制系统反馈裸手多元触觉交互设备101的位姿以及六维力觉反馈设备102输出至裸手多元触觉交互设备101的多维力觉。

六维力觉反馈设备102即六自由度平台。六自由度平台由多自由度并联结构和支撑平台组成，多自由度并联结构分别与移动小车103和支撑平台连接。支撑平台与裸手多元触觉交互设备101相连接。多自由度并联机构具体包括电机、连杆、编码器，多自由度并联机构通过电控系统实现三维力和三维力矩反馈(电控包括驱动电机的编码器等传感装置，包括电机的驱动器等装置，控制系统给电机驱动信息，电机转动实现位置控制，电机输出力矩，可以实现力控制)，可以为用户提供丰富的力觉交互体验，如模拟物体的重力。此外，六维力觉反馈设备102可以通过多自由度并联机构改变裸手多元触觉交互设备101的空间位置，通过触幻觉等方式在虚拟世界中为用户提供一定的形状反馈，例如同样一个平面，通过改变触摸方向角度，人在无视觉情况下触摸可以感觉成不同倾角的平面。

六维力觉设备，即六维力觉反馈设备102可以实现支撑平台不同位姿调节、不同力输出调节。支撑平台是与多自由度并联结构固定连接在一起，多自由度平台通过控制每个电机的转动角度和输出力，实现整个六维力觉反馈设备102的功能。

其中，移动小车103中还设置有驱动系统和空间定位感知系统；驱动系统分别与控制系统和移动小车103的转动轮连接；空间定位感知系统与控制系统连接；驱动系统用于在控制系统的控制下驱动移动小车103进行全方位移动；全方位移动包括原地转动、360度任意方向移动和原地锁停；空间定位感知系统用于对移动小车103进行空间定位，并将空间定位结果发送至控制系统。

从另一个角度来说，移动小车103是由驱动系统、控制系统(控制系统指的是整个装置的控制系统，控制系统比较大放在了小车上面，控制系统发出指令让小车移动一米，驱动系统执行指令让小车往前走，定位系统监测是否走了一米，没有走到一米或者走超了，控制系统让驱动系统进行调节)、高精度空间定位感知系统构成的。移动小车103作为载体，载着六维力觉设备和多元触觉交互设备实现大空间移动。移动小车103与六维力觉反馈设备102相连接，用于承载六维力学反馈设备102和裸手多元触觉交互设备101。驱动系统具有全方位移动功能，可以实现设备整体的原地转动、360度任意方向移动、原地锁停等功能(移动小车下面有转动轮，通过控制每个转动轮子的角度可以实现设备整体的原地转动、360度任意方向移动、原地锁停等功能)。控制系统用于移动小车103、多元触觉交互设备101、六维力觉反馈设备102的数据传输、计算(例如，移动小车103需要从A点移动到B点，但是移动过程中需要边通过传感定位其自身位置边对路径进行修正，最终移动到B点，这个修正过程就是计算，还包括路径什么是最优化的，会不会碰撞到其他物体等等，这些都需要计算。同理，六维力觉平台和电子皮肤也需要计算，比如，六维力觉平台需要呈现一个角度或者一个力，那么控制系统给六维力平台每个关节一个运动角度或者输出力指令，六维力平台根据每个关节编码器和电流大小可以获取每个关节的每一时刻的输出力和位置，然后进行调控控制。电子皮肤也是一样的，比如呈现的温度信息，控制器让柔性帕尔贴升温，电子皮肤的传感层可以实时监测温度，高了就调低，低了就调高)，从而驱动移动小车103、裸手多元触觉交互设备101、六维力觉反馈设备102内部的驱动器执行相应的操作(人会给控制系统一个指令，根据指令以及传感器返回的数据计算需要的操作)；同时，控制系统可以与外部设备实现数据的传输共享(比如两台相同的大空间移动平台进行互动，这时候需要相互传输数据，同时如果用户戴着头盔、眼动设备、以及外部视觉摄像头等设备都可以给控制系统发送数据)。移动小车103、多元触觉交互设备101、六维力觉反馈设备102的数据包括传感数据和驱动数据等，其中，传感数据包括电子皮肤传感层的交互位置、交互力、交互速度、加速度等不同类型交互信息，还包括移动小车移动速度、位置等信息，还包括六维力觉平台(六维力觉反馈设备102)的每个转动副的转动速度、转动角度、力矩等信息。驱动数据指的是温度、振动、纹理、摩擦、柔软度、形状等驱动信号，还包括移动小车驱动控制信息、六维平台的控制信息。

此外，控制系统具有电源管理自主控制功能，可以实现自主充电、电量监测、系统自检等功能。高精度空间定位感知系统可以在大空间运动范围实现自身的精准定位，同时可以实现周围物体的感知，防止与周围物体发生碰撞。当用户与移动平台交互时，可以对用户交互距离进行精准实时检测，实现对用户的运动跟随，为用户提供最佳的交互角度和位置。高精度空间定位感知系统可以通过现有光学定位系统、惯导等的装置，通过优化算法实现多种定位数据的修正优化，实现高精度定位，本发明根据现有的高精度空间定位感知设备做一些优化和软件算法方面工作，从而提升其控制精度。

进一步的，该支持裸手多元触力觉自然交互的大空间可移动平台还包括显示设备；显示设备与控制系统连接；显示设备用于显示人机交互场景。

本发明支持裸手多元触力觉自然交互的大空间可移动平台不仅在锁停状态下与用户实现交互，还可以在移动过程中为用户提供交互功能。为了保证移动过程的交互稳定性，移动小车具有优越的减震系统，可以实现用户交互体验的稳定性。此外，多元触觉交互设备的传感层将实时检测到的用户交互力等交互信息(交互位置、交互力、交互速度、加速度等不同类型交互信息)反馈至控制系统，控制系统通过计算(修正)进一步协同控制移动小车、六维力觉反馈设备和多元触觉交互设备，进一步保证交互过程的稳定性。

本发明支持裸手多元触力觉自然交互的大空间可移动平台可以与大屏显示器、外接音箱(耳机)、头显设备(如THC VIVE、Oculus)等设备进行信息传输，实现视听触多模态融合反馈。此外，通过控制系统的实时动态检测和渲染算法，对移动小车、六维力觉反馈设备和多元触觉交互设备进行精准调控，实现视听触的时空一致性配准，提升交互的沉浸感，同时解决现有触力觉交互设备存在的多模态呈现一致性差的问题。

本发明支持裸手多元触力觉自然交互的大空间可移动平台还可以与手势识别系统、表情识别系统、眼动识别系统、语音识别系统、呼吸检测系统实现互联，实现对用户微手势、微表情等信息的检测，通过将用户的这些生理信息传输给控制系统，实现对用户交互意图的感知。

例如，在单人交互系统中，用户戴着头显设备与移动平台进行交互，头显设备为用户提供视听觉反馈。如图2所示，在现实世界中，用户双手直接(裸手)与多元触觉交互设备进行交互，纹理、温度、摩擦、柔软度、形状等触觉反馈设备给用户提供多元触觉反馈用以模拟陶泥触感，移动小车带动整个移动平台原地转动模拟旋转托盘的运动。在虚拟场景中，用户看到的是虚拟手(用户手的虚拟化身)制作陶罐的过程。为了实现真实的交互体验，多元触觉交互设备的传感层将用户手的交互信息、外接设备(视觉识别设备)将用户的手臂肢体位置信息传输到移动平台的控制系统，控制系统通过渲染算法控制移动平台各部分驱动器动作，实现视听触多模态的时空一致性呈现。裸手操作极大地降低了用户操作的学习成本和难度，更加贴近于真实的交互过程，极大地增强了交互的真实性。

本发明支持裸手多元触力觉自然交互的大空间可移动平台还可以通过互联网、局域网、蓝牙等传输技术实现多机协同操作，满足多人操作任务的需求，如多人抬桌子、多人协同装配零件等操作。如图3所示，在现实世界中，两个人戴着头显设备与移动平台进行交互，移动平台的六维力觉反馈设备为用户桌子的重力反馈，多元触觉交互设备为用户提供柔软度、形状等触觉反馈，移动小车提供跟随运动反馈。在虚拟世界中，用户可以通过虚拟化身看到彼此的状态，听到对方的声音。当一个人抬桌子角度和高度发生变化时，多元触觉交互设备、六维力觉反击设备和外接视觉运动捕捉设备将各种传感信息传输至控制系统，控制系统对各种数据进行处理，通过渲染算法驱动各个驱动器共同模拟变化影响的交互力的变化，为用户提供更为逼真的交互体验。

本发明提供了一种面向支持裸手交互的多元触力觉交互设备(支持裸手多元触力觉自然交互的大空间可移动平台)，该支持裸手多元触力觉自然交互的大空间可移动平台基于传感系统的精确信号测量，然后通过驱动系统精确控制，从而实现融合多元触觉和多维力觉反馈。该支持裸手多元触力觉自然交互的大空间可移动平台通过电子皮肤的传感层(传感层可以是电阻式传感阵列、压电式、电容式等不同类型的传感器阵列)从而实现精确地感知用户的交互力、交互速度、交互位置等多维度的交互信息。该支持裸手多元触力觉自然交互的大空间可移动平台无需进行大量的学习和练习，学习成本低，举例来说，现有的手柄，需要学习哪个按钮怎么操作、哪个按钮是什么含义，例如通过手柄的按钮在虚拟场景中抓一个杯子，与现实世界中抓一个杯子动作肯定是不一样的，但是本发明支持裸手多元触力觉自然交互的大空间可移动平台可以呈现出一个杯子的外形，让用户在虚拟现实中可以像真实世界中一样抓一个杯子，不用去记忆什么按钮什么操作，用户在现实世界中怎么与物体交互，在虚拟世界中就怎么与物体交互，基于此，该支持裸手多元触力觉自然交互的大空间可移动平台可以满足自然交互的需求(手柄并非自然交互)。该支持裸手多元触力觉自然交互的大空间可移动平台不会阻碍用户与虚拟环境中其他物品交互，因为用户手上无需穿戴或者拿着任何东西，如果用手柄则需要拿着手柄，拿着手柄手就无法进行其他操作了。该支持裸手多元触力觉自然交互的大空间可移动平台中移动小车可以移动，从而实现多个大空间平台的数据共享，因此可以多人协同操作，满足大空间操作或者多人协同操作的需求。

本发明支持裸手多元触力觉自然交互的大空间可移动平台可以实现视听触多模态的时空一致性呈现，其中涉及算法、传感、驱动。举例来说，现在的VR系统用户交互的时候会发生穿模，是因为碰撞检测和响应算法刷新频率不够，导致用户看到手已经穿透物体了，但是物体还没有反应，如果算法、传感、驱动精度都足够高，这个问题就不存在了。进一步，比如模拟摸一个沙发，用户可以感受到纹理、柔软度，可以听到声音看到虚拟画面，但是如果呈现的设备性能很差，用户摸的时候沙发已经压扁了，才发出声音，画面才变形，用户的手才感觉到变硬了，这与用户想象中或者日常经验不符，这种情况就是时空没有一致性呈现。

本发明基于目前没有同时具备支持裸手自然交互、可以实现大空间触力觉感知和呈现的设备这一问题，研发了融合多元触觉、多元力觉、支持大范围移动平台这个设备，以满足多元触觉和多维力觉反馈、精确交互信息感知和精准大空间感知、无需穿戴的裸手自然交互、视听触多模态融合等需求。本发明针对现有触力觉交互设备反馈模态单一、无感知功能、无法实现裸手自然交互等现状，提出的支持裸手多元触力觉自然交互的大空间可移动平台，实现了以下目标：

(1)实现支持多元触觉、多维力觉、全转向移动的融合呈现硬件平台，以融合呈现柔软度、摩擦、纹理、温度、振动、形状等多元触觉，以及三维力、三维力矩等多维力觉，同时满足硬件平台的大空间全方位运动的需求。

(2)实现用户手部的精细交互运动感知与用户身体躯干的空间位置感知，在满足用户与交互平台的交互位置、交互力、交互速度等精细交互信息的感知的需求的同时，满足用户在大空间范围内精准的交互位置定位，为交互场景中虚拟配准和多人协同操作奠定基础。

(3)实现交互过程的自然化，在虚拟场景中的交互过程与真实世界中的交互过程一样，用户在交互过程中手部无需穿戴任何交互设备，所有的交互物品可以直接裸手交互，达到所触即所得、所触即所感的交互效果。

(4)实现视听触多模态通道信息的融合呈现，通过视听触多模态信息的时空一致性配准，进一步提升交互的真实性、沉浸感。

与现有技术相比，本发明支持裸手多元触力觉自然交互的大空间可移动平台(触力觉反馈移动平台)的优点在于：

(1)支持多元触觉、多维力觉、全转向移动的融合呈现硬件平台，通过该平台用户可以感知柔软度、摩擦、纹理、温度、振动、形状等多元触觉，可以感知三维力、三位力矩等多维力觉信息，可以实现大空间全方位交互需求。

(2)移动平台具有柔性可延展的传感层和高精度空间定位系统，可以实现对用户交互位置、交互速度等交互信息的感知，可以实现用户空间位置的感知，为控制系统提供数据支撑以实现视听触多模态时空一致性呈现和交互物体的虚实配准。

(3)移动平台与用户在交互过程中，用户可以实现裸手交互，所有的交互物品可以直接裸手交互，实现所触即所得、所触即所感的交互效果，交互方式更加自然、简单，用户学习成本低，同时可以增强交互的真实性。

(4)移动平台可以与大屏幕、头显等多种视觉呈现设备便捷接入，可以与耳机、音箱等多种听觉呈现设备便捷接入，为用户提供高沉浸的视听触多模态反馈。

本发明面对现有交互平台反馈模态单一、无感知功能、无法实现裸手自然交互等问题，提出的支持裸手多元触力觉自然交互的大空间可移动平台，通过多元触觉交互设备、六维力觉反馈设备，为用户提供柔软度、摩擦、纹理、温度、振动、形状等多元触觉和三维力、三维力矩等多维力觉；通过移动小车为用户提供大交互空间。进一步，通过多元触觉交互设备的传感层、移动小车空间定位系统和外接传感系统共同实现用户交互力、交互位置等精细手部运动数据、肢体运动数据和用户空间位置数据的感知。进一步，用户在操作过程中，可以通过外接设备(VR头显设备、大屏显示器)和移动平台感知视听触多模态反馈，同时通过控制系统和渲染算法进一步实现视听触的时空一致性呈现，增强交互沉浸感。此外，本发明提供的移动平台更加贴合真实的交互过程，用户通过裸手与多元触觉交互设备进行交互，学习成本低、交互过程更加自然。本发明并非简单的叠加或者集成，多种模态呈现涉及到模态之间呈现次序、强度、持续时间如何配置，触觉呈现的感觉与视觉呈现如何实现空间的配准，多种传感数据采集涉及到数据的冗余、冲突等问题，这些数据如何进行处理，得到最准确的信息，是非常困难的。

本发明支持裸手多元触力觉自然交互的大空间可移动平台可以用于虚拟现实世界。该支持裸手多元触力觉自然交互的大空间可移动平台与手柄不同，手柄无法呈现多元触觉信息，无法提供多维度力信息，无法感知交互信息，无法自由在大空间移动。该支持裸手多元触力觉自然交互的大空间可移动平台可以戴VR头显，也可以不戴VR头显，头显只是一种视觉呈现的方式，现在的VR场景可以通过头显也可以通过显示屏显示，该支持裸手多元触力觉自然交互的大空间可移动平台的人机交互场景可以通过头显也可以通过显示屏显示。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种支持裸手多元触力觉自然交互的大空间可移动平台，其特征在于，所述平台包括裸手多元触觉交互设备、六维力觉反馈设备和控制系统；

所述裸手多元触觉交互设备用于通过人手触摸或按压与人机交互场景进行交互，并反馈多模态触觉信息和感知到的人机交互信息给所述控制系统；所述多模态触觉信息包括温度、振动、纹理、摩擦、柔软度和形状；所述人机交互信息包括人与所述人机交互场景的交互位置、交互力、交互速度和加速度；

所述六维力觉反馈设备与所述裸手多元触觉交互设备连接；所述六维力觉反馈设备用于调节所述裸手多元触觉交互设备的位姿，并调节输出至所述裸手多元触觉交互设备的多维力觉；所述六维力觉反馈设备还用于反馈所述裸手多元触觉交互设备的位姿以及所述六维力觉反馈设备输出至所述裸手多元触觉交互设备的多维力觉；所述位姿和所述多维力觉用于与所述人机交互场景进行交互；所述多维力觉包括三维力和三维力矩；

所述控制系统分别与所述裸手多元触觉交互设备和所述六维力觉反馈设备连接；所述控制系统用于导入所述人机交互场景，根据所述人机交互场景获取第一反馈信息，并根据所述第一反馈信息驱动所述裸手多元触觉交互设备呈现出所述人机交互场景所需呈现的多模态触觉信息以及达到所述人机交互场景所需达到的位置、力、速度和加速度；所述第一反馈信息包括所述裸手多元触觉交互设备反馈的多模态触觉信息和人机交互信息；所述控制系统还用于根据所述人机交互场景获取第二反馈信息，并根据所述第二反馈信息驱动所述六维力觉反馈设备达到所述人机交互场景所需达到的位姿和多维力觉；所述第二反馈信息包括所述六维力觉反馈设备反馈的位姿和多维力觉；

所述平台还包括移动小车；所述移动小车与所述六维力觉反馈设备连接；所述控制系统设置于所述移动小车中；所述移动小车用于承载所述六维力觉反馈设备和所述裸手多元触觉交互设备，并在所述控制系统的控制下移动；

所述六维力觉反馈设备具体包括多自由度并联结构、支撑平台和电控系统；所述多自由度并联结构分别与所述移动小车和所述支撑平台连接；所述支撑平台与所述裸手多元触觉交互设备固定连接；所述电控系统分别与所述控制系统和所述多自由度并联结构连接；所述电控系统用于在所述控制系统的控制下驱动所述多自由度并联结构调节所述支撑平台的位姿，使所述裸手多元触觉交互设备的位姿与所述支撑平台的位姿保持一致，并调节输出至所述支撑平台的多维力觉，使所述支撑平台输出至裸手多元触觉交互设备的多维力觉与输出至所述支撑平台的多维力觉保持一致；所述电控系统还用于向所述控制系统反馈所述裸手多元触觉交互设备的位姿以及所述六维力觉反馈设备输出至所述裸手多元触觉交互设备的多维力觉；

所述移动小车中还设置有驱动系统和空间定位感知系统；所述驱动系统分别与所述控制系统和所述移动小车的转动轮连接；所述空间定位感知系统与所述控制系统连接；所述驱动系统用于在所述控制系统的控制下驱动所述移动小车进行全方位移动；所述全方位移动包括原地转动、360度任意方向移动和原地锁停；所述空间定位感知系统用于对所述移动小车进行空间定位，并将空间定位结果发送至所述控制系统。

2.根据权利要求1所述的支持裸手多元触力觉自然交互的大空间可移动平台，其特征在于，所述平台还包括显示设备；

所述显示设备与所述控制系统连接；所述显示设备用于显示所述人机交互场景。

3.根据权利要求1所述的支持裸手多元触力觉自然交互的大空间可移动平台，其特征在于，所述裸手多元触觉交互设备具体包括内部驱动系统和电子皮肤；

所述电子皮肤蒙在所述内部驱动系统的表面；所述电子皮肤和所述内部驱动系统分别与所述控制系统连接；

所述电子皮肤用于监测和识别所述人机交互信息，并呈现所述温度、所述振动、所述纹理和所述摩擦；所述内部驱动系统用于驱动所述电子皮肤呈现所述柔软度和所述形状。

4.根据权利要求3所述的支持裸手多元触力觉自然交互的大空间可移动平台，其特征在于，所述电子皮肤具体包括驱动层和传感层；

所述驱动层设置于所述传感层上或设置于所述传感层下；所述驱动层和所述传感层分别与所述控制系统连接；

所述传感层用于监测和识别所述人机交互信息；所述驱动层用于呈现所述温度、所述振动、所述纹理和所述摩擦。

5.根据权利要求3所述的支持裸手多元触力觉自然交互的大空间可移动平台，其特征在于，所述内部驱动系统具体包括驱动器和传动构件；

所述驱动器分别与所述控制系统和所述传动构件连接；

所述驱动器用于驱动所述传动构件运动，使所述电子皮肤呈现所述柔软度和所述形状；所述驱动器包括电动驱动器、气动驱动器和液压驱动器；所述传动构件包括所述电动驱动器对应的电动传动构件、所述气动驱动器对应的气动传动构件和所述液压驱动器对应的液压驱动传动构件。