CN117873314A - 一种基于多模态的非接触式力触觉反馈交互系统 - Google Patents

Abstract

本发明公开一种基于多模态的非接触式力触觉反馈交互系统，包括：透波玻璃、透波触摸屏、超声波换能器阵列、控制器和外壳。本发明解决了传统交互设备在力触觉反馈及多模态展现能力方面的不足，本发明一方面通过超声波换能器阵列隔空产生多个超声焦点并控制焦点在空间中的位置以及声辐射压力值变化，渲染出物体的形状及纹理特征，使用户手部产生连续的力触觉感知；另一方面通过接收用户手部反射的超声回波，识别分析出用户手部位置及特定动作信息，给予准确的视触觉反馈，使用户能够完成具有力触觉反馈的空中悬浮交互操作。通过显示与用户操作对应的增强视触觉信息，使视觉诱导的感知错觉进一步增强用户在触觉模态方面的体验，提升用户的交互质量。

Description

一种基于多模态的非接触式力触觉反馈交互系统

本发明涉及视触觉交互技术领域，更为具体的，涉及一种基于多模态的非接触式力触觉反馈交互系统。

背景技术

随着视觉显示技术的发展，在视觉模态方面的技术越来越成熟，但仅有视觉上的体验，人们从中所获取的信息量显然是不够全面的，触觉也是人类感知外部环境的重要信息来源，因此现有大量的学者研究如何在进行视觉上交互的同时，加入触觉的反馈。传统的触觉交互方法一般为接触式触觉反馈，如近年来用以实现力触觉反馈的数据手套等相关产品，虽然这类产品在力的反馈形式以及精度等方面已经能实现不错的效果，但仍存在一些不可避免的问题。这类设备通常利用与人直接接触的装置来产生阻力、振动或者电刺激信号。由于这类装置需要直接与人接触，因此会比较限制用户的活动空间并且给用户带来持续的负担，而且需要复杂的结构设计，所以成本偏高。因此为了避免这些问题，期望带给用户更大的自由度，目前出现了如气动、激光照射非接触式的力触觉反馈设备，前者气流难以精确控制易受环境因素影响，后者光学结构复杂难以控制，所以现有非接触式力触觉反馈设备模态信息单一并且控制的精度、设备复杂度上仍然有很大的提升空间。

发明内容

针对现有的触觉反馈交互设备不足之处，本发明提供了一种基于多模态的非接触式力触觉反馈交互系统。通过超声波换能器阵列产生多焦点的声场，利用自适应聚焦控制算法对用户手部产生高质量的力触觉反馈，同时联合视触觉两种模态信息协同的方式，利用视觉诱导的感知错觉来增强触觉感知强度，使得用户能够自由、轻松地完成视触一体高质量的人机交互，本发明具有设备复杂度低、体积小、力精细可控的优点，可解决现有技术的缺陷。

为达此目的，本发明采用以下技术方案：

一种基于多模态的非接触式力触觉反馈交互系统包括透波玻璃、透波触摸屏、超声波换能器阵列、控制器和外壳。

所述超声波换能器阵列位于所述透波触摸屏之下与所述控制器之上，用于对用户手部产生连续的力触觉反馈并且用于获取用户手部的位置及特定动作的信息；

所述超声波换能器阵列中换能器单元为收发一体式超声波换能器；

所述透波触摸屏位于所述超声波阵列上方，为用户提供视触觉交互界面；

所述透波玻璃贴附于所述透波触摸屏之上，以免所述透波触摸屏受磨损；

所述控制器位于外壳内底部并集成有可充电的电池供电模组、无线通讯模组、扬声器模组；

所述透波触摸屏、所述超声波换能器阵列分别与所述控制器电性连接；

所述外壳将所述透波玻璃、所述透波触摸屏、所述超声波换能器阵列和所述控制器包裹在内；

所述可充电的电池供电模组、所述无线通讯模组、所述扬声器模组均与所述控制器集成在一起且电性连接。

一种前述实施例的基于多模态的非接触式力触觉反馈交互系统的应用方法，包括以下步骤：

S1：用户开启系统电源，系统中的透波触摸屏、超声波换能器阵列和控制器上电并进行初始化；

S2：控制器通过控制超声波换能器阵列持续的发出超声波并且监测回波，直至检测到用户开始进行交互操作；

S3：当检测到屏幕前存在用户交互动作时，控制器一方面利用相位、幅度、横向和时空融合调制方法控制超声波换能器阵列在半空的力触觉反馈层上操控超声焦点在空间中的位置以及声辐射压力值变化，在屏幕前空中渲染空间物体的形状及纹理特征，根据用户手部对超声波的散射，采用自适应聚焦控制算法来实时调整控制合成的声场降低人手对声场的干扰作用，使用户手部产生高质量连续的力触觉感知；另一方面在发射触觉调制信号的真空期，实现超声定位功能，利用超声波跟踪识别算法分析计算出用户手部的位置及特定动作信息，同时通过在透波触摸屏上显示与用户手部操作对应的增强视触觉反馈信息，使视觉诱导的感知错觉进一步增强用户在触觉模态方面的感知，利用多模态信息协同的方式提升用户的交互体验，使得用户能够完成具有触觉反馈的空中悬浮交互操作。

本发明的有益效果为：

(1)通过将超声波换能器阵列集成安装在透波触摸屏之下的结构，实现了具有体积小、成本低、结构简单、高集成度的视触一体结构，将两种异构模态信息联合在高度的空间和时间分辨率的特点下，给用户更加丰富的交互体验。

(2)通过融合调制方法控制超声波换能器阵列产生可控的多焦点声场，利用自适应聚焦控制算法对合成的超声焦点进行实时优化，使得超声波相控阵列能够在屏幕前空中渲染出精细可控的物体形状及纹理特征，同时联合视触觉两种模态信息协同的方式，利用视觉诱导的感知错觉信息来增强触觉感知强度，使得用户能够完成视触一体高质量的人机交互。

(3)本发明实现了具有力触觉反馈的非接触式空中手势操作及识别，使用户能够自由、轻松的完成相应的人机交互操作。

附图说明

图1为本发明具体实施方式所涉的一种基于多模态的非接触式力触觉反馈交互系统的剖面结构示意图；

图2为本发明具体实施方式所涉的一种基于多模态的非接触式力触觉反馈交互系统的控制逻辑流程示意图；

图中：

1、透波玻璃；2、透波触摸屏；3、超声波换能器阵列；4、控制器；5、外壳；6、力触觉反馈层；7、超声波聚焦点；8、用户手部。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

如图1-2所示。本发明提供了一种基于多模态的非接触式力触觉反馈交互系统，包括：用于贴附于透波触摸屏2之上的透波玻璃1；为用户提供视觉交互界面的透波触摸屏2；用于对用户手部产生连续力触觉反馈并同步获取用户手部位置及特定动作信息的超声波换能器阵列3；集成有可充电电池供电模组、无线通讯模组、扬声器模组的控制器4；将整个硬件系统包裹在内起保护作用的外壳5；根据用户手部位置信息在一定空间进行实时调整的力触觉反馈层6；可控的超声波聚焦点7；用户交互手部8。

所述超声波换能器阵列3为收发一体式换能器阵列，能够产生精细可控的多焦点超声波场，一方面通过相位、幅度、横向和时空融合调制方法在屏幕前控制超声焦点在空间中的位置以及声辐射压力值变化，可在显示屏上方渲染出空间物体的形状及纹理；另一方面通过接收用户手部反射回来的超声波序列信息，利用超声波跟踪识别算法计算出用户手部的位置及特定动作信息，其中超声波跟踪识别算法利用在发射触觉调制信号的真空期对超声回波进行数据采集，获取手部的结构和位置信息，接着对采集到的数据进行滤波和去噪后进行特征提取，最后使用卷积神经网络对提取的特征进行分类，最终实现对特定手势的识别以及超声定位，使得用户能够完成具有触觉反馈的空中悬浮交互操作。

所述透波触摸屏2为用户提供视觉模态方面的信息，通过在显示屏上显示与用户操作对应的增强视触觉信息，使得视觉诱导的感知错觉信息加强用户在触觉模态方面的感知强度，使得用户可在视触觉两种模态信息协同配合下进行高质量的交互。

所述超声波聚焦点7应用在用户手部产生力触觉反馈，本发明采用自适应聚焦控制算法对超声波换能器阵列产生的多个可控焦点进行实时优化，具体而言，由于考虑到人手对声场的干扰以及破坏作用，首先根据手部对超声波的散射规律进行系统建模并得出散射模型，其次根据散射模型对多个焦点的控制进行数值分析分别求解皮肤上的单个焦点，对各个焦点的控制进行优化，实时调整控制合成的声场，最终实现更好的声波聚焦，提高超声触觉反馈的质量。

所述力触觉反馈层6根据用户手部的空间位置信息在一定空间内进行实时调整，控制器通过在发射触觉调制信号的真空期，分析用户手部反射回来的超声波序列信息计算出用户手部的位置信息，实现超声定位，从而使力触觉反馈层进行相应调整。

所述控制器集成有可充电的电池供电模组、无线通讯模组、扬声器模组，可通过无线通讯模组与外部设备进行通信，通过扬声器模组播报与交互操作相对应的提示信息。

如图2所示，图2是本发明具体实施方式所涉的一种基于多模态的非接触式力触觉反馈交互系统的控制逻辑流程示意图。

包括以下步骤：

一)用户开启系统电源，系统各硬件部分包括透波触摸屏、超声波换能器阵列和控制器上电并进行初始化；

二)控制器通过控制超声波换能器阵列持续的发出超声波并且监测回波，直至检测到用户开始进行交互操作；

三)当检测到屏幕前存在用户交互动作时，控制器一方面利用相位、幅度、横向和时空融合调制方法控制超声波换能器阵列在半空中的力触觉反馈层操控超声焦点在空间中的位置以及声辐射压力值变化对用户手部进行触觉渲染，根据用户手部对超声波的散射，采用自适应聚焦控制算法来实时调整控制合成的声场降低人手对声场的干扰作用，使用户手部产生高质量连续的力触觉感知；另一方面通过接收用户手部反射回来的超声波序列信息，利用超声波跟踪识别算法分析计算出用户手部的位置及特定动作信息，同时通过在显示屏上显示与用户操作对应的增强视触觉信息，使得用户能够完成具有触觉反馈的空中悬浮交互操作，并且利用视觉诱导的感知错觉信息进一步增强用户在触觉模态方面的感受，通过多模态信息协同的方式加强用户交互操作的体验。

与现有技术相比，本发明的有益效果为：

本发明通过将超声波换能器阵列集成安装在透波触摸屏之下的结构，实现了具有体积小、成本低、结构简单、高集成度的视触一体结构，将两种异构模态信息联合在高度的空间和时间分辨率的特点下，给用户更加丰富的交互体验。

本发明通过融合调制方法控制超声波换能器阵列产生可控的多焦点声场，利用自适应聚焦控制算法对合成的焦点进行实时优化，使得超声波相控阵列能够在屏幕前空中渲染出精细可控的物体形状及纹理特征，同时联合视触觉两种模态信息协同的方式，利用视觉诱导的感知错觉信息来增强触觉感知强度，使得用户能够完成视触一体高质量的人机交互。

本发明实现了具有力触觉反馈的非接触式空中手势操作及识别，使用户能够自由、轻松的完成相应的人机交互操作。

以上对本发明的具体实施例进行了详细描述，但其只作为范例，本发明并不限制于以上描述具体实施例。对于本领域技术人员而言，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行改变或等效替换，这些改变或替换之后的技术方案都将落入本发明的保护范围之内。本发明不受此处所公开的具体实施例的限制，其他落入本申请的权利要求内的实施例都属于本发明保护的范围。

Claims (3)

1.一种基于多模态的非接触式力触觉反馈交互系统，其特征在于，所述交互系统包括透波玻璃、透波触摸屏、超声波换能器阵列、控制器和外壳；

所述超声波换能器阵列位于所述透波触摸屏之下与所述控制器之上，用于对用户手部产生连续的力触觉反馈并且用于获取用户手部的位置及特定动作的信息；

所述超声波换能器阵列中换能器单元为收发一体式超声波换能器；

所述透波触摸屏位于所述超声波阵列上方，为用户提供视触觉交互界面；

所述透波玻璃贴附于所述透波触摸屏之上，以免所述透波触摸屏受磨损；

所述透波触摸屏、所述超声波换能器阵列分别与所述控制器电性连接；

所述外壳将所述透波玻璃、所述透波触摸屏、所述超声波换能器阵列和所述控制器包裹在内。

2.如权利要求1所述的系统，其特征在于，所述系统还包括：

可充电的电池供电模组、无线通讯模组、扬声器模组，所述可充电的电池供电模组、所述无线通讯模组、所述扬声器模组均与所述控制器集成在一起；

所述可充电的电池供电模组、所述无线通讯模组、所述扬声器模组均与所述控制器电性连接。

3.一种如权利要求1所述的基于多模态的非接触式力触觉反馈交互系统的应用方法，其特征在于：包括以下步骤：

S1：用户开启系统电源，系统中的透波触摸屏、超声波换能器阵列和控制器上电并进行初始化；

S2：控制器通过控制超声波换能器阵列持续的发出超声波并且监测回波，直至检测到用户开始进行交互操作；

S3：当检测到屏幕前存在用户交互动作时，控制器一方面利用相位、幅度、横向和时空融合调制方法控制超声波换能器阵列在半空的力触觉反馈层上操控超声焦点在空间中的位置以及声辐射压力值变化，在屏幕前空中渲染空间物体的形状及纹理特征，根据用户手部对超声波的散射，采用自适应聚焦控制算法来实时调整控制合成的声场降低人手对声场的干扰作用，使用户手部产生高质量连续的力触觉感知；另一方面在发射触觉调制信号的真空期，实现超声定位功能，利用超声波跟踪识别算法分析计算出用户手部的位置及特定动作信息，同时通过在透波触摸屏上显示与用户手部操作对应的增强视触觉反馈信息，使视觉诱导的感知错觉进一步增强用户在触觉模态方面的感知，利用多模态信息协同的方式提升用户的交互体验，使得用户能够完成具有触觉反馈的空中悬浮交互操作。