CN110147161B - 基于超声波相控阵的多指绳索力触觉反馈装置及其反馈方法 - Google Patents

Abstract

本发明提出了一种基于超声波相控阵的多指绳索力触觉反馈装置及其反馈方法，该触觉反馈装置包括PC端控制器、显示单元、手部跟踪器、超声波相控阵列、相控阵驱动模块、线绳索驱动模块、执行器、指环和多面体框架。该方法步骤如下：S1、选择任务并进行投影；S2、超声波相控阵列产生空中触觉形状；S3、用户动作，线驱动绳索力单元将线长发送至控制器；S4、手部跟踪器实时追踪用户手部位置信息；S5、根据线长校正手部跟踪器中的位置；S6、当手部触碰虚拟物体，为用户指部提供触觉和反馈力；S7、控制器实时更新投影影像、绳索力感和超声触感。本发明装置和方法给用户提供了高自由度、高精度、力感强烈的力触觉反馈，装置结构简单，易于生产使用。

Description

基于超声波相控阵的多指绳索力触觉反馈装置及其反馈方法

技术领域

本发明涉及一种多指绳索力触觉反馈装置和该装置的触觉反馈方法，属于力触觉传感器技术领域。

背景技术

已有研究表明，触觉是生物体最原始的感觉通道，视觉功能进化之前，主要通过触觉来感知外界环境。触觉不仅是人体获取外界信息的通道之一，还能支持人体完成与外界环境的一系列交互活动。当人们触摸物体时,皮肤内部的触觉感受器受到空间变化、振动等原因刺激引起触摸觉，触摸觉传递到大脑，经过大脑皮层的感知分析识别物体的形状和纹理。虚拟现实技术作为一种计算机仿真系统，可以提供视觉、听觉、触觉、嗅觉和味觉等多种感觉通道的实时模拟和实时交互，给用户带来更好的虚拟现实沉浸感。

针对触觉的虚拟技术研究有很多，1977年，由俄罗斯学者首次证明聚焦超声波会对人体神经结构产生触觉，瘙痒，热感等感觉；1995年美国学者使用水下的超声波换能器在人体指部产生触觉；2008年日本的研究者第一次设计出了空气中使用的超声波聚焦相控阵产生了力感16mN可移动的触点。超声波相控阵以其非接触，高自由度等触觉反馈特性得到越来越多的研究者重视，经过十年的设计发展，2018年英国研究学者已经设计出开放式的超声波相控阵平台，可以完成声学悬浮，局部可听音律，触觉反馈等操作。但是超声波相控阵的面积一定时，存在力感较弱的缺陷。

线驱动绳索力反馈技术是人机交互的一个重要技术手段，绳索传动利用其布局灵活的特点，可以将驱动电机固定在机体上，通过传动介质将力和运动传递到各个运动关节，大幅度降低其空间尺寸与运动惯量，进而提高系统的力矩控制带宽。线驱动绳索力反馈具有以下优势：第一、末端控制精度高；第二、机器人安全性能好，绳索传动零空回，高效率，低摩擦，使其具有较好的开环反向驱动能力；第三、运动灵活度和施力保真度高。

目前，国内的超声波相控阵主要应用在超声波无损探伤成像和声学悬浮领域，依靠超声波的衍射和相控阵聚焦势阱特性；利用超声波相控阵进行虚拟触觉反馈的研究还比较少。

发明内容

针对超声波相控阵力感较弱的缺点，本发明提出了一种基于超声波相控阵的多指绳索力触觉反馈装置及其反馈方法，利用超声波的非线性相位延迟特性和多指线绳索力反馈技术，得到具有高自由度、强力反馈、非接触式触觉反馈装置，同时融合了全息投影技术，增强用户的虚拟现实沉浸感。

为解决上述技术问题，本发明采用了如下技术手段：

一种基于超声波相控阵的多指绳索力触觉反馈装置，包括：

PC端控制器，用于处理其他单元的信息并控制其他单元工作；

显示单元，用于显示虚拟物体投影；

手部跟踪器，用于追踪手部位置信息和动作；

超声波相控阵单元，用于产生虚拟物体的空中触觉形状；

线驱动绳索力单元，用于连接手部并在手部触碰到虚拟物体时产生指部力觉；

多面体框架，用于安装显示单元、手部跟踪器、超声波相控阵单元和线驱动绳索力单元。

进一步的，所述的显示单元采用全息投影屏幕。

进一步的，所述的超声波相控阵单元包括n个超声波相控阵列和1个相控阵驱动模块，n为正整数；所述的相控阵驱动模块的一端连接PC端控制器，另一端依次连接超声波相控阵列。

进一步的，所述的超声波相控阵列采用M×Q的超声波换能器构成阵列，M和Q为正整数；所述的相控阵驱动模块包括2n个处理器，每两个处理器负责处理一个超声波相控阵列的数据。

进一步的，所述的线驱动绳索力单元包括线绳索驱动模块、执行器和指环，所述的线绳索驱动模块的一端连接PC端控制器，线绳索驱动模块的另一端连接执行器的一端，执行器的另一端连接指环；所述的执行器分别安装在多面体框架的棱边上。

进一步的，所述的线绳索驱动模块包括计数器和D/A转换电路。

进一步的，所述的执行器包括旋转编码器、直流电机、支撑模块、线绳索、滑轮和弦支点，旋转编码器、直流电机、支撑模块和滑轮依次安装在同一轴上，弦支点设置在支撑模块上，线绳索的一端缠绕在滑轮上，线绳索的另一端穿过弦支点连接指环。

一种基于多指绳索力触觉反馈装置的触觉反馈方法，包括以下步骤：

S1、用户在PC端选择任务，PC端控制器将任务包含的物体信息发送至显示单元，显示单元呈现物体投影。

S2、PC端控制器计算该虚拟物体对应的每个超声波换能器的相位和振幅，并将计算结果转化为波形信号经过相控阵驱动模块放大后发送给超声波相控阵列，超声波相控阵列在触觉空间内产生空中触觉形状。

S3、用户佩戴指环后在触觉空间内动作，指环带动执行器内的滑轮，旋转编码器发送脉冲信号到线绳索驱动模块，线绳索驱动模块中的计数器计算线的长度，并将线长发送至PC端控制器。

S4、手部跟踪器实时追踪用户手部位置信息，并将信息发送到PC端控制器。

S5、PC端控制器根据线长计算指部位置，并与手部跟踪器中的位置校正、融合。

S6、当手部到达空中触觉形状位置时，根据用户的操作行为和虚拟物体特征，换能器发出的超声波束聚焦为用户指部提供物体横切力、振动感和表面触感，同时PC端控制器输出相应的电流，电流经过线绳索驱动模块后驱动执行器内的直流电机回绕，在用户指端产生相应的弦张力，为用户指部提供具体的操作反馈力。

S7、在用户触碰到空中触觉形状后，PC端控制器根据手部跟踪器获取的手部位置信息和操作手势动作，实时更新显示单元的投影影像、执行器的绳索力感和超声波相控阵触感，直至任务完成。

进一步的，虚拟物体的特征包括物体形状、硬度、弹性、横切力和振动感。

采用以上技术手段后可以获得以下优势：

本发明提出了一种基于超声波相控阵的多指绳索力触觉反馈装置及其反馈方法，所述的装置利用超声波相控阵生成虚拟触觉形状，利用超声波的非线性特性给用户提供触感，同时利用多指线绳索和手部跟踪器实时跟踪、校正用户手部信息，在用户手部到达空中操作对象时，通过线驱动为指部提供力感反馈。本发明装置结构简单，整体设备质量轻且安全可靠，生产和布置方便，易于推广使用，同时本发明采用了全息投影技术，用户无需佩戴VR眼镜等设备，使用裸眼即可进行3D图像操作并有力触觉反馈。与传统虚拟触觉反馈方法相比，本发明方法具有较高的自由度，用户指部末端可以得到精度较高且感觉较强的力反馈，非接触式的设计，可以有效避免了穿戴式设备对指尖的触觉造成干扰，给用户提供更好的虚拟沉浸感。

附图说明

图1为本发明一种基于超声波相控阵的多指绳索力触觉反馈装置的结构示意图；其中，1a是PC端控制器，1b是显示单元，1c是相控阵驱动模块，1d是线绳索驱动模块，1e是手部跟踪器，1f是执行器，1g是矩形框架，1h是超声波相控阵列。

图2为本发明一具体实施例中的超声波相控阵列的结构示意图。

图3为本发明中的超声波相控阵触点生成示意图；其中，(a)是超声波相控阵触点的空间位置示意图，3a是相控阵面，3b是声场面，(b)是超声波相控阵触点的剖面位置示意图，3c是生成的触点。

图4为本发明装置中执行器的结构示意图；其中，4a是旋转编码器，4b是直流电机，4c是支撑模块，4d是线绳索，4e是滑轮，4f是弦支点。

图5为本发明一具体实施例中执行器、指环和手部的连接关系图。

图6为本发明一具体实施例中线驱动力反馈的示意图；其中，6a是用户指部的力，6b、6c和6d分别是3个线绳索的弦张力，6e、6f和6g分别是3个执行器，6p是指环。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明：

本具体实施例以矩形框架为例对本发明技术手段作详细说明，如图1所示，一种基于超声波相控阵的多指绳索力触觉反馈装置，包括PC端控制器1a、显示单元1b、手部跟踪器1e、超声波相控阵单元、线驱动绳索力单元和矩形框架1g；PC端控制器主要用于发送图像信息、计算相控阵中换能器的幅值和相位，并及时根据位置信息调整输入直流电机的电流值，产生相应的弦张力，本发明要求PC端控制器至少是Intel Core i5/i7或者AMD Ryzen2.5GHz+，且4GB RAM，能够处理大量实时数据和投影图像信息；显示单元采用全息投影屏幕，放置于框架后，使用户不用佩戴3D眼镜即可观看全息图像，同时显示单元与系统生成的空中力触觉形状相契合，可以产生更好的用户体验；手部跟踪器实时跟踪用户手部的位置和动作信息；超声波相控阵单元与PC端控制器相连产生虚拟物体的空中触觉形状；线驱动绳索力单元用于连接手部并在手部触碰到虚拟物体时产生指部力觉；矩形框架用于安装显示单元、手部跟踪器、超声波相控阵单元和线驱动绳索力单元。

超声波相控阵单元包括4个超声波相控阵列1h和1个相控阵驱动模块1c，相控阵驱动模块的一端连接PC端控制器，相控阵驱动模块的另一端依次连接超声波相控阵列。在本实施例中，4个超声波相控阵列两两相对，分别安装在矩形框架的左面、右面、上面和下面，当框架形状改变，可以根据实际实验环境增减超声波相控阵列个数，且相控阵列可以成对安装也可以独立布置。

如图2所示，本具体实施例中的超声波相控阵列的阵元选用直径为10mm的超声波换能器，换能器为标准超声波换能器：在300mm距离声压为20Pa，60 方向角。超声波换能器依次排列构成16×16的相控阵列，阵列长160mm，宽160mm，各个换能器之间没有间隙，可以最大限度地减少阵列单元面积。相控阵驱动模块包括8个400MHz的XMOSL1128处理器，每两个处理器连接一个超声波相控阵列，用于处理该相控阵列的数据。

本装置超声波相控阵列主要利用超声波的非线性特性，由多组超声波传递中的相位差在换能器阵列上方产生触觉点，超声波相控阵列触点生成如图3所示，图3中的(a)为生成触点的空间示意图，在相控阵面3a和声场面3b上建立笛卡尔坐标系，其中，(Xm,Yn,0)为相控阵面上某个阵元的坐标位置，(Xc,Yc,r)为声场面上生成触觉点的位置坐标，r为焦距。图3中的(b)为触点所在剖面的示意图，其中，点3c为生成的触点，Nd为相控阵3a的宽度，Wd为触点深度，Wf为触点宽度。触点刺激人手部神经结构的机械受体，从而使人感受到触觉，瘙痒，热感等。触点力感的大小和超声波换能器的声强大小成正比，与换能器的数目成正比。当阵列面积增大时，触点的力感会相应增大，但是相应伴随的空气涡流也会增强，干扰触用户的体验，因此，采用驻波的形式能有效避免空气涡流的影响，且装置布局也更灵活

本具体实施例中线驱动绳索力单元包括1个线绳索驱动模块1d、12个执行器1f和4个指环，线绳索驱动模块的一端连接PC端控制器，线绳索驱动模块的另一端依次连接执行器的一端，执行器的另一端依次连接指环。12个执行器分别安装在矩形框架的12条棱边的中间位置。线绳索驱动模块包括3个4通道的计数板和3个4通道的D/A转换电路，PC端控制器可以通过D/A转换电路放大电流输出至执行器。

如图4所示，执行器包括旋转编码器4a、直流电机4b、支撑模块4c、线绳索4d、滑轮4e和弦支点4f，其中，线绳索选用轻质非弹性聚乙烯线。旋转编码器、直流电机、支撑模块和滑轮依次安装在同一轴上，弦支点设置在支撑模块上，线绳索的一端缠绕在滑轮上，线绳索的另一端穿过弦支点连接指环。整个执行器通过支撑模块安装在框架上。本发明装置使用过程中，用户佩戴指环动作，指环带动线绳索，旋转编码器结合线绳索驱动模块的计数板记录线绳索的长度，并将线长传输到PC端控制器，PC端控制器分析指端位置，并通过线绳索驱动模块的D/A转换电路放大电流输出至直流电机，直流电机回绕拉紧线绳索，在用户的指端产生弦张力。

本具体实施例中执行器、指环与用户手部的连接关系如图5所示，在研究空间内建立空间笛卡尔坐标系，装置框架长300mm，宽240mm，高400mm，四个指环依次命名为Tr、Im、Mi和Rt，四个指环依次佩戴在用户的拇指、食指、中指和无名指上，每个指环对应3个执行器，且这3个执行器分别布置在位于坐标系的x轴、y轴和z轴上的框架上，12个执行器分别标记为：(Trx,Try,Trz)、(Imx,Imy,Imz)、(Mix,Miy,Miz)和(Rtx,Rty,Rtz)。本装置不仅适用于惯用右手操作的人，亦适用于惯用左手的用户，用户使用时手指与指环、执行器的对应关系如下表所示：

表1

作用力手指	指环	执行器
			右手拇指/左手无名指	Tr	(Trx,Try,Trz)
右手食指/左手中指	Im	(Imx,Imy,Imz)
			右手中指/左手食指	Mi	(Mix,Miy,Miz)
右手无名指/左手拇指	Rt	(Rtx,Rty,Rtz)

如图6所示，用户指端感受到的力6a是由连接手指的3根线绳索的弦张力(6b,6c,6d)合成的，而每根线绳索上的张力是PC端控制器通过控制进入对应的直流电机的电流量产生的。连接到手指的三根线绳索和其执行器的三个位置建立了力显示区域，即力锥，三根线由三个不同的执行器(6e,6f,6g)连接到指环6p上，当指部位置和虚拟物体接触作用时，产生的力矢量完全在力锥内。在实际操作中，如果力向量在力锥体外，需要将力向量投影回力锥体，并使用1、2或3根弦的张力重新构成合力。

一种基于多指绳索力触觉反馈装置的触觉反馈方法，包括以下步骤：

S1、用户在PC端选择任务，任务中存储了虚拟物体的特征，即物体形状、硬度、弹性、横切力和振动感等特性，PC端控制器提取物体的形状信息发送至显示单元，显示单元呈现物体投影。

S2、PC端控制器根据虚拟物体特征计算该虚拟物体对应的每个超声波换能器的相位和振幅，并将计算结果转化为PWM波经过相控阵驱动模块放大后发送给超声波相控阵列，超声波相控阵列在触觉空间内产生空中触觉形状。

S3、用户根据自身习惯佩戴指环，然后在触觉空间内动作，指环带动执行器内的滑轮，旋转编码器发送脉冲信号到线绳索驱动模块，线绳索驱动模块中的计数器计算线的长度，并将线长发送至PC端控制器。

S4、手部跟踪器实时追踪用户手部位置信息，并将信息发送到PC端控制器。

S5、PC端控制器根据线长实时计算用户的指部位置，并与手部跟踪器中的位置进行校正、融合。

S6、当手部到达空中触觉形状位置时，根据用户的操作行为和虚拟物体特征，换能器发出的超声波束聚焦为用户指部提供物体横切力、振动感和表面触感，同时PC端控制器输出相应的电流，电流经过线绳索驱动模块后驱动执行器内的直流电机回绕，在用户指端产生相应的弦张力，为用户指部提供具体的操作反馈力。

S7、在用户触碰到空中触觉形状后，PC端控制器根据手部跟踪器获取的手部位置信息和操作手势动作，实时更新显示单元的投影影像、执行器的绳索力感和超声波相控阵触感，直至任务完成。

上面结合附图对本发明的实施方式作了详细地说明，但是本发明并不局限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (9)

1.一种基于超声波相控阵的多指绳索力触觉反馈装置，其特征在于，包括：

PC端控制器，用于处理其他单元的信息并控制其他单元工作；

显示单元，用于显示虚拟物体投影；

手部跟踪器，用于追踪手部位置信息和动作；

超声波相控阵单元，用于产生虚拟物体的空中触觉形状；

线驱动绳索力单元，用于连接手部并在手部触碰到虚拟物体时产生指部力觉；

多面体框架，用于安装显示单元、手部跟踪器、超声波相控阵单元和线驱动绳索力单元；

PC端控制器将任务包含的物体信息发送至显示单元呈现物体投影，计算该物体投影对应的每个超声波换能器的相位和振幅，并将计算结果转化为波形信号经过相控阵驱动模块放大后发送给超声波相控阵列，超声波相控阵列在触觉空间内产生空中触觉形状；

用户佩戴指环后在触觉空间内动作，指环带动执行器内的滑轮，旋转编码器发送脉冲信号到线绳索驱动模块，线绳索驱动模块中的计数器计算线的长度，并将线长发送至PC端控制器，同时手部跟踪器将实时追踪的手部位置信息发送至PC端控制器，PC端控制器根据线长计算指部位置，并与手部跟踪器中的位置校正、融合；

当手部到达空中触觉形状位置时，根据用户的操作行为和物体投影特征，换能器发出的超声波束聚焦为用户指部提供物体横切力、振动感和表面触感，同时PC端控制器输出相应的电流，电流经过线绳索驱动模块后驱动执行器内的直流电机回绕，在用户指端产生相应的弦张力，为用户指部提供具体的操作反馈力；

在用户触碰到空中触觉形状后，PC端控制器根据手部跟踪器获取的手部位置信息和操作手势动作，实时更新显示单元的投影影像、执行器的绳索力感和超声波相控阵触感，直至任务完成。

2.根据权利要求1所述的一种基于超声波相控阵的多指绳索力触觉反馈装置，其特征在于，所述的显示单元采用全息投影屏幕。

3.根据权利要求1所述的一种基于超声波相控阵的多指绳索力触觉反馈装置，其特征 在于，所述的超声波相控阵单元包括

个超声波相控阵列和1个相控阵驱动模块，

为正整 数，所述的相控阵驱动模块的一端连接PC端控制器，另一端依次连接超声波相控阵列。

4.根据权利要求3所述的一种基于超声波相控阵的多指绳索力触觉反馈装置，其特征 在于，所述的超声波相控阵列采用

的超声波换能器构成阵列，

和

为正整数。

5.根据权利要求1所述的一种基于超声波相控阵的多指绳索力触觉反馈装置，其特征在于，所述的线驱动绳索力单元包括线绳索驱动模块、执行器和指环，所述的线绳索驱动模块的一端连接PC端控制器，线绳索驱动模块的另一端连接执行器的一端，执行器的另一端连接指环；所述的执行器分别安装在多面体框架的棱边上。

6.根据权利要求5所述的一种基于超声波相控阵的多指绳索力触觉反馈装置，其特征在于，所述的线绳索驱动模块包括计数器和D/A转换电路。

7.根据权利要求5所述的一种基于超声波相控阵的多指绳索力触觉反馈装置，其特征在于，所述的执行器包括旋转编码器、直流电机、支撑模块、线绳索、滑轮和弦支点，旋转编码器、直流电机、支撑模块和滑轮依次安装在同一轴上，弦支点设置在支撑模块上，线绳索的一端缠绕在滑轮上，线绳索的另一端穿过弦支点连接指环。

8.一种基于多指绳索力触觉反馈装置的触觉反馈方法，其特征在于，包括以下步骤：

S1、用户在PC端选择任务，PC端控制器将任务包含的物体信息发送至显示单元，显示单元呈现物体投影；

S2、PC端控制器计算该物体投影对应的每个超声波换能器的相位和振幅，并将计算结果转化为波形信号经过相控阵驱动模块放大后发送给超声波相控阵列，超声波相控阵列在触觉空间内产生空中触觉形状；

S3、用户佩戴指环后在触觉空间内动作，指环带动执行器内的滑轮，旋转编码器发送脉冲信号到线绳索驱动模块，线绳索驱动模块中的计数器计算线的长度，并将线长发送至PC端控制器；

S4、手部跟踪器实时追踪用户手部位置信息，并将信息发送到PC端控制器；

S5、PC端控制器根据线长计算指部位置，并与手部跟踪器中的位置校正、融合；

S6、当手部到达空中触觉形状位置时，根据用户的操作行为和物体投影特征，换能器发出的超声波束聚焦为用户指部提供物体横切力、振动感和表面触感，同时PC端控制器输出相应的电流，电流经过线绳索驱动模块后驱动执行器内的直流电机回绕，在用户指端产生相应的弦张力，为用户指部提供具体的操作反馈力；

S7、在用户触碰到空中触觉形状后，PC端控制器根据手部跟踪器获取的手部位置信息和操作手势动作，实时更新显示单元的投影影像、执行器的绳索力感和超声波相控阵触感，直至任务完成。

9.根据权利要求8所述的一种基于多指绳索力触觉反馈装置的触觉反馈方法，其特征在于，显示单元呈现的物体投影特征包括物体形状、硬度、弹性、横切力和振动感。

Images