CN113110734A - 一种基于聚焦超声波产生虚拟形状感知的系统 - Google Patents

Abstract

本发明涉及一种基于聚焦超声波产生虚拟形状感知的系统，该系统包括虚拟场景模块，制作虚拟场景，生成虚拟场景坐标系，在虚拟场景内构建虚拟对象的三维模型；手势识别模块，将真实空间手的姿态信息在虚拟场景中实时展示，得到真实空间手的虚拟映射，记为虚拟手；主控模块，获取真实空间手与虚拟手的映射关系，将虚拟对象Np个接触点在虚拟场景坐标系中的坐标，记为虚拟空间触觉感知点，根据虚拟手与真实空间手姿态的一一对应关系，将虚拟空间触觉感知点转换为真实空间触点坐标，并将Np个真实空间触点坐标发送给超声触感模块，Np大于等于1；超声触感模块，用空间分时扫描法使用户获得用若干离散超声波相控阵焦点模拟二维或三维形状的触觉感知。

Description

一种基于聚焦超声波产生虚拟形状感知的系统

技术领域

本发明涉及一种基于聚焦超声波产生虚拟形状感知的系统，属于人机交互领域。

背景技术

虚拟现实(virtual reality，简称VR)技术利用三维图形生成技术、多传感交互技术以及高分辨显示技术，生成三维逼真的虚拟环境。在VR系统人机交互走向多通道交互的体系结构，如语音识别、视觉跟踪、姿势跟踪和触觉反馈等。相较于听觉或视觉而言，触觉反馈更加复杂，因而难以实现高保真的模拟。但没有触觉，在VR中用户不可能真的有身临其境的感觉。目前有两种最具前景的触感及力反馈技术。一种是基于MEMS惯性传感器发展的可穿戴的高精度动作捕捉产品。具有代表性的是数据手套，数据手套装置能实时感知人体手势的位置、速度、加速度等多种信息，可以实时捕捉人手精细运动，能对多种静态和动态手势准确识别。手套内层安装一些可以振动的触点来模拟触觉，所以也具备腕部震动触觉反馈功能。

另一种是基于姿态捕获的超声触感技术。目前市场上手势轨迹识别方法一般采用多角成像技术。这种技术的基本原理是使用两个或者两个以上的摄像头同时摄取图像，通过比对这些不同摄像头在同一时刻获得的图像的差别，使用算法来计算深度信息，如手势识别装置Leap Motion，同时使用红外光来检测人手，不容易受光照变化和复杂背景的干扰，采集到的帖图像具有较小的噪声；使用超广角相机快门传感器，运行时可达120帧每秒，一次性采集所有的像素，能够实时分析图像细节，并获取手势变化关键坐标信息。但是基于这样的手势识别装置进行手势操控无法实现真实的触感。为了在VR系统实现裸手交互，与这种手势识别相匹配的是超声触感技术。超声触感技术可以运用在航天员遥操作、沉浸式混合现实训练、无人装备智能操控、汽车辅助驾驶、智能家居等诸多场景中，保障操作任务的安全可靠性，并带来对虚拟对象真实的触觉感受。

超声触感控制器可以控制超声波相控阵发射超声波在空中任一位置聚焦。聚焦超声刺激人体皮肤表面，在焦点处产生人的手指或手掌所能感知的非线性声辐射力，并诱导生成剪切波，从而产生触感。

专利“基于隔空手势和超声波触觉反馈的多无人机操控系统及方法(CN201811410383.4)”公开了超声触感设备样机的硬件架构及脉冲调制技术，针对空中手势实现了用不同频率的超声振动模式产生单个聚焦点以获取不同触觉反馈的方法，实现了人手可检测到的最佳频率范围内的超声振动模式，提高了人手对物体不同纹理的感觉程度，但没有涉及对虚拟对象形状进行感知的实现方法。

专利“基于超声波多普勒手势识别与多点触感融合的系统及方法(201911368931.6)”公开了基于伪逆矩阵法的迭代加权算法及抑制旁瓣的声场增益算法，实现了多焦点优化控制算法，即所有阵元发射超声波到若干点聚焦，使得人手能够同时感觉多个焦点，并能用多个焦点构建空间几何图形，获取复杂形状的触觉感知。这种算法输出稳定，但算法控制难度较大，容易产生旁瓣，旁瓣降低了触感的精确程度，且生成的多个焦点处声场强度没有所有阵元发射超声波到单个聚焦点的强度高。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种基于聚焦超声波产生虚拟形状感知的系统，在VR场景中采用空间分时扫描方法，通过控制调制超声波沿扫描次序依次聚焦到多个触觉感知点，来获取对虚拟对象真实的触觉感知，且能保持和单点聚焦同样高的聚焦强度。

本发明的技术解决方案：一种基于聚焦超声波产生虚拟形状感知的系统，该系统包括虚拟场景模块、手势识别模块、超声触感模块、主控模块；其中：

虚拟场景模块，基于Unity 3D开发环境下制作虚拟场景，生成虚拟场景坐标系，在虚拟场景内构建虚拟对象的三维模型；

手势识别模块，由手势识别装置识别真实空间手的姿态，将真实空间手的姿态信息在虚拟场景中实时展示，得到真实空间手的虚拟映射，记为虚拟手；

主控模块，获取真实空间手与虚拟手的映射关系，检测虚拟手与虚拟环境、虚拟对象的三维模型接触后的接触碰撞情况，当虚拟手与虚拟对象的三维模型接触时，将虚拟对象Np个接触点在虚拟场景坐标系中的坐标，记为虚拟空间触觉感知点，根据虚拟手与真实空间手姿态的一一对应关系，将虚拟空间触觉感知点转换为真实空间基于手势识别装置零点位置的坐标值，记为真实空间触点坐标，并将Np个真实空间触点坐标发送给超声触感模块，Np大于等于1；

超声触感模块，包括超声触感控制器和超声波相控阵，超声触感控制器接收用户设置的超声波相控阵参数，将Np个真实空间触点坐标设置为超声波相控阵焦点；规划Np个超声波相控阵焦点扫描次序，把Np个超声波相控阵焦点对应的真实空间触点坐标按顺序存入数组，并设置每个焦点的聚焦时间；按规划的超声波相控阵焦点次序，根据超声波相控阵焦点对应的真实空间触点坐标以及超声波相控阵器件固有参数，依次计算每个超声波相控阵焦点对应的超声波相控阵阵元的相位延时；根据超声波相控阵参数和超声波相控阵阵元的相位延时产生阵元驱动信号，发送阵元驱动信号至超声波相控阵；超声波相控阵在阵元驱动信号的控制下，根据规划的超声波焦点次序和聚焦时间依次驱动超声波相控阵阵元发出超声波到所有真实空间触点聚焦，即用空间分时扫描法使用户获得用若干离散超声波相控阵焦点模拟二维或三维形状的触觉感知。

所述超声波相控阵由相控阵板、相控阵驱动板构成；

相控阵板，由M行N列超声换能器阵元组成；

相控阵驱动板，对超声波相控阵中每个阵元对应的阵元驱动信号实现波形放大，并发送至相控阵板，用于驱动相控阵板中的阵元产生超声波。

所述手势识别模块采用基于双目视觉的悬空手势轨迹识别方法识别真实空间手的姿态。

虚拟场景模块通过可见光相机扫描真实环境，获取真实环境与虚拟环境的映射关系，生成虚拟环境的坐标系，通过“放置”操作将真实场景、虚拟对象模型置入虚拟环境，真实空间手位置和姿态信息通过实时捕捉后输入虚拟环境。

所述真实空间手的虚拟映射为左手骨架模型或右手骨架模型，每个手部骨架模型5个指尖上都渲染可碰撞球体，手势动作时只在食指上放置一个可碰撞球体，可碰撞的食指指尖充当涉及其他手指的多种触摸手势的活动触点。

所述主控模块检测真实手的虚拟映射与虚拟环境、虚拟对象的三维模型接触后的接触碰撞情况的方法为：

创建一个高亮指尖光标，当虚拟手食指移向虚拟对象时，沿虚拟手移动方向在虚拟对象构建一个法向量，高亮指尖光标始终与该虚拟对象法向量的切平面平行，在移动过程中，控制高亮指尖光标逐渐缩小，一旦虚拟手指接触到虚拟对象表面时，将该光标缩小为一个点，该点即为虚拟空间触觉感知点。

所述虚拟场景模块采用多边形建模方法构建虚拟对象的三维模型。

所述超声触感控制器采用分层架构实现，最底层是FPGA应用层，负责根据真实空间触点坐标，计算超声波相控阵阵元的相位延时，并根据相位延时和用户设置的超声波相控阵参数产生阵元驱动信号经放大后来驱动超声波相控阵阵元发出超声波；FPGA的上层是VxWorks应用层，VxWorks应用层通过寄存器地址读写的方式与FPGA应用层进行交互，将Windows应用层传送过来的真实空间触点坐标和用户设置的超声波相控阵参数发送给FPGA应用层；VxWorks上层是Windows应用层，主控模块将Np个真实空间触点坐标发送给Windows应用层，Windows应用层将Np个真实空间触点坐标设置为超声波相控阵焦点；规划Np个超声波相控阵焦点扫描次序，把Np个超声波相控阵焦点对应的真实空间触点坐标按顺序存入数组，并设置每个焦点的聚焦时间，将超声波相控阵焦点对应的真实空间触点坐标及其对应的聚焦时间，以及用户设置的超声波相控阵参数发送给VxWorks应用层。

FPGA应用层包括时钟和复位信号模块、内部总线转换模块和相位控制模块，其中：

时钟和复位信号模块，用于产生内部总线转换模块和相位控制模块所需要的时钟信号和复位信号；

内部总线转换模块，将VxWorks应用层总线转换为FPGA应用层内部总线形式；

相位控制模块，根据超声波相控阵焦点对应的真实空间触点坐标，以及超声波相控阵固有参数，计算超声波相控阵阵元的相位延时，并根据相位延时、用户设置的超声波相控阵参数和聚焦时间，产生阵元驱动信号输出。

所述相位控制模块包括阵列配置模块、第一调度模块、N个延时计算单元、第二调度模块、阵元驱动模块；

阵列配置模块，接收超声波相控阵焦点对应的真实空间触点坐标及聚焦时间，以及用户设置的超声波相控阵参数，按照聚焦时间，依次生成设置焦点配置项，之后，发送“启动信号”至第一调度模块，同时输出阵元使能信号至阵元驱动模块；所述焦点配置项包括当前需要扫描的超声波相控阵焦点对应的真实空间触点坐标及聚焦时间、用户设置的超声波相控阵参数；所述用户设置的超声波相控阵参数包括载波信号的电压、波形频率、占空比；调制信号的波形频率和占空比；

第一调度模块，收到“启动信号”开始后，采用轮循的方式，一次提取一行待计算超声波相控阵阵元的坐标，将焦点配置项和所选行中对应列的超声波相控阵阵元坐标，分别发送到N个延时计算单元中；

N个延时计算单元，根据配置输入的超声波相控阵阵元参数、焦点坐标和超声波相控阵器件固有参数，计算出对应阵元的相位延时，将计算结果发送给第二调度模块；所述超声波相控阵器件固有参数包括阵元坐标、声速；

第二调度模块，将N个延时计算单元的计算结果调度到一起并将其转换为MxN个并行数据，同时发送给阵元驱动模块，每个数据对应一个阵元；

阵元驱动模块，负责根据超声波相控阵参数，产生调制脉冲信号，并将各阵元按照各自的相位延时值延时后，得到各个阵元对应的阵元驱动信号输出。

本发明与现有技术相比的优点在于：

(1)、本发明实现了虚拟场景中人与虚拟对象自然交互中触觉感知点的规划，并采用空间分时扫描法控制超声波沿设置的扫描次序聚焦到人的触觉感知点。相对于基于伪逆矩阵法的多焦点优化控制算法实现多点触觉感知，空间分时扫描产生的焦点强度高，且不存在旁瓣干扰问题，给VR系统在数字世界中触摸虚拟对象，提供了一种切实可行的解决方案；

(2)、本发明实现了虚拟场景中人与虚拟对象自然交互时触觉感知点的确立及感知，增加人在虚拟现实环境下的沉浸感。

(3)、本发明建立虚拟场景中虚拟对象接触点与对应真实空间用户手触点位置的映射关系，并将真实空间触点坐标传送给超声触感控制器，实现动态手势的实时捕获、与虚拟场景的互动及触觉感知效果。

(4)、本发明基于超声触感控制器及其API函数库，通过超声波脉冲调制和空间分时扫描算法用超声波相控阵实现了对虚拟场景虚拟对象的触觉感知。API函数库提供所有算法接口，内置优化工作参数。

附图说明

图1为本发明实施例的系统和方法框图；

图2为本发明实施例的聚焦延迟时间原理框图；

图3为本发明实施例的相控阵软件系统整体结构；

图4为本发明实施例的FPGA整体结构框图；

图5为本发明实施例相位控制模块内部结构；

图6为本发明实施例空间分时扫描焦点模拟二维形状感知在水中的验证。

具体实施方式

以下结合附图和实施例对本发明进行详细说明。

如图1所示，本发明提供了一种基于聚焦超声波产生虚拟形状感知的系统，是基于三维虚拟场景，构建手势识别、与虚拟对象自然交互、用超声波产生对虚拟对象触觉感知等功能实现的系统。该系统包括虚拟场景模块、手势识别模块、超声触感模块、主控模块。

以下对每个模块进行详细描述如下：

1、虚拟场景模块

虚拟场景模块基于Unity 3D开发环境下制作虚拟场景，生成虚拟场景坐标系，在虚拟场景内构建虚拟对象的三维模型。

所述虚拟场景模块采用多边形建模方法构建虚拟对象的三维模型。多边形建模首先将待建模对象转化为可编辑的多边形对象，然后通过对该多边形对象的各种子对象进行编辑和修改来实现建模，包含3D虚拟对象的特征点。对于可编辑多边形对象，它包含了Vertex(节点)、Edge(边界)、Border(边界环)、Polygon(多边形面)、Element(元素)5种子对象模式。

虚拟场景模块通过可见光相机扫描真实环境，获取真实环境与虚拟环境的映射关系，生成虚拟环境的坐标系，通过“放置”操作将真实场景、虚拟对象模型置入虚拟环境，真实空间手位置和姿态信息通过实时捕捉后输入虚拟环境。通过transform组件，确定虚拟环境中所有元素的位置、尺寸及缩放等信息(虚拟场景、模型、真实手的虚拟映射等)。通过改变间隔密度取样的方式模拟虚拟环境及物体的特征，对点、平面、线的触觉点分别进行实验，获取不同形状、不同材质物体的触控特性。通过碰撞组件，检测真实手的虚拟映射与虚拟环境、模型接触后的接触碰撞情况，同时将数据传入超声触感控制器，触发超声触感控制器及超声波相控阵发射聚焦超声波到真实空间对应触觉感知点，进而在人手上产生触觉感知。

2、手势识别模块

手势识别模块由手势识别装置识别真实空间手的姿态，将真实空间手的姿态信息在虚拟场景中实时展示，得到真实空间手的虚拟映射，记为虚拟手。

手势识别模块通过手势识别工具建立虚拟手与真实空间手姿态的一一对应关系，真实空间手的姿态由基于视觉的手势捕获装置识别，由主控程序将虚拟空间触觉感知点转换为真实空间基于手势识别装置零点位置的坐标值，

所述真实空间手在虚拟场景的虚拟映射为左手骨架模型或右手骨架模型，每个手部骨架模型5个指尖上都渲染可碰撞球体，为避免误触手势，手势动作时只在食指上放置一个可碰撞球体，可碰撞的食指指尖充当涉及其他手指的多种触摸手势的活动触点。

所述手势识别模块采用基于双目视觉的悬空手势轨迹识别方法识别真实空间手的姿态。

3、主控模块

主控模块获取真实空间手与虚拟手的映射关系，检测虚拟手与虚拟环境、虚拟对象的三维模型接触后的接触碰撞情况，当虚拟手与虚拟对象的三维模型接触时，将虚拟对象Np个接触点在虚拟场景坐标系中的坐标，记为虚拟空间触觉感知点，根据虚拟手与真实空间手姿态的一一对应关系，将虚拟空间触觉感知点转换为真实空间基于手势识别装置零点位置的坐标值，记为真实空间触点坐标，并将Np个真实空间触点坐标发送给超声触感模块，Np大于等于1。

除了在食指指针上渲染可碰撞球体以外，还可以创建一个指尖光标来实现更好的交互式近距定位体验。

所述主控模块检测真实手的虚拟映射与虚拟环境、虚拟对象的三维模型接触后的接触碰撞情况的方法为：

创建一个高亮指尖光标，当虚拟手食指移向虚拟对象时，沿虚拟手移动方向在虚拟对象构建一个法向量，高亮指尖光标始终与该虚拟对象法向量的切平面平行，在移动过程中，控制高亮指尖光标逐渐缩小，一旦虚拟手指接触到虚拟对象表面时，将该光标缩小为一个点，该点即为虚拟空间触觉感知点。

虚拟空间触觉感知点可以从特征点中选取虚拟手与虚拟对象位置最近的特征点或通过计算来获取。

4、超声触感模块

超声触感模块包括超声触感控制器和超声波相控阵，超声触感控制器接收用户设置的超声波相控阵参数，将Np个真实空间触点坐标设置为超声波相控阵焦点；规划Np个超声波相控阵焦点扫描次序，把Np个超声波相控阵焦点对应的真实空间触点坐标按顺序存入数组，并设置每个焦点的聚焦时间；按规划的超声波相控阵焦点次序，根据超声波相控阵焦点对应的真实空间触点坐标以及超声波相控阵器件固有参数，依次计算每个超声波相控阵焦点对应的超声波相控阵阵元的相位延时；根据超声波相控阵参数和超声波相控阵阵元的相位延时产生阵元驱动信号，发送阵元驱动信号至超声波相控阵；超声波相控阵在阵元驱动信号的控制下，根据规划的超声波焦点次序和聚焦时间依次驱动超声波相控阵阵元发出超声波到所有真实空间触点聚焦，即用空间分时扫描法使用户获得用若干离散超声波相控阵焦点模拟二维或三维形状的触觉感知。

超声波相控阵是由多个换能器阵元按一定的形状、尺寸排列而构成的。使每个阵元按预先设计好的方案延迟一定的时间进行超声发射，即可实现聚焦。根据惠更斯原理，各阵元发射的超声子波束在空间叠加合成，从而形成发射聚焦或声束偏转等效果，称为相控阵发射。

相控阵发射聚焦原理如图2所示。设阵元中心距为d，阵列换能器直径为D，聚焦点为P，聚焦点P到相控阵阵面的垂直距离为f，n为阵元位置参数，媒质声速为c。根据空间位置声程差，计算出为使各阵元发射波在P点聚焦，激励信号延迟时间应为：

本发明某一具体例中，超声触感控制器基于40kHz的超声波相控阵系统，在空气中传播具有小的衰减率。超声波相控阵由上下连接的两块电路板构成。第一块是相控阵板，由M行N列共计252个40kHz超声换能器阵元组成。第二块是相控阵驱动板，主要功能是对超声波相控阵中每个阵元对应的阵元驱动信号实现波形放大，并发送至相控阵板，用于驱动相控阵板中的阵元产生超声波。基于超声波相控阵研发的超声触感控制器在软件上采用分层设计，实现设计需求定义的软件架构和基本功能模块。如图3所示。最底层是FPGA应用层，负责根据真实空间触点坐标，计算超声波相控阵阵元的相位延时，并将计算结果保存到寄存器以驱动硬件工作，根据相位延时和用户设置的超声波相控阵参数产生阵元驱动信号经放大后来驱动超声波相控阵阵元发出超声波，其顶层模块如图4所示；FPGA的上层是VxWorks应用层，该层提供基本的板级开发包和协议栈，实现通讯、存储、报警等基本功能，VxWorks应用层通过寄存器地址读写的方式与FPGA应用层进行交互，将Windows应用层传送过来的真实空间触点坐标和用户设置的超声波相控阵参数发送给FPGA应用层；VxWorks上层是Windows应用层，该层面向用户应用提供接口，包含参数配置接口，调试接口，实时焦点控制接口，升级接口，该层通过串口通讯的方式与VxWorks应用层交互。最上层是Windows应用程序层，该层包括一个上位机控制软件；用户也可定制自己的应用，该层通过动态库标准接口与下层交互。主控模块将Np个真实空间触点坐标发送给Windows应用层，Windows应用层将Np个真实空间触点坐标设置为超声波相控阵焦点；规划Np个超声波相控阵焦点扫描次序，把Np个超声波相控阵焦点对应的真实空间触点坐标按顺序存入数组，并设置每个焦点的聚焦时间，将超声波相控阵焦点对应的真实空间触点坐标及其对应的聚焦时间，以及用户设置的超声波相控阵参数通过调用Windows应用层接口函数发送给VxWorks应用层。

FPGA应用层包括时钟和复位信号模块、内部总线转换模块和相位控制模块，其中：

时钟和复位信号模块(CLK_RST_TOP模块)，用于产生内部总线转换模块和相位控制模块所需要的时钟信号和复位信号；

内部总线转换模块(LOCAL_BUS_TOP模块)，将VxWorks应用层总线转换为FPGA应用层内部总线形式；

相位控制模块(PHASE_CTRL_TOP模块)，根据超声波相控阵焦点对应的真实空间触点坐标，以及超声波相控阵固有参数，计算超声波相控阵阵元的相位延时，并根据相位延时、用户设置的超声波相控阵参数和聚焦时间，产生阵元驱动信号输出。

所述相位控制模块又包含若干子模块，如下图5所示：包括阵列配置模块、第一调度模块、N个延时计算单元、第二调度模块、阵元驱动模块；

阵列配置模块(array_ctrl_cm)，接收超声波相控阵焦点对应的真实空间触点坐标及聚焦时间，以及用户设置的超声波相控阵参数，按照聚焦时间，依次生成设置焦点配置项，之后，发送“启动信号”至第一调度模块，同时输出阵元使能信号至阵元驱动模块；所述焦点配置项包括当前需要扫描的超声波相控阵焦点对应的真实空间触点坐标及聚焦时间、用户设置的超声波相控阵参数；所述用户设置的超声波相控阵参数包括载波信号的电压、波形频率、占空比；调制信号的波形频率和占空比；

第一调度模块(cell_scan_sch1)，收到“启动信号”开始后，采用轮循的方式，一次提取一行待计算超声波相控阵阵元的坐标，将焦点配置项和所选行中对应列的超声波相控阵阵元坐标，分别发送到N个延时计算单元中；

N个延时计算单元(cell_delay_calc_unit)，根据配置输入的超声波相控阵阵元参数、焦点坐标和超声波相控阵器件固有参数，计算出对应阵元的相位延时，将计算结果发送给第二调度模块；所述超声波相控阵器件固有参数包括阵元坐标、声速；

第二调度模块(cell_delay_sch2)，将N个延时计算单元的计算结果调度到一起转换为MxN个并行数据，同时发送给阵元驱动模块，每个数据对应一个阵元；

阵元驱动模块，负责根据超声波相控阵参数，产生调制脉冲信号，并将各阵元按照各自的相位延时值延时后，得到各个阵元对应的阵元驱动信号输出。

综上，本发明提供虚拟场景中人与虚拟对象自然交互中获取触觉感知点的方法，并通过超声触感控制器在虚拟场景中实现真实的触觉感知，采用空间分时扫描方法，通过控制调制超声波沿扫描次序依次聚焦到多个触觉感知点，来获取对虚拟对象真实的触觉感知，给VR系统在数字世界中触摸虚拟对象，提供了一种切实可行的解决方案。

下面从信号驱动原理、空间分时扫描焦点原理、聚焦流程三个方面对本发明进行进一步解释说明：

驱动原理：

第一调度模块、延时计算单元、第二调度模块完成MxN个阵元的延时计算后输出延时参数到阵元驱动模块，阵元驱动模块根据用户配置的调制周期，生成调制脉冲，根据输出波形周期、输出波形宽度，根据相位延时输出阵元延时控制信号，根据阵元调制脉冲、阵元输出波形、阵元延时控制信号，得出阵元驱动信号。

空间分时扫描焦点原理：

在相位控制模块实现空间分时扫描焦点。配置好焦点或聚焦时间后，对于单个焦点，通过调用第一调度模块、延时计算单元、第二调度模块和阵元驱动模块完成聚焦；对于多个焦点，在第一焦点聚焦时间到达后，沿焦点规划次序开始第二焦点的聚焦，同样通过调用第一调度模块、延时计算单元、第二调度模块和阵元驱动模块完成第二焦点的聚焦。按照这样的流程直至完成最后一个焦点聚焦。

超声波脉冲调制即控制40kHz超声波以一定的频率(1-1kHz)启停，使得人手感受不同频率的超声振动，以模拟对物体不同纹理的感知程度。空间分时扫描法通过扫描若干焦点来模拟人手触摸虚拟对象时的若干特征触觉点，使人手获得对虚拟形状的触觉感知。人类触觉的时域分辨率仅为几毫秒(根据报道，精确值可能在2到40ms之间)。当超声触感控制器控制换能器阵元发射超声波沿多个触觉感知点聚焦扫描速度比人体触觉时域分辨率更高的话，用户就会将由此产生的刺激想象为单一的轨迹光滑触觉模式，而不是得到一连串的触觉点或移动的感觉，从而在人脑中形成由这些触觉感知点构建的几何图形。

为确立超声波脉冲调制和空间分时扫描法优化参数即调制频率和焦点聚焦时间，基于超声波触感控制器，通过实验建立测量结果和触感控制器系统参数之间的相互关系，进而对特定轨迹的触感系统参数进行优化，可以提高对虚拟对象的触觉感受。

聚焦流程

1.VxWorks层CPU配置阵元输出总开关使能、配置区域使能、区域阵元选择、焦点坐标、聚焦时间、输出时间、输出脉冲占空比及调试信号频率；

2.CPU写触发寄存器触发聚焦；

3.N个延迟计算单元同时开始工作，依次计算出使能区域内M个阵元的延时；

4.根据3中的结果及配置值，阵元驱动模块驱动MxN个阵元输出；

5.在FPGA工作的过程中，CPU监测FPGA的忙信号，以决定进一步的操作。

为使逻辑计算简单和便于控制，在计算的过程中不涉及到浮点数，计算输入参数和输出结果均为整数(带符号)。

设c_speed为声速，空气中c_speed≈340m/s＝0.34um/ns。即1mm的距离，声波传输需要的时间是2941.1765ns；1um(1mm＝1000um)的距离，声波传输需要的时间是2.9411765ns；因此在计算中，距离均表示为以um为单位的整数，时间表示为以ns为单位的整数；在计算中，所有的运算结果也均为整数。

另外，换能器的固有频率是40kHz，对应周期为25000ns(25us)。

上位机部分人机交互软件可以设置相控阵的参数，下发给VxWorks。并能实时设置焦点的位置，启停聚焦。

空间分时扫描是在单点聚焦的基础上，先将各焦点存储在缓存里，FPGA设置扫描时间(即每个点聚焦时间)，在扫描时间到时FPGA自动切换焦点，从而达到每个焦点轮循聚焦。该算法实现了不同频率超声振动波在不同时间步沿设定离散焦点依次聚焦，从而能够通过实验获取优化的工作参数来获得触觉感知。在本系统中两个焦点扫描间隔时间范围为8ns-8196μs可调，用户可根据需求通过实验选取优化值，来满足不同触感的需求。

因此在虚拟场景中，通过设计手势与虚拟对象的交互获取描述虚拟对象轮廓的Np个特征点坐标，并根据该信息和手势识别装置获取真实空间的触觉感知点，作为Np个焦点传至超声触感控制器。采用空间分时扫描技术，超声波相控阵依次发射超声波到这Np个焦点聚焦，并快速切换，当切换频率足够高时，人体触觉感知不到切换，从而形成几何图形(如用12个焦点来模拟一个圆或一个矩形)感知效果，以实现用户在虚拟场景下获取对虚拟对象形状感知的效果。实验的结果可以通过在水中的传播图案来观察，如图6所示。将超声触感控制器倒立，使超声波在水中聚焦，即可在水中观察用多个焦点拟合圆和方形的效果。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (10)

1.一种基于聚焦超声波产生虚拟形状感知的系统，其特征在于包括虚拟场景模块、手势识别模块、超声触感模块、主控模块；其中：

虚拟场景模块，基于Unity 3D开发环境下制作虚拟场景，生成虚拟场景坐标系，在虚拟场景内构建虚拟对象的三维模型；

手势识别模块，由手势识别装置识别真实空间手的姿态，将真实空间手的姿态信息在虚拟场景中实时展示，得到真实空间手的虚拟映射，记为虚拟手；

主控模块，获取真实空间手与虚拟手的映射关系，检测虚拟手与虚拟环境、虚拟对象的三维模型接触后的接触碰撞情况，当虚拟手与虚拟对象的三维模型接触时，将虚拟对象Np个接触点在虚拟场景坐标系中的坐标，记为虚拟空间触觉感知点，根据虚拟手与真实空间手姿态的一一对应关系，将虚拟空间触觉感知点转换为真实空间基于手势识别装置零点位置的坐标值，记为真实空间触点坐标，并将Np个真实空间触点坐标发送给超声触感模块，Np大于等于1；

超声触感模块，包括超声触感控制器和超声波相控阵，超声触感控制器接收用户设置的超声波相控阵参数，将Np个真实空间触点坐标设置为超声波相控阵焦点；规划Np个超声波相控阵焦点扫描次序，把Np个超声波相控阵焦点对应的真实空间触点坐标按顺序存入数组，并设置每个焦点的聚焦时间；按规划的超声波相控阵焦点次序，根据超声波相控阵焦点对应的真实空间触点坐标以及超声波相控阵器件固有参数，依次计算每个超声波相控阵焦点对应的超声波相控阵阵元的相位延时；根据超声波相控阵参数和超声波相控阵阵元的相位延时产生阵元驱动信号，发送阵元驱动信号至超声波相控阵；超声波相控阵在阵元驱动信号的控制下，根据规划的超声波焦点次序和聚焦时间依次驱动超声波相控阵阵元发出超声波到所有真实空间触点聚焦，即用空间分时扫描法使用户获得用若干离散超声波相控阵焦点模拟二维或三维形状的触觉感知。

2.根据权利要求1所述的一种基于聚焦超声波产生虚拟形状感知的系统，其特征在于所述超声波相控阵由相控阵板、相控阵驱动板构成；

相控阵板，由M行N列超声换能器阵元组成；

相控阵驱动板，对超声波相控阵中每个阵元对应的阵元驱动信号实现波形放大，并发送至相控阵板，用于驱动相控阵板中的阵元产生超声波。

3.根据权利要求1所述的一种基于聚焦超声波产生虚拟形状感知的系统，其特征在于所述手势识别模块采用基于双目视觉的悬空手势轨迹识别方法识别真实空间手的姿态。

4.根据权利要求1所述的一种基于聚焦超声波产生虚拟形状感知的系统，其特征在于虚拟场景模块通过可见光相机扫描真实环境，获取真实环境与虚拟环境的映射关系，生成虚拟环境的坐标系，通过“放置”操作将真实场景、虚拟对象模型置入虚拟环境，真实空间手位置和姿态信息通过实时捕捉后输入虚拟环境。

5.根据权利要求1所述的一种基于聚焦超声波产生虚拟形状感知的系统，其特征在于所述真实空间手的虚拟映射为左手骨架模型或右手骨架模型，每个手部骨架模型5个指尖上都渲染可碰撞球体，手势动作时只在食指上放置一个可碰撞球体，可碰撞的食指指尖充当涉及其他手指的多种触摸手势的活动触点。

6.根据权利要求1所述的一种基于聚焦超声波产生虚拟形状感知的系统，其特征在于所述主控模块检测真实手的虚拟映射与虚拟环境、虚拟对象的三维模型接触后的接触碰撞情况的方法为：

创建一个高亮指尖光标，当虚拟手食指移向虚拟对象时，沿虚拟手移动方向在虚拟对象构建一个法向量，高亮指尖光标始终与该虚拟对象法向量的切平面平行，在移动过程中，控制高亮指尖光标逐渐缩小，一旦虚拟手指接触到虚拟对象表面时，将该光标缩小为一个点，该点即为虚拟空间触觉感知点。

7.根据权利要求1所述的一种基于聚焦超声波产生虚拟形状感知的系统，其特征在于所述虚拟场景模块采用多边形建模方法构建虚拟对象的三维模型。

8.根据权利要求1所述的一种基于聚焦超声波产生虚拟形状感知的系统，其特征在于所述超声触感控制器采用分层架构实现，最底层是FPGA应用层，负责根据真实空间触点坐标，计算超声波相控阵阵元的相位延时，并根据相位延时和用户设置的超声波相控阵参数产生阵元驱动信号经放大后来驱动超声波相控阵阵元发出超声波；FPGA的上层是VxWorks应用层，VxWorks应用层通过寄存器地址读写的方式与FPGA应用层进行交互，将Windows应用层传送过来的真实空间触点坐标和用户设置的超声波相控阵参数发送给FPGA应用层；VxWorks上层是Windows应用层，主控模块将Np个真实空间触点坐标发送给Windows应用层，Windows应用层将Np个真实空间触点坐标设置为超声波相控阵焦点；规划Np个超声波相控阵焦点扫描次序，把Np个超声波相控阵焦点对应的真实空间触点坐标按顺序存入数组，并设置每个焦点的聚焦时间，将超声波相控阵焦点对应的真实空间触点坐标及其对应的聚焦时间，以及用户设置的超声波相控阵参数发送给VxWorks应用层。

9.根据权利要求1所述的一种基于聚焦超声波产生虚拟形状感知的系统，其特征在于FPGA应用层包括时钟和复位信号模块、内部总线转换模块和相位控制模块，其中：

时钟和复位信号模块，用于产生内部总线转换模块和相位控制模块所需要的时钟信号和复位信号；

内部总线转换模块，将VxWorks应用层总线转换为FPGA应用层内部总线形式；

相位控制模块，根据超声波相控阵焦点对应的真实空间触点坐标，以及超声波相控阵固有参数，计算超声波相控阵阵元的相位延时，并根据相位延时、用户设置的超声波相控阵参数和聚焦时间，产生阵元驱动信号输出。

10.根据权利要求1所述的一种基于聚焦超声波产生虚拟形状感知的系统，其特征在于所述相位控制模块包括阵列配置模块、第一调度模块、N个延时计算单元、第二调度模块、阵元驱动模块；

阵列配置模块，接收超声波相控阵焦点对应的真实空间触点坐标及聚焦时间，以及用户设置的超声波相控阵参数，按照聚焦时间，依次生成设置焦点配置项，之后，发送“启动信号”至第一调度模块，同时输出阵元使能信号至阵元驱动模块；所述焦点配置项包括当前需要扫描的超声波相控阵焦点对应的真实空间触点坐标及聚焦时间、用户设置的超声波相控阵参数；所述用户设置的超声波相控阵参数包括载波信号的电压、波形频率、占空比；调制信号的波形频率和占空比；

第一调度模块，收到“启动信号”开始后，采用轮循的方式，一次提取一行待计算超声波相控阵阵元的坐标，将焦点配置项和所选行中对应列的超声波相控阵阵元坐标，分别发送到N个延时计算单元中；

N个延时计算单元，根据配置输入的超声波相控阵阵元参数、焦点坐标和超声波相控阵器件固有参数，计算出对应阵元的相位延时，将计算结果发送给第二调度模块；所述超声波相控阵器件固有参数包括阵元坐标、声速；

第二调度模块，将N个延时计算单元的计算结果调度到一起并将其转换为MxN个并行数据，同时发送给阵元驱动模块，每个数据对应一个阵元；

阵元驱动模块，负责根据超声波相控阵参数，产生调制脉冲信号，并将各阵元按照各自的相位延时值延时后，得到各个阵元对应的阵元驱动信号输出。

Images