CN108005341A - 一种通过超声波实现增强现实地板的方法及装置 - Google Patents

Abstract

本发明涉及一种通过超声波实现增强现实地板的方法及装置，包括一个固定尺寸的平板地板，以及至少一对声电换能器。该平板利用用户在地板上运动时脚跟或鞋跟与地板碰撞产生的弹性机械波在地板内传递时，到达不同传感器组的时间差推导碰撞的位置。压电换能器利用平板为振膜激发和接收超声波，提供立体声播放及扩音器功能。换能器在平板地板边缘处相对于中正面对称粘贴并具相反极性，通过桥接抵消对称型超声波。本发明适用于制作具有平整水平表面的交互地板，并可以通过整体装配进入现有家具或建筑物，并通过地板与虚拟空间内地面的对应关联实现增强现实交互。

Description

一种通过超声波实现增强现实地板的方法及装置

技术领域

本发明涉及增强现实领域，特别涉及一个用户通过地板与虚拟世界信息进行交互的装置，特别涉及一个新的在地板里激发和接收超声波的设施，该地板具有麦克风以及音响功能，并可以通过检测用户在地板上的位置和动作，提供增强现实方面的人机交互。

背景技术

增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实具有的突出的特点是：真实世界和虚拟的信息集成；具有实时交互性；是在现实尺度空间中增添定位虚拟物体。

根据已公布的资料，如WO 9611378(A1)，WO 0038104(A1)，以及WO 2004055661(A1)，存在一种根据点击或碰撞在一个平板里产生的超声波进行计算，推导(x，y)坐标值的触控技术。此类技术通常应用在玻璃或金属材质上，具有四对超声波换能器，并通常对界面的机械机构进行优化，提高信噪比，从而收集点击产生的声波到达不同换能器产生的信号。此类技术往往具有相应的算法，能根据触碰产生的振动波(超声波)达到不同换能器组的时间差计算推导位置信息。此类技术可以支持多达数平方米的交互界面的设计和制造。

同时，根据已公布的资料，增强现实方面主流的交互界面集中在视觉信息的叠加上，尚未有通过检测用户在地板上的位置和运动信息，提供增强交互体验的装置。

然而，目前应用此类技术的发明拥有多项不足。首先，通常交互界面的面积越大，应用此类技术的触摸屏的精度越低，这通常是由于超声波信息在平板里进行固体传递时的衰减造成。另一方面，超声波换能器的大小，精度以及抗电磁干扰的能力，甚至电线接入的质量，都会对此类技术的精度造成影响，从而，为了提升精度和准确性，工程设计人员往往需要在换能器外布置保护壳或通过绝缘涂层等方式减少环境因素带来的信号污染。从而，传统应用此类超声波到达时间差技术的发明并不适合家具或建筑行业内的工程人员直接使用。事实上，根据现有的文献检索，尚未存在一种集成了换能器后依然保持平面度的交互界面，可以被整体配置到建筑物中，如窗户、地板或桌面的中间。

最后，由于此类触控平板使用平板里传递的机械振动超声波来进行计算，通常其所采用的声-电换能器，既可以作为麦克风记录语音，也可以在加载高电压时作为音响使用，此时平板即可作为麦克风或扩音器的振膜。然而在人机交互界面同时提供麦克风和音响功能时，会产生相应的干扰。众所周知，音响功能需要大功率的输出，而相应的发明使用的超声波换能器会接收到音响功能输出的振动，该振动产生的电信号远远大于点击产生的信号的强度，极易造成信号饱和。

发明内容

本发明所要解决的技术问题即是解决所有上述问题并提供相应的解决方案。本发明提供一种将人在地板上运动时，脚跟、鞋跟通过与地板的碰撞所产生的超声波通过特别设计的结构，使得超声波在地板里传递时会根据预先制定的传递路线传递，从而提升其相应位置和运动检测的精度和准确性，并通过真实的设施(地板)与电脑提供的交互信息(显示、声音等多媒体信息)结合，从而提供增强现实的人机交互体验。

为此，本发明设计了一种平面化的人机交互平板地板，该平板地板经过特殊方法的加工，从而既可以提升触控精度，亦可以同时提供麦克风以及音响功能，并同时优化信号质量。本发明也同时提供了一种利用平板本身振动作为音响播放的高保真方案。

为了实现这些目标，本发明首先建议了一种激发-接收超声波的设施，该设施包含了一个硬质平板地板，该平板地板可以自由振动，并连接有数个压电陶瓷换能器。该地板的厚度，其边缘的加工以及该地板的固有振动频率均是本发明的核心参数。事实上，当该地板被应用于检测地板上用户的相对位置时，根据信号处理的算法，我们检测由人在地板上运动是，鞋跟与地板碰撞产生的非对称超声波。为了实现良好的精度，我们主要关心点击时产生的多频率振动波中高频的部分，特别是80kHz到200kHz的部分。根据实验结果，当点击平板的物体越大材质越软，触碰产生的超声波频谱约偏向低频，而检测的精度越低。

本发明涉及的机械弹性振动波，或所谓超声波的典型波长为40mm。主流地板材质为木板、陶瓷、聚氯乙烯卷材、竹地板、竹木混合或亚麻等。本发明涉及的地板材质为适合超声波传递的材质如木板、陶瓷、竹或竹木混合，而其他材料如亚麻、聚氯乙烯等因为具有超声波吸收的性质，不适合本发明。同时，本发明涉及的压电陶瓷换能器的尺寸需要小于波长的一半。

用户脚跟或鞋跟与地板触碰所产生的机械弹性波的特点为，在我们考虑的频率范围内，只存在两种振动波传递模式：一种为对称型，一种称为非对称型。由于并不预先了解点击触碰的大小和方式，我们需要事先选择两种传递方式中的一种进行监测。超声波的另一个特点，是其传递模式可以根据边界条件进行筛选。可以观察到，在非对称传递模式下，横波针对平板中层面为非对称分布，而纵波为对称分布，而在对称传递模式下则恰恰相反，纵波为非对称分布。此种特性可以被利用来在监测时对不同传递模式进行限定和筛选。我们只需将尺寸完全相同，具有完全一致规格的声电换能器两两一对，分别在平板的上下表面对称粘贴，在激发或检测超声波时同时检测，可以根据电信号的叠加或相减，选择非对称模式或对称模式下的超声波信号强度。典型情况下，我们选择将两两一对的换能器信号叠加，也就是说，增强了非对称模式超声波信号的同时，通过结构设计去除了对称模式下的超声波信号。

类似结构设计，除了将两两一对的换能器对称的贴在平板的倒脚的上下表面，也可以在平板的侧边使用。而此时对加工精度的要求更高，此时平板边缘往往需要抛光打磨，且尺寸较小对换能器的安装精度要求更高。

在上述配置下，我们可以使用四组换能器来检测点击位置。每组换能器拥有两两相对的一组声电换能器，分别占据地板的四个几何顶点。平板的几何形状可以是正方形也可以是长方形。检测位置的计算，通过观察触碰产生的超声波到达不同顶点的时间差来计算。同时，此平板也具有了声波信号的天线性质，本发明涉及的设施可利用四组换能器以检测非对称模式下的声波信号传入平板内的振动信号的方式，实现麦克风功能。从而，换能器在非对称模式下检测到的超声波生成的电信号需要进行两步处理。首先，是针对换能器采集到的信号进行编程放大，其次是根据不同的功能需求进行带通滤波。分别是针对位置检测也就是增强现实交互功能，在200kHz附近的滤波，以及针对录音功能，在0-4kHz范围内的模拟麦克风信号的滤波。每组换能器均可单独提供一组录音信号，考虑到超声波信号达到不同换能器组的时间不同，不同组换能器提供的信号之间会存在相位差。我们需要通过信号的离散化和重新组合来计算该相位差，从另一方面也可以从之获得一个声音源在空间的位置信息。

为了实现增强现实人机交互中声音播放的音响功能，本发明在四组换能器之外，增加了第五组换能器(以及立体声功能时增加第六组换能器)。为了优化声音播放的质量，减少共鸣感，本发明涉及的平板设施在边缘部分覆盖有振动波吸收材料。在实现播放功能时，音频信号由平板播放到环境空气中。该音频信号在加载在第五组换能器的两两相对的换能器上时，会被加入一个相位差，从而实现非对称性模式的传递，为了增加信号传递效果，在音频信号上本发明增加了一个基载信号进行调制。一般声音信号的频率f在数十赫兹到两万赫兹之间，本发明选择的调制信号f0的频率一般为40kHz到4MHz之间，根据平板尺寸和音响功能需求的不同进行选择。当平板尺寸越小，则f0频率越高。使用f0信号的优点在于，类似超声波在平板里传递时会产生一定的频率漂移，在通过调制后通过滤波，可以减少频率漂移对声音信号的影响。当然，调制信号f0在由平板振动传递到环境空气中时需要是人耳无法接收的高频信号。本增强现实设施满足如下条件：

(1)、实现音响播放功能时，由换能器组产生的超声波在平板内通过压电效应进行传递。

(2)、平板在通过非对称模式振动时传递效果要好于通过对称模式传递时的效果，需要通过换能器组中两个换能器接收到的信号间增加一个相位差实现。

(3)、超声波波长大于平板厚度的一半。

(4)、平板内超声波振动仍然是线性方式的，而平板内的振动传递到空气里则是非线性的，可观察到传递效率主要取决于声音频率，即f。这种非线性特点要求了我们必须使用一个调制信号f0，使得待播放的音频信号f保持一致(否则会出现播放时的大小声)。

同时，调制信号f0的选择，可以让音响播放功能产生的信号，与录音功能录制的语音信号的频谱产生距离，从而避免相互影响。

本发明还具有包含但不限制于如下的特点：

-使用的声电换能器为压电陶瓷盘片，其表面附有银涂层。压电陶瓷的共振频率在200kHz量级。该压电陶瓷片一般与电路系统通过1.8mm的双股线连接。整体尺寸在直径20mm，厚度2mm左右。

-声电换能器为压电陶瓷盘片，其两面均覆盖有银涂层。所述换能器两两一组，每组在平板上的位置为相对于平板地板正中面即半厚度面为对称。压电陶瓷盘片非与平板接触的一面与双股电线焊接相连，并受金属外壳保护，构成一个兜帽结构，形成一个法拉第笼。兜帽内部填充有树脂，使其可简便且精确的布置在所述平板上。

-交互平板采用竹、木、竹木混合、陶瓷等材质并具有长方形形状。其厚度在6到20mm之间。换能器组两两相对，分四组布置在平板边角的中间。每组换能器由两个压电陶瓷组成，位置相对于平板中心面为对称。压电陶瓷与平板接触的一面为振动接收面，另一面则通常为接地面。超声波产生的振动信号经过换能器时产生的微弱电信号，通过高信噪比的双股线，传递到信号处理模块。此四组换能器占据了平板的四个顶点后，决定了交互面积的尺寸X和Y。点击触碰的位置信息(xr，yr)则根据触碰产生的机械弹性波即超声波在平板内部传递到不同换能器组的时间差来计算。第五组换能器同样放置在坡面上，用作音响播放功能。

-实现音响播放功能的换能器由两个压电陶瓷组成，在工作状况下，两者的振动信号具有一个90度的相位差。

-实现音响播放功能的换能器为两个长方形压电陶瓷组成，两两相对以对称结构在平板边缘的坡面布置。

-播放的音频信号按10ms到100ms的组次播放，组次之间的间隔可以用于采集语音等其他交互信号。

附图说明

图1是根据本发明的声电换能器的一种，即盘状压电陶瓷片，其具有双面银电极并与双股线焊接，受金属兜帽保护；

图2是根据本发明的增强现实地板的结构示意图；该地板由一个平板和五组压电陶瓷组成，具有长方形结构；

图3是根据本发明的交互界面结合一个金属外壳的剖面结构示意图，通过该外壳，本发明构建的交互界面可以作为一个整体被装配进相应的家具或建筑物。

具体实施方式

下面结合附图，对本发明做进一步详细的说明。

参见图1，本发明通过检测用户在地板上运动时，脚跟或鞋跟与地板触碰产生的弹性振动波即超声波进行定位，需要使用声电换能器，典型的声电换能器为盘状压电陶瓷片，其具有上下两层银涂层即电极101，102。101和102通过回镀银和镀银保护带109的工艺，可以在压电陶瓷的同一水平面进行焊接。压电陶瓷具有极性，以P或者+表示。使用一个细双股线105，剥去绝缘层后，将外股电缆106与电极102通过焊接相连，将内股电缆108与电极101通过焊接相连。金属兜帽103覆盖并保护压电陶瓷及焊点。兜帽的内表面涂有绝缘胶104，保证不与电极101发生短路；同时，兜帽通过焊点111与106及102电极相连。此时，金属兜帽103与电极102一起构成了一个法拉第笼。金属兜帽103内部的空间112被透明或有色的环氧树脂填充，从而构建一个可自由移动的具有一定机械性能的完整组件。兜帽由冲压制作，并留有开口110供双股电缆牵出。绝缘涂层107覆盖从双股电线内股线108一直到压电陶瓷电极101，保证其不与电极 102发生短路。所述兜帽结构厚度受双股电缆直径决定，一般不超过2mm。压电陶瓷片的一个典型厚度为0.5mm，一个典型直径为20mm。

参见图2，一个平板地板200的边缘通过粘贴附着四组如图1所示的压电换能器组，分别编号为R1，R2，R3，和R4。每一组内换能器，根据其所处平板表面的上下，分别标记为A或B。四组换能器的方位构成交互工作面积的四个顶点，并形成一个长方形的交互面积。在此面积内，(xr，yr)处发生的点击触碰的振动波，到达不同换能器组的时间t1，t2，t3，t4被记录并送到201处理芯片MCU处，通过几何计算即可获取位置信息(xr，yr)。需要说明的是，本发明提及的超声波为触碰产生的机械弹性波，该振动波在固体内部传递，该超声波依然是属于特性波的一种。需要进一步说明的是，该超声波的传递速度主要由平板的材质即振动波的频率决定且为一定值，如平板材质为木板，滤波后检测所针对的振动波为 200kHz时，根据技术手册，超声波传递速度大约为500m/s。坡面加工并不会影响超声波传递速度。即t1，t2，t3，t4之间关系只由触碰点到换能器几何中心的距离决定。理论上根据三个距离信息即可推导位置信息，本发明四组换能器的使用除了增加一组余量，也可以维持平板的几何对称性，从而维持检测精度的均匀性。交互界面的整体尺寸非平板尺寸，而是平板中心平行面，其尺寸标记为(X，Y)，其中心0即为此长方形中心位置。

这四组换能器通过压电效应同时可以将平板接收到的环境语音信息进行汇总检测。第五组压电陶瓷标记为H1，同样粘贴在平板上，具有长方形尺寸且尺寸大于前四组压电陶瓷，并通过压电效应的反效应，将音频信号转化为振动波，通过平板作为振膜将该信号传递到环境空气中从而实现立体声音响或扩音器功能。

交互界面附着的五组换能器均通过电缆连接到信号处理模块MCU。MCU内部包含一个信号滤波放大电路。针对前四组换能器，点击触碰时产生的超声波信号的峰值一般在200kHz左右，MCU即在200kHz附近进行滤波，从而获取超声波到达的时间差。于此同时，MCU处理模块在低频段提供滤波，从而可以使得该四组换能器同时检测到的环境语音信号汇总平均，实现立体声播放功能。

针对第五组换能器，MCU处理模块具有信号放大电路，将所需播放的音频信号通过换能器H1播放。播放时选择分段播放，区间为10ms到100ms，其原因是为了防止H1播放产生的信号对其余换能器组产生信号饱和效应。该音频信号在加载在第五组换能器的两两相对的换能器上时，会被加入一个相位差，从而实现非对称性模式的传递，为了增加信号传递效果，在音频信号上本发明增加了一个基载信号进行调制。一般声音信号的频率f在数十赫兹到两万赫兹之间，本发明选择的调制信号f0的频率一般为40kHz到4MHz之间，根据平板尺寸和音响功能需求的不同进行选择。当平板尺寸越小，则f0频率越高。使用f0信号的优点在于，类似超声波在平板里传递时会产生一定的频率漂移，在通过调制后通过滤波，可以减少频率漂移对声音信号的影响。

处理模块MCU本身通过数据线连接到计算机或其他具有更强大计算功能的模块202处。202处可以为计算机PC，具有软件可根据超声波到达时间差推导计算 (xr，yr)位置并将它投影到计算机屏幕上，实现增强现实地板200的尺寸(X， Y)与虚拟世界空间VR内同样地板物体203一一对应的关系，特别是可以将用户在虚拟空间里的投射204投影在虚拟空间内地板203上的对应位置。用户移动时与地板的触碰的检测作为相应的输入工具，如将一次用户触碰地板200模拟为鼠标左键点击，短时间内两次触碰模拟为鼠标右键点击。

参见图3，一个长方形平板地板300，粘接有压电陶瓷换能器组之后，在四周通过金属外壳301来保护，所述金属外壳材质为不锈钢或黄铜，钣金加工，边缘打磨平整。平板300与金属外壳301之间通过L型装配器件302实现分隔，该器件材质可与金属外壳一致也可使用塑料、橡胶等材质，其水平面与金属壳内表面粘接，垂直面粘接在平板边缘垂直面。平板与外框交界处为平滑坡度303，该设计使平板整体实现了表面为水平，从而可以被整体装配进任何需要的更大尺寸的建筑物地面304。用户305站在地板上移动时，脚跟与鞋跟与地板300碰撞从而产生待检测的超声波。

本发明的一个典型应用，是将装配有金属外壳的平板地板作为整体配置到家具或建筑物中，通过用户在地板上的运动所产生的超声波进行位置的定位，同时通过麦克风录音功能作为输入设施，通过扩音器或音响功能作为输出设备或配合投影仪作为输出设备，实现增强现实的人机交互。本发明所使用的一个典型平板为厚度10mm，材质为木板的平板，面积为10平方米。该厚度下的平板完全可以支撑一个人站立在平板上，通过检测鞋跟等坚硬物体与平板的碰触，实现一个人机交互地面，检测或监测人在建筑物内的位置并与虚拟世界信息进行交互。

综上，本发明适用于制作一个具有平整水平表面的增强现实地板，可以整体装配进入一个家具或建筑物。本发明方法可以提高利用超声波到达时间差技术进行触碰点位置检测的交互类设施的灵敏度。通过本发明制作的平板在实现点击触碰位置检测的同时，针对麦克风，扩音器以及触碰检测的不同声波信号的特性，对交互平板以及信号处理方式进行了特殊设计，从而可以使得三种功能可以利用声电换能器在不同频率区间内，分别利用压电效应和反向压电效应完成，从而简化了相应多媒体交互界面的设计和信号处理，降低了产品成本，并提升了增强现实的多种维度的交互体验。

以上对本发明做了详尽的描述，其目的在于让熟悉此领域技术的人士能够了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明的精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围内。

Claims (7)

1.一种通过超声波实现增强现实地板的方法及装置，该装置包含一个一定尺寸的平板，以及至少一组声电换能器；其特征在于：该平板至少具有一个局部几何区域能够对于对称型传递的超声波产生衰减效应，从而保证所述声电换能器主要检测到的是点击触碰时激发产生的非对称型模式传递的超声波；同时所述声电换能器两两相对，在平板上相对于半高度面对称布置；所述平板材质为木、竹、竹木混合或陶瓷；所述增强现实装置具有平整表面，可以整体装配进入一个地面，实现增强交互地板智能家居产品。

2.根据权利要求1所述的增强现实地板装置，其特征在于：所述声电换能器为压电陶瓷盘片，其两面均覆盖有银涂层电极；所述声电换能器两两一组，并具有相反的极性，每组在平板上的位置为相对于平板正中面即半厚度面为对称；压电陶瓷盘片与平板接触的一面电极与双股电线焊接相连，并受金属外壳保护，构成一个兜帽机械结构，形成一个电磁屏蔽法拉第笼；兜帽内部填充有树脂，使其内部整体具有一定机械性能，可简便且精确的布置在所述平板上；所述压电陶瓷盘片为圆盘状、半圆形或长方形；所述地板平板的边缘需要保持平整，或进行倒圆加工。

3.根据权利要求2所述的增强现实地板装置，其特征在于：所述地板的四个顶点部分分别被四组所述声电换能器占据，并通过电路和程序方法，推导一个触碰发生在所述平板表面上的位置(xr，yr)；推导方法为根据用户与地板触碰到达不同换能器组的传递时间的不同；所述点击触碰是用户移动时脚部与地板短时间接触产生。

4.根据权利要求3所述的增强现实地板装置，其特征在于：所述声电换能器的任一组或几组，均可利用所述平板作为语音输入的振膜，并经过带通滤波，选择性接收低频声波信号，模拟麦克风录制语音信号。

5.根据权利要求3所述的增强现实地板装置，其特征在于：所述交互界面装置具有第五组声电换能器，通过在所述平板上选择性激发调制音频的声波信号，用于音频信号的播放功能即扩音器功能；所述第五组声电换能器为长方形；实现音响播放功能的换能器由两个压电陶瓷盘片组成，在工作状况下，两者的振动信号具有一个90度的相位差；所述交互界面装置可通过编程实现音频信号被一个高频信号调制；所述第五组声电换能器与前四组声电换能器一样被安置于平板的坡面，并覆盖有环氧树脂；通过环氧树脂吸收振动的特性，以及音频信号按组次播放，避免造成其他传感器组的信号饱和。

6.根据权利要求3所述的增强现实地板装置，其特征在于：所述装置具有电路及程序组件，可以通过编程，在所述地板上模拟按钮，并提供播放预先录制的音乐交互功能，或将位置信息(xr，yr)传递到其他设施供交互使用。

7.根据权利要求3所述的增强现实地板装置，其特征在于：所述装置具有电路及程序组件，可以通过无线或有线方式，建立检测到的点击触碰位置(xr，yr)与电脑屏幕上的虚拟世界信息像素之间的一一对应关系；同时录音功能和扩音器功能可以与电脑设备或声卡设备进行连接，在增强现实交互时实现播放视频或音乐的功能，实现虚拟世界与真实世界的融合交互。