CN114415867A - 基于泄露兰姆波和卷积神经网络的水下声学3d触屏系统 - Google Patents
基于泄露兰姆波和卷积神经网络的水下声学3d触屏系统 Download PDFInfo
- Publication number
- CN114415867A CN114415867A CN202210080470.8A CN202210080470A CN114415867A CN 114415867 A CN114415867 A CN 114415867A CN 202210080470 A CN202210080470 A CN 202210080470A CN 114415867 A CN114415867 A CN 114415867A
- Authority
- CN
- China
- Prior art keywords
- piezoelectric ceramic
- neural network
- convolutional neural
- ceramic piece
- touch screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 18
- 235000019687 Lamb Nutrition 0.000 title claims abstract description 15
- 239000000919 ceramic Substances 0.000 claims abstract description 37
- 239000011521 glass Substances 0.000 claims abstract description 15
- 238000004806 packaging method and process Methods 0.000 claims abstract description 6
- 239000011358 absorbing material Substances 0.000 claims description 8
- 230000005284 excitation Effects 0.000 claims description 6
- 239000003292 glue Substances 0.000 claims description 5
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims description 4
- 229910002804 graphite Inorganic materials 0.000 claims description 4
- 239000010439 graphite Substances 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 4
- 239000002245 particle Substances 0.000 claims description 4
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 claims description 4
- 239000003112 inhibitor Substances 0.000 claims description 2
- 238000006116 polymerization reaction Methods 0.000 claims description 2
- 238000011897 real-time detection Methods 0.000 claims description 2
- IJVRPNIWWODHHA-UHFFFAOYSA-N 2-cyanoprop-2-enoic acid Chemical group OC(=O)C(=C)C#N IJVRPNIWWODHHA-UHFFFAOYSA-N 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 8
- 239000007788 liquid Substances 0.000 abstract description 8
- 238000000034 method Methods 0.000 description 5
- 239000004593 Epoxy Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000002318 adhesion promoter Substances 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003822 epoxy resin Substances 0.000 description 1
- FGBJXOREULPLGL-UHFFFAOYSA-N ethyl cyanoacrylate Chemical group CCOC(=O)C(=C)C#N FGBJXOREULPLGL-UHFFFAOYSA-N 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920000647 polyepoxide Polymers 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
- G06F3/0433—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which the acoustic waves are either generated by a movable member and propagated within a surface layer or propagated within a surface layer and captured by a movable member
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明公开了一种基于泄露兰姆波和卷积神经网络的水下声学3D触屏系统，能够在屏幕表面有液体覆盖的情况下有效预测触屏点的位置信息和压强信息，装置主要结构包括了玻璃板（3）、封装隔水板、信号发生器（1）、压电陶瓷片、后置信号放大器（6）和jetson TX1开发版（7）。该装置通过一个压电陶瓷片发射脉冲波其余两个压电陶瓷片接收声波信号，可以得到包含有触点信息的原始数据，利用原始数据和位置、压强组成的标签一起构造成数据集后用于训练卷积神经网络，之后即可将接收到的原始数据直接输入训练好的神经网络中以得到触点的位置信息与压强信息，可应用在水下触控书写领域。
Description
技术领域
本发明涉及一种3D触屏系统，尤其涉及基于泄露兰姆波和卷积神经网络的水下声学3D触屏系统。
背景技术
随着各类电子设备的普及，触屏技术被广泛应用。一般来说，触屏技术分为电阻电容式触屏、光学红外触屏、声学触屏等，声学触屏因其简单的内部电路结构而适用于金属、玻璃等薄面的情况。
早期的声学触屏研究者们一般运用表面波进行触点探测，但由于表面波很大程度地依赖于屏幕表面的结构缺乏普适性而逐渐被放弃采用。近些年声学触屏系统很多是基于兰姆波的传播实现的，兰姆波是平板(对较高频率的声波而言近似于无限长、有限宽的结构)中的一种导波，其传播速度和板的材料、厚度及声波频率密切相关。目前已有多种基于兰姆波的触屏预测系统被开发出来，均达到了较高的精度，但现有的系统往往采用的接收装置部件多、大多基于的是传统数据库识别触点方法、且不适于屏幕表面被液体覆盖的情况。此外，目前常见的触屏系统仅停留在触点位置的识别上，无法识别触点的压强信息。
发明内容
发明目的：本发明旨在提供一种能在屏幕表面覆盖有液体的情况下用声学触屏系统实现触点位置识别和压强预测的基于泄露兰姆波和卷积神经网络的水下声学3D触屏系统。
技术方案：本发明所述的一种基于泄露兰姆波和卷积神经网络的水下声学3D触屏系统，包括硬件模块与软件模块两个部分，所述硬件部分包括玻璃板、封装隔水板，作为激励信号发射源的压电陶瓷片Ⅰ，作为信号接收源的压电陶瓷片Ⅱ和压电陶瓷片Ⅲ，用于驱动压电陶瓷片发射激励信号的信号发生器，后置信号放大器和jetson TX1开发版；所述压电陶瓷片Ⅰ、Ⅱ和Ⅲ分别粘在玻璃板一条短边的两个顶点处和另一短边的中点处，压电陶瓷片Ⅰ与信号发生器相连；后置信号放大器输入端连接压电陶瓷片Ⅱ、压电陶瓷片Ⅲ，以采集在屏幕表面无液体覆盖和有液体覆盖两种情况下在不同触点位置施加不同压力的信号；后置信号放大器输出端连接jetson TX1开发版；所述玻璃板与封装隔水板构成的一个空心长方体结构，信号发生器、后置信号放大器和jetson TX1开发版被固定封装在所述空心长方体中；所述软件部分包括利用tensorflow设计的深度卷积神经网络。
优选地，所述玻璃板边界处涂覆有能够吸收反射波的吸声材料。其作用是通过阻抗匹配以及声散射原理吸收入射声波，以使接收到的信号更能反映表面接触的实际情况。
优选地，所述吸声材料为环氧树脂-A胶、环氧树脂-B胶、钨粉和石墨颗粒的组合。
优选地，将训练好的深度卷积神经网络程序放在所述jetson TX1开发版中运行，进行水下屏上触控位置与压力大小的实时探测。
优选地，所述压电陶瓷片粘于玻璃板边界处的材料为α-氰基丙烯酸乙酯、阻聚剂或增粘剂。
优选地，所述后置信号放大器对接收到的超声信号放大倍数为500-2000倍。
有益效果：与现有技术相比，本发明具有如下显著优点：(1)能够在屏幕表面覆盖有液体的情况下实现高准确率的触点位置预测，可以使用在水下触控书写；(2)识别准确率高，将人工神经网络引入触屏系统中，利用卷积神经网络的方法达到了很高的识别准确率；(3)除了有能力识别表面的触点位置外，本发明能够同时识别触点的压强信息。
附图说明
图1为基于泄露兰姆波和卷积神经网络的水下声学3D触屏系统的俯视示意图；
图2本发明的系统连接示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
本发明所述的声学触屏预测系统，在硬件部分包括了1块玻璃板3、5块隔水封装板、边界吸波材料、压电陶瓷片Ⅰ2、压电陶瓷片Ⅱ4、压电陶瓷片Ⅲ5、信号发生器1、2个后置信号放大器6和jetson TX1开发版7；在软件部分主要包括TensorFlow设计的卷积神经网络。其中，玻璃板3的厚度为1mm；边界吸波材料由钨粉、石墨颗粒、环氧树脂等组分构成，其比例如表1所示；压电陶瓷片的型号为直径10mm、正负极同侧、中心频率为80kHz。硬件部分的整体示意图如图1所示，系统连接示意图如图2所示。
表1.边界吸波材料的组分配比
| 边界吸波材料组分 | 质量比例 |
| 环氧树脂-A胶 | 41.25％ |
| 环氧树脂-B胶 | 13.75％ |
| 钨粉 | 40％ |
| 石墨颗粒 | 5％ |
图1中的数字标号2,4,5分别代表3个压电陶瓷片，利用信号发生器驱动压电陶瓷片Ⅰ2发射脉冲激励信号，连接后置信号放大器的压电陶瓷片Ⅱ4和压电陶瓷片Ⅲ5用于接收信号，后置信号放大器能将接收到的小信号放大500-2000倍。玻璃板边界的吸波材料的作用是通过阻抗匹配以及声散射原理吸收入射声波，以使接收到的信号更能反映表面接触的实际情况。
在屏幕表面均匀分出66个尺寸为1cm×1cm的方格作为触点位置用于后续神经网络训练和判断。
首先构造神经网络并采集原始数据对其进行训练。通过压电陶瓷片Ⅰ2发射脉冲信号，利用压电陶瓷片Ⅱ4和压电陶瓷片Ⅲ5进行接收，以采集在屏幕表面无液体覆盖和有液体覆盖两种情况下在不同触点位置施加不同压力的信号。通过控制重物质量的方法来改变压力大小。将采集得到的原始数据和相应物理信息制成的标签(触点位置、触点压强)组合成数据集对构造好的神经网络进行训练。
将采集得到的数据集均匀打乱后分出70％作为训练集，另30％作为测试集，进行神经网络的训练。将训练后得到的神经网络参数固定，将程序送入jetson TX1开发版7中、即能用于屏幕表面无水覆盖和有水覆盖等多场景的触点位置、压力预测。
工作过程：使用该声学触屏系统时，将信号发生器连接2号压电陶瓷片Ⅰ2，后置信号放大器输入端连接压电陶瓷片Ⅱ4和压电陶瓷片Ⅲ5，输出端连接jetson TX1开发版7。打开信号发生器1、后置信号放大器6，利用信号发生器驱动压电陶瓷片以发射激励信号，适当调试示波器，当无手指按压触屏情况下的波形稳定时即可开始测试。手指直接在屏幕上施加压力后神经网络即可处理采集到的触屏信号，输出触点的位置和压强。
Claims (6)
1.一种基于泄露兰姆波和卷积神经网络的水下声学3D触屏系统，包括硬件模块与软件模块两个部分，其特征在于，所述硬件部分包括玻璃板（3），封装隔水板，作为激励信号发射源的压电陶瓷片Ⅰ（2），作为信号接收源的压电陶瓷片Ⅱ（4）和压电陶瓷片Ⅲ（5），用于驱动压电陶瓷片发射激励信号的信号发生器（1），后置信号放大器（6）和jetson TX1开发版（7）；所述压电陶瓷片Ⅰ（2）、压电陶瓷片Ⅱ（4）和压电陶瓷片Ⅲ（5）分别粘在玻璃板（3）一条短边的两个顶点处和另一短边的中点处，压电陶瓷片Ⅰ与信号发生器（1）相连；后置信号放大器（6）输入端连接压电陶瓷片Ⅱ（4）和压电陶瓷片Ⅲ（5），输出端连接jetson TX1开发版（7）；所述玻璃板（3）与封装隔水板构成的一个空心长方体结构，信号发生器（1）、后置信号放大器（6）和jetson TX1开发版（7）被固定封装在所述空心长方体中；
所述软件部分包括利用tensorflow设计的深度卷积神经网络。
2.根据权利要求1所述的基于泄露兰姆波和卷积神经网络的水下声学3D触屏系统，其特征在于，所述玻璃板（3）边界处具有能够吸收反射波的吸声材料。
3.根据权利要求2所述的基于泄露兰姆波和卷积神经网络的水下声学3D触屏系统，其特征在于，所述吸声材料为环氧树脂-A胶、环氧树脂-B胶、钨粉和石墨颗粒的组合。
4.根据权利要求1所述的基于泄露兰姆波和卷积神经网络的水下声学3D触屏系统，其特征在于，在所述jetson TX1开发版（7）中运行的是训练好的深度卷积神经网络程序，进行水下屏上触控位置与压力大小的实时探测。
5.根据权利要求1所述的基于泄露兰姆波和卷积神经网络的水下声学3D触屏系统，其特征在于，压电陶瓷片粘于玻璃板边界处的材料为α-氰基丙烯酸乙酯、阻聚剂或增粘剂。
6.根据权利要求1所述的基于泄露兰姆波和卷积神经网络的水下声学3D触屏系统，其特征在于，所述后置信号放大器（6）对接收到的超声信号放大倍数为500-2000倍。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210080470.8A CN114415867A (zh) | 2022-01-24 | 2022-01-24 | 基于泄露兰姆波和卷积神经网络的水下声学3d触屏系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210080470.8A CN114415867A (zh) | 2022-01-24 | 2022-01-24 | 基于泄露兰姆波和卷积神经网络的水下声学3d触屏系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114415867A true CN114415867A (zh) | 2022-04-29 |
Family
ID=81278193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210080470.8A Pending CN114415867A (zh) | 2022-01-24 | 2022-01-24 | 基于泄露兰姆波和卷积神经网络的水下声学3d触屏系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114415867A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040178998A1 (en) * | 2003-03-14 | 2004-09-16 | Sharp Jeffrey L. | Water tolerant touch sensor |
| US20180341347A1 (en) * | 2017-05-24 | 2018-11-29 | Apple Inc. | Differential acoustic touch and force sensing |
| CN110044522A (zh) * | 2019-03-25 | 2019-07-23 | 北京航空航天大学 | 一种利用神经网络实现压电式压力检测触屏压电响应均匀化的方法 |
| CN111459324A (zh) * | 2020-03-30 | 2020-07-28 | 北京工业大学 | 一种超声兰姆波触控屏 |
| CN113010047A (zh) * | 2019-12-20 | 2021-06-22 | 斯沃奇集团研究及开发有限公司 | 用于确定在给定的表面上的物体的位置的方法和装置 |
-
2022
- 2022-01-24 CN CN202210080470.8A patent/CN114415867A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040178998A1 (en) * | 2003-03-14 | 2004-09-16 | Sharp Jeffrey L. | Water tolerant touch sensor |
| US20180341347A1 (en) * | 2017-05-24 | 2018-11-29 | Apple Inc. | Differential acoustic touch and force sensing |
| CN110044522A (zh) * | 2019-03-25 | 2019-07-23 | 北京航空航天大学 | 一种利用神经网络实现压电式压力检测触屏压电响应均匀化的方法 |
| CN113010047A (zh) * | 2019-12-20 | 2021-06-22 | 斯沃奇集团研究及开发有限公司 | 用于确定在给定的表面上的物体的位置的方法和装置 |
| CN111459324A (zh) * | 2020-03-30 | 2020-07-28 | 北京工业大学 | 一种超声兰姆波触控屏 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103344959B (zh) | 一种超声定位系统和具有定位功能的电子装置 | |
| CN1902573B (zh) | 采用脉冲重构的触敏装置 | |
| Deutsch et al. | Self-focusing of Rayleigh waves and Lamb waves with a linear phased array | |
| CA1172347A (en) | Ultrasonic sensing | |
| CN102819035B (zh) | 一种非接触超声波检测方法 | |
| CN103575806B (zh) | 低功耗超声相控阵收发装置 | |
| ES2083562T3 (es) | Acoplamiento inductivo de entrada/salida para un dispositivo de onda acustica superficial. | |
| CN105406611A (zh) | 确定过金属壁超声无线能量传输通道优化频率的装置及方法 | |
| CN100561214C (zh) | 便携式机车车辆轮对踏面电磁超声探伤仪 | |
| CN102818841B (zh) | 一种非接触固体地质模型超声波自动检测系统 | |
| CN108267508A (zh) | 一种基于Android设备的多通道超声探伤系统 | |
| CN103308012A (zh) | 混凝土路面厚度检测系统及检测方法 | |
| CN102375624A (zh) | 平板结构的超声波手写板 | |
| CN101706477A (zh) | 一种基于电磁超声斜入射体波的检测装置及方法 | |
| CN104764522A (zh) | 一种超声功率测量方法及装置 | |
| CN107132279A (zh) | 一种基于阵列超声表面波的构件损伤概率成像定位方法 | |
| CN104614442A (zh) | 超声波测定方法以及装置 | |
| CN109270540A (zh) | 基于微机电压电超声波换能器阵列的连续超声波测距装置及方法 | |
| CN114415867A (zh) | 基于泄露兰姆波和卷积神经网络的水下声学3d触屏系统 | |
| US4462256A (en) | Lightweight, broadband Rayleigh wave transducer | |
| CN109142215A (zh) | 一种用于非导电材料激光冲击波结合力检测的电磁感应胶带 | |
| CN210427470U (zh) | 一种声发射传感器的幅频特性的测试系统 | |
| CN2929860Y (zh) | 用于检测车位的无线传感器网络节点设备 | |
| Fang et al. | Fingertip pulse-echo ultrasound and optoacoustic dual-modal and dual sensing mechanisms near-distance sensor for ranging and material sensing in robotic grasping | |
| CN100501394C (zh) | 对物体进行超声波检测的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |