CN111459324A - 一种超声兰姆波触控屏 - Google Patents

一种超声兰姆波触控屏 Download PDF

Info

Publication number
CN111459324A
CN111459324A CN202010233693.4A CN202010233693A CN111459324A CN 111459324 A CN111459324 A CN 111459324A CN 202010233693 A CN202010233693 A CN 202010233693A CN 111459324 A CN111459324 A CN 111459324A
Authority
CN
China
Prior art keywords
touch
lamb wave
screen
ultrasonic
excitation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010233693.4A
Other languages
English (en)
Other versions
CN111459324B (zh
Inventor
吴斌
王耀辉
刘秀成
何存富
裴宁
杨增冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Langzhao Technology Beijing Co ltd
Original Assignee
Langzhao Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Langzhao Technology Beijing Co ltd filed Critical Langzhao Technology Beijing Co ltd
Priority to CN202010233693.4A priority Critical patent/CN111459324B/zh
Publication of CN111459324A publication Critical patent/CN111459324A/zh
Application granted granted Critical
Publication of CN111459324B publication Critical patent/CN111459324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种超声兰姆波触控屏，触控介质对超声兰姆波声场的扰动作用随触控介质位置而变化，通过预先标定触控介质的超声兰姆波声指纹库，在实际应用时，利用智能算法将实测信号与预先标定的声指纹库进行匹配，实现触控介质在屏板的定位。超声兰姆波触控屏主要由主控系统、超声激励接收模块、感知屏和显示屏模块构成。ARM用于内置算法程序实现声指纹识别确定触控介质在感知屏的位置坐标，转换成控制指令通过MIPI接口与显示屏进行通讯，在识别的位置坐标处实现程序触控。本发明公布的超声兰姆波触控屏可对非导电触控介质进行定位识别，并可借鉴用于机器人触觉系统设计等。

Description

一种超声兰姆波触控屏
技术领域
本发明属于智能电子产品设计领域，具体涉及一种超声兰姆波触控屏，利用超声兰姆波与触控介质的相互作用，实现用户触控动作的人机界面交互。
背景技术
触控屏主要用于捕获和识别用户动作，以根据预先设置的程序驱动各种链接设备，实现人机界面交互。目前主流的投射式电容触控技术面向的触控介质必须为导电材料，当屏幕表面存在污染物(水、汗渍等导电介质)或存在电磁干扰环境中时，易出现无法触控或误操作现象。
超声兰姆波是在可在屏板中传播的超声导波，当外加触控介质触碰屏板时，会对原有超声波场进行扰动，也即扰动之后的信号携带有触控介质的位置、载荷大小等信息。超声兰姆波对触控介质触碰动作进行检测的有效性不受触控介质导电性、屏幕表面已有污染物等因素影响，具有相较电容触控屏的天然优势，包括：(1)适用于大尺寸屏幕。薄板结构中传播的兰姆波能量衰减小，可对大范围内的触屏载荷进行检测；(2)硬件成本低。可采用几个压电传感器件在普通均质薄板中构建或感知超声兰姆波场，信号激励与接收电路的集成化程度高，对屏幕材质和透光性没有严苛要求，也不涉及复杂加工工艺；(3)兰姆波具有多模态和频散特性，与触屏载荷相互作用后产生的反射、透射信号蕴含丰富的载荷特征(接触位置、面积、载荷大小等)信息，可用于触屏载荷识别和触觉跟踪等。
本发明即公布了一种超声兰姆波触控屏设计方案，包括其硬件构成、基本功能实现步骤等，可以应用于人机智能交互系统甚至机器人触觉感知系统。
发明内容
本发明的目的在于提供一种超声兰姆波触控屏设计方案，该设计主要由主控系统、超声激励接收模块、感知屏和显示屏四个模块四个模块组成。主控系统的超声激励模块产生的高压脉冲信号驱动压电元件在感知屏中产生超声兰姆波声场，触控介质产生的声指纹信号被超声接收模块接收，调用主控系统ARM智能模型将实测声指纹信号与预先标定的声指纹库进行识别匹配，控制显示屏转换程序触发指令在显示屏上成像。
为实现上述目的，本发明采用的技术方案如下：
一种超声兰姆波触控屏，其工作原理是首先在感知屏上建立超声兰姆波声场并建立声指纹信号库，其次检测感知屏不同位置存在触控介质时超声兰姆波声场的扰动信号，利用智能算法对扰动信号与声指纹信号库进行匹配识别以确定触控介质位置，并转换程序触发指令在显示屏上成像，其特征在于包括以下步骤：
1)将感知屏的人机交互区域按照一定密度进行区域划分为N×M个等尺寸网格，利用FPGA控制超声激励接收模块中的高压脉冲激励电路输出脉冲电压信号，激励布置于感知屏的压电元件，在感知屏中构建兰姆波声场，利用运动平台控制触控载荷模拟器逐一触碰所有N×M网格像素，布置于感知屏周边的接收压电元件检测兰姆波信号，存储在主控系统的SD存储卡中；
2)利用ARM建立与上位机的通讯，将SD存储卡中的N×M个检测数据导出至上位机，并对它们的位置坐标信息进行排序以及标签标记，建立N×M个检测数据波形为输入、N×M个位置坐标标签为输出的神经网络智能识别模型，并存储成ARM可识别的模型文件；
3)触控介质在人机交换区域任一位置触碰感知屏后，接收压电元件检测的兰姆波信号通过多通道采集电路将进入ARM调用的模型文件，在模型文件中进行匹配识别输出识别的位置坐标，转换成显示屏中对应坐标区域像素的程序触发指令，通过MIPI接口在显示屏上成像显示触屏动作所在位置。
本发明具有的有益技术效果：利用FPGA激励压电元件在感知屏建立了超声兰姆波声场，控制触控载荷模拟器逐个扫描组成了N×M网格像素组成的声指纹信号库，利用APM中导入的智能识别模型实现了对扰动声波信号位置的定位，进一步转换程序触发指令通过MIPI接口在显示屏上成像。
附图说明
图1：超声兰姆波触控屏构成示意图。
图2：触控介质对兰姆波声场的影响示意图。
图3：触控介质声指纹库的建立。
图4：触控载荷模拟器。
图中：1-激励压电元件 2-显示屏 3-感知屏 4-1第一接收压电元件 4-2第二接收压电元件 5-嵌入式电路系统 6-MIPI接口 7-高压脉冲激励信号 8-人机交互有效区域 9-1第一声指纹信号，9-2第二声指纹信号 10-触控介质 11-扰动声场 12-触控载荷模拟器13-声指纹库
具体实施方式
下面结合附图和实施例对本发明做进一步说明。
本发明为一种超声兰姆波触控屏，利用触控介质对超声兰姆波声场的扰动作用随触控介质位置而变化，通过控制触控载荷模拟器在人机交互有效区域建立预先标定的超声兰姆波声指纹库，在实际应用时利用智能算法将实测信号与预先标定的声指纹库进行匹配，实现触控介质在触控屏的定位与成像。
如图1所示为本发明具体实施例的超声兰姆波触控屏构成示意图，具体由主控系统5、感知屏3、显示屏2和超声激励接收模块的激励压电元件1、接受压电元件4以及用于连接的MIPI接口组成。主控系统5利用FPGA控制超声激励模块中的高压脉冲激励电路在激励端口输出高压脉冲电压信号，通过SMB接口驱动布置于感知屏3的激励压电元件1，在感知屏3中构建超声兰姆波声场，布置于感知屏3周边的接收压电元件4检测兰姆波信号，兰姆波信号通过SMB接口连接主控系统5的多通道数据采集电路接收端口，并进行多通道数据采集平均和快速傅里叶变换等预处理，主控系统5中的ARM将检测兰姆波信号与SD存储卡中的模型文件进行载荷智能识别，结果经数据转换后通过HDMI接口6在显示屏2上成像显示触屏动作位置。
图2为本发明具体实施例的触控介质对超声兰姆波声场的影响示意图，具体由主控系统产生的高压脉冲激励信号7、感知屏3、激励压电元件1、第一接收压电元件4-1和第二接收压电元件4-2、触控介质10等组成。主控系统产生的高压脉冲激励信号7驱动布置于感知屏3的激励压电元件1构建超声兰姆波声场，触控介质10作用在人机交互有效区域8产生的扰动声场11改变原有的超声兰姆波声场，在感知屏中经进一步传播形成包含触控介质10所在位置信息的第一声指纹信号9-1和第二声指纹信号9-2分别被第一接收压电元件4-1和第二接收压电元件4-2接收。
图3为本发明具体实施例的触控介质声指纹库的建立，将感知屏3按照一定密度进行区域划分为N×M个等尺寸网格，利用运动平台控制触控载荷模拟器12逐一触碰所有N×M网格像素，并记录存储检测的兰姆波信号，形成由N×M个包含位置坐标信息的检测信号所组成的声指纹库13。
图4为本发明具体实施例的触控载荷模拟器，内筒里的压力传感器12-2由螺栓固定在触控盖板12-1上，外筒12-4固定于位移平台的Z轴，调节位移平台Z轴位移使得屏板对底端触头12-5产生挤压，通过控制Z轴的位移压缩内置弹簧12-3以控制触控力的大小，触控力的大小通过压力传感器12-2实时测得，在底端触头12-5处可通过螺栓连接不同触控面积的触控介质，更换触头12-5可以实现对触控面积的调整。

Claims (6)

1.一种超声兰姆波触控屏，其特征在于：由主控系统、感知屏、显示屏和超声激励接收模块的激励压电元件、接受压电元件以及用于连接的MIPI接口组成；主控系统利用FPGA控制超声激励模块中的高压脉冲激励电路在激励端口输出高压脉冲电压信号，通过SMB接口驱动布置于感知屏的激励压电元件，在感知屏中构建超声兰姆波声场，布置于感知屏周边的接收压电元件检测兰姆波信号，兰姆波信号通过SMB接口连接主控系统的多通道数据采集电路接收端口，并进行多通道数据采集平均和快速傅里叶变换预处理，主控系统中的ARM将检测兰姆波信号与SD存储卡中的模型文件进行载荷智能识别，结果经数据转换后通过HDMI接口在显示屏上成像显示触屏动作位置。
2.根据权利要求1所述的一种超声兰姆波触控屏，其特征在于：主控系统采用ARM+FPGA架构，利用FPGA控制超声激励接收模块中的高压脉冲激励电路输出脉冲电压，以驱动布置于感知屏的压电元件；在感知屏板中构建超声兰姆波声场，布置于感知屏周边的接收压电元件检测兰姆波信号，被多通道数据采集电路接收，并进入ARM进行信号处理和特征识别，确定触控介质在感知屏的位置，转换成控制指令通过MIPI接口与显示屏进行通讯。
3.根据权利要求1所述的一种超声兰姆波触控屏，其特征在于：主控系统产生的高压脉冲激励信号驱动布置于感知屏的激励压电元件构建超声兰姆波声场，触控介质作用在人机交互有效区域产生的扰动声场改变原有的超声兰姆波声场，在感知屏中经进一步传播形成包含触控介质所在位置信息的第一声指纹信号和第二声指纹信号分别被第一接收压电元件和第二接收压电元件接收。
4.根据权利要求1所述的一种超声兰姆波触控屏，其特征在于：将感知屏按照一定密度进行区域划分为N×M个等尺寸网格，利用运动平台控制触控载荷模拟器逐一触碰所有N×M网格像素，并记录存储检测的兰姆波信号，形成由N×M个包含位置坐标信息的检测信号所组成的声指纹库。
5.根据权利要求4所述的一种超声兰姆波触控屏，其特征在于：触控载荷模拟器中，内筒里的压力传感器由螺栓固定在触控盖板上，外筒固定于位移平台的Z轴，调节位移平台Z轴位移使得屏板对底端触头产生挤压，通过控制Z轴的位移压缩内置弹簧以控制触控力的大小，触控力的大小通过压力传感器实时测得，在底端触头处通过螺栓连接不同触控面积的触控介质，更换触头实现对触控面积的调整。
6.根据权利要求1所述的一种超声兰姆波触控屏，其特征在于：其功能实现步骤如下：
a.将感知屏进行区域划分为N×M个等尺寸网格，利用超声激励接收模块在感知屏中进行超声兰姆波声场构建及信号采集，利用触控载荷模拟器逐一触碰所有网格像素，并记录检测的兰姆波信号，存储在主控系统的SD存储卡中；
b.将SD存储卡中的N×M个检测数据导出至上位机，并以它们的位置坐标信息进行标签标记，以神经网络等算法建立N×M个检测数据波形为输入、N×M个位置坐标为输出的智能识别模型，并存储成ARM可识别的模型文件；
c.将模型文件导入主控系统的SD存储卡，实际触控介质在任一位置触屏感知屏后，接收压电元件检测的兰姆波信号将进入ARM调用的模型文件，输出识别的位置坐标，转换成显示屏中对应区域像素的程序触发指令，通过MIPI接口与显示屏进行人机界面交互。
CN202010233693.4A 2020-03-30 2020-03-30 一种超声兰姆波触控屏 Active CN111459324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010233693.4A CN111459324B (zh) 2020-03-30 2020-03-30 一种超声兰姆波触控屏

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010233693.4A CN111459324B (zh) 2020-03-30 2020-03-30 一种超声兰姆波触控屏

Publications (2)

Publication Number Publication Date
CN111459324A true CN111459324A (zh) 2020-07-28
CN111459324B CN111459324B (zh) 2023-06-30

Family

ID=71684339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010233693.4A Active CN111459324B (zh) 2020-03-30 2020-03-30 一种超声兰姆波触控屏

Country Status (1)

Country Link
CN (1) CN111459324B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010038A (zh) * 2021-02-09 2021-06-22 北京工业大学 一种基于超分辨率重构的超声兰姆波触控载荷识别方法
CN114260927A (zh) * 2021-12-16 2022-04-01 北京工业大学 一种基于超声兰姆波的机器人感知皮肤
CN114415867A (zh) * 2022-01-24 2022-04-29 南京大学 基于泄露兰姆波和卷积神经网络的水下声学3d触屏系统
WO2022178792A1 (zh) * 2021-02-26 2022-09-01 京东方科技集团股份有限公司 触觉再现系统及驱动方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080195353A1 (en) * 2007-02-14 2008-08-14 Mitutoyo Corporation Profiling controlling method and controller for contact type probes, and contact type measuring machine
CN102539536A (zh) * 2011-12-19 2012-07-04 北京工业大学 一种单层板兰姆波非接触式波速提取的方法
US20150286341A1 (en) * 2012-11-21 2015-10-08 The Board Of Trustees Of The Leland Stanford Junior University multi-touch ultrasonic touch screen
US20160246374A1 (en) * 2015-02-20 2016-08-25 Ultrahaptics Limited Perceptions in a Haptic System
US20180101255A1 (en) * 2016-10-12 2018-04-12 The Board Of Trustees Of The Leland Stanford Junior University Methods for multi-touch ultrasonic touchscreens
CN110045019A (zh) * 2019-05-08 2019-07-23 南昌航空大学 一种薄板空气耦合超声兰姆波全聚焦成像检测方法
CN110497425A (zh) * 2018-05-17 2019-11-26 张家港市光武智能科技有限公司 一种基于兰姆波与瑞利波的机器人皮肤
CN110633601A (zh) * 2018-06-22 2019-12-31 华为技术有限公司 一种超声导波换能器、终端设备和指纹识别方法
CN110688800A (zh) * 2019-09-29 2020-01-14 桂林电子科技大学 一种基于art算法的超声波无损检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080195353A1 (en) * 2007-02-14 2008-08-14 Mitutoyo Corporation Profiling controlling method and controller for contact type probes, and contact type measuring machine
CN102539536A (zh) * 2011-12-19 2012-07-04 北京工业大学 一种单层板兰姆波非接触式波速提取的方法
US20150286341A1 (en) * 2012-11-21 2015-10-08 The Board Of Trustees Of The Leland Stanford Junior University multi-touch ultrasonic touch screen
US20160246374A1 (en) * 2015-02-20 2016-08-25 Ultrahaptics Limited Perceptions in a Haptic System
US20180101255A1 (en) * 2016-10-12 2018-04-12 The Board Of Trustees Of The Leland Stanford Junior University Methods for multi-touch ultrasonic touchscreens
CN110497425A (zh) * 2018-05-17 2019-11-26 张家港市光武智能科技有限公司 一种基于兰姆波与瑞利波的机器人皮肤
CN110633601A (zh) * 2018-06-22 2019-12-31 华为技术有限公司 一种超声导波换能器、终端设备和指纹识别方法
CN110045019A (zh) * 2019-05-08 2019-07-23 南昌航空大学 一种薄板空气耦合超声兰姆波全聚焦成像检测方法
CN110688800A (zh) * 2019-09-29 2020-01-14 桂林电子科技大学 一种基于art算法的超声波无损检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAMYAR FIROUZI等: "Multitouch touchscreen using reverberant lamb waves", 《IEEE》 *
刘钊等: "超声兰姆波阵列检测系统", 《新型工业化》 *
杜刚: "基于FPGA的无线触控屏控制器设计", 《机械研究与应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010038A (zh) * 2021-02-09 2021-06-22 北京工业大学 一种基于超分辨率重构的超声兰姆波触控载荷识别方法
CN113010038B (zh) * 2021-02-09 2024-02-02 北京工业大学 一种基于超分辨率重构的超声兰姆波触控载荷识别方法
WO2022178792A1 (zh) * 2021-02-26 2022-09-01 京东方科技集团股份有限公司 触觉再现系统及驱动方法
CN114260927A (zh) * 2021-12-16 2022-04-01 北京工业大学 一种基于超声兰姆波的机器人感知皮肤
CN114415867A (zh) * 2022-01-24 2022-04-29 南京大学 基于泄露兰姆波和卷积神经网络的水下声学3d触屏系统

Also Published As

Publication number Publication date
CN111459324B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN111459324A (zh) 一种超声兰姆波触控屏
US9395845B2 (en) Probabilistic latency modeling
CN106446801B (zh) 基于超声主动探测的微手势识别方法及系统
CN103018994B (zh) 内嵌式多点触控液晶显示面板系统
CN105549766B (zh) 输入系统及使用输入系统检测触摸的方法
CN102135829B (zh) 驱动触碰面板系统的方法
CN106030483A (zh) 使用压感触摸的触摸屏的功率模式的动态切换
CN103793099B (zh) 触摸感测系统及用以减少其延迟的方法
CN105528592A (zh) 一种指纹扫描和手势识别方法及装置
Agrawal et al. An Overview of Tactile Sensing
CN105027025A (zh) 对唤醒信号改善响应时间的数字化系统
CN106484178A (zh) 触控笔、触摸感测系统以及触摸感测系统的驱动方法
CN108255333A (zh) 触摸感测系统及其驱动方法
CN105807990B (zh) 显示屏、触控笔以及显示模组
CN104093016A (zh) 一种摄像头模组脏污检测方法及系统
US10627950B2 (en) Touch control panel, terminal device and method for detecting touch point
CN104423765A (zh) 具有触摸传感器的电子设备及其驱动方法
CN110210435A (zh) 一种显示面板、其控制方法及显示装置
CN105067705A (zh) 一种基于LabVIEW的超声无损检测特征成像系统
CN106250883A (zh) 压力指纹识别方法、装置及终端设备
CN108351715A (zh) 应用于人体触摸的常驻传感器设备
CN103217120B (zh) 一种激光测厚方法及装置
CN109840028A (zh) 触摸感测装置和使用该触摸感测装置的图像显示装置
CN103699282B (zh) 触控显示装置
CN203324953U (zh) 一种电容触控设备及便携式电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant