CN111694435B - 一种基于惯性传感单元的可穿戴触摸检测方法 - Google Patents
一种基于惯性传感单元的可穿戴触摸检测方法 Download PDFInfo
- Publication number
- CN111694435B CN111694435B CN202010550315.9A CN202010550315A CN111694435B CN 111694435 B CN111694435 B CN 111694435B CN 202010550315 A CN202010550315 A CN 202010550315A CN 111694435 B CN111694435 B CN 111694435B
- Authority
- CN
- China
- Prior art keywords
- data
- touch
- neural network
- training
- sensing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 238000003062 neural network model Methods 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000005284 excitation Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 5
- 210000001145 finger joint Anatomy 0.000 claims description 3
- 210000004905 finger nail Anatomy 0.000 claims description 3
- 230000036544 posture Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 12
- 238000007689 inspection Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 14
- 238000000034 method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 210000000282 nail Anatomy 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于惯性传感单元的可穿戴触摸检测方法，涉及触摸检测技术领域，包括以下步骤：搭建并训练神经网络模型，建立运动检测模型；装配惯性传感器，采集手指的运动信息；将运动信息特征信号传输至所述运动检测模型进行检查，并输出结果。通过在任何物理表面上实现触摸识别，无需在这些表面安装任何触摸传感器，其必须的硬件设施非常少，最少仅需要一个惯性传感器安装在手指或者指甲上，方便携带，并可以设计成各种可穿戴设备，成本低，计算所需的数据量更小，计算方法更简单，计算速度也很快，另外触摸检测可靠度高。
Description
技术领域
本发明涉及触摸检测技术领域，具体来说，涉及一种基于惯性传感单元的可穿戴触摸检测方法。
背景技术
触摸检测技术已行之有年。一般而言，触摸检测装置是包含根据电阻、电容、红外线、表面声波、力以及弯曲波等判断触摸位置的产品。这些利用声波来判断触摸位置的装置是基于测量行进时间、或测量相位差及/或将屏幕特征化。
目前的触摸检测技术有以下几种常见的类型：
1.类触控板的触摸技术，例如常见的电脑触控板，触摸屏等等。此类触摸检测技术有比较广泛的应用和成熟的技术。但是缺点也很明显，就是触摸交互的界面必须是一块预先设计制作的电子板，例如触控屏，此类技术无法在普通物理表面上实现触摸交互。
2.摄像头式的触摸检测技术。此类技术可以检测手指在任何物体表面的触摸，对交互界面的要求更加少。基于摄像头的触摸交互技术存在以下缺点：第一，基于摄像头的触摸设备极大的受到光线和阻碍物的影响，如果摄像头不是直接对准手指，便无法识别触摸动作；第二，摄像头本身也比较不易携带和安装；第三，某些摄像头，例如深度摄像头，会具有相对比较高的成本。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于惯性传感单元的可穿戴触摸检测方法，以克服现有相关技术所存在的上述技术问题。
本发明的技术方案是这样实现的：
一种基于惯性传感单元的可穿戴触摸检测方法，包括以下步骤：
搭建并训练神经网络模型，建立运动检测模型；
训练神经网络模型，包括以下步骤：
选取若干正常人，给手指三个位置佩戴惯性传感单元，然后触摸日常物体记录数据；
将手悬在空中，分别进行行走、坐下、站立等姿势，记录数据，为非触摸数据；
将数模数据和非触摸数据标记好后，送入神经网络进行训练，直到连续一百次训练得到的模型准确度的上下区间小于0.1％，停止训练；
装配惯性传感器，采集手指的运动信息；
将运动信息特征信号传输至所述运动检测模型进行检查，并输出结果。
进一步的，神经网络模型，包括数据结构、卷积层1、激励函数、池化、卷积层2、卷积层3、全连接1和全连接2。
进一步的，装配惯性传感器，包括将惯性传感器装配手指的指甲或以指环形式带在手指关节上。
本发明的有益效果：
本发明通过在任何物理表面上实现触摸识别，无需在这些表面安装任何触摸传感器，其必须的硬件设施非常少，最少仅需要一个惯性传感器安装在手指或者指甲上，方便携带，并可以设计成各种可穿戴设备，成本低，计算所需的数据量更小，计算方法更简单，计算速度也很快，另外触摸检测可靠度高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于惯性传感单元的可穿戴触摸检测方法的流程示意图；
图2是根据本发明实施例的一种基于惯性传感单元的可穿戴触摸检测方法的模型示意图；
图3是根据本发明实施例的一种基于惯性传感单元的可穿戴触摸检测方法的数据示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种基于惯性传感单元的可穿戴触摸检测方法。
如图1-图3所示，根据本发明实施例的基于惯性传感单元的可穿戴触摸检测方法，包括以下步骤：
步骤S1，搭建并训练神经网络模型，建立运动检测模型；
步骤S2，装配惯性传感器，采集手指的运动信息；
步骤S3，将运动信息特征信号传输至所述运动检测模型进行检查，并输出结果。
借助于上述技术方案，通过在任何物理表面上实现触摸识别，无需在这些表面安装任何触摸传感器，其必须的硬件设施非常少，最少仅需要一个惯性传感器安装在手指或者指甲上，方便携带，并可以设计成各种可穿戴设备，成本低，计算所需的数据量更小，计算方法更简单，计算速度也很快，另外触摸检测可靠度高。
其中，神经网络模型，包括数据结构、卷积层1、激励函数、池化、卷积层2、卷积层3、全连接1和全连接2。
具体的，如图2所示，神经网络模型，包括以下结构：
I.数据结构；
II.卷积层1：输入1通道，输出16通道，核心为3x3，步长为1；
III.激励函数+池化：激励函数用relu(Rectified Linear Unit线性整流函数)，池化核心为3x3；
IV.卷积层2：输入16通道，输出32通道，核心为5x5，步长为1；
V.激励函数+池化：激励函数用relu，池化核心为3x3；
VI.卷积层3：输入32通道，输出120通道，核心为5x5，步长为1；
VII.激励函数+池化：激励函数用relu；
VIII.全连接1：输入长度为600，输出长度为512；
IX.激励函数用relu；
X.全连接2：输入长度为512，输出长度为128；
XI.激励函数用relu；
XII.全连接2：输入长度为128，输出长度为2(表示是否触摸)；
XIII.激励函数用softmax(softmax逻辑回归)；
而对于上述数据结构来说，如图3所示，数据样例为时序数据，传感器单次读取一组数据，也就是上图的一列。根据采样频率的不同，单次数据可以代表不同的长度。每次读取一定长度的数据之后，一起送入神经网络进行判断。当进行完一次预测之后，最早的1组数据会被丢弃，然后继续读取一组，连接在数据组的尾部，组成新的数据，送入神经网络，以此往复。
其中，训练神经网络模型，包括以下步骤：
选取若干正常人，给手指三个位置佩戴惯性传感单元，然后触摸日常物体记录数据；
将手悬在空中，分别进行行走、坐下、站立等姿势，记录数据，为非触摸数据；
将数模数据和非触摸数据标记好后，送入神经网络进行训练，直到连续一百次训练得到的模型准确度的上下区间小于0.1％，停止训练。
其中，装配惯性传感器，包括将惯性传感器装配手指的指甲或以指环形式带在手指关节上。
另外，神经网络用PyTorch搭建，PyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序。
由Facebook人工智能研究院(FAIR)基于Torch推出了PyTorch。它是一个基于Python的可续计算包，提供两个高级功能：1、具有强大的GPU加速的张量计算(如NumPy)。2、包含自动求导系统的的深度神经网络。
PyTorch的前身是Torch，其底层和Torch框架一样，但是使用Python重新写了很多内容，不仅更加灵活，支持动态图，而且提供了Python接口。它是由Torch7团队开发，是一个以Python优先的深度学习框架，不仅能够实现强大的GPU加速，同时还支持动态神经网络，这是很多主流深度学习框架比如Tensorflow等都不支持的。PyTorch既可以看作加入了GPU支持的numpy，同时也可以看成一个拥有自动求导功能的强大的深度神经网络。
具体的，将惯性传感单元的一定时间内(例如50毫秒，这个时间的长短从实验的结果来看最好在50～150毫秒之间)的加速度计的数据求离散导数(相邻的数据作差)，然后将得到的时间序列数据送入神经网络进行模型训练或者触摸检测。同时，通过对惯性传感单元的旋转角度的分析，可以知道手指的具体运动轨迹或者位置。具体做法是，将加速度计、陀螺仪和地磁仪的数据用MadgwickAHRS算法求得惯性传感单元的绝对旋转角度，然后旋转信息来对应到二维的位置信息。将两个信息(是否触摸和手指的二维位置信息)同时处理，就可以在任何物体表面实现单指触摸交互(包括触摸定位)。
综上所述，借助于本发明的上述技术方案，可实现如下效果：
1.可以在任何物理表面上实现触摸识别，同时，无需在这些表面安装任何触摸传感器。
2.必须的硬件设施非常少，最少仅需要一个惯性传感器安装在手指或者指甲上，方便携带，并可以设计成各种可穿戴设备。
3.成本低，由于惯性传感单元的成本很低，所以实现这个技术所需要的硬件成本很低。
4.相比于摄像头(计算机视觉)的方法，本方法计算所需的数据量更小，计算方法更简单，计算速度也很快。
5.触摸检测可靠度高。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于惯性传感单元的可穿戴触摸检测方法，其特征在于，包括以下步骤：
搭建并训练神经网络模型；
训练神经网络模型，包括以下步骤：
选取若干正常人，给手指三个位置佩戴惯性传感单元，然后触摸日常物体记录数据；
将手悬在空中，分别进行行走、坐下、站立姿势，记录数据，为非触摸数据；
将触摸数据和非触摸数据标记好后，送入神经网络进行训练，直到连续一百次训练得到的模型准确度的上下区间小于0.1%，停止训练，而将触摸数据和非触摸数据标记好后，送入神经网络进行训练的具体方式为：
将惯性传感单元在一定时间内的加速度计的数据求离散导数，即相邻的数据作差，然后将得到的时间序列数据送入神经网络进行模型训练，训练好的神经网络模型用于检测是否有触摸，而一定时间选择在50~150毫秒之间；
装配惯性传感器，采集手指的运动信息，其具体方式为：
将加速度计、陀螺仪和地磁仪的数据用Madgwick AHRS算法求得惯性传感单元的绝对旋转角度，然后旋转信息来对应到二维的位置信息，将是否触摸和手指的二维位置信息同时处理，就可以在任何物体表面实现单指触摸交互。
2.根据权利要求1所述的基于惯性传感单元的可穿戴触摸检测方法，其特征在于，神经网络模型，包括数据结构、卷积层1、激励函数、池化、卷积层2、卷积层3、全连接1和全连接2。
3.根据权利要求1所述的基于惯性传感单元的可穿戴触摸检测方法，其特征在于，装配惯性传感器，包括将惯性传感器装配手指的指甲或以指环形式带在手指关节上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010550315.9A CN111694435B (zh) | 2020-06-16 | 2020-06-16 | 一种基于惯性传感单元的可穿戴触摸检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010550315.9A CN111694435B (zh) | 2020-06-16 | 2020-06-16 | 一种基于惯性传感单元的可穿戴触摸检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111694435A CN111694435A (zh) | 2020-09-22 |
| CN111694435B true CN111694435B (zh) | 2024-02-02 |
Family
ID=72481530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010550315.9A Active CN111694435B (zh) | 2020-06-16 | 2020-06-16 | 一种基于惯性传感单元的可穿戴触摸检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111694435B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103105945A (zh) * | 2012-12-17 | 2013-05-15 | 中国科学院计算技术研究所 | 一种支持多点触摸手势的人机交互戒指 |
| CN106922185A (zh) * | 2014-09-30 | 2017-07-04 | 微软技术许可有限责任公司 | 经由可穿戴和移动设备的基于自然运动的控制 |
| CN109919034A (zh) * | 2019-01-31 | 2019-06-21 | 厦门大学 | 一种肢体动作识别与纠正辅助训练系统及方法 |
| KR20190102924A (ko) * | 2018-02-27 | 2019-09-04 | 세종대학교산학협력단 | 관성 측정 유닛을 사용하여 콘볼루션 신경망 기반의 제스처 인식을 수행하는 기법 |
| CN110210547A (zh) * | 2019-05-27 | 2019-09-06 | 南京航空航天大学 | 基于惯性手套的钢琴弹奏手势识别方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130135223A1 (en) * | 2009-12-13 | 2013-05-30 | Ringbow Ltd. | Finger-worn input devices and methods of use |
| US10416802B2 (en) * | 2015-09-14 | 2019-09-17 | Stmicroelectronics Asia Pacific Pte Ltd | Mutual hover protection for touchscreens |
| US10261685B2 (en) * | 2016-12-29 | 2019-04-16 | Google Llc | Multi-task machine learning for predicted touch interpretations |
| WO2018151449A1 (en) * | 2017-02-17 | 2018-08-23 | Samsung Electronics Co., Ltd. | Electronic device and methods for determining orientation of the device |
-
2020
- 2020-06-16 CN CN202010550315.9A patent/CN111694435B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103105945A (zh) * | 2012-12-17 | 2013-05-15 | 中国科学院计算技术研究所 | 一种支持多点触摸手势的人机交互戒指 |
| CN106922185A (zh) * | 2014-09-30 | 2017-07-04 | 微软技术许可有限责任公司 | 经由可穿戴和移动设备的基于自然运动的控制 |
| KR20190102924A (ko) * | 2018-02-27 | 2019-09-04 | 세종대학교산학협력단 | 관성 측정 유닛을 사용하여 콘볼루션 신경망 기반의 제스처 인식을 수행하는 기법 |
| CN109919034A (zh) * | 2019-01-31 | 2019-06-21 | 厦门大学 | 一种肢体动作识别与纠正辅助训练系统及方法 |
| CN110210547A (zh) * | 2019-05-27 | 2019-09-06 | 南京航空航天大学 | 基于惯性手套的钢琴弹奏手势识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111694435A (zh) | 2020-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9613262B2 (en) | Object detection and tracking for providing a virtual device experience | |
| US20140192024A1 (en) | Object detection and tracking with audio and optical signals | |
| JP3630712B2 (ja) | ジェスチャー入力方法及びその装置 | |
| US20130010071A1 (en) | Methods and systems for mapping pointing device on depth map | |
| US10108270B2 (en) | Real-time 3D gesture recognition and tracking system for mobile devices | |
| CN106104434A (zh) | 使用触摸屏设备确定用户利手和定向 | |
| CN109344789A (zh) | 人脸跟踪方法及装置 | |
| CN104516499B (zh) | 利用用户接口的事件的设备和方法 | |
| CN110832433A (zh) | 基于传感器的组件激活 | |
| CN106681575A (zh) | 使用电容感测的滑块和手势识别 | |
| CN110083418A (zh) | 信息流中图片的处理方法、设备及计算机可读存储介质 | |
| Ryumin et al. | Automatic detection and recognition of 3D manual gestures for human-machine interaction | |
| Fei et al. | Flow-pose Net: An effective two-stream network for fall detection | |
| CN111694435B (zh) | 一种基于惯性传感单元的可穿戴触摸检测方法 | |
| Liu et al. | Ultrasonic positioning and IMU data fusion for pen-based 3D hand gesture recognition | |
| CN103854026B (zh) | 一种识别方法及电子设备 | |
| US8884904B2 (en) | Touch panel apparatus, system and operation method thereof | |
| CN110199207A (zh) | 振动分析系统及其方法 | |
| WO2015064991A2 (ko) | 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법 | |
| Kefer et al. | Comparing the placement of two arm-worn devices for recognizing dynamic hand gestures | |
| KR20140046197A (ko) | 동작인식 장치 및 방법, 그리고 프로그램을 저장한 컴퓨터로 판독 가능한 기록매체 | |
| Chen et al. | An integrated sensor network method for safety management of construction workers | |
| Zhou et al. | Acoustic Sensing-based Hand Gesture Detection for Wearable Device Interaction | |
| van Wyk et al. | A multimodal gesture-based virtual interactive piano system using computer vision and a motion controller | |
| Mali et al. | Hand gestures recognition using inertial sensors through deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |