CN115543115A - 触控操作识别方法、装置及相关设备 - Google Patents

触控操作识别方法、装置及相关设备 Download PDF

Info

Publication number
CN115543115A
CN115543115A CN202110997006.0A CN202110997006A CN115543115A CN 115543115 A CN115543115 A CN 115543115A CN 202110997006 A CN202110997006 A CN 202110997006A CN 115543115 A CN115543115 A CN 115543115A
Authority
CN
China
Prior art keywords
touch
touch operation
touch screen
screen
imu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110997006.0A
Other languages
English (en)
Inventor
柏忠嘉
林飞
杨阳
冷继南
沈庆春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to EP22831933.1A priority Critical patent/EP4318189A1/en
Priority to PCT/CN2022/101427 priority patent/WO2023274119A1/zh
Publication of CN115543115A publication Critical patent/CN115543115A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请提供一种触控操作识别方法、装置及相关设备，应用于终端设备，终端设备包括IMU阵列和触摸屏，其中，方法包括：首先，通过触摸屏接收触控操作，然后获取触控操作产生的触控数据，在获取到触控操作产生的触控数据后，根据触控数据，识别触控操作的类型，触控数据包括触摸屏产生的加速度，其中，加速度是由IMU阵列中的一个或多个与触控点相关的IMU获得的。由此，可以提高终端设备进行触控识别的准确度，优化用户的触控体验。

Description

触控操作识别方法、装置及相关设备
技术领域
本申请涉及人工智能(artificial intelligence，AI)技术领域，尤其涉及一种触控操作识别方法、装置、相关设备及计算机可读存储介质。
背景技术
随着科学技术的发展，越来越多的终端设备(如手机)中开始采用触摸屏，使得用户可以方便的通过触控操作对终端设备进行控制，比如用指关节敲击触摸屏可以触发截屏操作。
目前，终端设备主要依靠部署于触摸屏靠近终端背部一侧的中心位置的IMU，获取触控操作令终端设备产生的加速度，若获取到的加速度的矢量变化超过预设值，则判定发生了指关节触控，反之，则判定未发生指关节触控。
本申请发明人发现，上述方案在终端设备的触摸屏尺寸较小(如6寸、7寸等)时是适用的，若在具有较大尺寸(如60寸、80寸等)的触摸屏的终端设备(如电子白板)上，依旧采用上述方案，当用户进行触控操作的位置距离中心位置的IMU较远时，IMU采集到的加速度很可能会非常小，甚至采集不到加速度，这会导致设备无法准确判定是否发生了指关节触控，甚至误判为没有发生指关节触控，严重影响用户的触控体验。此外，如果用户不是使用指关节在触摸屏上进行触控，而是使用非指关节的其他部位(如指甲、指腹等)或者物体(如触控笔)，触碰了触摸屏，这时IMU也可以检测到加速度发生变化，且加速度的矢量变化也可能会超过预设值，这会导致设备误将非指关节触控判定为指关节触控。
综上，上述方案在应用于具有较大尺寸的触摸屏的终端设备时，存在着对触控操作类型进行判断的准确率低，影响用户的触控体验的问题。
发明内容
本申请提供了一种触控操作识别方法、装置、相关设备及计算机可读存储介质，可以提高具有较大尺寸的触摸屏的终端设备对触控操作的类型进行判断的准确度，优化用户的触控体验。
第一方面，提供了一种触控操作识别方法，应用于终端设备，该终端设备包括惯性测量单元IMU阵列和触摸屏，该方法包括如下步骤：首先，通过触摸屏接收触控操作，然后获取触控操作产生的触控数据，在获取到触控操作产生的触控数据后，根据触控数据，识别触控操作的类型，触控数据包括触摸屏产生的加速度，其中，加速度是由IMU阵列中的一个或多个与触控点相关的IMU获得的。
由上述方案可知，触控数据包括的触摸屏产生的加速度，是由IMU阵列中的一个或者多个与触控点相关的IMU获取的，相较于现有技术，仅由部署于触摸屏中心位置的一个IMU获取加速度，本申请可以避免获取不到加速度，对触控操作的类型无法进行判断的情况出现。
另外，当与触控点相关的IMU为多个时，上述方案根据包括多个与触控点相关的IMU获取的加速度，识别触控操作的类型，相较于现有技术仅根据一个IMU获取的加速度，识别触控操作的类型，参考的数据更丰富，能够提高触控操作识别的准确度。
在一种可能的实现方式中，触控操作的类型为以下类型中的一种：指关节触控、指甲触控、指腹触控、触控笔触控。
该实现方式可以识别出触控操作的类型是指关节触控、指甲触控、指腹触控或者触控笔触控，不像现有技术没有准确地区分指关节触控和非指关节触控，从而可以降低指关节触控被误判为非指关节触控的概率，提高触控操作识别的准确度。此外，可以理解，当触控操作识别的准确度较高时，后续根据触控操作的类型执行的动作也会更准确，可以优化用户的触控体验。
在一种可能的实现方式中，相关的IMU是：IMU阵列中与触控点物理距离最接近的一个或者多个IMU，或者，在IMU阵列中每个IMU负责触摸屏的部分区域的情况下，触控点所在区域对应的IMU。由此，可以使得无论用户在触摸屏110的任意位置输入触控操作，相关的IMU均可以实现触控操作令触摸屏110产生的加速度的获取，可以避免获取不到加速度，对触控操作的类型无法进行判断的情况出现。
在一种可能的实现方式中，具体可以通过如下方式确定一个或者多个与触控点相关的IMU：获取触控点的位置，然后，根据触控点的位置，过滤掉IMU阵列中与触控点之间的距离大于预设距离的IMU，确定一个或多个相关的IMU。
在一种可能的实现方式中，触控数据还包括以下一种或多种：触控操作令触摸屏产生的声音、触控操作与触摸屏的接触时长和触控操作与触摸屏的接触面积。
通过该实现方式，可以使得后续根据更丰富的触控数据进行触控操作识别，从而进一步提高触控操作识别的准确度。
在一种可能的实现方式中，具体可以通过如下方式根据触控数据，识别触控操作的类型：
首先，根据一个或多个相关的IMU获取的加速度，获取加速度的特征，然后，将加速度的特征输入到第二网络，得到触控操作的类型。其中，当相关的IMU为一个时，加速度的特征为相关的IMU获取的加速度，当相关的IMU为多个时，加速度的特征为根据多个相关的IMU获取的加速度构建无向图，并将无向图输入到第一网络中进行特征提取，得到的加速度的特征向量。
在一种可能的实现方式中，输入到第二网络的参数，还包括以下至少一项内容：声音的声纹频谱、接触时长、接触面积。通过该实现方式，能够使得第二网络进行触控识别时，参考的数据更丰富，从而进一步提高识别的准确度。
在一种可能的实现方式中，触摸屏为电容式触摸屏，触控数据还包括以下一种或多种电容屏参数：触控操作作用在触摸屏上时触摸屏上各点的电容值、根据触摸屏上各点的电容值生成的电容图像、根据电容图像提取的接触区域的特征，接触区域为触控操作与触摸屏接触的区域。
通过该实现方式，可以使得当触摸屏为电容式触摸屏时，后续能够根据更丰富的触控数据进行触控操作识别，从而进一步提高触控操作识别的准确度。
在一种可能的实现方式中，触摸屏为红外线技术触摸屏，触控数据还包括以下一种或多种红外屏参数：触控操作作用在触摸屏上时触摸屏上各点的红外线信息、根据触摸屏上各点的红外线信息生成的红外图像、根据红外图像提取的接触区域的特征。
通过该实现方式，可以使得当触摸屏为红外线技术触摸屏时，后续能够根据更丰富的触控数据进行触控操作识别，从而进一步提高触控操作识别的准确度。
在一种可能的实现方式中，输入到第二网络的参数，还包括以下至少一项内容：电容屏参数、红外屏参数。通过该实现方式，能够使得第二网络进行触控识别时，参考的数据更丰富，从而进一步提高识别的准确度。
在一种可能的实现方式中，触控数据为预设时间段内的数据，预设时间段包括触控操作作用在触摸屏上的时刻。
由于触控操作令触摸屏产生的加速度、触控操作令触摸屏产生的声音等并不是固定不变的，是随着时间会发生变化的数据，通过获取预设时间段内的触控数据，可以避免获取的加速度、声音等触控数据过少或者过多，影响后续触控操作识别的准确度。
在一种可能的实现方式中，第一网络为图神经网络，第二网络为卷积神经网络。
在一种可能的实现方式中，IMU阵列部署于触摸屏靠近终端设备背部的一侧的预设位置，以使IMU阵列获取加速度的范围能够覆盖触摸屏的全部区域。由此，可以使得当用户在触摸屏的任意位置进行触控时，IMU阵列均可以获取到触摸屏产生的加速度，可以避免获取不到加速度，对触控操作的类型无法进行判断的情况出现。
在一种可能的实现方式中，IMU阵列包括五个IMU，其中一个IMU部署于触摸屏靠近终端设备背部的一侧的中心位置，剩余四个IMU部署于触摸屏靠近终端设备背部的一侧的四个角。
在一种可能的实现方式中，方法还包括：根据触控操作的类型，执行触控操作所指示的动作。
通过让不同类型的触控操作指示不同的动作，能够提高用户通过触控操作对终端设备进行控制时的灵活性，优化用户的触控体验。
在一种可能的实现方式中，终端设备为电子白板。
第二方面，提供一种触控操作识别装置，该装置包括用于执行第一方面或第一方面任一种可能实现方式中的触控操作识别方法的各个模块。
第三方面，提供了一种终端设备，该终端设备包括处理器和存储器，存储器用于存储指令，该终端设备运行时，处理器执行指令以实现如上述第一方面或者第一方面的任意可能的实现方式提供的方法。
第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或者第一方面的任意可能的实现方式提供的方法。
第五方面，提供了一种计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面或者第一方面的任意可能的实现方式提供的方法。
本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是本申请提供的一种终端设备的结构示意图；
图2是本申请提供的一种在触摸屏上部署IMU阵列120的示意图；
图3是本申请提供的一种触控操作识别方法的流程示意图；
图4A是本申请提供的一种加速度的波形图；
图4B是本申请提供的另一种加速度的波形图；
图5A是本申请提供的一种电容值变化示意图；
图5B是本申请提供的另一种电容值变化示意图；
图6是本申请提供的一种根据触控数据进行触控操作识别的流程示意图；
图7是本申请提供的一种无向图的示意图；
图8是本申请提供的另一种根据触控数据进行触控操作识别的流程示意图；
图9是本申请提供的一种触控操作识别装置的结构示意图；
图10是本申请提供的另一种终端设备的结构示意图。
具体实施方式
为了便于本领域技术人员对本申请实施例的理解，先对本申请实施例中涉及到的相关概念或者术语等进行介绍。
(1)神经网络(neural networks)，可以是由神经单元(也称为神经元)组成的，神经单元可以是指以变量xs和截距b为输入的运算单元，该运算单元的输出可以为：
Figure BDA0003234181410000041
其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入。激活函数可以是sigmoid函数以及其他函数，在此不做限定。神经网络是将许多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。神经网络多种多样，常见的神经网络包括随机森林(random forest)、支持向量机(support vector machine，svm)、图神经网络(graph neural networks，GNN)、卷积神经网络(convolutional neural networks，CNN)等。
(2)欧几里得数据(euclidean domains data)，是一类具有很好的平移不变性的数据，对于这类数据以其中一个像素为节点，其邻居节点的数量相同，所以可以很好地定义一个全局共享的卷积核来提取图像中相同的结构，常见的有图像、文本和语言。图像中的平移不变性：即不管图像中的目标被移动到图片的哪个位置，得到的结果(标签)应该是相同的。卷积被定义为不同位置的特征检测器。
(3)非欧几里得数据(non-euclidean structure data)，是一类不具有平移不变性的数据。这类数据以其中的一个为节点，其邻居节点的数量可能不同。常见这类数据有知识图谱、社交网络、化学分子结构等等。这类数据由于其不具备平移不变性，不能利用卷积核去提取相同的结构信息，卷积神经网络对于这类数据无能为力。因此，衍生出了处理这类数据的网络，即图神经网络。
(4)图(graph)，并不是指图形图像(image)或地图(map)，是一种用来表示非欧几里得数据的数据结构。图对一组对象及其关系进行建模，对象可以抽象化为图中的顶点(vertex)，对象之间的关系可以抽象化为顶点之间的边(edge)，对象具有的特征可以抽象化为顶点的特征，边可以具有权重，当边具有权重时，可以更好的体现边两端顶点之间的关系。典型的图有社交网络、航路网以及知识图谱等。例如，在图为航路网时，顶点的特征可以包括顶点的坐标、顶点所属的城市名称等，边的权重可以为两个顶点间的物理距离，或者为从一个顶点到另一个顶点的时间等。如果图中任意两个顶点之间的边都是无向边(简而言之就是没有方向的边)，则称该图为无向图(undirected graph)。
(5)图神经网络，将卷积运算从欧几里得数据(例如图像)推广到非欧几里得数据(例如图)，是一种以图结构数据作为输入的神经网络。
图神经网络的核心思想是利用“边的信息”对“节点信息”进行“聚合”从而生成“新的节点表示”，也就是说，图神经网络可以学习到一个映射函数f()，通过该映射函数，图中的顶点vi可以聚合它自己的特征xi以及邻居顶点的特征xj(j∈N(vi))，从而生成顶点vi的新表示，即新的特征向量，该新的特征向量可以用于进行顶点分类，由于该新的特征向量聚合了它自己的特征以及邻居顶点的特征，因此用该新的特征向量进行顶点分类，相较于直接用顶点自己的特征xi进行顶点分类，得到的分类结果的准确性更高。当得到图中全部顶点的新特征向量时，可以综合全部顶点的新特征向量对图进行分类，由于图中全部顶点的新特征向量聚合了各顶点自己的特征及其邻居顶点的特征，因此用图中全部顶点的新特征向量进行分类，相较于直接用图中全部顶点自己的特征进行分类，得到的分类结果的准确性更高。典型的图神经网络有图卷积网络(graph convolution networks，GCN)、图注意力网络(graph attention networks)、图自编码器(graph autoencoders)、图生成网络(graphgenerative networks)和图时空网络(graph spatial-temporal networks)等。
(6)卷积神经网络，是一种多层的神经网络，其用于处理欧几里得数据。卷积神经网络包括残差神经网络(residual network，ResNet)、VGG网络(VGG network，VGGNet)、稠密卷积网络(dense convolutional network，DenseNet)等等。卷积神经网络通常由三层构成：卷积层、池化层和全连接层。卷积层是卷积神经网络的核心，它的作用是进行特征提取。池化层，用于进行池化处理，池化处理的过程可以看作是对输入的特征向量进行采样的过程，通过池化处理可以对输入的特征向量进行降维，通常有最大池化(max pooling)或者均值池化(average pooling)。全连接层，在整个卷积神经网络中扮演着“分类器”的角色，用于输出最终分类结果。
(7)模型训练，指对神经网络进行训练，得到训练好的能够用于完成特定任务的模型的过程。训练神经网络是指利用已有的数据通过一定方法使神经网络拟合已有数据的规律，从而确定神经网络中的参数。训练一个神经网络需要使用到数据集，根据数据集中的数据是否有标注(即：数据是否有特定的类型或名称)，可以将神经网络的训练分为监督训练和无监督训练。
对神经网络进行监督训练时，用于训练的数据集中的数据带有标注。训练神经网络时，将数据集中的数据作为神经网络的输入，将数据对应的标注作为神经网络的输出值的参考，利用损失函数(loss function)计算神经网络输出值与数据对应的标注之间的损失值(loss)，根据损失值调整神经网络中的参数，直至神经网络可以根据输入的数据较准确地输出与数据对应的标注相同的输出值。对神经网络进行无监督训练时，用于训练的数据集中的数据没有标注。训练神经网络时，将数据集中的数据一次性输入至神经网络，由神经网络逐步学习这些数据之间的关联和潜在规则，直至神经网络可以用于判断或识别输入的数据的类型或特征。
(8)损失函数(loss function)，也可以称为目标函数(objective function)，是用于衡量模型被训练的程度(即用于计算模型预测的值与真实目标值之间的差异)的函数。在训练模型的过程中，因为希望模型的输出尽可能的接近真正想要预测的值，所以可以通过比较当前模型的预测值和真正想要的目标值，再根据两者之间的差异情况来更新模型中的每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化过程，即为模型中的各层预先配置参数)，比如，如果模型的预测值高了，就调整权重向量让它预测低一些，不断的调整，直到模型能够预测出真正想要的目标值或与真正想要的目标值非常接近的值，则认为模型训练完成。
(9)电容式触摸屏(capacitive touch screen)，简称电容屏，指利用人体的电流感应进行工作的触摸屏。电容屏包括多个电容传感节点，多个电容传感节点组成了X、Y方向上的栅格阵列，每个电容传感节点表示电容屏上的一个不同的坐标。当有目标(如手指)接触电容屏时，目标具有的电场与电容传感节点的电场相互作用，会导致电容传感节点的电容发生变化，电容值可以用灰度值表示，灰度值的取值范围为0至255，0表示电容耦合最强，256表示电容耦合最弱。部署了电容屏的设备可以检测各个电容传感节点的电容值变化，并记录电容发生变化的电容传感节点的坐标。电容屏上各个点电容值的变化情况可以被用于产生触摸平面在特定时刻的一幅图像，简称为电容图像，电容图像包括各点处的电容值。
当栅格矩阵上有多个点的电容值发生变化时，该多个点组成了一个接触区域。电容图像内各点处的电容值大小可被用于区分接触区域的边界，并确定边界上各个点的坐标。
(10)红外线技术触摸屏(infrared touch screen technology)，简称红外屏，由装在触摸屏外框上的红外发射元件和红外接收元件构成，这些红外发射元件和红外接收元件在触摸屏的表面组成定位平面，即每个红外发射元件、红外接收元件各对应一个位置坐标。红外发射元件可以向红外接收元件发射红外线，红外接收元件可以接收红外发射元件发射的红外线，红外接收元件在接收到红外线之后，将接收到的红外线的光信号转换成电信号，得到该红外线对应的信号值，红外线对应的信号值即红外线信息。如果红外线未被遮挡，则红外接收元件接收到的红外线的信号值应当为预设值。如果红外线被遮挡，则该红外线的强度会急剧下降，从而导致红外接收元件接收到的红外线的信号值远小于预设值。红外屏上各个点红外线信息的变化情况可以被用于产生触摸平面在特定时刻的一幅图像，简称为红外图像，红外图像通常是灰度图像。红外图像中各个点的像素值为该点的灰度值，灰度值的取值范围为0至255。
当红外屏上有多个点的红外线信息发生变化时，该多个点组成了一个接触区域。红外图像内各点处的像素值大小可被用于区分接触区域的边界，并确定边界上各个点的坐标。
(11)惯性测量单元(inertial measurement unit，IMU)，是测量物体三轴姿态角(或角速率)以及加速度的装置。在本申请中，IMU主要用来实现加速度的测量。
(12)麦克风阵列(microphone array，MA)，指的是麦克风的排列，也就是说由一定数目的声学传感器(一般是麦克风)组成，用来对声场的空间特性进行采样并处理的系统。
(13)波束成形(beam forming，BF)，是天线技术与数字信号处理技术的结合，目的用于定向信号传输或接收。设备采用该技术，能够基于声源的位置，对麦克风阵列接收到的声音的相位之间的差异过滤得到特定方位的声音，能最大限度将环境背景声音清除掉，只剩下需要的声音。对于在嘈杂的环境下采用这种配置的设备，能够消除杂音。
本申请涉及的应用场景为需要用到具有较大尺寸的触摸屏(如电容屏或者红外屏等)的终端设备(如电子白板)进行触控操作的场景，如企业会议、医疗、教学等，以提高这些场景中所使用的终端设备进行触控操作识别的准确度，优化用户的触控体验。
参见图1，图1是本申请提供的一种终端设备的架构示意图，如图1所示，该终端设备100可以包括触摸屏110、IMU阵列120、麦克风阵列130以及触控操作识别装置140。
终端设备100的触摸屏110可以接收用户输入的触控操作，当接收到用户输入的触控操作时，终端设备100可以通过触控操作识别装置140获取触控操作产生的触控数据，例如，触控操作令触摸屏110产生的加速度、声音、触控操作与触摸屏110的接触时长、接触面积等，在获取到上述触控数据后，触控操作识别装置140可以根据触控数据，识别出触控操作的类型。具体地，可以识别出触控操作的类型是指关节触控、指甲触控、指腹触控或者触控笔触控等。
在本申请具体的实施例中，触控操作令触摸屏110产生的加速度可以由IMU阵列120实现获取，然后IMU阵列120将获取的加速度传输给触控操作识别装置140，触控操作令触摸屏110产生的声音可以由麦克风阵列130实现获取，然后麦克风阵列130将获取的声音传输给触控操作识别装置140，由触控操作识别装置140根据上述加速度、声音及触控操作识别装置140自身获取的接触时长、接触面积等触控数据进行触控操作的类型的识别。
在本申请具体的实施例中，IMU阵列120可以根据触摸屏110的尺寸部署于触摸屏110靠近终端设备100背部的一侧的预设位置，以使得IMU阵列120采集加速度的范围可以覆盖触摸屏110的全部区域。也就是说，无论用户输入触控操作的位置在触摸屏110的任意位置，IMU阵列120均可以采集到触控操作令触摸屏110产生的加速度。IMU阵列120中的各个IMU可以负责触摸屏110的部分区域，各个IMU负责的部分区域可以互不重叠，也可以部分重叠或者全部重叠，此处不作具体限定。
以IMU阵列120包括5个IMU，5个IMU中每个IMU负责的部分区域互不重叠为例，则IMU阵列120的实际部署方式可以参见图2，即，在触摸屏110靠近终端设备100背部一侧的中心位置部署IMU阵列120中的一个IMU，在触摸屏110靠近终端设备100背部一侧的四个角上各部署一个IMU，部署于中心位置的IMU0负责区域0，部署于左上角位置的IMU1负责区域1，…，负责右上角位置的IMU4负责区域4。由此，可以使得当有触控操作作用在触摸屏110上的任意位置时，IMU阵列120均可以采集到触控操作令触摸屏110产生的加速度。
需要说明的是，图2所示的IMU阵列120共包括5个IMU以及IMU阵列120在终端设备100上部署的方式，仅仅是作为示例，在具体实现中，IMU阵列120中包括的IMU的数量可以更少或者更多，IMU阵列120也可以以其他方式部署在终端设备100上，例如，IMU阵列120包括7个IMU，其中一个部署于触摸屏110靠近终端设备100背部一侧的中心位置，剩余6个均匀地部署于触摸屏110靠近终端设备100背部一侧的四条边上，此处不作具体限定。此外，图2所示各个IMU负责的触摸屏110的部分区域的划分方式也仅仅是作为一种示例，在具体实现中，还可以以其他方式划分各个IMU负责的触摸屏110的区域，例如，IMU0至IMU5负责的区域分别是圆形区域，此处不作具体限定。
触控操作识别装置140可以为部署在终端设备100上的一个软件模块，可选地，触控操作识别装置140也可以由终端设备100中硬件实现，例如，由终端设备100中一个处理器实现触控操作识别装置140的功能。本申请对触控操作识别装置140以及麦克风阵列130的部署位置不作具体限定。
下面以图1所示的触控操作识别装置140为执行主体，结合图3介绍本申请提供的触控操作识别方法，如图3所示，方法包括：
S301、通过触摸屏110接收触控操作。
其中，触控操作可以是用户通过指关节、指甲、指腹、触控笔等触摸或者敲击触摸屏110时向触摸屏110输入。
S302、获取触控操作产生的触控数据，触控数据包括触摸屏110产生的加速度，加速度是由IMU阵列120中的一个或多个与触控点相关的IMU获取的。
通常，不同类型的触控操作(如指关节触控、指甲触控、指腹触控或者触控笔触控等)，令触摸屏110产生的加速度是不同的，示例的，参见图4A和图4B，图4A为指关节触控令触摸屏110产生的加速度的变化波形，图4B为指腹触控令触摸屏110产生的加速度的变化波形。对比图4A和图4B可知，相较于指腹触控，指关节触控令触摸屏110产生的加速度的变化幅度较大。因此，可以根据包括触控操作令触摸屏110产生的加速度的触控数据进行触控识别。
通常，不同类型的触控操作，令触摸屏110产生的声音、与触摸屏110的接触时长、与触摸屏110的接触面积等也是不同的，例如，指关节触控相较于指腹触控，指关节触控令触摸屏110产生的声音响度通常较大(即振幅较大)，接触时长比指腹触控的接触时长短，接触面积比指腹触控的接触面积小。可以理解，当触控操作识别装置140获取的触控数据包括的数据类型较丰富时，后续根据触控数据进行触控识别的准确度也会更高。因此，触控操作识别装置140获取的触控数据还可以包括触控操作令触摸屏110产生的声音、触控操作与触摸屏110的接触时长、接触面积等。
在一种可能的实现方式中，触摸屏110为电容屏，触控操作还会影响电容屏参数，例如，触摸屏110上各点的电容值、根据触摸屏110上各点的电容值生成的电容图像、根据电容图像提取的触控操作与触摸屏110的接触区域的特征。其中，接触区域的特征可以为接触区域的边界上点的坐标、接触区域的形心坐标等，此处不作具体限定。
通常，不同类型的触控操作，对电容屏参数的影响也是不同的，以电容屏参数为电容屏上某点的电容值为例，参见图5A和图5B，图5A为指关节触控后电容屏上某点处的电容值变化图，图5B为指腹触控后电容屏上同一点的电容值变化图。对比图5A和图5B可知，相较于指腹触控，接收到指关节触控后，电容屏上同一点的电容值变化幅度较大。
可以理解，当不同类型的触控操作，对触摸屏110上各点的电容值的影响不同时，根据触摸屏110上各点的电容值生成的电容图像也是不同的，而且电容图像中包括的触控操作与触摸屏110的接触区域也是不同的。因此，当触摸屏110为电容屏时，为了提高后续触控操作识别装置140根据触控数据进行触控识别的准确度，触控操作识别装置140获取的触控数据还可以包括以下一种或者多种电容屏参数：触控操作作用在触摸屏110上时触摸屏110上各点的电容值、根据触摸屏110上各点的电容值生成的电容图像、根据电容图像提取的接触区域的特征等。
在一种可能的实现方式中，触摸屏110为红外屏，触控操作还会影响红外屏参数，例如，触摸屏110上各点的红外线信息、根据触摸屏110上各点的红外线信息生成的红外图像、根据红外图像提取的触控操作与触摸屏110的接触区域的特征。其中，接触区域的特征可以为接触区域的边界上点的坐标、接触区域的形心坐标等，此处不作具体限定。
通常，不同类型的触控操作，对红外屏参数的影响也是不同的。因此，当触摸屏110为红外屏时，为了提高后续触控操作识别装置140根据触控数据进行触控识别的准确度，触控操作识别装置140获取的触控数据还可以包括以下一种或者多种电容屏参数：触控操作作用在触摸屏110上时触摸屏110上各点的红外线信息、根据触摸屏110上各点的红外线信息生成的红外图像、根据红外图像提取的接触区域的特征等。
下面对触控操作识别装置140获取上述所列举的不同类型的触控数据的方式进行详细描述。
(1)触控操作令触摸屏110产生的加速度
当触控操作作用在触摸屏110上时，触控操作令触摸屏110产生的加速度可以由IMU阵列120中的一个或多个与触控点相关的IMU获取，然后实时传输给触控操作识别装置140。
在一种可能的实现方式中，上述一个或者多个与触控点相关的IMU是IMU阵列120中与触控点物理距离最接近的一个或者多个IMU。具体地，可以通过如下步骤从IMU阵列120中确定上述一个或者多个与触控点相关的IMU：
A1、当通过触摸屏110接收到触控操作时，获取触控操作作用在触摸屏110上的触控点的位置。
其中，触控点的位置，可以为触控点的坐标。
在具体实现中，触控操作识别装置140可以通过触摸事件(motion event)机制中用于获取触摸位置的函数(如getRawX()和getRawY())获取触控点的位置。
A2、根据触控点的位置，过滤掉IMU阵列120中与触控点之间的距离大于预设距离的IMU，从而确定一个或者多个相关的IMU。
在具体实现中，触控操作识别装置140中可以预先存储IMU阵列120中各个IMU的坐标，然后，在获取到触控点的坐标后，根据触控点的坐标以及各个IMU的坐标，计算得到各个IMU与触控点之间的距离。预设距离的大小可以根据实际情况进行设置，此处不作具体限定。
示例性地，假设触控点的坐标为(10，20)，预设距离为50厘米，则可以将IMU阵列120中与触控点的距离大于50厘米的IMU过滤掉，将IMU阵列120中剩余的IMU确定为与触控点相关的IMU。
在另一种可能的实现方式中，当IMU阵列120中各个IMU负责触摸屏110的部分区域的情况下，上述一个或者多个与触控点相关的IMU为触控点所在区域对应的IMU。
继续以图2为例，假设触控点所在区域为区域0，则IMU阵列120中与触控点相关的IMU为IMU0。
可以理解，触控操作令触摸屏110产生的加速度并不是固定不变的，是随着时间会发生变化的数据，因此，IMU阵列120中的每个IMU获取的加速度是一条随着时间变化的加速度曲线。为了避免触控操作识别装置140获取的加速度信息过少或者过多，影响触控操作识别的准确度，在本申请中，触控操作识别装置140可以将一个或者多个与触控点相关的IMU在预设时间段内传输过来的加速度，作为后续进行触控识别时可以参考的触控数据。其中，预设时间段包括触控操作作用在触摸屏110上的时刻，预设时间段可以为触控操作识别装置140中预先设置好的检测时长，检测时长的大小可以根据实际情况进行设置，此处不作具体限定。
示例性地，假设触控操作作用在触摸屏110上的时刻为2021年8月18日下午3点15分21秒，检测时长为0.5秒，则触控操作识别装置140可以将一个或者多个与触控点相关的IMU在3点15分21秒至3点15分21.5秒这0.5秒内传输过来的加速度，作为后续进行触控识别时可以参考的触控数据。
在具体实现中，触控操作识别装置140可以通过触摸事件(motion event)机制中用于获取触控操作作用在触摸屏110上的时刻的函数(如getDownTime())获取触控操作作用在触摸屏110上的时刻。
(2)触控操作令触摸屏110产生的声音
当触控操作作用在触摸屏110上时，触控操作令触摸屏110产生的声音可以由麦克风阵列130获取，然后实时传输给触控操作识别装置140。
可以理解，触控操作令触摸屏110产生的声音并不是固定不变的，是随着时间会发生变化的数据，因此，麦克风阵列130中的每个麦克风获取的声音是一条随着时间变化的声波。为了避免触控操作识别装置140获取的声音信息过少或者过多，影响触控操作识别的准确度，在本申请中，触控操作识别装置140可以将麦克风阵列130在预设时间段内传输过来的声音，作为后续进行触控识别时可以参考的触控数据。
还可以理解，由于触控操作作用在触摸屏110上时，终端设备100所处的环境中可能会有其他杂音，比如，人走路的声音或者说话的声音等，麦克风阵列130在获取触控操作令触摸屏110产生的声音时，可能会获取到上述杂音，然后将上述杂音和有效声音(即触控操作令触摸屏110产生的声音)一起传输给触控操作识别装置140，若触控操作识别装置140将杂音和有效声音一起作为后续进行触控识别时可以参考的触控数据，则上述杂音会影响触控识别的准确度。因此，为了提高触控操作识别的准确度，触控操作识别装置140在接收到麦克风阵列130传输过来的声音后，可以对麦克风阵列130传输过来的声音进行分离，得到有效声音。在具体实现中，触控操作识别装置140可以基于触控点的位置，通过波束成形等技术对特定方位的声音进行分离操作。
在具体实现中，触控操作识别装置140在分离得到有效声音后，触控操作识别装置140还可以对有效声音进行声音增强等操作，以进一步提高触控操作识别的准确度。
(3)触控操作与触摸屏110的接触时长
当触控操作作用在触摸屏110上时，触控操作识别装置140可以获取触控操作作用在触摸屏110上的时刻，当触控操作离开触摸屏110时，触控操作识别装置140可以获取触控操作离开触摸屏110的时刻，根据上述两个时刻可以计算得到接触时长。
在具体实现中，触控操作识别装置140可以通过触摸事件(motion event)机制中用于获取触控操作离开触摸屏110的时刻的函数(如getEventTime())获取触控操作离开触摸屏110的时刻。
(4)触控操作作用在触摸屏110上时触摸屏110上各点的电容值
由上文对电容屏的介绍可知，当触控操作作用在触摸屏110(即电容屏)上时，触摸屏110上的电容会发生变化，因此，触控操作识别装置140可以获取触摸屏110上各点的电容变化情况，从而实现各点电容值的获取。
(5)电容图像
由上文对电容屏的介绍可知，触控操作识别装置140在获取到触摸屏110上各点的电容值后，根据各点的电容值可以生成电容图像。
(6)触控操作作用在触摸屏110上时触摸屏110上各点的红外线信息
由上文对红外屏的介绍可知，当触控操作作用在触摸屏110(即红外屏)上时，触摸屏110上的红外线信息会发生变化，因此，触控操作识别装置140可以获取触摸屏110上各点的红外线信息变化情况，从而实现各点红外线信息的获取。
(7)红外图像
由上文对红外屏的介绍可知，触控操作识别装置140在获取到触摸屏110上各点的红外线信息后，根据各点的红外线信息可以生成红外图像。
(8)接触区域边界上各点的坐标
触控操作识别装置140在生成电容图像或者红外图像后，可以基于二值图的图像分割法、种子填充法、分水岭法和区域生长法等算法中的任意一种算法从电容图像或者红外图像中确定接触区域的边界，从而确定边界上各点的坐标。
(9)接触区域的面积
触控操作识别装置140在确定接触区域的边界上各点的坐标后，可以根据边界上各点的坐标计算得到接触区域的面积，具体地，可以将边界上各个点相连，形成一个多边形，然后求多边形上任意一点与多边形上依次两个点连线构成的三角形的矢量面积和，即为接触区域的面积。
(10)接触区域的形心
触控操作识别装置140在确定接触区域的边界上各点的坐标后，可以根据边界上各个点的坐标计算得到接触区域的形心坐标。具体地，可以采用下列公式计算接触区域的形心坐标：
xc＝∑Z*x/∑Z
yc＝∑Z*y/∑Z
其中，xc表示接触区域的X方向的形心坐标，x表示接触区域内每个点的X方向的坐标，yc表示接触区域的Y方向的形心坐标，y表示接触区域内每个点的Y方向的坐标，Z表示每个点的灰度值。
S303、根据触控数据，识别触控操作的类型。
其中，触控操作的类型可以为指关节触控、指甲触控、指腹触控或者触控笔触控等，此处不作具体限定。
由S302可知，触控数据至少包括一个或者多个与触控点相关的IMU获取的触控操作令触摸屏110产生的加速度，在包括加速度的基础上，触控数据还可包括触控操作令触摸屏110产生的声音、接触面积、接触时长、触控操作作用在触摸屏110上时触摸屏110各点的信号变化情况(如电容值变化或者红外线信息变化)等多种类型的信息。可以理解，在触控数据包括的数据不同的情况下，根据触控数据，识别触控操作的类型的过程会存在差异。
这里，先以触控数据仅包括一个或者多个与触控点相关的IMU获取的加速度为例，对触控操作识别装置140根据触控数据进行触控操作识别的过程进行详细介绍。如图6所示，该过程具体可以包括：
S601、根据一个或者多个与触控点相关的IMU获取的加速度，获取加速度的特征。
具体地，当与触控点相关的IMU为一个时，加速度的特征为该IMU获取的加速度；当与触控点相关的IMU为多个时，可以参考步骤S6011和S6012获取加速度的特征：
S6011、根据多个与触控点相关的IMU获取的加速度，构建无向图。
具体地，可以将多个与触控点相关的IMU中各个IMU抽象化为顶点，将多个顶点两两相连得到边，并将多个与触控点相关的IMU中各个IMU获取的加速度抽象化为各个IMU对应的顶点的特征，从而得到无向图。
举例来讲，假设多个与触控点相关的IMU为IMU0、IMU1、IMU2和IMU3，则根据这些IMU获取的加速度构建的无向图可以如图7所示，其中，顶点000为IMU0抽象成的顶点，顶点001为IMU1抽象成的顶点，顶点002为IMU2抽象成的顶点，顶点003为IMU3抽象成的顶点。
由上文对图的介绍可知，图中的边具有权重，相较于边没有权重，可以更好地体现多个顶点之间的关系，因此，为了进一步提高触控操作识别的准确度，在本申请中，可以将多个与触控点相关的IMU之间的距离抽象化为边的权重，得到边具有权重的无向图，多个与触控点相关的IMU之间的距离可以根据多个与触控点相关的IMU的坐标计算得到。
S6012、将无向图输入到第一网络中进行特征提取，得到加速度的特征向量。
需要说明的是，这里提取得到的加速度的特征向量V＇，即为加速度的特征。
其中，第一网络可以表示为：
V＇＝f(G)
其中，V＇为加速度的特征向量，G为无向图，f()为加速度的特征向量与无向图之间的映射关系，f()可以是使用包括大量已知无向图的第一样本集进行训练得到的。第一样本集中的大量已知无向图，可以是用户多次向触摸屏110输入触控操作，多次获取用户输入的触控操作令触摸屏110产生的加速度，每获取一次加速度，便可以构建得到一个无向图，从而得到大量已知无向图。在实际应用中，第一网络可以为图卷积网络、图注意力网络等各种类型的图神经网络，此处不作具体限定。
S602、将加速度的特征输入到第二网络，得到触控操作的类型。
此时，第二网络可以表示为：
T1＝f1(V)
其中，T1为触控操作的类型，V为加速度的特征，即上述一个与触控点相关的IMU获取的加速度或者上述加速度的特征向量V＇，f1()为触控操作的类型与加速度的特征之间的映射关系，f1()可以是使用包括大量已知加速度的特征的第二样本集进行训练得到的。当加速度的特征为加速度的特征向量时，第二样本集中的大量已知加速度的特征可以是将第一样本集中的大量已知无向图输入上述第一网络进行特征提取得到的。在实际应用中，第二网络可以为残差神经网络、稠密卷积网络等各种类型的卷积神经网络。可选地，也可以为随机森林、支持向量机等。
再以触控数据包括一个或者多个与触控点相关的IMU获取的加速度、触控操作令触摸屏110产生的声音、接触面积、接触时长为例，对触控操作识别装置140根据触控数据进行触控操作识别的过程进行详细介绍。如图8所示，该过程具体可以包括：
S801、根据一个或者多个与触控点相关的IMU获取的加速度，获取加速度的特征。
可以看出，S801与S601相同，具体可以参考上文对S601的相关描述，此处不再展开赘述。
S802、获取触控操作令触摸屏110产生的声音的声纹频谱。
具体地，可以对获取的触控操作令触摸屏110产生的声音进行频谱转换，得到声纹频谱。对声音进行频谱转换的过程具体可以包括预加重、分帧、加窗、快速傅里叶变换(fastfourier transform，FFT)等，此处不作具体限定。
S803、将加速度的特征、声音的声纹频谱、接触面积、接触时长输入到第二网络，得到触控操作的类型。
此时，第二网络可以表示为：
T2＝f2(W)
其中，T2为触控操作的类型，W为包括加速度的特征V、声音的声纹频谱、接触面积和接触时长的数据集合，f2()为触控操作的类型与上述数据集合之间的映射关系，f2()可以是使用包括大量已知数据集合的第三样本集进行训练得到的，每个已知数据集合包括已知加速度的特征、已知声音的声纹频谱、已知接触面积和已知接触时长。
需要说明的是，上述图6以及图8所列举的两种根据触控数据进行触控识别的过程仅仅是作为示例，在具体实现中，根据触控数据进行触控识别的过程还可以为其他，例如，当触控数据包括电容屏参数或者红外屏参数时，输入到第二网络中的参数还对应包括电容屏参数或者红外屏参数。
在具体实现中，使用第一样本集和第二样本集(或第三样本集)进行训练对应得到第一网络和第二网络的方式可以为监督训练，也可以为无监督训练，此处不作具体限定。
以使用第一样本集和第二样本集进行有监督训练得到第一网络和第二网络为例，当训练方式为监督训练时，第二样本集中还可以包括大量已知无向图中各个已知无向图对应的已知触控操作类型，具体地，可以将大量已知无向图依次作为未训练好的第一网络的输入，得到未训练好的第一网络输出的各个已知无向图对应的加速度的特征，然后将各个已知无向图对应的加速度的特征作为未训练好的第二网络的输入，并将各个已知无向图对应的已知触控操作的类型作为未训练好的第二网络的输出值的参考，利用损失函数计算未训练好的第二网络的输出值与上述已知触控操作的类型之间的损失值，然后根据损失值调整未训练好的第一网络和未训练好的第二网络的参数。在具体实现中，可以利用大量已知无向图以及已知无向图对应的已知触控操作类型迭代地对未训练好的第一网络和未训练好的第二网络进行训练，不断调整未训练好的第一网络和未训练好的第二网络的参数，直至第一网络和第二网络可以根据输入的无向图准确地输出与该无向图对应的已知触控操作的类型相同的输出值。
在本申请具体的实施例中，触控操作识别装置140中还可以记录每种类型的触控操作所指示的动作，例如，指关节触控所指示的动作为对终端设备100的显示界面进行截屏，指腹触控所指示的动作为启动触控点处所显示的应用图标对应的应用程序。因此，触控操作识别装置140在确定触控操作的类型后，可以根据触控操作的类型，执行触控操作所指示的动作。
综上所述，本申请实施例在终端设备100上部署了IMU阵列120，可以实现无论用户在触摸屏110的任意位置输入触控操作，IMU阵列120中与触控点相关的IMU均可以实现触控操作令触摸屏110产生的加速度的获取，相较于现有技术中，仅由部署于触摸屏110中心位置的一个IMU获取加速度，可以避免获取不到加速度，对触控操作的类型无法进行判断的情况出现。
另外，本申请实施例根据包括多种类型数据(如加速度、声音、接触面积等)在内的触控数据，识别触控操作的类型，相较于现有技术仅根据一个IMU获取的加速度，判断触控操作的类型，参考的数据较丰富，可以提高触控操作识别的准确度。
同时，本申请实施例可以识别出触控操作的类型是指关节触控、指甲触控、指腹触控或者触控笔触控等，不像现有技术没有准确地区分指关节触控和非指关节触控，因此，本申请能够进一步提高触控操作识别的准确度。可以理解，当触控操作识别的准确度较高时，终端设备100根据触控操作的类型执行的动作也会更准确，可以优化用户的触控体验。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
下面将结合图9和图10，进一步介绍上述触控操作识别装置140和终端设备100。
参见图9，图9是本申请提供的一种触控操作识别装置140的结构示意图，应理解，图9所示仅仅是根据功能对触控操作识别装置140的一种示例性的结构划分方式，对于触控操作识别装置140的结构的具体划分方式，本申请不进行限定。
如图9所示，该装置140包括：接收模块141、获取模块142、识别模块143和执行模块144。下面对触控操作识别装置140的各个模块的功能进行示例性地介绍。应理解，以下所举例描述的各个模块的功能仅是触控操作识别装置140在本申请的一些实施例中可以具有的功能，本申请并不对各个模块具有的功能进行限定。
接收模块141，用于通过触摸屏110接收触控操作。
获取模块142，用于获取触控操作产生的触控数据，触控数据包括触摸屏110产生的加速度，其中，加速度是由IMU阵列中的一个或多个与触控点相关的IMU获得的。
识别模块143，用于根据触控信息数据，识别触控操作的类型。
执行模块144，用于根据触控操作的类型，执行触控操作所指示的动作。
在一种可能的实现方式中，触控操作的类型为以下类型中的一种：指关节触控、指甲触控、指腹触控、触控笔触控。
在一种可能的实现方式中，相关的IMU是：IMU阵列120中与触控点物理距离最接近的一个或者多个IMU，或者，在IMU阵列120中每个IMU负责触摸屏110的部分区域的情况下，触控点所在区域对应的IMU。
在一种可能的实现方式中，获取模块142，还用于：获取触控操作作用在触摸屏110上的触控点的位置，然后根据触控点的位置，过滤掉IMU阵列120中与触控点之间的距离大于预设距离的IMU，确定一个或多个相关的IMU。
在一种可能的实现方式中，触控数据还包括以下一种或多种：触控操作令触摸屏110产生的声音、触控操作与触摸屏110的接触时长和触控操作与触摸屏110的接触面积。
在一种可能的实现方式中，识别模块143，具体用于：首先，根据一个或多个相关的IMU获取的加速度，获取加速度的特征，然后，将加速度的特征输入到第二网络，得到触控操作的类型。其中，当相关的IMU为一个时，加速度的特征为相关的IMU获取的加速度，当相关的IMU为多个时，加速度的特征为根据多个相关的IMU获取的加速度构建无向图，并将无向图输入到第一网络中进行特征提取，得到的加速度的特征向量。
在一种可能的实现方式中，输入到第二网络的参数，还包括以下至少一项内容：声音的声纹频谱、接触时长、接触面积。
在一种可能的实现方式中，触摸屏110为电容屏，触控数据还包括以下一种或多种电容屏参数：触控操作作用在触摸屏110上时触摸屏110上各点的电容值、根据触摸屏110上各点的电容值生成的电容图像、根据电容图像提取的接触区域的特征。
在一种可能的实现方式中，触摸屏110为红外屏，触控数据还包括以下一种或多种红外屏参数：触控操作作用在触摸屏110上时触摸屏110上各点的红外线信息、根据触摸屏110上各点的红外线信息生成的红外图像、根据红外图像提取的接触区域的特征。
在一种可能的实现方式中，输入到第二网络的参数，还包括以下至少一项内容：电容屏参数、红外屏参数。
在一种可能的实现方式中，触控数据为预设时间段内的数据，预设时间段包括触控操作作用在触摸屏110上的时刻。
在一种可能的实现方式中，第一网络为图神经网络，第二网络为卷积神经网络。
在一种可能的实现方式中，IMU阵列120部署于触摸屏110靠近终端设备背部的一侧的预设位置。
在一种可能的实现方式中，IMU阵列120包括五个IMU，其中一个IMU部署于触摸屏110靠近终端设备背部的一侧的中心位置，剩余四个IMU部署于触摸屏110靠近终端设备背部的一侧的四个角。
为了简便，本申请实施例并没有对触控操作识别装置140中的各个模块进行详细介绍，各个模块的具体功能可以参见上述S301-S303。
由于上述各个模块的功能，本申请提供的触控操作识别装置140根据触控数据识别触控操作的类型，触控数据包括IMU阵列120中一个或者多个与触控点相关的IMU获取的加速度，不像现有技术中，仅根据部署于触摸屏110中心位置的一个IMU获取的加速度进行触控操作类型的判断，可以提高触控操作识别的准确度，从而优化用户的触控体验。
参见图10，图10是本申请提供的一种终端设备100的结构示意图，该终端设备100用于执行上述触控操作识别方法，并且当上述触控操作识别装置140为软件模块时，该终端设备100上可以部署有触控操作识别装置140，以实现触控操作识别装置140的功能。
如图10所示，该终端设备100包括：处理器1010、存储器1020以及通信接口1030，其中，处理器1010、存储器1020以及通信接口1030之间可以通过总线1040相互连接。其中，
处理器1010可以读取存储器1020中存储的程序代码(包括指令)，执行存储器1020中存储的程序代码，使得终端设备100执行上述方法实施例提供的触控操作识别方法中的步骤，或者使得终端设备100部署触控操作识别装置140。
处理器1010可以有多种具体实现形式，例如处理器1010可以为中央处理器(central processing unit，CPU)、图形处理器(graphics processing unit，GPU)等，处理器1010还可以是单核处理器或多核处理器。处理器1010可以由CPU和硬件芯片的组合。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。处理器1010也可以单独采用内置处理逻辑的逻辑器件来实现，例如FPGA或数字信号处理器(digital signal processor，DSP)等。
存储器1020可以存储有程序代码以及程序数据。其中，程序代码包括：接收模块141的代码、获取模块142的代码、识别模块143的代码以及执行模块144的代码等，程序数据包括：触控操作令触摸屏产生的加速度、声音、触控操作与触摸屏的接触面积、接触时长等等。
在实际应用中，存储器1020可以是非易失性存储器，例如，只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。存储器1020也可以是易失性存储器，易失性存储器可以是随机存取存储器(randomaccess memory，RAM)，其用作外部高速缓存。
通信接口1030可以为有线接口(例如以太网接口)或无线接口(例如蜂窝网络接口或使用无线局域网接口)，用于与其他计算节点或装置进行通信。当通信接口1030为有线接口时，通信接口1030可以采用传输控制协议/网际协议(transmission control protocol/internet protocol，TCP/IP)之上的协议族，例如，远程函数调用(remote function call，RFC)协议、简单对象访问协议(simple object access protocol，SOAP)协议、简单网络管理协议(simple network management protocol，SNMP)协议、公共对象请求代理体系结构(common object request broker architecture，CORBA)协议以及分布式协议等等。
总线1040可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。所述总线1040可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
上述终端设备100用于执行上述触控操作识别方法实施例所描述的方法，与上述方法实施例属于同一构思，其具体实现过程详见上述方法实施例，这里不再赘述。
应当理解，终端设备100仅为本申请实施例提供的一个例子，并且，终端设备100可具有比图10示出的部件更多或更少的部件，可以组合两个或更多个部件，或者可具有部件的不同配置实现。
本申请还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，该指令被运行时可以实现上述实施例中记载的触控操作识别方法的部分或者全部步骤。
本申请还提供一种计算机程序产品，当计算机程序产品被计算机读取并执行时，可以实现上述方法实施例中记载的触控操作识别方法的部分或者全部步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
在上述实施例中，可以全部或部分地通过软件、硬件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质、或者半导体介质等。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并或删减；本申请实施例装置中的单元可以根据实际需要进行划分、合并或删减。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (34)

1.一种触控操作识别方法，其特征在于，应用于终端设备，所述终端设备包括惯性测量单元IMU阵列和触摸屏，所述方法包括：
通过所述触摸屏接收触控操作；
获取所述触控操作产生的触控数据，所述触控数据包括所述触摸屏产生的加速度，其中，所述加速度是由所述IMU阵列中的一个或多个与触控点相关的IMU获得的；
根据所述触控数据，识别所述触控操作的类型。
2.根据权利要求1所述的方法，其特征在于，所述触控操作的类型为以下类型中的一种：指关节触控、指甲触控、指腹触控、触控笔触控。
3.根据权利要求1或2所述的方法，其特征在于，所述相关的IMU是：
所述IMU阵列中与所述触控点物理距离最接近的一个或者多个IMU；或者，
在所述IMU阵列中每个IMU负责所述触摸屏的部分区域的情况下，所述触控点所在区域对应的IMU。
4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
获取所述触控点的位置；
根据所述触控点的位置，过滤掉所述IMU阵列中与所述触控点之间的距离大于预设距离的IMU，确定所述一个或多个相关的IMU。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述触控数据还包括以下一种或多种：所述触控操作令所述触摸屏产生的声音、所述触控操作与所述触摸屏的接触时长和所述触控操作与所述触摸屏的接触面积。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述触控数据，识别所述触控操作的类型，包括：
根据所述一个或多个相关的IMU获取的加速度，获取加速度的特征，其中，当所述相关的IMU为一个时，所述加速度的特征为所述相关的IMU获取的加速度，当所述相关的IMU为多个时，所述加速度的特征为根据所述多个相关的IMU获取的加速度构建无向图，并将所述无向图输入到第一网络中进行特征提取，得到的加速度的特征向量；
将所述加速度的特征输入到第二网络，得到所述触控操作的类型。
7.根据权利要求6所述的方法，其特征在于，输入到所述第二网络的参数，还包括以下至少一项内容：所述声音的声纹频谱、所述接触时长、所述接触面积。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述触摸屏为电容式触摸屏，所述触控数据还包括以下一种或多种电容屏参数：所述触控操作作用在所述触摸屏上时所述触摸屏上各点的电容值、根据所述触摸屏上各点的电容值生成的电容图像、根据所述电容图像提取的接触区域的特征，所述接触区域为所述触控操作与所述触摸屏接触的区域。
9.根据权利要求1至7任一项所述的方法，其特征在于，所述触摸屏为红外线技术触摸屏，所述触控数据还包括以下一种或多种红外屏参数：所述触控操作作用在所述触摸屏上时所述触摸屏上各点的红外线信息、根据所述触摸屏上各点的红外线信息生成的红外图像、根据所述红外图像提取的接触区域的特征。
10.根据权利要求8或9所述的方法，其特征在于，输入到所述第二网络的参数，还包括以下至少一项内容：所述电容屏参数、所述红外屏参数。
11.根据权利要求1至10任一项所述的方法，其特征在于，所述触控数据为预设时间段内的数据，所述预设时间段包括所述触控操作作用在所述触摸屏上的时刻。
12.根据权利要求6至11任一项所述的方法，其特征在于，所述第一网络为图神经网络，所述第二网络为卷积神经网络。
13.根据权利要求1至12任一项所述的方法，其特征在于，所述IMU阵列部署于所述触摸屏靠近所述终端设备背部的一侧的预设位置。
14.根据权利要求1至13任一项所述的方法，其特征在于，所述IMU阵列包括五个IMU，其中一个IMU部署于所述触摸屏靠近所述终端设备背部的一侧的中心位置，剩余四个IMU部署于所述触摸屏靠近所述终端设备背部的一侧的四个角。
15.根据权利要求1至14任一项所述的方法，其特征在于，所述方法还包括：
根据所述触控操作的类型，执行所述触控操作所指示的动作。
16.根据权利要求1至15任一项所述的方法，其特征在于，所述终端设备为电子白板。
17.一种触控操作识别装置，其特征在于，应用于终端设备，所述终端设备包括惯性测量单元IMU阵列和触摸屏，所述装置包括：
接收模块，用于通过所述触摸屏接收触控操作；
获取模块，用于获取所述触控操作产生的触控数据，所述触控数据包括所述触摸屏产生的加速度，其中，所述加速度是由所述IMU阵列中的一个或多个与触控点相关的IMU获得的；
识别模块，用于根据所述触控信息数据，识别所述触控操作的类型。
18.根据权利要求17所述的装置，其特征在于，所述触控操作的类型为以下类型中的一种：包括指关节触控和、指甲触控、指腹触控、触控笔触控。
19.根据权利要求17或18所述的装置，其特征在于，所述相关的IMU是：
所述IMU阵列中与所述触控点物理距离最接近的一个或者多个IMU；或者，
在所述IMU阵列中每个IMU负责所述触摸屏的部分区域的情况下，所述触控点所在区域对应的IMU。
20.根据权利要求17或18所述的装置，其特征在于，所述获取模块，还用于：
获取所述触控操作作用在所述触摸屏上的触控点的位置；
根据所述触控点的位置，过滤掉所述IMU阵列中与所述触控点之间的距离大于预设距离的IMU，确定所述一个或多个相关的IMU。
21.根据权利要求17至20任一项所述的装置，其特征在于，所述触控数据还包括以下一种或多种：所述触控操作令所述触摸屏产生的声音、所述触控操作与所述触摸屏的接触时长和所述触控操作与所述触摸屏的接触面积。
22.根据权利要求17至21任一项所述的装置，其特征在于，所述识别模块，具体用于：
根据所述一个或多个相关的IMU获取的加速度，获取加速度的特征，其中，当所述相关的IMU为一个时，所述加速度的特征为所述相关的IMU获取的加速度，当所述相关的IMU为多个时，所述加速度的特征为根据所述多个相关的IMU获取的加速度构建无向图，并将所述无向图输入到第一网络中进行特征提取，得到的加速度的特征向量；
将所述加速度的特征输入到第二网络，得到所述触控操作的类型。
23.根据权利要求21或22所述的装置，其特征在于，输入到所述第二网络的参数，还包括以下至少一项内容：所述声音的声纹频谱、所述接触时长、所述接触面积。
24.根据权利要求17至23任一项所述的装置，其特征在于，所述触摸屏为电容式触摸屏，所述触控数据还包括以下一种或多种电容屏参数：所述触控操作作用在所述触摸屏上时所述触摸屏上各点的电容值、根据所述触摸屏上各点的电容值生成的电容图像、根据所述电容图像提取的接触区域的特征，所述接触区域为所述触控操作与所述触摸屏接触的区域。
25.根据权利要求17至23任一项所述的装置，其特征在于，所述触摸屏为红外线技术触摸屏，所述触控数据还包括以下一种或多种红外屏参数：所述触控操作作用在所述触摸屏上时所述触摸屏上各点的红外线信息、根据所述触摸屏上各点的红外线信息生成的红外图像、根据所述红外图像提取的接触区域的特征。
26.根据权利要求24或25所述的装置，其特征在于，输入到所述第二网络的参数，还包括以下至少一项内容：所述电容屏参数、所述红外屏参数。
27.根据权利要求17至26任一项所述的装置，其特征在于，所述触控数据为预设时间段内的数据，所述预设时间段包括所述触控操作作用在所述触摸屏上的时刻。
28.根据权利要求22至27任一项所述的装置，其特征在于，所述第一网络为图神经网络，所述第二网络为卷积神经网络。
29.根据权利要求17至28任一项所述的装置，其特征在于，所述IMU阵列部署于所述触摸屏靠近所述终端设备背部的一侧的预设位置。
30.根据权利要求17至29任一项所述的装置，其特征在于，所述IMU阵列包括五个IMU，其中一个IMU部署于所述触摸屏靠近所述终端设备背部的一侧的中心位置，剩余四个IMU部署于所述触摸屏靠近所述终端设备背部的一侧的四个角。
31.根据权利要求17至30任一项所述的装置，其特征在于，所述装置还包括：
执行模块，用于根据所述触控操作的类型，执行所述触控操作所指示的动作。
32.根据权利要求17至31任一项所述的装置，其特征在于，所述终端设备为电子白板。
33.一种终端设备，其特征在于，所述终端设备包括处理器和存储器，所述存储器用于存储指令，所述终端设备运行时，所述处理器执行所述指令以实现所述权利要求1至16中任一项所述的方法。
34.一种计算机可读存储介质，其特征在于，所述计算机可读介质存储有指令，所述指令用于实现权利要求1至16中任一项所述的方法。
CN202110997006.0A 2021-06-30 2021-08-27 触控操作识别方法、装置及相关设备 Pending CN115543115A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22831933.1A EP4318189A1 (en) 2021-06-30 2022-06-27 Touch operation recognition method and apparatus, and related device
PCT/CN2022/101427 WO2023274119A1 (zh) 2021-06-30 2022-06-27 触控操作识别方法、装置及相关设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110738887 2021-06-30
CN2021107388874 2021-06-30

Publications (1)

Publication Number Publication Date
CN115543115A true CN115543115A (zh) 2022-12-30

Family

ID=84722842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110997006.0A Pending CN115543115A (zh) 2021-06-30 2021-08-27 触控操作识别方法、装置及相关设备

Country Status (1)

Country Link
CN (1) CN115543115A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115793892A (zh) * 2023-02-07 2023-03-14 广州众远智慧科技有限公司 触摸数据处理方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115793892A (zh) * 2023-02-07 2023-03-14 广州众远智慧科技有限公司 触摸数据处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP7265003B2 (ja) ターゲット検出方法、モデル訓練方法、装置、機器及びコンピュータプログラム
EP3940638B1 (en) Image region positioning method, model training method, and related apparatus
CN110348543B (zh) 眼底图像识别方法、装置、计算机设备及存储介质
US10572072B2 (en) Depth-based touch detection
CN109299315B (zh) 多媒体资源分类方法、装置、计算机设备及存储介质
US20190108447A1 (en) Multifunction perceptrons in machine learning environments
CN111476306A (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
EP4283520A1 (en) Pruning processing method for convolutional neural network, data processing method and devices
CN114418069B (zh) 一种编码器的训练方法、装置及存储介质
CN111931877B (zh) 目标检测方法、装置、设备及存储介质
CN111950570B (zh) 目标图像提取方法、神经网络训练方法及装置
US11948088B2 (en) Method and apparatus for image recognition
CN112487844A (zh) 手势识别方法、电子设备、计算机可读存储介质和芯片
CN111753498A (zh) 文本处理方法、装置、设备及存储介质
CN115543115A (zh) 触控操作识别方法、装置及相关设备
CN112037305B (zh) 对图像中的树状组织进行重建的方法、设备及存储介质
CN112527104A (zh) 确定参数确定方法、装置、设备及存储介质
CN115100536B (zh) 建筑物识别方法、装置、电子设备和计算机可读介质
EP4318189A1 (en) Touch operation recognition method and apparatus, and related device
CN113343709B (zh) 意图识别模型的训练方法、意图识别方法、装置及设备
CN111063017A (zh) 一种光照估计方法及装置
CN111968030B (zh) 信息生成方法、装置、电子设备和计算机可读介质
CN114283395A (zh) 车道线检测的方法、装置、设备及计算机可读存储介质
CN113761195A (zh) 文本分类方法、装置、计算机设备及计算机可读存储介质
CN111880146A (zh) 声源定向方法和装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination