CN115047993A - 一种触摸行为识别方法、装置以及设备 - Google Patents

一种触摸行为识别方法、装置以及设备 Download PDF

Info

Publication number
CN115047993A
CN115047993A CN202110217491.5A CN202110217491A CN115047993A CN 115047993 A CN115047993 A CN 115047993A CN 202110217491 A CN202110217491 A CN 202110217491A CN 115047993 A CN115047993 A CN 115047993A
Authority
CN
China
Prior art keywords
touch
action
touch action
duration
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110217491.5A
Other languages
English (en)
Inventor
陈维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110217491.5A priority Critical patent/CN115047993A/zh
Priority to PCT/CN2021/136066 priority patent/WO2022179239A1/zh
Publication of CN115047993A publication Critical patent/CN115047993A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0447—Position sensing using the local deformation of sensor cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种触摸行为识别方法、相关装置以及机器人，该方法应用于机器人，且机器人包括电容触摸传感器，惯性测量单元IMU以及处理器，用于提升触摸行为识别的准确度。本申请实施例方法中，电容触摸传感器检测触摸动作的触摸状态信息，该触摸动作的触摸状态信息指示触摸状态，或，非触摸状态，IMU检测触摸动作的加速度信息，处理器根据触摸动作的触摸状态信息确定触摸动作的触摸时长，并根据触摸动作的触摸时长以及触摸动作的振动幅度，确定触摸动作类型，该触摸动作的振动幅度是根据触摸动作的加速度信息确定的，且触摸动作类型用于确定触摸行为。

Description

一种触摸行为识别方法、装置以及设备
技术领域
本申请实施例涉及人工智能领域，尤其涉及一种触摸行为识别方法，装置以及设备。
背景技术
机器人的触摸传感(Touch Sensing)能够帮助机器人理解现实世界中物体的交互行为，这些行为取决于其重量和刚度，取决于触摸时表面的感觉、接触时的变形情况以及被推动时的移动方式。只有给机器人也配备先进的触摸传感器，即“触觉传感(TactileSensing)”系统，才能使其意识到周围的环境，远离潜在的破坏性影响，并为后续的手部操作等任务提供信息。然而，目前大多数机器人交互式技术系统由于缺乏对触觉传感技术的有效应用，其动作不准确、不稳定，交互过程“笨拙”，极大地限制了他们的交互和认知能力。
目前，基于电容触摸传感器的人机交互已有较快发展。多通道的触摸传感器则能够识别滑动和缩放等更复杂的触摸行为，多通道电容触摸传感器一般以触摸板的形式呈现，多用于触摸屏。现有机器人一般在局部安装触摸传感器，识别该触摸部位的触摸行为。例如，在机器人头部安装一个触摸传感器，当感应到头部单次接触时，机器人可能会给出对应反馈(如播放某个语音或屏幕上显示某个表情)。
然而，每个触摸动作之间是隔离的，当出现不间断不同类型触摸动作的时候，如连续单击后进行双击再长按，此时无法连续上报正确的触摸动作，由此降低触摸动作识别的准确度，从而降低触摸行为识别的准确度。
发明内容
本申请提供了一种触摸行为识别方法，相关装置以及设备，用于根据触摸动作的触摸时长以及触摸动作的振动幅度共同确定触摸动作类型，由此提升触摸动作类型识别的准确度，根据准确度提升后的触摸动作类型确定触摸行为，能够提升触摸行为识别的准确度。
本申请的第一方面提供了一种触摸行为识别方法，该方法应用于机器人，且机器人包括电容触摸传感器，惯性测量单元(inertial measurement unit,IMU)以及处理器。基于此，电容触摸传感器检测触摸动作的触摸状态信息，该触摸动作的触摸状态信息指示触摸状态，或，非触摸状态，然后IMU检测触摸动作的加速度信息，其次，处理器根据触摸动作的触摸状态信息确定触摸动作的触摸时长，并根据触摸动作的触摸时长以及触摸动作的振动幅度，确定触摸动作类型，该触摸动作的振动幅度是根据触摸动作的加速度信息确定的，且触摸动作类型用于确定触摸行为。
在该实施方式中，通过检测触摸动作的触摸状态信息确定触摸动作的触摸时长，并通过触摸动作的加速度信息确定触摸动作的振动幅度，再根据触摸动作的触摸时长以及触摸动作的振动幅度共同确定触摸动作类型，由此提升触摸动作类型识别的准确度，基于此，再根据准确度提升后的触摸动作类型确定触摸行为，能够提升触摸行为识别的准确度。
在本申请的一种可选实施方式中，处理器先根据每个触摸动作的触摸时长，确定对应于每个触摸动作的时间间隔阈值，该时间间隔阈值正比于触摸动作的触摸时长，然后处理器根据时间间隔阈值，拆分触摸动作。
在该实施方式中，不同的触摸动作之间的时间间隔阈值与最近一个触摸动作或触摸子动作的触摸时长正相关，由此能够实现时间间隔阈值的自适应更新。基于此，动态时间间隔阈值设定能够更好地判断触摸动作的连续性。
在本申请的一种可选实施方式中，在本申请提供的触摸行为识别方法中，处理器还能够根据触摸动作的触摸状态信息，确定触摸动作的触摸起始时间点和触摸终止时间点，并根据触摸起始时间点和触摸终止时间点，确定触摸动作的触摸时长，以及，每两个相邻的触摸动作之间的时间间隔。基于此，在时间间隔大于或等于第一时间间隔阈值的情况下，处理器确定触摸动作为新的触摸动作，该第一时间间隔阈值为两个相邻的触摸动作中在前的触摸动作对应的时间间隔阈值，反之，在时间间隔小于第一时间间隔阈值的情况下，处理器确定触摸动作为触摸子动作。
在该实施方式中，处理器能够处理触摸动作之间连续变化的情况，即识别新的触摸动作以及在触摸动作中出现的新的触摸子动作，以准确捕捉连续的触摸动作之间的转变，因此不同的触摸动作之间不再是彼此隔离的，使得确定的结果更符合真实的触摸动作，从而提升确定触摸动作的准确度。
在本申请的一种可选实施方式中，机器人包括多个触摸部位，电容触摸传感器包括位于多个触摸部位的多个电容触摸传感器。基于此，由于有一些触摸行为则涉及多个触摸部位，因此需要根据在多个触摸部位进行的触摸动作即可确定触摸行为，在本申请提供的触摸行为识别方法中，处理器能够根据发生在多个触摸部位的多个触摸动作的触摸动作类型，确定触摸行为。例如，握手为在手心继续抚摸或者长按的触摸动作，以及在在手背继续抚摸或者长按的触摸动作。基于此，在不同的触摸部位进行触摸动作，能够组合成为触摸行为。
在该实施方式中，在机器人所包括的多个触摸部位所发送的触摸动作被确定的基础上，能够进一步地确定每个部位对应的触摸动作类型，实现复杂触摸行为的识别，进一步地提升触摸行为识别的准确度。
在本申请的一种可选实施方式中，在机器人包括多个触摸部位，电容触摸传感器包括位于多个触摸部位的多个电容触摸传感器的基础上，处理器能够根据发生在多个触摸部位的多个触摸动作的触摸动作类型，根据预设规则确定触摸行为。
在该实施方式中，提供了根据多个触摸动作的触摸动作类型，通过预设规则确定触摸行为的方法，由此提升触摸行为识别的可行性。
在本申请的一种可选实施方式中，在机器人包括多个触摸部位，电容触摸传感器包括位于多个触摸部位的多个电容触摸传感器的基础上，处理器根据发生在多个触摸部位的多个触摸动作的触摸动作类型，根据分类模型确定触摸行为，该分类模型是以历史触摸数据为训练数据，通过训练得到的模型。
在该实施方式中，以历史触摸数据为训练数据，通过训练得到分类模型，由于根据历史触摸数据作为模型训练数据，由此所得到的分类模型输出的结果更符合真实的触摸行为，基于此，根据多个触摸动作的触摸动作类型，通过分类模型确定触摸行为，能够进一步地提升触摸行为识别的可行性。
在本申请的一种可选实施方式中，触摸动作的触摸时长用于根据预设的时长阈值区分触摸动作类型。
在该实施方式中，具体通过根据预设的时长阈值区分触摸动作类型，由此提升区分触摸动作类型的可行性，从而提升本方案的可行性。
在本申请的一种可选实施方式中，上述预设的时长阈值包括第一时长阈值和第二时长阈值，且第一时长阈值小于第二时长阈值。基于此，在一种情况下，触摸动作的触摸时长小于第一时长阈值的触摸动作为拍。在另一种情况下，触摸动作的触摸时长大于或等于第一时长阈值，且小于第二时长阈值的触摸动作为抚摸。在又一种情况下，所处触摸动作的触摸时长大于或等于第二时长阈值的触摸动作为长按。在实际应用中，不同的触摸动作类型之间的第一时长阈值和第二时长阈值是根据每个触摸子动作的平均间隔时长以及每个触摸动作中每个触摸子动作的的平均接触时长、通过进行实验和/或基于大量数据的统计所确定的。
在该实施方式中，预设的时长阈值中包括不同的时长阈值，且不同的时长阈值能够划分不同的触摸时长范围，从而能够对不同时长范围内的触摸动作进行细化分类，由此通过触摸动作的触摸时长即能够确定该触摸动作的触摸动作类型，以实现不同触摸动作类型的划分，在保证本方案可行性的基础上，提升了本方案的灵活性。
在本申请的一种可选实施方式中，触摸动作的振动幅度用于根据预设的振动幅度阈值区分触摸动作类型。在一种情况下，当触摸动作的振动幅度小于振动幅度阈值的触摸动作，此时触摸动作类型为轻拍、轻抚或轻按中任一项。在另一种情况下，当触摸动作的振动幅度大于或等于振动幅度阈值的触摸动作，此时触摸动作类型为重拍、重抚或重按中任一项。
在该实施方式中，在无压力传感器的情况下，能够实现重拍和轻拍，或轻抚以及重抚，或轻按以及重按的目的，由此提升对触摸动作类型检测的准确度。
本申请的第二方面提供了一种触摸行为识别装置，包括：
检测模块，用于检测触摸动作的触摸状态信息，其中，触摸动作的触摸状态信息指示触摸状态，或，非触摸状态；
检测模块，还用于检测触摸动作的加速度信息；
处理模块，用于根据触摸动作的触摸状态信息确定触摸动作的触摸时长；
处理模块，还用于根据触摸动作的触摸时长以及触摸动作的振动幅度，确定触摸动作类型，其中，触摸动作的振动幅度是根据触摸动作的加速度信息确定的，触摸动作类型用于确定触摸行为。
在本申请的一种可选实施方式中，处理模块，还用于根据每个触摸动作的触摸时长，确定对应于每个触摸动作的时间间隔阈值，其中，时间间隔阈值正比于触摸动作的触摸时长；
处理模块，还用于根据时间间隔阈值，拆分触摸动作。
在本申请的一种可选实施方式中，处理模块，还用于根据触摸动作的触摸状态信息，确定触摸动作的触摸起始时间点和触摸终止时间点；
处理模块，还用于根据触摸起始时间点和触摸终止时间点，确定触摸动作的触摸时长，以及，每两个相邻的触摸动作之间的时间间隔；
处理模块，具体用于：
在时间间隔大于或等于第一时间间隔阈值的情况下，处理器确定触摸动作为新的触摸动作，其中，第一时间间隔阈值为两个相邻的触摸动作中在前的触摸动作对应的时间间隔阈值；
在时间间隔小于第一时间间隔阈值的情况下，处理器确定触摸动作为触摸子动作。
在本申请的一种可选实施方式中，处理模块，还用于根据发生在多个触摸部位的多个触摸动作的触摸动作类型，确定触摸行为。
在本申请的一种可选实施方式中，处理模块，具体用于根据发生在多个触摸部位的多个触摸动作的触摸动作类型，根据预设规则确定触摸行为。
在本申请的一种可选实施方式中，处理模块，具体用于根据发生在多个触摸部位的多个触摸动作的触摸动作类型，根据分类模型确定触摸行为，其中，分类模型是以历史触摸数据为训练数据，通过训练得到的模型。
在本申请的一种可选实施方式中，触摸动作的触摸时长用于根据预设的时长阈值区分触摸动作类型。
在本申请的一种可选实施方式中，时长阈值包括第一时长阈值和第二时长阈值，第一时长阈值小于第二时长阈值；
触摸动作的触摸时长小于第一时长阈值的触摸动作为拍；
触摸动作的触摸时长大于或等于第一时长阈值，且小于第二时长阈值的触摸动作为抚摸；
所处触摸动作的触摸时长大于或等于第二时长阈值的触摸动作为长按。
在本申请的一种可选实施方式中，触摸动作的振动幅度用于根据预设的振动幅度阈值区分触摸动作类型；
触摸动作的振动幅度小于振动幅度阈值的触摸动作，为轻拍、轻抚或轻按中任一项；
触摸动作的振动幅度大于或等于振动幅度阈值的触摸动作，为重拍、重抚或重按中任一项。
第三方面，提供了一种机器人，包括电容触摸传感器，IMU以及处理器。该电容触摸传感器，IMU以及处理器与存储器耦合，可用于执行存储器中的指令，以实现上述第一方面中任一种可能实现方式中的方法。可选地，该触摸行为识别装置还包括存储器。可选地，该触摸行为识别装置还包括通信接口，处理器与通信接口耦合，所述通信接口用于输入和/或输出信息，所述信息包括指令和数据中的至少一项。
在另一种实现方式中，该触摸行为识别装置为配置于机器人中的芯片或芯片系统。当该触摸行为识别装置为配置于机器人中的芯片或芯片系统时，所述通信接口可以是输入/输出接口、接口电路、输出电路、输入电路、管脚或相关电路等。所述处理器也可以体现为处理电路或逻辑电路。
第四方面，提供了一种处理器，包括：输入电路、输出电路和处理电路。所述处理电路用于通过所述输入电路接收信号，并通过所述输出电路发射信号，使得所述处理器执行上述第一方面中任一种可能实现方式中的方法。
在具体实现过程中，上述处理器可以为芯片，输入电路可以为输入管脚，输出电路可以为输出管脚，处理电路可以为晶体管、门电路、触发器和各种逻辑电路等。输入电路所接收的输入的信号可以是由例如但不限于接收器接收并输入的，输出电路所输出的信号可以是例如但不限于输出给发射器并由发射器发射的，且输入电路和输出电路可以是同一电路，该电路在不同的时刻分别用作输入电路和输出电路。本申请实施例对处理器及各种电路的具体实现方式不做限定。
第五方面，提供了一种触摸行为识别装置，包括通信接口和处理器。所述通信接口与所述处理器耦合。所述通信接口用于输入和/或输出信息。所述信息包括指令和数据中的至少一项。所述处理器用于执行计算机程序，以使得所述触摸行为识别装置执行第一方面中任一种可能实现方式中的方法。
可选地，所述处理器为一个或多个，所述存储器为一个或多个。
第六方面，提供了一种触摸行为识别装置，包括处理器和存储器。该处理器用于读取存储器中存储的指令，并可通过接收器接收信号，通过发射器发射信号，以使得所述装置执行第一方面中任一种可能实现方式中的方法。
可选地，所述处理器为一个或多个，所述存储器为一个或多个。
可选地，所述存储器可以与所述处理器集成在一起，或者所述存储器与处理器分离设置。
在具体实现过程中，存储器可以为非瞬时性(non-transitory)存储器，例如只读存储器(read only memory，ROM)，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本申请实施例对存储器的类型以及存储器与处理器的设置方式不做限定。
应理解，相关的信息交互过程，例如发送消息可以为从处理器输出消息的过程，接收消息可以为向处理器输入接收到的消息的过程。具体地，处理输出的信息可以输出给发射器，处理器接收的输入信息可以来自接收器。其中，发射器和接收器可以统称为收发器。
上述第五方面以及第六方面中的触摸行为识别装置可以是芯片，该处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外，独立存在。
第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当所述计算机程序被运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。
第八方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序(也可以称为代码，或指令)当其在计算机上运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。
第九方面，提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机程序(也可以称为代码，或指令)当其在计算机上运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。
第十方面，本申请提供了一种芯片系统，该芯片系统包括处理器和接口，所述接口用于获取程序或指令，所述处理器用于调用所述程序或指令以实现或者支持机器人实现第一方面所涉及的功能。
在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存机器人必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
需要说明的是，本申请第二方面至第十方面的实施方式所带来的有益效果可以参照第一方面的实施方式进行理解，因此没有重复赘述。
附图说明
图1为本申请实施例中系统架构的一个实施例示意图；
图2为本申请实施例中机器人的一个实施例示意图；
图3为本申请实施例中触摸动作与触摸子动作的一个实施例示意图；
图4为本申请实施例中长时间触摸行为检测的方法的一个实施例流程图；
图5为本申请实施例中触摸动作结束检测方法的一个实施例流程图；
图6为本申请实施例中触摸行为识别方法的一个实施例流程图；
图7为本申请实施例中结合IMU以及电容触摸传感器确定触摸动作类型的方法流程图；
图8为本申请实施例中基于分类模型进行触摸行为识别的一个实施例示意图；
图9为本申请实施例中触摸行为识别装置一个结构示意图。
具体实施方式
为了使本申请的上述目的、技术方案和优点更易于理解，下文提供了详细的描述。所述详细的描述通过使用方框图、流程图和/或示例提出了设备和/或过程的各种实施例。由于这些方框图、流程图和/或示例包含一个或多个功能和/或操作，所以本领域内人员将理解可以通过许多硬件、软件、固件或它们的任意组合单独和/或共同实施这些方框图、流程图或示例内的每个功能和/或操作。本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
触摸(Touch)是人类在进行协调交互时的主要方式之一。通过触摸感知到的触觉(Sense of Touch)可以帮助人类评估物体的属性，如大小、形状、质地、温度等。此外，还可以利用触觉来检测物体的滑脱，进而发展人类对身体的认识。触觉将压力、振动、疼痛、温度等多种感觉信息传递给中枢神经系统，帮助人类感知周围环境，避免潜在的伤害。研究表明，与视觉和听觉相比，人类的触觉在处理物体的物质特征和细节形状方面更胜一筹。与人类一样，机器人的触摸传感能够帮助机器人理解现实世界中物体的交互行为，这些行为取决于其重量和刚度，取决于触摸时表面的感觉、接触时的变形情况以及被推动时的移动方式。只有给机器人也配备先进的触摸传感器，即“触觉传感”系统，才能使其意识到周围的环境，远离潜在的破坏性影响，并为后续的手部操作等任务提供信息。然而，目前大多数机器人交互式技术系统由于缺乏对触觉传感技术的有效应用，其动作不准确、不稳定，交互过程“笨拙”，极大地限制了他们的交互和认知能力。
因此，基于电容触摸传感器的人机交互已有较快发展，单通道的触摸传感器一般能够实现单次接触/点击、两次接触/点击和长时间接触(长按)的识别，多通道的触摸传感器则能够识别滑动和缩放等更复杂的触摸行为。多通道电容触摸传感器一般以触摸板的形式呈现，多用于触摸屏。现有机器人一般在局部安装触摸传感器，识别该触摸部位的触摸行为。例如，在机器人头部安装一个触摸传感器，当感应到头部单次接触时，机器人可能会给出对应反馈(如播放某个语音或屏幕上显示某个表情)。然而，触摸传感器虽能够对单击、双击和长按检测进行识别，但每个触摸动作之间是隔离的，当出现不间断不同类型触摸动作的时候，如连续单击后进行双击再长按，此时无法连续上报正确的触摸动作，由此降低触摸动作识别的准确度，从而降低触摸行为识别的准确度。
为了解决上述问题，本申请实施例提供了一种触摸行为识别方法，该触摸行为识别方法应用于机器人。为了便于理解，请参阅图1，图1为本申请实施例中系统架构的一个实施例示意图，结合各个触摸部位的触摸检测以及振动检测，进行触摸动作的识别，从而提升对触摸行为识别的准确度。本实施例中，触摸部位包括但不限于：头顶、头左侧、头右侧、胸口、左腋下、右腋下、肚子、左手背、左手心、右手背以及右手心。如图1所示，本申请实施例提供的系统架构中，可根据各个触摸部位的触摸检测及振动检测，识别出用户对机器人的触摸行为。
由于本申请实施例所提供的触摸行为识别方法应用于机器人，下面对本申请实施例所使用的机器人进行介绍，请参阅图2，图2为本申请实施例中机器人的一个实施例示意图，如图2所示，机器人200包括一至多个电容触摸传感器；可选地，机器人200还可以包括一至多个惯性测量单元(inertial measurement unit,IMU)。
具体地，机器人200还能够包含处理器。该处理器设置于机器人200内。该处理器用于控制整个机器人200的运作，接收、响应或执行相关控制指令后输出控制信息来控制机器人各个部位的操作，机器人根据相关控制信息输出相应的反应。该处理器可以称为中央处理器(central processing unit，CPU)。该处理器可能是一种集成电路芯片，具有逻辑和/或信号的处理能力、计算能力。该处理器还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)、片上系统(SoC)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
进一步地，机器人200还能够包含机器人本身的形体、框架、结构，以及内外多个部件等。例如，机器人200还可以包括壳体(图2未示出)，用于驱动机器人200运动的驱动组件(图2未示出)，用于使得机器人200移动的运动组件(图2未示出)，例如轮子或腿部等，用于接收外界声音/语音信息和发出声音的音频组件(图2未示出)，用于显示图像信息、文字信息或者表情信息的显示组件(图2未示出)，用于使得机器人进行其他运动的执行机构(图2未示出)，例如机械臂等，还有各种电子元件、电路结构、零件结构等。
本实施例中所提供的机器人200的全身共11个触摸部位，机器人200的11个触摸部位包括头顶201，头右侧202，头左侧203，胸口204，肚子205，右腋下206，左腋下207，右手心208，右手背209，左手心210以及左手背211。并且在机器人200的前述11个触摸部位的外壳内层贴有铜皮，每个触摸部位的铜皮处安装对应的电容触摸传感器，每个电容触摸传感器用于检测对应触摸部位的触摸动作。其次，机器人200的头触摸部位置(包括头顶201，头右侧202以及头左侧203)还安装有IMU，用于检测触摸时产生的振动，从而辅助处理器进行轻拍和重拍的区分。因此，当机器人200的头触摸部位置安装有IMU时，可以识别的触摸动作包括但不限于轻拍、连续轻拍、抚摸、连续抚摸、长按、头部重拍、头部连续重拍等。
可以理解的是，本实施例以11个触摸部位进行介绍，在实际应用中，还可以根据需求对机器人的触摸部位进一步地的划分。其次，本实施例所介绍的IMU安装于机器人的头部，在实际应用中，可以根据实际需求将IMU部署于机器人的任何触摸部位。因此图2所示的机器人仅用于理解本方案，而不应理解为本方案的限定。
具体地，本申请实施例提供的触摸行为识别方法能够应用于各个场景，具体示例请参阅表1。
表1
Figure BDA0002954422370000081
通过前述介绍可知，由于每个触摸部位的触摸动作检测都是依靠对应的电容触摸传感器进行的，因此每个触摸部位的触摸动作检测都是相互独立的，但运用的算法原理一致，如何检测出每个触摸部位上的触摸动作尤为关键。
因此，为了便于理解，先对本实施例中所提供的触摸动作拆分算法进行介绍，触摸动作拆分算法用于检测用户对机器人某个触摸部位进行的触摸动作(Touch Event)与触摸子动作(Sub-touch Event)。下面对触摸动作以及触摸子动作进行介绍。请参阅图3，图3为本申请实施例中触摸动作与触摸子动作的一个实施例示意图，如图3所示，图3中示出的横轴为时间轴，时间轴上方的竖线用于表示触摸动作或触摸子动作的触摸起始时间点，例如，触摸起始时间点301，触摸起始时间点303以及触摸起始时间点305。时间轴下方的竖线用于表示触摸动作或触摸子动作的触摸终止时间点，例如，触摸终止时间点302，触摸终止时间点304以及触摸终止时间点306。
基于此，相邻的在前触摸起始时间点与在后触摸终止时间点之间的时间段内，用户与机器人某个触摸部位之间处于接触状态，例如，用户与机器人某个触摸部位在触摸起始时间点301至触摸终止时间点302之间的时间段内处于接触状态，以及，用户与机器人某个触摸部位在触摸起始时间点303至触摸终止时间点304之间的时间段内处于接触状态，以及，用户与机器人某个触摸部位在触摸起始时间点305至触摸终止时间点306之间的时间段内处于接触状态。其次，相邻的在前触摸终止时间点和在后触摸起始时间点之间的时间段内，用户与机器人某个触摸部位之间处于非接触状态，例如，用户与机器人某个触摸部位在触摸终止时间点302至触摸起始时间点303之间的时间段内处于非接触状态，以及，用户与机器人某个触摸部位在触摸终止时间点304至触摸起始时间点305之间的时间段内处于非接触状态。
示例性地，若用户对机器人进行了触摸动作A以及触摸动作B。其中，触摸动作B为在起始时间点305至触摸终止时间点306之间的时间段内，用户与机器人某个触摸部位之间的触摸动作，触摸动作B可以包括触摸状态。而触摸动作A包括触摸子动作1以及触摸子动作2，触摸子动作1为触摸起始时间点301至触摸终止时间点302之间的时间段内，用户与机器人某个触摸部位之间的触摸动作，而触摸子动作2为触摸起始时间点303至触摸终止时间点304之间的时间段内，用户与机器人某个触摸部位之间的触摸动作。虽然触摸子动作1以及触摸子动作2之间存在非触摸状态的时间间隔(即触摸终止时间点302至触摸起始时间点303之间的时间段)，但该时间间隔是小于触摸动作A以及触摸动作B之间的时间间隔(即触摸终止时间点304至触摸起始时间点305之间的时间段)的。因此，触摸动作A为触摸起始时间点301至触摸终止时间点304之间的时间段内，用户与机器人某个触摸部位之间的触摸动作，且触摸动作A可以包括触摸状态与非触摸状态。
可选地，图3所示的触摸动作A可对应于连续轻拍的触摸行为，触摸动作B可对应于抚摸的触摸行为或者长按的触摸动作。可以理解的是，图3的示例仅用于理解触摸动作以及触摸子动作，在实际应用中，每个触摸动作可以包括多个触摸子动作，且触摸子动作的数量不应理解为对本方案的限定。
由于电容触摸传感器能够基于电容的变化，检测到用户与机器人的某个触摸部位之间处于触摸状态，并向处理器上报用户与机器人的某个触摸部位之间处于触摸状态，例如，处于触摸状态时上报触摸状态标识“1”，处于非触摸状态上报触摸状态标识“0”，当电容触摸传感器检测到用户与机器人的某个触摸部位之间处于触摸状态，则向处理器上报触摸部位以及触摸状态标识“1”，因此，处理器接收到触摸状态标识“1”后，能够确定在机器人某个触摸部位发生了触摸行为。反之，当电容触摸传感器检测到用户与机器人的某个触摸部位之间处于非触摸状态，则向处理器上报触摸部位以及触摸状态标识“0”因此，处理器接收到触摸状态标识“0”后，能够确定在机器人某个触摸部位停止触摸行为。基于此，下面将介绍本实施例所提供的长时间触摸动作检测(可记作“detectLongTouch”)方法，用于确定用户与机器人的某个触摸部位之间触摸是否为新的触摸动作的开始。请参阅图4，图4为本申请实施例中长时间触摸行为检测的方法的一个实施例流程图，如图4所示，具体步骤如下。
步骤S400，处理器启动长时间触摸行为检测。
步骤S401，处理器判断上一触摸动作是否结束。
本实施例中，处理器需要判断上一触摸动作是否结束。若是，则执行步骤S402。若否，则执行步骤S403。
具体地，在电容触摸传感器感应到某个触摸部位的触摸动作后，处理器可以通过时间间隔阈值判断上一触摸动作是否结束。可选地，该时间间隔阈值可以是根据上一触摸动作和/或在前一个或多个触摸动作的时长和/或时间间隔自适应调整的，或者说动态变化的，每个时间间隔阈值可以是根据人工制定的规则自适应调整的，也可以是利用人工智能技术，基于历史数据、通过学习模型自动计算得到的。
若当前触摸动作与上一触摸动作之间的时间间隔大于或等于时间间隔阈值，则可以确定上一触摸动作已结束，当前触摸动作为新的触摸动作。具体地，上述当前触摸动作与上一触摸动作之间的时间间隔，为当前触摸动作的触摸起始时间点与上一触摸动作的触摸终止时间点。例如，请再次参阅图3，当触摸动作A的触摸终止时间点304与触摸动作B的触摸起始时间点305之间的时间间隔大于或等于时间间隔阈值，此时通过步骤S401能够判断上一触摸动作已经结束，且当前触摸动作为新的触摸动作，即上一触摸动作即为触摸动作A，当前触摸动作为触摸动作B。
同理可知，若当前触摸动作与上一触摸动作之间的时间间隔小于时间间隔阈值，则可以确定上一触摸动作并未结束，当前触摸动作为上一触摸动作的一个新的触摸子动作。例如，请再次参阅图3，当触摸子动作1的触摸终止时间点302与触摸子动作2的触摸起始时间点303之间的时间间隔小于于时间间隔阈值，此时通过步骤S401能够判断上一触摸动作并未结束，且当前触摸动作不是新的触摸动作，那么上一触摸动作可以为包括触摸子动作1的触摸动作A，当前触摸动作为触摸子动作2。在触摸子动作2发生之前(即触摸起始时间点303之前)，触摸动作A包括触摸子动作1而不包括触摸子动作2，而在触摸子动作2发生之后(例如，触摸结束时间点304之后或触摸起始时间点303之后)，触摸动作A既包括触摸子动作1、也包括触摸子动作2，触摸子动作2是触摸动作A的一个新的触摸子动作。
在一种可能的实现方式中，时间间隔阈值可以与当前触摸动作最近的一个触摸动作或触摸子动作的触摸时长正相关。具体地，可以通过公式(1)确定不同触摸动作之间的时间间隔阈值：
I＝min(k·Ttouch+Imin,Imax)； (1)
其中，k指示可调参数，Ttouch指示当前触摸动作最近的一个触摸动作或触摸子动作的触摸时长，Imin指示预设最短时间间隔，Imax指示预设最长时间间隔。
例如，请再次参阅图3，若上一触摸动作为触摸动作A，当前触摸动作为触摸动作B，那么Ttouch指示触摸起始时间点303至触摸终止时间点304之间的时间段。假设触摸子动作2的触摸时长(此示例中即Ttouch)为100毫秒(ms)、触摸终止时间点304和触摸起始时间点305之间的时长即时间间隔为350ms，且预设最短时间间隔Imin为50ms、预设最长时间间隔Imax为2秒(s)、可调参数k被配置为0.7，则此时根据公式(1)计算可得时间间隔阈值为120ms。时间间隔350ms大于时间间隔阈值120ms，因此可以确定触摸动作A已结束，触摸动作B为新的触摸动作。
步骤S402，处理器确定当前触摸动作的触摸起始时间点。
本实施例中，在执行步骤S402之前，处理器首先通过步骤S401进行判断，确定开始新的触摸动作，即上一触摸动作已经结束。因此，当前触摸动作为上一触摸动作完成后的一个新的触摸动作，此时处理器能够确定当前触摸动作的开始时间。示例性地，请再次参阅图3，若上一触摸动作为触摸动作A，当前触摸动作为触摸动作B，那么处理器将确定触摸起始时间点S305。
步骤S403，处理器将当前触摸动作确定为上一触摸动作的触摸子动作。
本实施例中，在执行步骤S403之前，处理器首先通过步骤S401进行判断，确定未出现新的触摸动作，即上一触摸动作尚未结束。因此，当前触摸动作将会被确定为上一触摸动作的触摸子动作。可选地，处理器还能够确定触摸子动作的触摸起始时间点和/或确定为触摸子动作的标识信息等。示例性地，请再次参阅图3，若上一触摸动作为包括触摸子动作1的触摸动作A，当前触摸动作为触摸子动作2，则触摸子动作2会被确定为触摸子动作A包括的一个新的触摸子动作，那么处理器可以确定触摸子动作2的触摸起始时间点S303。
此种情况下，“上一触摸动作”包括的触摸子动作数量增加一个。例如，请再次参阅图3，在触摸子动作2发生前、后，触摸动作A包括的触摸子动作的数量由一个(触摸子动作1)增加为两个(触摸子动作1和触摸子动作2)。基于此，处理器确定触摸子动作后，还能够更新触摸动作的间隔数(可记作“numIntervals”)，以及触摸动作中每个触摸子动作的平均间隔时长(可记作“meanTouchIntervals”)。例如，假设上一触摸动作之前已包括第一触摸子动作以及第二触摸子动作，第一触摸子动作和第二触摸子动作之间的时间间隔时长为80ms。步骤S403将当前触摸动作确定上一触摸动作的第三触摸子动作，且第二触摸子动作和第三触摸子动作之间的时间间隔时长为100ms，则处理器将上一触摸动作的间隔数从1个更新为2个，并且将上一触摸动作的平均间隔时长从80sm更新为(80+100)/2＝90ms。
基于此，在触摸动作变化的时候，例如，连续轻拍后更改为连续抚摸，此时每个触摸子动作的平均间隔时长会逐渐变长。因此处理器在确定触摸动作类型时，还能够参考更新后得到的平均间隔时长进行确定，以满足不同触摸动作的可能性，提升确定触摸动作类型的准确度。
步骤S404，处理器启动下一个长时间触摸行为检测。
本实施例中，处理器完成步骤S403或步骤S402后，将启动下一个长时间触摸行为检测，即重复执行图4所示流程。当下一次触摸行为发生时，处理器能够通过与步骤S401类似的方式判断是否发生新的触摸动作，进而通过与步骤S402类似的方式完成对新触摸动作的触摸起始时间的上报，或者通过与步骤S403类似的方式完成对将当前触摸动作确定为上一触摸动作所包括的新的触摸子动作的结果的上报。
以上对长时间触摸动作检测方法进行了介绍，下面将介绍本申请实施例所提供的触摸动作结束检测(可记作“detectTouchEvent”)方法，用于确定用户与机器人的某个触摸部位之间的触摸动作是否结束。请参阅图5，图5为本申请实施例中触摸动作结束检测方法的一个实施例流程图，如图5所示，具体步骤如下。
步骤S500、处理器启动触摸动作结束检测。
步骤S501、处理器判断是否出现新的触摸子动作。
本实施例中，在发生触摸行为时，电容触摸传感器在电容触摸传感器感应到某个触摸部位的触摸动作后，处理器能够通过与步骤S401类似的方式判断是否发生新的触摸动作，即根据时间间隔阈值进行判断，此处不再重复描述。
若步骤S501判断为是，说明未出现新的触摸动作，由此能够通过与步骤S403类似的方式，将当前触摸动作确定为触摸子动作，即确定出现新的触摸子动作，并执行步骤S502。示例性地，请再次参阅图3，当触摸子动作1的触摸终止时间点302与触摸子动作2的触摸起始时间点303之间的时间间隔小于时间间隔阈值，此时通过步骤S501能够判断上一触摸动作并未结束，且当前触摸动作为新的触摸子动作。那么上一触摸动作可以为包括触摸子动作1的触摸动作A，当前触摸动作为触摸子动作2。在触摸子动作2发生之前(即触摸起始时间点303之前)，触摸动作A包括触摸子动作1而不包括触摸子动作2，而在触摸子动作2发生之后(例如，触摸结束时间点304之后或触摸起始时间点303之后)，触摸动作A既包括触摸子动作1、也包括触摸子动作2，触摸子动作2是触摸动作A的一个新的触摸子动作。
若上一触摸动作(上一触摸子动作)为触摸子动作1，那么当前触摸动作(新的触摸子动作)为触摸子动作2。
其次，若步骤S501判断为否，说明已出现新的触摸动作，由此确定未出现新的触摸子动作，并执行步骤S503。
步骤S502、处理器确定结果。
本实施例中，在执行步骤S502之前，处理器首先通过步骤S501进行判断，确定开始新的触摸子动作。因此，当前触摸动作为上一触摸动作中的一个新的触摸子动作，处理器确定这一结果。可选地，处理器还可以确定触摸子动作的触摸起始时间点和/或确定为触摸子动作的标识信息等。例如，请再次参阅图3，若处理器确定出现新的触摸子动作为触摸子动作2，那么处理器能够确定触摸子动作2的触摸起始时间点S303。
此种情况下，与前述实施类似，“上一触摸动作”包括的触摸子动作数量增加一个。例如，请再次参阅图3，在触摸子动作2发生前、后，触摸动作A包括的触摸子动作的数量由一个(触摸子动作1)增加为两个(触摸子动作1和触摸子动作2)。基于此，处理器确定结果后，还能够更新触摸动作的中触摸子动作的数量(可记作“numTouches”)，以及触摸动作中每个触摸子动作的平均触摸时长(可记作“meanTouchDuration”)。例如，假设上一触摸动作之前已包括第一触摸子动作以及第二触摸子动作，第一触摸子动作的触摸时长为200毫秒，第二触摸子动作的触摸时长为240毫秒。步骤S502将当前触摸动作确定上一触摸动作的第三触摸子动作，且第三触摸子动作的触摸时长为280毫秒，则处理器将上一触摸动作的触摸子动作的数量从2个更新为3个，并且将上一触摸动作中每个触摸子动作的平均触摸时长从(200+240)/2＝220毫秒更新为(200+240+280)/3＝240毫秒。
步骤S503、处理器确定触摸动作的触摸终止时间点。
本实施例中，在执行步骤S503之前，处理器首先通过步骤S501进行判断，确定未出现新的触摸子动作，即上一触摸动作已经结束，并开始新的触摸动作。因此，当前触摸动作为上一触摸动作完成后的一个新的触摸动作。若上一触摸动作包括多个触摸子动作，那么处理器可以将上一触摸动作中最后一次出现的触摸子动作的触摸终止时间确定为触摸动作的触摸终止时间。示例性地，请再次参阅图3，上一触摸动作(触摸动作A)已经结束，并且出现新的触摸动作(触摸动作B)。由于触摸动作A中最后一次出现的触摸子动作为触摸子动作2，且触摸子动作2的触摸终止时间点为S304，因此可以确定触摸动作A的触摸终止时间点为S304。可选地，处理器还可以确定触摸子动作2的触摸起始时间点S303，或者触摸子动作2中触摸起始时间点S303至触摸终止时间点S304的触摸时长等。
若触摸动作中未包括触摸子动作，在电容触摸传感器感应到某个触摸部位的触摸动作后，处理器能够接收到电容触摸传感器上报的触摸状态标识“1”后，而在电容触摸传感器感应到对某个触摸部位停止触摸动作，处理器能够接收到电容触摸传感器上报的触摸状态标识“0”，接收到触摸状态标识“0”的时间点即为触摸动作的触摸终止时间。示例性地，请再次参阅图3，对于新的触摸动作(触摸动作B)而言，由于触摸动作B不包括触摸子动作，处理器在时间点S305接收到电容触摸传感器上报的触摸状态标识“1”，此时处理器能够确定时间点S305为触摸动作B触摸起始时间点S305，而处理器在时间点S306接收到电容触摸传感器上报的触摸状态标识“0”，此时处理器可以确定时间点S306为触摸动作B的触摸终止时间点。可选地，处理器还可以确定触摸动作B的触摸起始时间点S305，或者触摸动作B中触摸起始时间点S305至触摸终止时间点S306的触摸时长等。
步骤S504，处理器启动下一个触摸动作结束检测。
本实施例中，处理器完成步骤S503或步骤S502后，将启动下一个触摸动作结束检测，即重复执行图5所示流程。当下一次触摸动作发生时，处理器能够通过与步骤S501类似的方式判断是否发生新的触摸子动作，进而通过与步骤S502类似的方式完成对将新的触摸子动作确定的结果的上报，或者通过与步骤S503类似的方式完成对新的触摸子动作的触摸终止时间上报。
图3与图5所示实施例的一些可能的实现方式中，不同的触摸动作之间的时间间隔阈值与最近一个触摸动作或触摸子动作的触摸时长正相关，由此能够实现时间间隔阈值的自适应更新。基于此，动态时间间隔阈值设定能够更好地判断触摸动作的连续性，并且本申请实施例所提出的触摸动作拆分算法能够处理触摸动作之间连续变化的情况。例如，传统的识别算法只能识别单击、双击和长按，并且每个动作之间是隔离的。本发明提出的触摸动作拆分算法则可以连续识别上一触摸动作与当前触摸动作，并且能够准确捕捉连续的触摸动作之间的转变，因此不同的触摸动作之间不再是彼此隔离的，使得确定的结果更符合真实的触摸动作。
基于此，下面将基于前述实施例所介绍的触摸动作检测的方法，对本申请实施例中触摸行为识别方法进行介绍。请参阅图6，图6为本申请实施例中触摸行为识别方法的一个实施例流程图，如图所示，本申请实施例中触摸行为识别方法可以应用于图2所示出的机器人，基于此，触摸行为识别方法的具体步骤如下。
步骤S601，处理器确定触摸动作的触摸时长。
本实施例中，处理器可通过在触摸开始时，执行图4所示出的步骤S401至步骤S404，实现长时间触摸动作的检测。其次，可通过在触摸结束时，执行图5所示出的步骤S501至步骤S504，实现触摸动作结束的检测。
基于此，由于处理器在长时间触摸动作检测方法和触摸动作结束检测方法中，能够确定触摸动作的触摸起始时间以及触摸终止时间，因此处理器能够基于触摸动作的触摸起始时间以及触摸终止时间计算得到触摸动作的触摸时长，以实现确定触摸动作的触摸时长的目的。
具体地，在用户对机器人某个部位开始进行触摸动作时，处理器会执行触摸动作开始算法(可记作“actionOnTouch”)，并且通过触摸动作开始算法调用图4示出的长时间触摸动作检测(可记作“detectLongTouch”)方法，实现长时间触摸动作检测的目的。其次，在用户结束对机器人某个部位的触摸动作时，处理器会执行触摸动作结束算法(可记作“actionOnQuit”)，并且通过触摸动作结束算法调用图5示出的触摸动作结束检测(可记作“detectTouchEvent”)方法，实现触摸动作结束检测的目的。
步骤S602、处理器根据触摸动作的触摸时长确定触摸动作类型。
本实施例中，可以根据触摸动作的触摸时长对不同的触摸动作类型进行划分。例如，触摸动作类型A对应的触摸时长为触摸时长范围A，触摸动作类型B对应的触摸时长为触摸时长范围B，触摸动作类型C对应的触摸时长为触摸时长范围C，以及触摸动作类型D对应的触摸时长为触摸时长范围D，当步骤S601中获取触摸动作的触摸时长处于触摸时长范围C，那么可以确定该触摸动作的类型为触摸动作类型C。
在一种可能的实现方式中，可以将触摸时长小于200ms的触摸动作的触摸动作类型定义为“拍”，将触摸时长大于或等于200ms，且小于2s的触摸动作触摸动作类型定义为“抚摸”，将触摸时长大于或等于2s的触摸动作触摸动作类型定义类型为“长按”。应理解，本实施例以200ms、2s两个时长阈值作为拍、抚摸以及长按三种触摸动作类型的划分，仅作为一种可能的实现方式的举例，而非限定；本实施例对于时间阈值划分的时长区间为开区间还是闭区间，也不构成限定。在实际应用中，不同的触摸动作类型之间的时间间隔划分可以是根据前述实施例中所获取的触摸动作中每个触摸子动作的平均间隔时长以及每个触摸动作中每个触摸子动作的的平均接触时长、通过进行实验和/或基于大量数据的统计所确定的。
可选地，不同的触摸动作类型对应的触摸时长范围可能相同或者存在交叉，仅根据触摸时长范围不能够准确确定触摸动作类型，此时可以结合触摸时长之外的其他信息进一步区分触摸动作类型。上述其他信息，可以是例如机器人运动状态(如加速度)、机器人获取的声音/语音信息、机器人的图像采集装置采集的图片或视频或者机器人从其他电子设备获取的信息(如声音/语音信息、传感器信息、图片或视频信息)等信息。
在一些场景中，有些触摸动作仅仅通过电容触摸传感器所上报的触摸状态标识无法进行准确区分，例如，很难仅仅通过电容触摸传感器所上报的触摸状态标识区分重拍和轻拍。此时，可以通过IMU所检测到的加速度信息，然后处理器根据加速度信息确定触摸动作的振动幅度，并通过触摸动作的振动幅度以及触摸动作的触摸时长确定触摸动作。例如，在触摸部位进行拍的振动幅度小于振动幅度阈值，则能够进一步地确定触摸动作类型为轻拍。在触摸部位进行拍的振动幅度大于或等于振动幅度阈值，则能够进一步地确定触摸动作类型为重拍。应理解，在实际应用中，通过IMU还能进一步地分辨更多个触摸动作，例如，轻抚以及重抚，或者轻按以及重按等，并且不同的触摸动作对应的振动幅度阈值也不同。基于IMU以及电容触摸传感器所检测到信息确定的触摸动作能够更为准确。
图7示例性地展示了本申请实施例提供的一种结合IMU以及电容触摸传感器确定触摸动作类型的方法流程图。如图7所示，确定触摸动作类型的方法具体包括如下步骤。
步骤S700、处理器启动触摸动作类型识别.
步骤S701、处理器确定触摸动作类型。
本实施例中，处理器通过与前述实施例类似方式，通过触摸动作的触摸时长确定触摸动作类型。
步骤S702、处理器判断振动幅度与振动幅度阈值的大小关系。
本实施例中，IMU检测触摸动作的加速度信息，并且将触摸动作的加速度信息向机器人包括的处理器上报，处理器根据触摸动作的加速度信息确定触摸动作的振动幅度，并且判断振动幅度与振动幅度阈值的大小关系。
步骤S703、振动幅度是否大于或等于振动幅度阈值。
本实施例中，处理器判断触摸动作的振动幅度是否大于或等于振动幅度阈值，若是，则执行步骤S704。若否，则执行步骤S705。
S704、处理器将触摸动作类型修正为重。
本实施例中，通过步骤S703可知，触摸动作的振动幅度大于或等于振动幅度阈值。基于此，若在步骤S701中确定触摸动作类型为拍，那么结合触摸动作的振动幅度大于振动幅度阈值这一结果，能够进一步地确定触摸动作类型为重拍，并且将步骤S701中所确定的触摸动作类型从“拍”修正为“重拍”。同理可知，若在步骤S701中确定触摸动作类型为抚摸，那么结合触摸动作的振动幅度大于振动幅度阈值这一结果，能够进一步地确定触摸动作类型为重抚，并且将步骤S701中所确定的触摸动作类型从“抚摸”修正为“重抚”。其他的触摸动作类型也能够基于步骤S704的类似方式进行修正，在此不对所有触摸动作类型的修正进行穷举。
S705、处理器将触摸动作类型修正为轻。
本实施例中，通过步骤S703可知，触摸动作的振动幅度小于振动幅度阈值。基于此，若在步骤S701中确定触摸动作类型为拍，那么结合触摸动作的振动幅度小于振动幅度阈值这一结果，能够进一步地确定触摸动作类型为轻拍，并且将步骤S701中所确定的触摸动作类型从“拍”修正为“轻拍”。同理可知，若在步骤S701中确定触摸动作类型为长按，那么结合触摸动作的振动幅度小于振动幅度阈值这一结果，能够进一步地确定触摸动作类型为轻按，并且将步骤S701中所确定的触摸动作类型从“长按”修正为“轻按”。其他的触摸动作类型也能够基于步骤S705的类似方式进行修正，在此不对所有触摸动作类型的修正进行穷举。
S706、处理器输出修正后的触摸动作类型。
本实施例中，完成步骤S704或步骤S705后，将输出修正后的触摸动作类型，使得处理器能够根据修正后的触摸动作类型确定触摸行为，以进一步地提升触摸行为确定的准确度。例如，若通过步骤S704将步骤S701中所确定的触摸动作类型从“拍”修正为“重拍”，那么在步骤S706中将输出修正后的触摸动作类型“重拍”。同理可知，若通过步骤S705将步骤S701中所确定的触摸动作类型从“长按”修正为“轻按”，那么在步骤S706中将输出修正后的触摸动作类型“轻按”。
因此，在步骤S602所介绍的一些场景中，即在无压力传感器的情况下，能够通过IMU所检测到的加速度信息与电容触摸传感器所上报的触摸状态标识，实现重拍和轻拍，或轻抚以及重抚，或轻按以及重按的目的，并且提升对触摸动作类型检测的准确度。
步骤S603、处理器根据触摸动作类型确定触摸行为。
本实施例中，通过步骤S602能够确定每个触摸部位的触摸动作类型。由于有些触摸行为只涉及一个触摸部位，因此根据在一个触摸部位进行的触摸动作即可确定触摸行为，例如，抚摸头部即为在头部进行抚摸的触摸动作，拍肚子即为在肚子进行拍的触摸动作。
然而，有一些触摸行为则涉及多个触摸部位，因此需要根据在多个触摸部位进行的触摸动作即可确定触摸行为，例如，握手为在手心继续抚摸或者长按的触摸动作，以及在在手背继续抚摸或者长按的触摸动作。基于此，在不同的触摸部位进行触摸动作，能够组合成为触摸行为。
由于本实施例中所介绍的图2所示机器人进包括11个触摸部位，且每个触摸部位之间区分度很高，因此可以编码制定融合感知的规则。然而，当机器人触摸部位数量非常多时(例如电子皮肤)，编码制定融合感知的规则将耗费大量的人力且泛化能力可能较差。则此时可以运用人工智能技术，以大量数据为驱动，训练出可以识别出不同复杂触摸行为的分类模型。可选地，上述分类模型可以是例如机器学习模型、深度学习模型或强化学习模型等学习模型。下面分别对基于预设规则进行触摸行为识别以及基于分类模型进行触摸行为识别方法进行介绍。
一、基于预设规则进行触摸行为识别
本实施例中，预设规则是人为通过编码制定的规则。例如，if(触摸动作1in触摸部位3)and(触摸动作4in触摸部位6)then触摸行为1，表示若在触摸部位3进行触摸动作1，以及在触摸部位6进行触摸动作4即为触摸行为1。或者，if(触摸动作1in触摸部位4)and(触摸动作1in触摸部位3)then触摸行为3，表示若在触摸部位4进行触摸动作1，以及在触摸部位3进行触摸动作1即为触摸行为1。
可以理解的是，前述示例仅为人为制定的一种规则，在实际应用中，预设的规则不限于两个单部位触摸行为，可以是在一至多个部位进行触摸动作组成触摸行为。例如，(抚摸in左手心)and(抚摸in左手背)and(抚摸in右手心)and(抚摸in右手背)then握住双手。表示在左手心进行抚摸，在左手背进行抚摸，在右手心进行抚摸，以及在右手背进行抚摸即为握住双手。因此触摸动作以及触摸部位的数量不应理解为本申请的限定。
二、基于分类模型进行触摸行为识别
本实施例中，以多个触摸部位的触摸行为作为待训练触摸行为识别模型的输入，以预设触摸行为作为输出，通过常见的模型训练方法进行训练。示例性地，若机器人在N个触摸部位均装有电容触摸传感器，请参阅图8，图8为本申请实施例中基于分类模型进行触摸行为识别的一个实施例示意图。如图8所示，将在N个触摸部位所检测的触摸动作作为训练完成后得到的触摸行为识别模型(用于对触摸行为进行分类的分类模型)的输入，触摸行为识别模型可以根据上述输入，输出触摸行为类别。具体地，如图8所示，将在触摸部位1以及触摸部位N进行拍、在触摸部位2以及触摸部位N-1未进行触摸动作(图8中用“无”指示未进行触摸动作)、在触摸部位3进行抚摸等信息作为触摸行为识别模型的输入，触摸行为识别模型能够根据以上输入，确定触摸行为的类别，最终输出分类结果触摸行为4。
可以理解的是，前述示例均用于理解本方案，多个触摸部位所检测的触摸动作所对应的触摸行为需要根据实际情况灵活确定。
本申请实施例中触摸行为识别方法能够在多个触摸部位上的触摸动作类型被检测出来的基础上，基于人工规则或者分类模型，实现多个触摸部位的复杂触摸行为的识别，例如，握手和拥抱等，进一步地提升触摸行为识别的准确度以及可靠性。
在一些可能的实现方式中，本申请上述实施例中的触摸传感器还可以是除电容传感器之外的其他类型的传感器，例如，基于表面声波和红外的触摸传感器等。
在一些可能的实现方式中，本申请上述实施例中的IMU还可以是其他类型的可以检测机器人运动信息的传感器，例如，利用接触式微机电系统(micro electro mechanicalsystem，MEMS)麦克风同样可以实现振动检测。
在一些可能的实现方式中，本申请上述实施例提供的机器人可以根据机器人处理器确定的用户触摸动作类型或触摸行为作出反应，实现拟人化互动。例如，机器人处理器确定用户对机器人进行了“握住双手”的触摸行为，则机器人头部的显示屏可显示笑脸表情、机器人扬声器播放“你想跟我玩游戏吗？”的语音。又例如，机器人处理器确定用户对机器人进行了“连续重击”的触摸动作，则机器人头部的显示屏可显示哭泣表情、机器人扬声器播放“啊，好疼”的语音。基于本申请实施例提供的触摸行为识别方法，机器人能够准确识别、区分出用户的连续动作，提高触摸行为识别的准确性，进而作出更准确的反应、与用户进行更拟真的互动，提升用户体验。
在一些可能的实现方式中，本申请上述实施例提供的方法除了可以应用于机器人外，还可以应用于任意交互式电子设备中，例如手机、可折叠电子设备、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本、蜂窝电话、个人数字助理(personal digitalassistant，PDA)、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、人工智能(artificial intelligence,AI)设备、可穿戴式设备、脑机接口设备、车载设备、智能家居设备、智能医疗设备、智能健身设备或智慧城市设备等。
本申请实施例提供一种机器人，该机器人包括一个至多个触摸传感器以及处理器。
其中，一个至多个触摸传感器用于检测进行触摸行为时电容的变化。
处理器用于执行图4，图5，图6以及图7所示出的方法。
可选地，上述机器人还包括IMU，上述IMU用于检测加速度信息；
上述处理器还用于根据加速度信息确定触摸动作的振动幅度。
上述主要从方法的角度对本申请实施例提供的方案进行了介绍。可以理解的是，触摸行为识别装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以基于上述方法示例对触摸行为识别装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
由此，下面对本申请中的触摸行为识别装置进行详细描述，且触摸行为识别装置被设置于机器人，请参阅图9，图9为本申请实施例中触摸行为识别装置一个结构示意图，如图所示，触摸行为识别装置900包括：
检测模块901，用于检测触摸动作的触摸状态信息，其中，触摸动作的触摸状态信息指示触摸状态，或，非触摸状态；
检测模块901，还用于检测触摸动作的加速度信息；
处理模块902，用于根据触摸动作的触摸状态信息确定触摸动作的触摸时长；
处理模块902，还用于根据触摸动作的触摸时长以及触摸动作的振动幅度，确定触摸动作类型，其中，触摸动作的振动幅度是根据触摸动作的加速度信息确定的，触摸动作类型用于确定触摸行为。
在一种可选的实现方式中，在上述图9所对应的实施例基础上，本申请实施例提供的触摸行为识别装置900的另一实施例中，处理模块902，还用于根据每个触摸动作的触摸时长，确定对应于每个触摸动作的时间间隔阈值，其中，时间间隔阈值正比于触摸动作的触摸时长；
处理模块902，还用于根据时间间隔阈值，拆分触摸动作。
在一种可选的实现方式中，在上述图9所对应的实施例基础上，本申请实施例提供的触摸行为识别装置900的另一实施例中，处理模块902，还用于根据触摸动作的触摸状态信息，确定触摸动作的触摸起始时间点和触摸终止时间点；
处理模块902，还用于根据触摸起始时间点和触摸终止时间点，确定触摸动作的触摸时长，以及，每两个相邻的触摸动作之间的时间间隔；
处理模块902，具体用于：
在时间间隔大于或等于第一时间间隔阈值的情况下，处理器确定触摸动作为新的触摸动作，其中，第一时间间隔阈值为两个相邻的触摸动作中在前的触摸动作对应的时间间隔阈值；
在时间间隔小于第一时间间隔阈值的情况下，处理器确定触摸动作为触摸子动作。
在一种可选的实现方式中，在上述图9所对应的实施例基础上，本申请实施例提供的触摸行为识别装置900的另一实施例中，处理模块902，还用于根据发生在多个触摸部位的多个触摸动作的触摸动作类型，确定触摸行为。
在一种可选的实现方式中，在上述图9所对应的实施例基础上，本申请实施例提供的触摸行为识别装置900的另一实施例中，处理模块902，具体用于根据发生在多个触摸部位的多个触摸动作的触摸动作类型，根据预设规则确定触摸行为。
在一种可选的实现方式中，在上述图9所对应的实施例基础上，本申请实施例提供的触摸行为识别装置900的另一实施例中，处理模块902，具体用于根据发生在多个触摸部位的多个触摸动作的触摸动作类型，根据分类模型确定触摸行为，其中，分类模型是以历史触摸数据为训练数据，通过训练得到的模型。
在一种可选的实现方式中，在上述图9所对应的实施例基础上，本申请实施例提供的触摸行为识别装置900的另一实施例中，触摸动作的触摸时长用于根据预设的时长阈值区分触摸动作类型。
在一种可选的实现方式中，在上述图9所对应的实施例基础上，本申请实施例提供的触摸行为识别装置900的另一实施例中，时长阈值包括第一时长阈值和第二时长阈值，第一时长阈值小于第二时长阈值；
触摸动作的触摸时长小于第一时长阈值的触摸动作为拍；
触摸动作的触摸时长大于或等于第一时长阈值，且小于第二时长阈值的触摸动作为抚摸；
所处触摸动作的触摸时长大于或等于第二时长阈值的触摸动作为长按。
在一种可选的实现方式中，在上述图9所对应的实施例基础上，本申请实施例提供的触摸行为识别装置900的另一实施例中，触摸动作的振动幅度用于根据预设的振动幅度阈值区分触摸动作类型；
触摸动作的振动幅度小于振动幅度阈值的触摸动作，为轻拍、轻抚或轻按中任一项；
触摸动作的振动幅度大于或等于振动幅度阈值的触摸动作，为重拍、重抚或重按中任一项。
本申请实施例提供一种机器人，包括至少一个电容触摸传感器，IMU、至少一个处理器、存储器、输入输出(I/O)接口；
所述至少一个电容触摸传感器，IMU以及至少一个处理器与所述存储器、所述输入输出接口耦合；
所述至少一个电容触摸传感器，IMU以及至少一个处理器用于执行存储器中存储的计算机程序，以执行上述任一方法实施例中至少一个电容触摸传感器，IMU以及至少一个处理器所执行的方法。
本申请还提供了一种触摸行为识别装置，包括至少一个处理器，所述至少一个处理器用于执行存储器中存储的计算机程序，以使得所述触摸行为识别装置执行上述任一方法实施例中电容触摸传感器，IMU以及处理器所执行的方法。
应理解，上述触摸行为识别装置可以是一个或多个芯片。例如，该触摸行为识别装置可以是现场可编程门阵列(field programmable gate array，FPGA)，可以是专用集成芯片(application specific integrated circuit，ASIC)，还可以是系统芯片(system onchip，SoC)，还可以是中央处理器(central processor unit，CPU)，还可以是网络处理器(network processor，NP)，还可以是数字信号处理电路(digital signal processor，DSP)，还可以是微控制器(micro controller unit，MCU)，还可以是可编程控制器(programmable logic device，PLD)或其他集成芯片。
本申请实施例还提供了一种触摸行为识别装置，包括处理器和通信接口。所述通信接口与所述处理器耦合。所述通信接口用于输入和/或输出信息。所述信息包括指令和数据中的至少一项。所述处理器用于执行计算机程序，以使得所述触摸行为识别装置执行上述任一方法实施例中电容触摸传感器，IMU以及处理器所执行的方法。
本申请实施例还提供了一种触摸行为识别装置，包括处理器和存储器。所述存储器用于存储计算机程序，所述处理器用于从所述存储器调用并运行所述计算机程序，以使得所述触摸行为识别装置执行上述任一方法实施例中电容触摸传感器，IMU以及处理器所执行的方法。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
应注意，本申请实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
根据本申请实施例提供的方法，本申请还提供一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码在计算机上运行时，使得该计算机执行图2，图5以及图9所示实施例中的各个单元执行的方法。
根据本申请实施例提供的方法，本申请还提供一种计算机可读存储介质，该计算机可读存储介质存储有程序代码，当该程序代码在计算机上运行时，使得该计算机执行图2，图5以及图9所示实施例中的各个单元执行的方法。
上述各个装置实施例中模块和方法实施例中各个单元完全对应，由相应的模块或单元执行相应的步骤，例如通信单元(收发器)执行方法实施例中接收或发送的步骤，除发送、接收外的其它步骤可以由处理单元(处理器)执行。具体单元的功能可以参考相应的方法实施例。其中，处理器可以为一个或多个。
在本说明书中使用的术语“部件”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于，在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示，在计算设备上运行的应用和计算设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中，部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外，这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的数据，例如通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种触摸行为识别方法，所述方法应用于机器人，所述机器人包括电容触摸传感器，惯性测量单元IMU以及处理器，其特征在于，所述方法包括：
所述电容触摸传感器检测触摸动作的触摸状态信息，其中，所述触摸动作的触摸状态信息指示触摸状态，或，非触摸状态；
所述IMU检测所述触摸动作的加速度信息；
所述处理器根据所述触摸动作的触摸状态信息确定触摸动作的触摸时长；
所述处理器根据所述触摸动作的触摸时长以及所述触摸动作的振动幅度，确定触摸动作类型，其中，所述触摸动作的振动幅度是根据所述触摸动作的加速度信息确定的，所述触摸动作类型用于确定触摸行为。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述处理器根据每个所述触摸动作的触摸时长，确定对应于每个所述触摸动作的时间间隔阈值，其中，所述时间间隔阈值正比于所述触摸动作的触摸时长；
所述处理器根据所述时间间隔阈值，拆分所述触摸动作。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
所述处理器根据所述触摸动作的触摸状态信息，确定所述触摸动作的触摸起始时间点和触摸终止时间点；
所述处理器根据所述触摸起始时间点和所述触摸终止时间点，确定所述触摸动作的触摸时长，以及，每两个相邻的所述触摸动作之间的时间间隔；
所述处理器根据所述时间间隔阈值，拆分所述触摸动作，具体包括：
在所述时间间隔大于或等于第一时间间隔阈值的情况下，所述处理器确定所述触摸动作为新的触摸动作，其中，所述第一时间间隔阈值为两个相邻的所述触摸动作中在前的所述触摸动作对应的所述时间间隔阈值；
在所述时间间隔小于所述第一时间间隔阈值的情况下，所述处理器确定所述触摸动作为触摸子动作。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述机器人包括多个触摸部位，所述电容触摸传感器包括位于所述多个触摸部位的多个电容触摸传感器，所述方法还包括：
所述处理器根据发生在所述多个触摸部位的多个触摸动作的所述触摸动作类型，确定所述触摸行为。
5.根据权利要求4所述的方法，其特征在于，所述处理器根据发生在所述多个触摸部位的多个触摸动作的所述触摸动作类型，确定所述触摸行为，具体包括：
所述处理器根据发生在所述多个触摸部位的多个触摸动作的所述触摸动作类型，根据预设规则确定所述触摸行为。
6.根据权利要求4所述的方法，其特征在于，所述处理器根据发生在所述多个触摸部位的多个触摸动作的所述触摸动作类型，确定所述触摸行为，具体包括：
所述处理器根据发生在所述多个触摸部位的多个触摸动作的所述触摸动作类型，根据分类模型确定所述触摸行为，其中，所述分类模型是以历史触摸数据为训练数据，通过训练得到的模型。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述触摸动作的触摸时长用于根据预设的时长阈值区分所述触摸动作类型。
8.根据权利要求7所述的方法，其特征在于，所述时长阈值包括第一时长阈值和第二时长阈值，所述第一时长阈值小于所述第二时长阈值；
所述触摸动作的触摸时长小于所述第一时长阈值的触摸动作为拍；
所述触摸动作的触摸时长大于或等于所述第一时长阈值，且小于所述第二时长阈值的触摸动作为抚摸；
所处触摸动作的触摸时长大于或等于所述第二时长阈值的触摸动作为长按。
9.根据权利要求7或8所述的方法，其特征在于，所述触摸动作的振动幅度用于根据预设的振动幅度阈值区分所述触摸动作类型；
所述触摸动作的振动幅度小于所述振动幅度阈值的触摸动作，为轻拍、轻抚或轻按中任一项；
所述触摸动作的振动幅度大于或等于所述振动幅度阈值的触摸动作，为重拍、重抚或重按中任一项。
10.一种触摸行为识别装置，其特征在于，所述触摸行为识别装置包括：
检测模块，用于检测触摸动作的触摸状态信息，其中，所述触摸动作的触摸状态信息指示触摸状态，或，非触摸状态；
所述检测模块，还用于检测所述触摸动作的加速度信息；
处理模块，用于根据所述触摸动作的触摸状态信息确定触摸动作的触摸时长；
所述处理模块，还用于根据所述触摸动作的触摸时长以及所述触摸动作的振动幅度，确定触摸动作类型，其中，所述触摸动作的振动幅度是根据所述触摸动作的加速度信息确定的，所述触摸动作类型用于确定触摸行为。
11.根据权利要求10所述的装置，其特征在于，所述处理模块，还用于根据每个所述触摸动作的触摸时长，确定对应于每个所述触摸动作的时间间隔阈值，其中，所述时间间隔阈值正比于所述触摸动作的触摸时长；
所述处理模块，还用于根据所述时间间隔阈值，拆分所述触摸动作。
12.根据权利要求11所述的装置，其特征在于，所述处理模块，还用于根据所述触摸动作的触摸状态信息，确定所述触摸动作的触摸起始时间点和触摸终止时间点；
所述处理模块，还用于根据所述触摸起始时间点和所述触摸终止时间点，确定所述触摸动作的触摸时长，以及，每两个相邻的所述触摸动作之间的时间间隔；
所述处理模块，具体用于：
在所述时间间隔大于或等于第一时间间隔阈值的情况下，所述处理器确定所述触摸动作为新的触摸动作，其中，所述第一时间间隔阈值为两个相邻的所述触摸动作中在前的所述触摸动作对应的所述时间间隔阈值；
在所述时间间隔小于所述第一时间间隔阈值的情况下，所述处理器确定所述触摸动作为触摸子动作。
13.根据权利要求10至12中任一项所述的装置，其特征在于，所述处理模块，还用于根据发生在所述多个触摸部位的多个触摸动作的所述触摸动作类型，确定所述触摸行为。
14.根据权利要求13所述的装置，其特征在于，所述处理模块，具体用于根据发生在所述多个触摸部位的多个触摸动作的所述触摸动作类型，根据预设规则确定所述触摸行为。
15.根据权利要求13所述的装置，其特征在于，所述处理模块，具体用于根据发生在所述多个触摸部位的多个触摸动作的所述触摸动作类型，根据分类模型确定所述触摸行为，其中，所述分类模型是以历史触摸数据为训练数据，通过训练得到的模型。
16.根据权利要求10至15中任一项所述的装置，其特征在于，所述触摸动作的触摸时长用于根据预设的时长阈值区分所述触摸动作类型。
17.根据权利要求16所述的装置，其特征在于，所述时长阈值包括第一时长阈值和第二时长阈值，所述第一时长阈值小于所述第二时长阈值；
所述触摸动作的触摸时长小于所述第一时长阈值的触摸动作为拍；
所述触摸动作的触摸时长大于或等于所述第一时长阈值，且小于所述第二时长阈值的触摸动作为抚摸；
所处触摸动作的触摸时长大于或等于所述第二时长阈值的触摸动作为长按。
18.根据权利要求16或17所述的装置，其特征在于，所述触摸动作的振动幅度用于根据预设的振动幅度阈值区分所述触摸动作类型；
所述触摸动作的振动幅度小于所述振动幅度阈值的触摸动作，为轻拍、轻抚或轻按中任一项；
所述触摸动作的振动幅度大于或等于所述振动幅度阈值的触摸动作，为重拍、重抚或重按中任一项。
19.一种机器人，其特征在于，包括：
包括电容触摸传感器、惯性测量单元IMU、处理器、存储器以及输入输出(I/O)接口；
所述电容触摸传感器、IMU以及处理器与所述存储器、所述输入输出接口耦合；
所述电容触摸传感器、IMU以及处理器通过运行所述存储器中的计算机指令以执行如权利要求1至9中任一项所述的方法。
20.一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1至9中任一项所述的方法。
CN202110217491.5A 2021-02-26 2021-02-26 一种触摸行为识别方法、装置以及设备 Pending CN115047993A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110217491.5A CN115047993A (zh) 2021-02-26 2021-02-26 一种触摸行为识别方法、装置以及设备
PCT/CN2021/136066 WO2022179239A1 (zh) 2021-02-26 2021-12-07 一种触摸行为识别方法、装置以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110217491.5A CN115047993A (zh) 2021-02-26 2021-02-26 一种触摸行为识别方法、装置以及设备

Publications (1)

Publication Number Publication Date
CN115047993A true CN115047993A (zh) 2022-09-13

Family

ID=83047780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110217491.5A Pending CN115047993A (zh) 2021-02-26 2021-02-26 一种触摸行为识别方法、装置以及设备

Country Status (2)

Country Link
CN (1) CN115047993A (zh)
WO (1) WO2022179239A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8909370B2 (en) * 2007-05-08 2014-12-09 Massachusetts Institute Of Technology Interactive systems employing robotic companions
CN105677077A (zh) * 2015-12-28 2016-06-15 小米科技有限责任公司 单击事件的判定方法和装置
CN107885448B (zh) * 2017-10-30 2021-07-23 努比亚技术有限公司 应用触摸操作的控制方法、移动终端及可读存储介质
CN108237536A (zh) * 2018-03-16 2018-07-03 重庆鲁班机器人技术研究院有限公司 机器人控制系统
CN211576216U (zh) * 2020-04-13 2020-09-25 天津塔米智能科技有限公司 一种触摸检测装置和机器人
CN112000273A (zh) * 2020-08-26 2020-11-27 深圳前海微众银行股份有限公司 输入方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
WO2022179239A1 (zh) 2022-09-01

Similar Documents

Publication Publication Date Title
CN114341779B (zh) 用于基于神经肌肉控制执行输入的系统、方法和界面
US10905350B2 (en) Camera-guided interpretation of neuromuscular signals
US10649549B2 (en) Device, method, and system to recognize motion using gripped object
US11567573B2 (en) Neuromuscular text entry, writing and drawing in augmented reality systems
TWI476633B (zh) 傳輸觸覺資訊的系統和方法
CN112739254A (zh) 增强现实系统的神经肌肉控制
US10120444B2 (en) Wearable device
CN105814511B (zh) 偏差平面手腕输入装置、方法和计算机可读介质
US11237632B2 (en) Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions
CN104023802A (zh) 使用神经分析的电子装置的控制
Devi et al. Low cost tangible glove for translating sign gestures to speech and text in Hindi language
CN115047993A (zh) 一种触摸行为识别方法、装置以及设备
US11262850B2 (en) No-handed smartwatch interaction techniques
Elwahsh et al. A New Intelligent Approach for Deaf/Dumb People based on Deep Learning
JP6523509B1 (ja) ゲームプログラム、方法、および情報処理装置
Nakamura Embedded Facial Surface Sensing and Stimulation: Toward Facial Surface Interaction in Virtual Environment
WO2023196671A1 (en) Techniques for neuromuscular-signal-based detection of in-air hand gestures for text production and modification, and systems, wearable devices, and methods for using these techniques
CN117762243A (zh) 连续手势的运动映射
CN116802589A (zh) 基于手指操纵数据和非系留输入的对象参与
KR20200127312A (ko) 홀로그래피 영상을 이용하는 옷의 쇼핑 장치 및 방법
JPWO2019093105A1 (ja) クライアント装置、サーバ、プログラム
Gamboa Mnemonical Body Shortcuts: Gestural Interface for Mobile Devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination