CN118020042A - 用于估计触摸位置和触摸压力的方法和电子装置 - Google Patents

用于估计触摸位置和触摸压力的方法和电子装置 Download PDF

Info

Publication number
CN118020042A
CN118020042A CN202280060940.2A CN202280060940A CN118020042A CN 118020042 A CN118020042 A CN 118020042A CN 202280060940 A CN202280060940 A CN 202280060940A CN 118020042 A CN118020042 A CN 118020042A
Authority
CN
China
Prior art keywords
acoustic wave
touch
wave signal
received
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280060940.2A
Other languages
English (en)
Inventor
范小然
李大源
劳伦斯·雅克尔
理查德·霍华德
丹尼尔·东悦尔·李
易卜拉欣·沃尔坎·伊斯勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN118020042A publication Critical patent/CN118020042A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/084—Tactile sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04182—Filtering of noise external to the device and not generated by digitiser components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0436—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which generating transducers and detecting transducers are attached to a single acoustic waves transmission substrate
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/028—Piezoresistive or piezoelectric sensing devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32335—Use of ann, neural network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39001—Robot, manipulator control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40201—Detect contact, collision with human

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Manipulator (AREA)

Abstract

机器人的触觉感测系统可包括：多个压电元件，被设置在对象处，并且包括第一压电元件和第二压电元件；以及至少一个处理器，被配置以进行以下操作：控制第一压电元件以沿着所述对象的表面产生声波；经由第二压电元件接收与产生的声波对应的声波信号；从声波信号的多个频带中选择频带；以及通过将选择的频带的声波信号输入到神经网络中来估计在对象的表面上的触摸输入的位置，其中，神经网络被配置为针对所述对象的表面上的多个预定位置中的每个提供触摸预测分数。

Description

用于估计触摸位置和触摸压力的方法和电子装置
技术领域
本公开涉及一种用于获取触觉感测数据的方法和电子装置。
背景技术
触觉感测对于许多机器人应用可能是重要的。例如，当机器人与人类协作在动态环境中工作时，触觉感测可对人-机器人交互(HRI)发挥关键作用，诸如，人类周围的安全机器人操作、向人类提供情绪支持、以及根据人类引导来控制机器人行为。
用于在机器人上实现触觉皮肤的现有方法可被划分为两种方法：使用被部署在机器人上的数十到数千个外感传感器(诸如电容性、磁性和红外(IR)类型的传感器)的第一种方法；以及使用结合逆运动学和动力学的本体感受(诸如电机扭矩、位置、速度和动量读数)来推断接触位置和接触力的第二种方法。第一种方法可能需要庞大的结构和高制造成本，并且第二种方法可能由于电机的时变特性和噪声而提供接触位置和接触力的不理想的估计结果。这可能使机器人系统设计复杂化，并且可能增加大量额外成本和传感器管理开销。
发明内容
技术解决方案
根据本公开的实施例，提供了一种用于获取触觉感测数据的装置。所述装置可包括多个压电元件、存储指令的存储器和至少一个处理器，所述多个压电元件被设置在对象处并且包括第一压电元件和第二压电元件。所述至少一个处理器可被配置为控制第一压电元件以在每个预设时间间隔处沿着所述对象的表面产生具有啁啾扩频(CSS)的声波。所述CSS可在预定频率范围内具有恒定幅度。所述至少一个处理器可被配置为经由第二压电元件接收与产生的声波对应的声波信号。所述至少一个处理器可被配置为基于在所述对象的表面被触摸的情况下接收的声波信号的第一方差和在所述对象的表面上没有触摸的情况下接收的声波信号的第二方差，从声波信号的多个频带中选择频带。所述至少一个处理器可被配置为通过将选择的频带的声波信号输入到神经网络中来估计在所述对象的表面上的触摸输入的位置，其中，神经网络被配置为针对所述对象的表面上的多个预定位置中的每个提供触摸预测分数。
所述至少一个处理器可被配置为：使用至少一个滤波器对接收的声波信号进行滤波，所述至少一个滤波器被配置为从接收的声波信号中减少所述对象的电噪声和所述对象的机械噪声。
所述对象可以是机器人。电噪声可以是机器人的电机的脉冲宽度调制(PWM)噪声。所述至少一个滤波器还可被配置为对接收的声波信号的30kHz、60kHz和90kHz处的PWM噪声进行滤波，和/或对驻留在接收的声波信号的20kHz范围以下的机械噪声进行滤波。
所述至少一个处理器可被配置为：按照接收的声波信号的第二方差与第一方差的比率的升序来选择预定数量的频带。
在γ是从所述多个频带中选择的频带的预定数量的情况下，所述至少一个处理器可被配置为：预先确定γ，使得神经网络的触摸预测准确度与γ的倒数的加权和最大化。
所述至少一个处理器可被配置为，在预设校准间隔处，在所述对象的表面未被触摸的情况下，获得所述对象的表面上的所述多个预定位置的基线触摸预测分数。并且，所述至少一个处理器可被配置为，在校准之后所述对象的表面被触摸的情况下，基于基线触摸预测分数调整从神经网络获得的触摸预测分数。
预定频率范围可以是从20kHz至80Hz的范围，并且预设时间间隔可在从90ms至110ms的范围内。
所述至少一个处理器可被配置为：通过将一阶傅里叶模型应用于接收的声波信号在选择的频带上的总能量来估计触摸输入的压力。
根据本公开的实施例，提供了一种用于获取触觉感测数据的方法，所述方法包括：控制第一压电元件以在每个预设时间间隔处沿着对象的表面产生具有啁啾扩频(CSS)的声波，其中，CSS具有在预定频率范围内的恒定幅度；经由第二压电元件接收与产生的声波对应的声波信号；基于在所述对象的表面被触摸的情况下接收的声波信号的第一方差和在所述对象的表面上没有触摸的情况下接收的声波信号的第二方差，从接收的声波信号的多个频带中选择频带；将选择的频带的接收的声波信号输入到神经网络中，其中，神经网络被训练以针对所述对象的表面上的多个预定位置中的每个提供触摸预测分数；以及基于从神经网络提供的触摸预测分数来估计触摸输入的位置。
所述方法可包括：对接收的声波信号进行滤波以从接收的声波信号中减少所述对象的电噪声和所述对象的机械噪声。
所述对象可以是机器人，并且电噪声可以是机器人的电机的脉冲宽度调制(PWM)噪声，并且滤波可包括：在接收的声波信号的30kHz、60kHz和90kHz处对PWM噪声进行滤波；以及对驻留在接收的声波信号的20kHz范围以下的机械噪声进行滤波。
所述方法可包括：按照接收的声波信号的第二方差与第一方差的比率的升序选择预定数量的频带。
γ可以是从所述多个频带中选择的预定数量的频带，并且所述方法可包括：确定γ，使得神经网络的触摸预测准确度与γ的倒数的加权和最大化。
所述方法还可包括：在预设校准间隔处，当所述对象的表面未被触摸时，获得所述对象的表面上的所述多个预定位置的基线触摸预测分数；以及基于校准之后所述对象的表面被触摸，基于基线触摸预测分数调整从神经网络获得的触摸预测分数。
预定频率范围可以是从20kHz至80Hz的范围，并且预设时间间隔可在从90ms至110ms的范围内。
所述方法可包括：通过将一阶傅里叶模型应用于接收的声波信号在选择的频带上的总能量来估计触摸输入的压力。
根据本公开的实施例，一种计算机可读存储介质可存储指令，所述指令在由至少一个处理器执行时。计算机可读存储介质可使至少一个处理器进行以下操作：控制第一压电元件以在每个预设时间间隔处沿着对象的表面产生具有啁啾扩频(CSS)的声波，其中，所述CSS具有在预定频率范围内的恒定幅度；经由第二压电元件接收与产生的声波对应的声波信号；基于在所述对象的表面被触摸的情况下接收的声波信号的第一方差和在所述对象的表面上没有触摸的情况下接收的声波信号的第二方差，从声波信号的多个频带中选择频带；以及通过将选择的频带的声波信号输入到神经网络中来估计触摸输入在所述对象的表面上的位置，其中，神经网络被配置为针对所述对象的表面上的多个预定位置中的每个提供触摸预测分数。
附图说明
通过以下结合附图的描述，本公开的实施例的上述和其他方面、特征和优点将更加明显，其中：
图1是示出根据实施例的机器人触觉感测系统的图；
图2是示出图1的装置的框图；
图3示出说明由于触摸包括图1和图2的装置的对象而接收的信号的曲线图；
图4示出说明频域中的啁啾(chirp)信号的曲线图400，以及说明由包括图1和图2的装置的对象的压电元件产生的啁啾信号的频谱图的曲线图500；
图5示出说明当未触摸包括图1和图2的装置的对象时以及当在对象的两个不同位置处触摸对象时接收的信号的信道响应的曲线图；
图6是示出当对象移动时包括机械噪声和电噪声的接收信号的频谱图的曲线图；
图7是示出根据实施例的最优频谱按比例分配算法(OSPA)的图。
图8A和图8B示出表示当在机器人的移动期间触摸机器人时接收的SR(t,f)的频谱图的矩阵。
图9A和图9B示出表示当在机器人移动期间未触摸机器人时接收的SR*(t,f)的频谱图的矩阵。
图10是示出根据实施例的从滤波的接收的啁啾信号或接收的啁啾信号中初始存在的频率中选择的频率的曲线图。
图11是根据实施例的获取和处理触觉感测数据的方法的流程图；
图12是根据实施例的估计在对象的任意位置处进行的触摸输入的触摸位置和触摸压力的方法的流程图；以及
图13是根据实施例的实现图1和图2的装置的电子装置的框图。
具体实施方式
根据本文描述的实施例的触觉感测系统可以是轻量化的，可以是便宜的，可以以最小的修改被附接到对象(诸如现成的机器人操纵器)，并且可在对象的整个表面上提供具有足够横截面积的触摸检测。系统可仅使用单个传感器对来执行全表面检测。虽然下面描述的示例实施例描述了机器人操纵器(诸如机器人手臂)作为配备有本文描述的触摸检测系统和方法的对象的示例，但是本公开考虑了为任何合适的对象配备本文描述的系统和方法。
详细地，本文描述的实施例可使用附接到机器人手臂的一对压电元件，并且压电元件中的一个可通过机器人手臂将激励信号发送到压电元件中的另一个。该声能可通过机器人手臂的整个表面传递。当在机器人表面上进行触摸时，触摸可改变感测系统的声阻抗。这种变化或方差可通过在远离触摸位置的点处附接到手臂的另一个压电元件来被测量，从而为触摸检测提供整个表面覆盖。可在不使用压电元件的情况下使用其他发声器(诸如扬声器和麦克风)来实现根据本申请的一个或多个实施例的系统。
在机器人表面上的不同位置处具有变化的力的触摸将引入感测系统的声阻抗的不同变化。感测系统可使用该变化来识别触摸位置以及触摸压力中的任一者或两者。
为了实现上述，需要解决许多技术和实现挑战。
首先，触摸位置和触摸压力两者都将改变声信号的波图案。实施例可通过用信号发送(例如，在20kHz至80kHz的范围内的)宽带声表面波(ASW)信号来解决该挑战。
其次，机械人手臂本身引入可由附接的压电元件接收的机械噪声和电噪声。实施例可通过对噪声进行数字滤波并定制波形来解决这个问题，例如，使用最优频谱按比例分配算法(OSPA)。
第三，机器人的温度随时间漂移并改变用于估计触摸位置和触摸压力的声学特征。为了解决这个问题，实施例可使用在线更新机制，该在线更新机制使得系统即使在几个月前收集的训练数据的情况下也能够稳健地工作。
本公开的实施方式可呈现一种端到端触摸检测系统，该触摸检测系统具有附接到机器人手臂的一对低成本压电元件，并且展示无死点触摸感测。该设计可以以最小的修改被嵌入到机器人中。
图1是示出根据实施例的用于全表面触摸检测的装置100的图。图2是示出图1的装置100的框图。
装置100和装置100的任何部分可被包括或被实现在机器人和/或电子装置中。电子装置可包括任何类型的电子装置，例如智能电话、膝上型计算机、个人计算机(PC)、智能电视、车辆等。
如图1和图2所示，装置100包括压电元件110、预处理器120、频率选择器130、在线更新器140、触摸检测器150、触摸位置估计器160、触摸压力估计器170和机器人控制器180。可通过可使用至少一个神经网络的一个或多个处理器来实现预处理器120、频率选择器130、在线更新器140、触摸检测器150、触摸位置估计器160、触摸压力估计器170和机器人控制器180。
压电元件110被设置为与对象(例如，机器人和/或电子装置)的表面102相邻。例如，压电元件110可被耦接到机器人手臂的表面102、被设置在机器人手臂的表面102上或者被嵌入机器人手臂的表面102内。压电元件110可包括发送(TX)压电元件110a和接收(RX)压电元件110b。
装置100的至少一个处理器控制TX压电元件110a以在对象的表面102内并沿着对象的表面102产生声波。所述至少一个处理器可将激励信号施加到TX压电元件110a以控制TX压电元件110a产生声波，例如，声表面波(ASW)。例如，ASW可被理解为通过对象表面传播的声波。表面波可比通过空气传播的波快得多。可使用从20kHz至80kHz扫描的线性啁啾(chirp)信号来形成ASW。线性啁啾信号可具有随时间线性增加的频率，并且在预定频率范围内(例如，在20kHz至80kHz的范围内)具有基本上恒定的幅度。TX压电元件可以在预设时间间隔T处产生线性啁啾信号，其中，T可在90ms至110ms的范围内。例如，预设时间间隔可以是106.7ms。虽然该示例将ASW描述为线性啁啾信号，但是本公开考虑了可使用任何合适的ASW信号或波形。例如，可使用非线性啁啾信号。作为另一示例，ASW可在给定时间包括多个频率，例如以增加检测到触摸或压力(或两者)的速率。在每种情况下，可根据下面描述的过程来处理触摸检测，例如，ASW的一个或多个频带可基于接收的ASW的方差来被选择以计算触摸预测分数。
如果对象由弹性材料(诸如塑料或金属)制成，则对象的表面102将振动，并且对象的整个表面102用作声换能器(acoustic transducer)。TX压电元件110a可与对象的表面102耦接或者可被嵌入对象内。
预处理器120经由接收(RX)压电元件110b接收与产生的声波对应的声波信号。
基于在装置100上进行的触摸，产生的声波在对象的表面102内并且沿着对象的表面102变成变形的声波。预处理器120经由接收(RX)压电元件110b接收变形的声波。
预处理器120可确定接收的声波信号是否有效。当TX压电元件产生声波时，预处理器120将声波存储为参考声波，并且将接收的声波信号的波图案与参考声波的波图案进行比较。当接收的声波信号的波图案与参考声波的波图案之间的相似性大于预设阈值时，预处理器120可确定接收的声波信号是有效的。
一旦确定接收的声波信号有效，频率选择器130就可使用用于降低接收的声波信号的噪声的至少一个滤波器对接收的声波信号进行滤波。频率选择器130可使用至少一个滤波器对接收的声波信号进行滤波，所述至少一个滤波器被配置为从接收的声波信号中减少机器人的电噪声和机器人的机械噪声。电噪声可包括机器人的电机的脉冲宽度调制(PWM)噪声。至少一个滤波器可对接收的声波信号的30kHz、60kHz和90kHz处的PWM噪声进行滤波，并且可对驻留在接收的声波信号的20kHz范围以下的机械噪声进行滤波。
频率选择器130可基于当在对象的移动期间触摸对象时接收的声波信号的第一方差和当在机器人的移动期间未触摸对象时接收的声波信号的第二方差，从声波信号的多个频带中选择最佳频带。可针对多个频带中的每个频带计算声波信号的第一方差和第二方差。
例如，频率选择器130可按照接收的声波信号的第二方差与第一方差的比率的升序来选择预定数量γ的最佳频带。可设置γ，使得神经网络(例如，分类器)的触摸预测准确度与γ的倒数的加权和最大化。又例如，频率选择器130可按照接收的声波信号的第一方差与第二方差的比率的降序来选择预定数量γ的最佳频带。
在线更新器140可更新神经网络(例如，分类器)的预测特征，该神经网络被配置为提供针对机器人表面上的多个预定位置中的每个的触摸预测分数，以去除机器人的温度漂移效应。在预设的校准间隔(例如，每20分钟)处，在线更新器140可在机器人未被触摸时获得针对多个预定位置的基线触摸预测分数。当在校准之后机器人表面被触摸时，在线更新器140可基于基线触摸预测分数来调整从神经网络获得的触摸预测分数。例如，在线更新器140通过从获得自神经网络的触摸预测分数中减去基线触摸预测分数来获得更新的触摸预测分数。在线更新器140可将更新的触摸预测分数而不是直接从神经网络获得的触摸预测分数提供给触摸检测器150，以去除温度漂移效应。
触摸检测器150可基于针对多个预定位置中的每个的更新的触摸预测分数来确定多个预定位置中的每个是否被触摸。触摸检测器150可在针对多个预定位置中的特定位置的更新的触摸预测分数大于或等于检测阈值时确定该特定位置被触摸，否则可确定该特定位置未被触摸。
触摸位置估计器160可基于触摸检测器150的触摸检测结果来确定多个预定位置中的哪个位置被触摸。例如，触摸位置估计器160可将多个预定位置中具有最高触摸预测分数的位置确定为最终触摸位置。
触摸压力估计器170可通过将一阶傅里叶模型应用于接收的声波信号在选择的最佳频带上的总能量来估计或计算检测的触摸的压力(或力)。
基于对象是机器人，并且基于由人在机器人上进行的触摸，机器人控制器180基于估计的触摸位置和估计的触摸压力来控制对象与人交互。
图3示出说明当在两个不同位置(例如，彼此相隔2cm的两个不同位置A和B)处用变化的力触摸机器人时接收的声波信号的幅度和相位的曲线图300和350。
当对象(例如，机器人手臂)被人的手指触摸时，声波信号由安装在对象中的压电元件接收。触摸对象引入主要信号扰动并改变声波信号的波图案，包括峰值、下降和峰到峰距离。
该信号图案根据触摸的位置和压力而变化。声波信号的波图案的变化可反映人触摸机器人的位置以及人触摸机器人的力度。
如图3的曲线图300和350中所示，接收声波信号的幅度包络和相位对不同位置处的触摸作出不同响应。图3的曲线图300和350中所示的幅度包络和相位的波图案允许触觉感测系统区分两个靠近位置处的触摸。然而，由于声波信号也对触摸压力敏感，因此本申请的实施例可定制声波信号以获得对具有变化的触摸压力的不同触摸位置不变的物理参数。
在本公开的实施例中，控制TX压电元件110a以产生具有频率在两个频率f1与f2之间线性变化的线性啁啾扩频(CSS)的声表面波(ASW)信号。例如，基于等式(1)定义根据实施例的线性声啁啾信号：
s(t)＝sin(at2+Ω1t+φ) (1)
其中，a表示啁啾信号中的频率变化的斜率，φ是啁啾信号的初始相位，t是时间向量，0<t<T，T是啁啾信号的周期，2πf1＝Ω1、2πf2＝Ω2并且Ω1+aT＝Ω2.。
图4示出说明频域中的线性声啁啾信号的曲线图400和说明频-时域中的线性声啁啾信号的频谱图的曲线图450。
TX压电元件110a发送从20-80kHz扫描的线性啁啾信号，每个频率面元(frequencybin)具有基本上相等的强度。如图4的曲线图400所示，从TX压电元件110a发送的声啁啾信号可具有从20kHz到80kHz的恒定强度，并且如图4的曲线图450所示，每个连续的啁啾信号的频率可随时间线性增加。在该示例中，TX压电元件110a发送五(5)个连续的线性啁啾信号，其中，线性啁啾信号中的每个扫过20-80kHz，并且每个频率面元具有相等的强度。
TX压电元件110a可在每个预设时间间隔T处发送啁啾信号，其中，T在900ms至110ms的范围内，并且例如可被设置为106.7ms以获得期望的结果。触摸位置估计器160和触摸压力估计器170可估计一个啁啾内的触摸位置和触摸压力。TX压电元件110a可在超声范围内产生啁啾信号，使得啁啾信号不会干扰与装置100(例如，机器人)交互的人。然而，啁啾信号的频率范围不限于超声范围，并且啁啾信号可被产生为具有不同的频率范围。
在示例中，从TX压电元件110a发送的啁啾信号通过机器人表面并且由RX压电元件110b接收。机器人手臂在该系统中作为无线信道工作。将发送的啁啾信号表示为s(t)，并且将TX压电元件110a与RX压电元件110b之间的无线信道表示为h(t)，接收的啁啾信号r(t)可表示为：
r(t)＝h(t)*s(t)+n(t) (2)
其中，n(t)是内部和外部系统噪声，并且*表示卷积算子。高层次的想法是从在时变信道响应h(t)和噪声n(t)下的接收信号r(t)检测触摸事件，并估计触摸位置以及触摸压力。
信道h(t)是频率选择性的，并且接收信号r(t)可在频域中被表示为：
R(f)＝H(f)*S(f)+N(f) (3)
主要由移动对象的机械特性(例如，机器人的姿势和臂内齿轮结构)、触摸事件的发生以及触摸发生时的触摸位置和触摸压力的组合来确定信道h(t)。
当机器人被触摸时，信道响应h(t)相应地改变。信道响应h(t)的这种变化可被表示为：
其中，ΔH(f)表示由触摸引入的信道变化。
图5示出当没有触摸时的第一信道响应，以及当机器人在位置A处被触摸时的第二信道响应，以及当机器人在与位置A相距2cm的位置B被触摸时的第三信道响应。
如图5所示，第一信道响应、第二信道响应和第三信道响应在频带上相互不同。
触觉感测系统使用ΔH(f)作为用于估计触摸位置的特征。鉴于ΔH(f)也与触摸压力以及触摸位置相关，触觉感测系统在ASW信令中使用宽范围的频率，以找到可在变化的触摸压力下可靠地识别接触位置的频率相关的信道变化的组合。
可在两个阶段中执行触摸位置估计。在第一阶段中，当用户以变化的力触摸每个可能的位置仅一次时，系统收集ASW信号，针对每次触摸计算ΔH(f)，并例如使用具有径向基函数(RBF)核的支持向量机(SVM)在神经网络上执行单次训练。训练的SVM可由频率相关信道变化的线性组合构成。在第二阶段，系统使用预训练的神经网络来估计触摸位置。
当机器人移动时，RX压电元件110b接收啁啾信号。接收的啁啾信号可包括来自对象(例如，机器人手臂)的噪声n。存在两种类型的噪声：(1)来自以电机调制的电源的电噪声(例如，脉冲宽度调制(PWM)噪声)，该电噪声存在于移动手臂和静止手臂两者中；以及(2)来自在手臂移动时操作的电机和齿轮的机械噪声。电噪声和机械噪声可使被用于估计触摸位置的ΔH(f)失真。
图6是示出当对象移动时的噪声频谱的曲线图。
在没有激励信号被施加在压电元件上时，从记录机器人手臂随机移动10分钟的信号计算噪声频谱。大部分机械噪声能量驻留在20kHz范围以下，并且在30kHz、60kHz和90kHz处也存在显著的电噪声尖峰。
为了解决这个问题，频率选择器130可执行最优频谱按比例分配算法(OSPA)。
图7是示出根据实施例的最优频谱按比例分配算法(OSPA)的图。
在操作710A和操作710B中，当机器人表面上的所有预定触摸位置被触摸时，频率选择器130可接收啁啾信号SR(t，f)，并且当机器人未被触摸时，频率选择器130可接收另一啁啾信号SR*(t，f)。频率选择器130可应用滤波器以去除驻留在20kHz范围以下的机械噪声，并且还从啁啾信号SR(t，f)和啁啾信号SR*(t，f)中去除与30kHz、60kHz和90kHz对应的电噪声，其中，t是时间索引，f是频谱图中的频率面元索引。例如，频率选择器120可应用高通滤波器来去除驻留在20kHz以下的机械噪声，并且可应用带阻滤波器来去除30kHz、60kHz和90kHz处的电噪声。
在操作720A中，频率选择器130可使用当在机器人的移动期间触摸机器人时接收的频谱图SR(t,f)来识别第一组频率面元，该第一组频率面元比其余频率面元对触摸更敏感。
图8A和图8B示出表示当在机器人的移动期间触摸机器人时接收的SR(t,f)的频谱图的矩阵。
图8A示出表示当机器人表面上的所有预定触摸位置在机器人移动时被触摸时接收的SR(t,f)的频谱图的矩阵。在该示例中，存在n数量的频率面元(即，频率面元1,2,3,...,n)，存在j数量的预定触摸位置(触摸位置1,2,...,j)，并且j数量的预定触摸位置中的每个以28个变化的力被触摸。对于频率面元1，触摸位置1以28个变化的力被触摸以获得幅度a(1,1),a(2,1),a(3,1),...,a(28,1)，并且触摸位置2以28个变化的力被触摸以获得幅度a(29,1),a(30,1),a(31,1),...,a(57,1)。对于每个频率面元，获取m数量的训练样本，其中，m与28Xj对应。提供频率面元的数量、预定触摸位置的数量和变化的力的数量作为示例，并且这些数量可被设置为不同的数量。
返回参考图7，在操作720A中，频率选择器130可基于以下等式计算针对每个频率面元的触摸方差向量TV(f)：
其中，n表示SR(t,f)的长度。TV(f)表示由触摸机器人上的所有预定位置引起的每个频率面元的能量方差。TV(f)越高，对应的频率面元对触摸越敏感。
如图8B中所示，频率选择器130可计算针对频率面元1,2,...,n的触摸方差向量TV1(f)，TV2(f)，...，TVn(f)。
返回参考图7，在操作720B中，频率选择器130可使用当在机器人的移动期间未触摸机器人时接收的SR*(t,f)的频谱图来识别第二组频率面元，该第二组频率面元比其余频率面元对机器人移动较不敏感。
图9A和图9B示出表示当在机器人移动期间未触摸机器人时接收的SR*(t,f)的频谱图的矩阵。
如图9A所示，频率选择器130可在机器人移动时并且在机器人表面上没有触摸时收集SR*(t,f)。
如图9B所示，频率选择器130可基于以下等式计算针对每个频率面元的电机移动方差向量MV(f)：
MV(f)越小，对应的频率面元对机器人移动越不敏感。
返回参考图7，在操作730中，频率选择器130可以以对抗的方式采用TV(f)和MV(f)。例如，频率选择器130可基于以下等式计算方差竞争向量VC(f)：
VC(f)越小，对应的频率面元对于触摸位置估计越起到作用。
在操作740中，频率选择器130可通过以升序对VC(f)进行排序来获得L(f)。
在操作750中，频率选择器130可通过应用预设阈值γ来选择最佳频率面元Li，Li+1，...Lγ，其中，i是1，并且γ是小于频率面元总数的整数，并且L(f)以Li，Li+1，...Lγ的顺序增加。例如，当接收的(和滤波的)啁啾信号r(t)的整个频率范围被分类为5,000个频率面元，并且预设阈值γ被设置为300时，频率选择器130可以以VC(f)的升序从总频率面元中选择300个频率面元。
可如算法1中所示实现根据实施例的OSPA。
其中，R(t,f)和R*(t；f)分别是在单次训练期间在有触摸和没有触摸的情况下收集的信号的频谱图，并且γ是预设阈值。γ是小于频谱图的频率面元的总数的整数。
另外，频率选择器130可基于以下等式确定最佳预设阈值γ*：
γ*＝max(a×准确度+b/γ) (8)
其中，准确度表示分类器的触摸预测准确度，并且a和b是常数。
图10是示出从滤波的接收的啁啾信号或接收的啁啾信号中初始存在的频率中选择的频率的曲线图。
如图10所示，选择的频率可在40kHz至70kHz的范围内。由于选择的频率可与用于压电收发器的最有效频率范围(例如，从20kHz至30kHz的频率范围)不同，因此可能需要根据实施例的OSPA来识别用于估计机器人表面上的触摸位置的最佳频率。在实施例中，基于各种因素(诸如传感器效率、波长、定位分辨率、电机噪声分布和信道不均匀性)来设计OSPA，OSPA平衡各种因素以选择用于移动机器人的最佳频率。
随着机器人移动，机器人表面的温度可能持续上升，并且温度的变化可能影响接收的啁啾信号的波图案，并且可能降低触摸位置估计的准确度。
为了解决这个问题，在线更新器140可更新分类器的预测特征，该分类器在每次检测(例如，每个啁啾)期间针对预定触摸位置N中的每个提供触摸预测分数S。S被表示为Nx1向量，其中，N是预定触摸位置的数量。通过从预定触摸位置N中识别具有最高触摸预测分数S的位置来确定最终触摸位置。可通过使用至少一个神经网络(例如，线性SVM模型)来实现分类器。
一旦选择了最佳频率，就将具有选择的频率的滤波的接收的啁啾信号提供给分类器以获取触摸预测分数S。为了使分类器适应温度漂移，每当系统被重启时，触觉感测系统可在机器人表面上没有发生触摸时收集预设长度(例如，3秒)的啁啾信号数据用于校准。在线更新器140可在校准期间计算针对所有预定触摸位置的平均触摸预测分数Sc。在校准之后，触觉感测系统通过使用新特征Sfinal＝S-Sc来预测触摸位置。在线更新器140可以在预设的时间间隔(例如，每20分钟)处更新Sc。
校准可根据用户操纵发生，或者可在没有检测到触摸事件时在预设时间间隔范围内(例如，每15分钟至20分钟)自动被执行。如果在预设时间间隔范围内检测到触摸，则在线更新器140可输出语音消息或视觉消息以引导机器人的用户不触摸机器人，使得校准可被开始。
其中，Rc(t,f)是校准期间接收的啁啾信号的频谱图，R(t,f)是在校准之后的机器人操作期间接收的信号的频谱图，α是更新速率(例如，20分钟)，并且β是校准持续时间(例如，3秒)。
更新速率α可被确定为使以下等式的结果值最大化的值：
c×预测准确度+d×时间 (9)
其中，c和d是常数，并且预测准确度表示分类器的触摸预测准确度，并且时间表示自机器人通电以来或自上次校准时间以来经过的时间。
当机器人被重启并开始运行时，在线更新器140在机器人上没有触摸时在预定持续时间(例如，3秒)内记录接收的啁啾信号，并通过对所有预定触摸位置的所有触摸预测分数求平均来计算平均触摸预测分数，并从当前触摸预测分数中减去平均触摸预测分数以补偿温度漂移。
在在线特征更新之后，触摸预测分数在没有触摸时变得接近零，但是在存在触摸输入时具有高值。
触摸检测器150应用检测阈值以在触摸预测分数大于或等于检测阈值时确定已经发生触摸，但是在触摸预测分数小于检测阈值时确定没有触摸。
在确定针对预定触摸位置中的每个是否已经发生触摸之后，触摸位置估计器160可将多个触摸位置中具有最高触摸预测分数的位置确定为最终触摸位置。
触摸压力估计器170可基于接收的啁啾信号的波图案的变化和由力传感器测量的基准真实(ground truth)压力G(t)来估计触摸压力。
在第一步骤，触摸压力估计器170计算从f1至f2的整个啁啾频带上的总能量E(t)，如下：
在本公开的实施例中，可在由频率选择器130选择的最佳频率上计算总能量，而不是在整个啁啾频带上计算总能量。选择的频率上的总能量可被表示为
在第二步骤，触摸压力估计器170基于等式(9)或等式(10)使用一阶傅里叶模型来估计触摸压力P(t)：
P(t)＝a cos(ωEo(t))+b sin(ωEo(t))+c (11)
P(t)＝a cos(ωEo(t))+b sin(ωEo(t))+c (12)
其中，a、ω、b和c是基于以下等式计算的压力预测参数：
在根据等式(11)计算压力预测参数时，触摸压力估计器170可比较与多个预定触摸位置中的相同预定触摸位置对应的估计的触摸压力P(t)和基准真实压力G(t)。触摸压力估计器170可识别使估计的触摸压力P(t)相对于基准真实压力G(t)的均方误差最小化的压力预测参数a、ω、b和c。
图11是根据实施例的获取和处理触觉感测数据的方法1100的流程图。例如，触觉感测数据可包括通过用任何材料/对象触摸机器人皮肤而产生的信号。触觉感测数据的特性可基于对象的表面上的触摸的位置、压力、面积、材料中的至少一个来被确定。
方法1100可使用图1和图2的装置100由至少一个处理器来执行。
如图11所示，在操作1105中，方法1100包括控制包括在对象(例如，机器人手臂)中的发送(TX)压电元件将声波信号注入对象的表面以产生声表面波(ASW)。声波信号可被实现为扫过20kHz至80kHz的线性啁啾信号。线性啁啾信号可具有随时间线性增加的频率，并且在预定频率范围内(例如，在20kHz至80kHz的范围内)具有基本恒定的幅度。TX压电元件可在每个预设时间间隔T处产生线性啁啾信号。当前时间间隔T可被设置为在从90ms至110ms的范围内。例如，TX压电元件可在106.7ms的当前时间间隔T处产生五(5)个连续的啁啾信号，其中，五个连续的啁啾信号中的每个具有随时间线性增加的频率，并且从20kHz到80kHz具有基本恒定的幅度。
在操作1110中，方法1100包括在对象中包括的接收(RX)压电元件处接收ASW。
在操作1115中，方法1100包括将ASW截断成预定持续时间的窗口。
在操作1120中，方法1100包括通过比较参考ASW和接收的ASW来确定ASW是否有效。当TX压电元件产生ASW时，系统存储产生的ASW的波图案作为参考ASW，以在接收的ASW与参考ASW之间的相似性大于预设阈值时确定接收的ASW是有效的。
基于ASW被确定为有效，方法1100在操作1125中继续。否则，方法1100在操作1130中继续，在操作1130中，系统被重启。
在操作1125中，方法1100包括识别用于估计触摸位置和触摸压力的最佳频率面元。
在操作1135中，方法1100包括在预设时间间隔(例如，每10分钟)处更新分类器的预测特征(例如，预测分数)。
在操作1140中，方法1100包括确定触摸是否有效。分类器可输出针对所有预定触摸位置中的每个的触摸预测分数。在操作1135中更新分类器的预测特征之后，当没有触摸时分类器的预测分数变得接近零，但是当有触摸时预测分数高。例如，如果触摸分数高于检测阈值，触摸被确定为有效，否则被确定为无效。
基于触摸被确定为有效，方法1100在操作1145和操作1150中继续。否则，方法1100在操作1130中继续，在操作1130中，系统被重启。
在操作1145中，方法1100包括通过将选择的频率的接收(和滤波)的ASW输入到具有更新的预测特征的分类器来估计触摸位置。
在操作1150中，方法1100包括通过将一阶傅里叶模型应用于接收的声波信号在选择的最佳频带上的总能量来估计触摸压力。
图12是根据实施例的估计在对象的任意位置处进行的触摸输入的触摸位置和触摸压力的方法的方法1200的流程图。
方法1200可使用图1和图2的装置100由至少一个处理器来执行。
如图12所示，在操作1210中，方法1200包括控制TX压电元件在每个预设时间间隔处沿着对象(例如，机器人)的表面产生具有啁啾扩频(CSS)的声波。CSS可具有随时间线性增加的频率，并且可具有在预定频率范围内的恒定幅度。
在操作1220中，方法1200包括经由RX压电元件接收与产生的声波对应的声波信号。
在操作1230中，方法1200包括使用至少一个滤波器对接收的声波信号进行滤波，所述至少一个滤波器被配置为从接收的声波信号中减少机器人的电噪声和机器人的机械噪声。电噪声可包括机器人的脉冲宽度调制(PWM)噪声。至少一个滤波器可对接收的声波信号的30kHz、60kHz和90kHz处的PWM噪声进行滤波，并且可对驻留在接收的声波信号的20kHz范围以下的机械噪声进行滤波。
在操作1240中，方法1200包括基于当在对象的移动期间触摸对象时接收的声波信号的第一方差和当在对象的移动期间未触摸对象时接收的声波信号的第二方差，从声波信号的多个频带中选择最佳频带。
选择最佳频带可包括按照接收的声波信号的第二方差与第一方差的比率的升序选择预定数量γ的最佳频带。可预先确定γ，使得神经网络(例如，分类器)的触摸预测准确度与γ的倒数的加权和最大化。
在操作1250中，方法1200包括更新神经网络的预测特征以去除机器人的温度漂移效应。在预设校准间隔(例如，每20分钟)处，当对象的表面未被触摸时，获得针对对象的表面上的多个预定位置的基线触摸预测分数。当在校准之后触摸对象的表面时，从神经网络获得的触摸预测分数基于基线触摸预测分数被调整。例如，更新的触摸预测分数通过从直接从神经网络获得的触摸预测分数中减去基线触摸预测分数来被获得，并且更新的触摸预测分数被用于触摸位置估计和触摸压力估计。
在操作1260中，方法1200包括通过将选择的最佳频带的接收的声波信号输入到神经网络(例如，分类器)中来估计在对象的表面上的触摸输入的位置。神经网络被训练以针对对象的表面上的多个预定位置中的每个提供触摸预测分数。如果针对预定触摸位置的触摸预测分数大于或等于检测阈值，则确定预定触摸位置被触摸，否则，确定预定触摸位置被触摸。当检测到多个触摸位置时，在多个触摸位置中，具有最高预测分数的位置被确定为最终触摸位置。
在操作1270中，方法1200包括通过将一阶傅立叶模型应用于接收的声波信号在选择的最佳频带上的总能量来估计触摸输入的压力。
图13是根据实施例的实现图1和图2的装置100的电子装置1300的框图。
图13仅用于说明，并且在不脱离本公开的范围的情况下，可使用电子装置1300的其他实施例。
电子装置1300包括总线1310、处理器1320、存储器1330、接口1340和显示器1350。
总线1310包括用于将组件1320至1350彼此连接的电路。总线1310用作在组件1320至1350之间或在电子装置之间传递数据的通信系统。
处理器1320包括中央处理单元(CPU)、图形处理器单元(GPU)、加速处理单元(APU)、集成众核(MIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)中的一个或多个。处理器1320能够执行对电子装置1300的其他组件中的任何一个或任何组合的控制，和/或执行与通信有关的操作或数据处理。处理器1320执行存储在存储器1330中的一个或多个程序。
存储器1330可包括易失性和/或非易失性存储器。存储器1330存储与电子装置1300的至少一个其他组件相关并且用于驱动和控制电子装置1300的信息，诸如命令、数据、程序(一个或多个指令)、应用1334等中的一个或多个。例如，命令和/或数据可制定操作系统(OS)1332。存储在存储器1330中的信息可由处理器1320执行。
应用1334包括上面讨论的实施例。这些功能可由单个应用或多个应用执行，每个应用执行这些功能中的一个或多个。
显示器1350包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、量子点发光二极管(QLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。显示器1350还可以是深度感知显示器(诸如，多焦显示器)。显示器1350能够呈现例如各种内容(诸如文本、图像、视频、图标和符号)。
接口1340包括输入/输出(I/O)接口1342、通信接口1344和/或一个或多个传感器1346。I/O接口1342用作可例如在用户和/或其他外部装置与电子装置1300的(一个或多个)其他组件之间传递命令和/或数据的接口。
(一个或多个)传感器1346可计量物理量或检测电子装置1300的激活状态，并将计量或检测的信息转换为电信号。例如，(一个或多个)传感器1346可包括用于捕获场景的图像的一个或多个相机或其他成像传感器。(一个或多个)传感器1346还可包括麦克风、键盘、鼠标、用于触摸输入的一个或多个按钮、陀螺仪或陀螺仪传感器、气压传感器、磁传感器或磁力计、加速度传感器或加速度计、握持传感器、接近传感器、颜色传感器(诸如红绿蓝(RGB)传感器)、生物物理传感器、温度传感器、湿度传感器、照度传感器、紫外线(UV)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、超声传感器、虹膜传感器和指纹传感器中的任何一个或任何组合。(一个或多个)传感器1346还可包括惯性测量单元。另外，(一个或多个)传感器1346可包括用于控制本文包括的传感器中的至少一个的控制电路。这些(一个或多个)传感器1346中的任何一个可位于电子装置1300内或被耦接到电子装置1300。传感器1346可被用于检测使用电子笔或用户的身体部位等的触摸输入、手势输入和悬停输入。
通信接口1344例如能够在电子装置1300与外部电子装置之间建立通信。通信接口1344可以是有线或无线收发器或用于发送和接收信号的任何其他组件。
上述本公开的实施例可被编写为可被存储在介质中的计算机可执行程序或指令。
介质可连续地存储计算机可执行程序或指令，或者临时存储用于执行或下载的计算机可执行程序或指令。此外，介质可以是组合了单件或多件硬件的各种记录介质或存储介质中的任何一种，并且介质不限于直接连接到电子装置1300的介质，而是可被分布在网络上。介质的示例包括被配置为存储程序指令的磁介质(诸如硬盘、软盘和磁带)、光记录介质(诸如CD-ROM和DVD)、磁光介质(诸如光磁软盘)以及ROM、RAM和闪存。介质的其他示例包括由分发应用的应用商店或由提供或分发其他各种类型的软件的网站、服务器等管理的记录介质和存储介质。
上述方法可以以可下载软件的形式被提供。计算机程序产品可包括通过制造商或电子市场电子分发的软件程序形式的产品(例如，可下载的应用)。对于电子分发，软件程序的至少一部分可被存储在存储介质中或者可被临时产生。在这种情况下，存储介质可以是服务器或服务器的存储介质。
上述与估计触摸位置和触摸压力相关的神经网络模型可经由软件模块来被实现。当经由软件模块(例如，包括指令的程序模块)实现神经网络模型时，神经网络模型可被存储在计算机可读记录介质中。
此外，神经网络模型可通过以硬件芯片的形式被集成而成为上述装置100的一部分。例如，神经网络模型可以以用于人工智能的专用硬件芯片的形式被制造，或者可被制造为现有通用处理器(例如，CPU或应用处理器)或图形专用处理器(例如GPU)的一部分。
此外，神经网络模型可以以可下载软件的形式被提供。计算机程序产品可包括通过制造商或电子市场电子分发的软件程序形式的产品(例如，可下载的应用)。对于电子分发，软件程序的至少一部分可被存储在存储介质中或者可被临时产生。在这种情况下，存储介质可以是制造商或电子市场的服务器，或者是中继服务器的存储介质。
上述实施例可提供感测模态、ASW，其将整个机器人表面变成感测机器人手臂上的无死点触摸的触觉皮肤。实施例实现机器人表面上的整个表面触摸检测，并且如上所讨论，本公开考虑本文公开的触摸检测系统和方法可被部署在任何合适的对象上。几种信号处理算法、硬件调整和基于神经网络的算法解决了使用ASW信号进行触摸位置估计和触摸压力估计的挑战。
虽然已经参考附图描述了本公开的实施例，但是由本领域普通技术人员将理解，在不脱离由所附权利要求限定的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (15)

1.一种用于获取触觉感测数据的装置，所述装置包括：
多个压电元件，被设置在对象处，并且包括第一压电元件和第二压电元件；
存储器，存储指令；以及
至少一个处理器，被配置为执行所述指令以进行以下操作：
控制第一压电元件以在每个预设时间间隔处沿着所述对象的表面产生具有啁啾扩频CSS的声波，其中，所述CSS具有在预定频率范围内的恒定幅度；
经由第二压电元件接收与产生的声波对应的声波信号；
基于在所述对象的表面被触摸的情况下接收的声波信号的第一方差和在所述对象的表面上没有触摸的情况下接收的声波信号的第二方差，从声波信号的多个频带中选择频带；以及
通过将选择的频带的声波信号输入到神经网络中来估计所述对象的表面上的触摸输入的位置，其中，神经网络被配置为提供针对所述对象的表面上的多个预定位置中的每个的触摸预测分数。
2.根据权利要求1所述的装置，其中，所述至少一个处理器还被配置为：
使用至少一个滤波器对接收的声波信号进行滤波，所述至少一个滤波器被配置为从接收的声波信号中减少所述对象的电噪声和所述对象的机械噪声。
3.根据权利要求2所述的装置，其中，所述对象是机器人，并且电噪声是机器人的电机的脉冲宽度调制PWM噪声，并且
所述至少一个滤波器还被配置为滤除接收的声波信号的30kHz、60kHz和90kHz处的PWM噪声，并且滤除驻留在接收的声波信号的20kHz范围以下的机械噪声。
4.根据权利要求1至3中任一项所述的装置，其中，所述至少一个处理器还被配置为：
按照接收的声波信号的第二方差与第一方差的比率的升序来选择预定数量的频带。
5.根据权利要求1至4中任一项所述的装置，其中，γ是从所述多个频带中选择的频带的预定数量，并且
其中，所述至少一个处理器还被配置为：
预先确定γ，使得神经网络的触摸预测准确度与γ的倒数的加权和最大化。
6.根据权利要求1至5中任一项所述的装置，其中，所述至少一个处理器还被配置为：
在预设校准间隔处，在所述对象的表面未被触摸的情况下，获得针对所述对象的表面上的所述多个预定位置的基线触摸预测分数；以及
在校准之后所述对象的表面被触摸的情况下，基于基线触摸预测分数调整从神经网络获得的触摸预测分数。
7.根据权利要求1至6中任一项所述的装置，其中，预定频率范围是从20kHz至80Hz的范围，并且预设时间间隔在从90ms至110ms的范围内。
8.根据权利要求1至7中任一项所述的装置，其中，所述至少一个处理器还被配置为：
通过将一阶傅立叶模型应用于接收的声波信号在选择的频带上的总能量来估计触摸输入的压力。
9.一种用于获取触觉感测数据的方法，所述方法包括：
控制第一压电元件以在每个预设时间间隔处沿着对象的表面产生具有啁啾扩频CSS的声波，其中，所述CSS具有在预定频率范围内的恒定幅度；
经由第二压电元件接收与产生的声波对应的声波信号；
基于在所述对象的表面被触摸的情况下接收的声波信号的第一方差和在所述对象的表面上没有触摸的情况下接收的声波信号的第二方差，从接收的声波信号的多个频带中选择频带；
将选择的频带的接收的声波信号输入到神经网络中，其中，神经网络被训练以针对所述对象的表面上的多个预定位置中的每个提供触摸预测分数；以及
基于从神经网络提供的触摸预测分数来估计触摸输入的位置。
10.根据权利要求9所述的方法，还包括：
对接收的声波信号进行滤波，以从接收的声波信号中减少所述对象的电噪声和所述对象的机械噪声。
11.根据权利要求9至10中任一项所述的方法，其中，从接收的声波信号的多个频带中选择频带，包括：
按照接收的声波信号的第二方差与第一方差的比率的升序来选择预定数量的频带。
12.根据权利要求9至11中任一项所述的方法，其中，γ是从所述多个频带中选择的频带的预定数量，并且
其中，所述方法还包括：
确定γ，使得神经网络的触摸预测准确度与γ的倒数的加权和最大化。
13.根据权利要求9至12中任一项所述的方法，还包括：
在预设校准间隔处，在所述对象的表面未被触摸的情况下，获得针对所述对象的表面上的所述多个预定位置的基线触摸预测分数；以及
基于在校准之后所述对象的表面被触摸，基于基线触摸预测分数调整从神经网络获得的触摸预测分数。
14.根据权利要求9至13中任一项所述的方法，还包括：
通过将一阶傅里叶模型应用于接收的声波信号在选择的频带上的总能量来估计触摸输入的压力。
15.一种存储指令的计算机可读存储介质，所述指令在由至少一个处理器执行时使所述至少一个处理器进行以下操作：
控制第一压电元件以在每个预设时间间隔处沿着对象的表面产生具有啁啾扩频CSS的声波，其中，所述CSS具有在预定频率范围内的恒定幅度；
经由第二压电元件接收与产生的声波对应的声波信号；
基于在所述对象的表面被触摸的情况下接收的声波信号的第一方差和在所述对象的表面上没有触摸的情况下接收的声波信号的第二方差，从声波信号的多个频带中选择频带；以及
通过将选择的频带的声波信号输入到神经网络中来估计在所述对象的表面上的触摸输入的位置，其中，神经网络被配置为针对所述对象的表面上的多个预定位置中的每个提供触摸预测分数。
CN202280060940.2A 2021-09-08 2022-09-06 用于估计触摸位置和触摸压力的方法和电子装置 Pending CN118020042A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163241909P 2021-09-08 2021-09-08
US63/241,909 2021-09-08
US17/553,321 US20230081827A1 (en) 2021-09-08 2021-12-16 Method and apparatus for estimating touch locations and touch pressures
US17/553,321 2021-12-16
PCT/KR2022/013380 WO2023038407A1 (en) 2021-09-08 2022-09-06 Method and electronic device for estimating touch locations and touch pressures

Publications (1)

Publication Number Publication Date
CN118020042A true CN118020042A (zh) 2024-05-10

Family

ID=85479391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280060940.2A Pending CN118020042A (zh) 2021-09-08 2022-09-06 用于估计触摸位置和触摸压力的方法和电子装置

Country Status (4)

Country Link
US (1) US20230081827A1 (zh)
EP (1) EP4323854A1 (zh)
CN (1) CN118020042A (zh)
WO (1) WO2023038407A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1283428C (zh) * 2000-03-31 2006-11-08 索尼公司 机器人设备、控制机器人设备动作的方法
JP4766101B2 (ja) * 2008-11-10 2011-09-07 ソニー株式会社 触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラム
KR102077669B1 (ko) * 2018-03-06 2020-02-14 네이버랩스 주식회사 사용자의 터치 인터랙션과 연관된 센싱 데이터를 처리하는 방법 및 장치
US10466844B1 (en) * 2018-05-21 2019-11-05 UltraSense Systems, Inc. Ultrasonic touch and force input detection

Also Published As

Publication number Publication date
EP4323854A1 (en) 2024-02-21
US20230081827A1 (en) 2023-03-16
WO2023038407A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
US10782785B2 (en) Vibro-haptic design and automatic evaluation of haptic stimuli
US10297121B2 (en) Systems and methods for closed-loop control for haptic feedback
US10380851B2 (en) Haptic effects conflict avoidance
US10318006B2 (en) High definition haptic effects generation using primitives
US10338683B2 (en) Systems and methods for visual processing of spectrograms to generate haptic effects
EP3801743B1 (en) Methods and apparatus for providing sub-muscular control
US20200097081A1 (en) Neuromuscular control of an augmented reality system
CN104412201B (zh) 基于跟踪窗口来改变计算设备的输出
US20120223880A1 (en) Method and apparatus for producing a dynamic haptic effect
US10748391B2 (en) Haptic signal conversion system
CN104423593A (zh) 生成与音频信号中的跃迁相关联的触觉效果的系统和方法
US20200026354A1 (en) Adaptive haptic effect rendering based on dynamic system identification
CN118020042A (zh) 用于估计触摸位置和触摸压力的方法和电子装置
US12033422B1 (en) Ultrasonic fingerprint anti-spoofing based on A-line data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication