CN113994181A

CN113994181A - 触觉传感器和操作触觉传感器的方法

Info

Publication number: CN113994181A
Application number: CN202080045505.3A
Authority: CN
Inventors: 扬·科尔米茨; 马提亚斯·库尔; 扬诺斯·马诺利
Original assignee: Albert Ludwigs Universitaet Freiburg
Current assignee: Albert Ludwigs Universitaet Freiburg
Priority date: 2019-06-24
Filing date: 2020-06-22
Publication date: 2022-01-28
Also published as: US20220236120A1; US12092534B2; KR20220024831A; EP3987264A1; WO2020260205A1; JP2022550234A; KR102682582B1

Abstract

一种触觉传感器(1)，包括多个应力传感器(100)和至少一个接触体(200)，其中，应力传感器(100)被设置为检测施加在接触体的检测表面(200a)上的负载模式。

Description

触觉传感器和操作触觉传感器的方法

提供了一种触觉传感器。此外，还给出了一种操作触觉传感器的方法。

要解决的一个任务是、尤其是指定一种具有改进的速度和多功能性的触觉传感器。要解决的另一任务尤其是指定一种用于以改进的速度和多功能性操作触觉传感器的方法。

触觉传感器是转换器，借助其能够检测触觉传感器的检测表面上的负载模式。负载模式可能是由沿检测表面滑动的物体、静态地压靠检测表面的物体或从检测表面反弹的物体，或上述过程的混合引起。

触觉传感器包括多个应力传感器。应力传感器可以布置在公共衬底上。特别地，应力传感器可以以常见的制造方法制造，特别是以C-MOS工艺制造。特别地，应力传感器被集成到通用芯片中。例如，应力传感器可以已经在常见制造工艺中制造。应力传感器可以分别由p-MOS和/或n-MOS晶体管组成。例如，每个应力传感器包括作为惠斯通电桥(Wheatstonebridge)连接的四个晶体管。

触觉传感器包括至少一接触体。接触体可以是其中嵌入有应力传感器的整体。特别地，应力传感器的对机械应力敏感的表面被接触体完全覆盖。例如，接触体在应力传感器和引起负载模式的物体之间提供机械连接。

应力传感器用于检测施加在接触体检测表面上的静态触觉力和动态触觉力。特别地，接触体将机械应力从其检测表面传递到应力传感器。应力传感器可以机械地连接到公共接触体。特别地，接触体的检测表面与接触体的所有应力传感器机械连接。动态和静态触觉力都可以垂直或倾斜地作用于检测表面。

静态触觉力是作用在检测表面上的恒定力。在这种情况下，恒定力在第一时间跨度上在大小或方向上不改变，其中，第一时间跨度是触觉传感器的最大采样率的至少一百倍，优选至少一千倍。例如，第一时间跨度至少为0.5秒。

动态触觉力是作用在检测表面上的变化的力。在这种情况下，变化的力在第二时间跨度上在大小和/或方向上发生变化，其中，第二时间跨度是触觉传感器的采样率的至少两倍。例如，第二时间跨度最多为五秒，优选最多为0.5秒。

例如，动态触觉力以1Hz至1000Hz的频率变化。有利地，1Hz至1000Hz的触觉力的检测使得能够检测沿着检测表面滑动的物体的表面特性。

特别地，动态触觉力以40Hz至400Hz的频率变化。有利地，40Hz至400Hz频率的动态触觉力的检测使得能够检测沿检测表面滑动的物体。

芯片包括具有分类方案的存储器，其中，分类方案将多个应力传感器的一组输出值分配给预定义的负载模式。

分类方案是通过机器学习算法生成的。机器学习算法的输出是分类方案，该分类方案能够是决策树集成算法。特别地，分类方案是随机森林算法。

此外，还指定了一种生成分类方案的方法。通过该方法，尤其可以生成在此描述的用于触觉传感器的分类方案。因此，针对触觉传感器公开的所有特征也针对该方法公开，反之亦然。

例如，通过执行以下步骤a)到c)获得分类方案，也称为决策树集成的训练：

a)预定义负载模式类别。通过预定义负载模式的类别，能够借助触觉传感器预先确定可能的负载模式。能够将不同的负载模式类别区分为物体沿检测表面滑动、从检测表面反弹或压靠在检测表面上。此外，能够通过诸如物体材料、物体表面特性、物体沿检测表面滑动的速度、物体对检测表面的压力之类的参数来区分不同的负载模式类别。

b)使用参考触觉传感器对每个预定义的负载模式类别进行多次代表性测量。例如，对每个预定义的负载模式类别的负载模式测量至少100次，优选至少300次。在此测量中，每个应力传感器响应于所施加的负载模式提供一个输出值。应力传感器的输出值可以是电压值或电流值，其中，电压或电流分别取决于每个传感器感测到的应力量。

c)通过将输出值的集合分别分配给每个预定义的负载模式类别来定义决策树集成。在此上下文中，一组输出值是多个应力传感器的响应于负载模式的所有输出值的整体。在执行多次代表性测量后，多组输出值被分配给每个负载模式类别。

借助代表性触觉传感器通过多次测量获得的分类方案被加载到触觉传感器的存储器中。分类方案能够将由负载模式引起的一组输出值分配给预定义的负载模式类别之一。因此，借助触觉传感器检测预定义的负载模式类别。

特别地，用于由静态触觉力和动态触觉力生成的负载模式类别的分类方案是通过相同的方法和相同的设置生成的。

此外，还指定了一种操作触觉传感器的方法。通过该方法，尤其能够制造在此描述的触觉传感器。因此，针对触觉传感器公开的所有特征也针对该方法公开，反之亦然。

用于操作包括具有检测表面的接触体、多个应力传感器和芯片的触觉传感器的方法包括以下方法步骤：

-在接触体的检测表面上施加负载模式；

-借助应力传感器将负载模式转换为一组输出值；

-借助芯片和分类方案将输出值分配给预定义的负载模式类别。

例如，检测表面是接触体的一个或多个表面。特别地检测表面是可自由接近的。因此，物体可能会与接触体直接接触。

负载模式可以由与检测表面直接接触的物体引起。负载模式可以是动态触觉力或静态触觉力，其通过接触体传递到多个应力传感器。应力传感器响应于负载模式分别返回输出值。

响应于负载模式返回的全部输出值是一组输出值。可以借助决策树集成将该组输出值分配给预定义的负载模式类别之一。触觉传感器可以返回预定义的负载模式类别，输出值在被检测到时被分配到该预定义的负载模式类别。

负载模式由检测表面上的静态触觉力和/或动态触觉力产生。借助相同的分类方案对检测表面上的静态触觉力和动态触觉力进行分类。特别地，负载模式由动态和静态触觉力的混合组成。动态和静态触觉力都借助相同的应力传感器和相同的分类方案进行分类。特别地，在不执行输出值的频谱分析的情况下对负载模式进行检测和分类。

触觉传感器和用于操作触觉传感器的方法的另外的优点和有利的实施例以及进一步的改进将从以下结合附图说明的示例性实施例中变得显而易见。

图1示出了触觉传感器和芯片的示例性实施例；

图2示出了用于制造触觉传感器的方法的示例性实施例；

图3A和3B示出了触觉传感器中使用的芯片的示例性实施例和示意性实施例；

图4A和4B示出了触觉传感器中使用的应力传感器的示例性实施例；

图5、6和9示出了在其上施加有负载模式的触觉传感器的示例性实施例；

图7和8示出了示例性应力传感器的输出值的散点图；

图10示出了响应于具有静态和动态触觉力的负载模式的示例性应力传感器输出值的散点图；

图11示出了示例性应力传感器的输出值和由这些输出值产生的分类；

图12和13示出了示例性输出值集相对于芯片表面的3D图；

图14示出了用于生成分类方案的示例性测量设置；

图15示出了不同负载模式下单个应力传感器的示例性输出值；

图16A、16B和16C示出了在触觉传感器中使用的决策树集合的示例性实施方案。

相同、相似或等效的元件在图中具有相同的附图标记。附图以及附图中所示的各元素之间的比例不应被认为是按比例绘制的，除非有明确的单位说明。相反，为了更好的呈现和/或更好的可理解，单个元素的大小能够被夸大。

图1示出了触觉传感器1的示例性实施例和在触觉传感器1中使用的芯片10的示例性实施例。触觉传感器1包括其中嵌入有芯片10的接触体200。安装件201能够借助柔性电缆电连接芯片10。在本示例性实施例中，安装件201嵌入在接触体200中。

芯片10包括多个应力传感器100.1、100.2、100.3、100.4。芯片10包括32个应力传感器和所有必要的读出电路。该芯片被粘合到用于供电和串行通信的柔性扁平电缆上。有利地，芯片紧凑且易于处理。

为了形成触觉传感器1，芯片10被嵌入到由硅树脂(PDMS)制成的接触体200中。接触体200具有指尖形状。有利地，该芯片不需要任何附加的电子元件和布线。

接触体200上的负载模式，尤其是检测表面200a上的负载模式，使接触体变形并在芯片10中引起应力分布。32个应力传感器100分布在芯片区域上并能够对芯片中的应力分布进行测量。应力分布特定于负载模式的方向和强度。

可能的负载模式能够是由沿检测表面200a滑动的物体300引起的动态触觉力。触觉传感器1能够测量高达400Hz的振动，这对于检测此类负载模式至关重要。因此，为了保证足够的带宽，触觉传感器1具有至少960Hz的采样率。由于测量了整个芯片的应力分布，因此读取了所有32个应力传感器，这将采样率降低到30Hz。应力传感器是串行读取的，因此振动仍然以960Hz采样。因此，每个应力传感器100的采样率对应于每个触觉传感器1的采样率除以每个芯片10的应力传感器100的数量。

在芯片10表面上的多个点处记录振动。应力传感器100在芯片10上的空间分布对测量的影响能够忽略不计，只要所测得的振动波长远大于应力传感器100在芯片10上的距离即可。例如，应力传感器100在芯片10上的最大距离是待测量的振动的波长的至少100分之一，优选为至少1000分之一，更优选为至少100000分之一。

图2示出了用于制造触觉传感器1的示例性方法。在第一方法步骤中，利用第一硅树脂层填充模具203。硅树脂层的面向模具203的底面成为触觉传感器1的检测表面200a。

在第二步骤中，在背离模具203的一侧上，将芯片10平放在第一硅树脂层的顶部。硅树脂具有足够的粘度以将芯片保持就位。

在第三个方法步骤中，安装件201被固定到模具203。

在第四方法步骤中，通过利用硅树脂材料填充模具来完成接触体200。在该方法步骤中，芯片10完全嵌入到接触体200中。安装件201部分地嵌入到接触体200中。

在第五方法步骤中，将接触体200在2bar压力和60℃下固化。接触体200由PDMS(Dowsil 3140)制成。PDMS材料有利地提供应力传感器100与接触体200之间的紧密机械耦合。

在第六方法步骤中，将模具203从接触体200移除。在移除模具203之后，检测表面200a是可自由接近的。

图3A和3B示出了在触觉传感器1中使用的示例性芯片10的俯视图和示意图。该芯片以0.35μm的工艺制造。芯片10包括基于晶体管的24个应力传感器100，为了测量平面内剪应力与平面内法向应力的差值，所述应力传感器在芯片区域上有策略地分布。应力传感器信号由可变增益差分差值放大器处理，并由10位(bit)SAR ADC数字化。芯片10在最高增益下具有低至11kPa的分辨率。

24个应力传感器100通过5位多路复用器(MUX)连续地连接到读出单元。经过处理的应力传感器100能够通过附加的多路复用器在四个方向上偏置，由于应力传感器的惠斯通电桥架构，这使得偏移补偿操作成为可能。可变增益差分差值放大器(DDA)与10位逐次逼近(SAR)模数转换器(ADC)一起执行应力传感器读数。

如图3A所示，芯片10的面积为2×2.5mm^2。

如图3B所示的应力传感器100读出器由具有可变增益的差分差值放大器(DDA)、随后的SAR ADC和增益控制器(GC)组成。基于应力传感器的数字化输出值，增益控制器基于二叉树搜索确定相对于线性DDA输出范围的最大理想增益值。

DDA的架构为应力传感器提供一差分输入对，并且为反馈提供单独的差分输入对。因此，提供了用于应力传感器连接的高欧姆接口，并且增益变化期间反馈路径中的阻抗变化不会影响读出期间应力传感器的负载阻抗。

图4A和4B示出了应力传感器100的俯视图。每个应力传感器形成方形的有源元件并且能够由惠斯通电桥布置中的四个晶体管来描述。定向由平行于芯片10边缘的坐标系(x,y)指示。掺杂极性对MOS反型层的压阻系数具有同样强烈的影响。例如，p型硅中的Π₄₄是n型硅中的十倍，而n型硅中的Π₁₂是p型硅中的近50倍。因此，平面内剪切应力是借助相对于(x,y)旋转45°的NMOS型应力传感器100来测量的。PMOS型应力传感器平行于坐标系定向，因此PMOS型应力传感器对面内法向应力的差异很敏感。每个应力传感器内的所有四个晶体管的W/L比均为5μm/10μm。这些尺寸代表了四个主要传感器特性之间的良好折衷。

每个NMOS应力传感器通过将其晶体管的公共栅极连接到漏极电压来激活。每个PMOS应力传感器通过将其晶体管的公共栅极连接到源电压来激活。因此能够降低整个系统的功耗，因为只有经过处理的传感器被临时激活。

图5和图6示出了根据示例性实施例的触觉传感器1的示意性侧视图和俯视图。触觉传感器1包括与物体300直接接触的检测表面200a。物体300与触觉传感器1之间的垂直静触觉力FS0、前向静态触觉力FS1、后向静态触觉力FS2和侧向静态触觉力FS4、FS3是可检测的负载模式。

图7和图8示出了四个应力传感在不同方向上具有静态触觉力的负载模式的测量结果，如散点图所示。对于此测量，类别数据用于将一组测量的输出值分配给预定义的负载模式类别。散点图中的每个点都代表散点样本，并根据分配给其的负载类别进行颜色编码。

被标记为“无接触”的参考数据是在物体300与接触体200之间没有任何机械接触的情况下收集的。具有纯法向静态触觉力的数据被标记为FS0。除了法向静态触觉力之外，通过逐渐移动触觉传感器1下方的物体300来施加切向静态力。根据图5和图6中所示的相应方向，数据被标记为FS1、FS2、FS3和FS4。

分类方案，尤其是决策树集成，经过训练以检测接触并对由不同方向的剪切力引起的负载模式进行分类。

根据应力传感器的不同，某些负载模式分类会导致应力传感器的相似的输出值。然而，整体输出值，输出值集，对于不同的负载模式是可区分的。分类方案考虑了整个输出值集，从而所施加的负载模式可靠地分配给预定义的负载模式类别。经过训练的随机森林算法可以以99.8％的准确率将负载模式分配给正确的负载模式类别。

此外，如图9所示，负载模式类别可以被定义为触觉传感器1以其检测表面200a沿着物体300滑动。检测表面200a可以具有带有多个平行脊的表面结构。当物体300沿着检测表面200a滑动时，脊引起接触体200的振动。振动的检测使得能够区分静态触觉力和动态触觉力。

通过以960Hz的采样率借助于芯片10的单个应力传感器测量振动，能够排除整个振动被接触体衰减。图15示出了三个不同状态A、B和C下的传感器输出。在状态A中，触觉传感器1不相对于物体300移动。然而，在状态A中，仅存在垂直于检测表面的静态触觉力。在状态B中，切向力增大直到物体300沿检测表面200a滑动。在状态C中，物体300沿着检测表面200a以10mm/s的速度滑动并导致应力传感器100的输出值振荡。因此，能够通过对单个传感器的输出值的频谱分析来容易地检测动态触觉力

通过分析多个应力传感器100、尤其是所有32个应力传感器的输出，可以检测静态和动态触觉力的负载模式，而无需频谱分析。图10示出了作为两个最重要应力传感器100的散点图的完整分类方案。散点图中的每个点代表一个传感器样本并且根据分配给相应输出值的预定义负载类别进行颜色编码。使用至少50棵树和无约束的树生长对随机森林分类算法进行训练。5倍交叉验证的总准确率为99.6％。每个负载模式类型达到至少98％的真值率。

不存在响应于静态触觉力和动态触觉力的输出值集不重叠的传感器尺寸。因此，借助一个或两个应力传感器对负载模式进行可靠分类并非易事。可能只能通过多个应力传感器的输出值关系来对动态触觉力进行分类。

图12所示的3D图显示了在静态触觉力作为负载模式时，芯片10表面上应力传感器100的输出值。图13所示的3D图显示了动态触觉力作为负载模式时，芯片10表面上应力传感器100的输出值。对于此可视化，数据经过高通滤波以抑制来自定向静态力的任何偏移模式。静态图中与平面的偏差是由于传感器噪声造成的。因此，静态触觉力导致明确定义的应力模式，该应力模式能够与滑动样品中的扭曲模式区分开来。通过训练，分类算法可以学习将这些模式区分为两种不同的负载模式类别，从而能够借助相同的算法检测动态和静态触觉力。

图11示出了具有多个应力传感器100的时域测量以以视觉方式验证分类。四个应力传感器的输出值在以下负载模式期间显示：纯静态法向触觉力FS0、静态切向触觉力FS1或FS2、前向动态触觉力FD1。所示测量中的顺序是：在测量开始时2.5秒的纯法向力，静态前向力增大直到测量的4.7秒，物体沿检测表面200a滑动直到6.8秒，滑动运动停止直到9.5秒，物体沿检测表面200a的滑动运动再次开始。该图还显示了每个传感器样本的分类结果。

每当滑动运动引起接触体200的振动时。振动导致应力传感器的振荡信号。分类方案使得能够大体正确并且对滑动运动反应非常快地对滑动运动的负载模式进行检测和正确分类。

图14示出了生成分类方案的设置。该设置包括分类安装件202，触觉传感器1附接到该分类安装件202上。借助分类安装件202，触觉传感器以可定义的法向触觉力FS0被推靠在物体300上。物体300是具有不同表面图案的3D打印板。表面图案能够是光滑的、脊状的、圆形或三角形的。表面模式允许从表面概括分类方案。否则，分类算法将仅限于对仅具有一种特定表面结构的物体的负载模式进行分类。对象300安装在X-Y交叉台上。能够借助于步进马达使物体300平行于检测表面200a移动。这些步进足够精细，以逐渐增加切向触觉力，而无需在物体上滑动触觉传感器。步进马达能够以高达10mm/s的速度加速和移动工作台以产生滑动。施加到检测表面的切向力由验证传感器5记录。

在生成分类方案时，将预定义的负载模式应用于触觉传感器1，并将相应的输出值分配给预定义的负载模式类别。这种测量重复多次，以生成可靠的决策树集成。

图16A示出了训练后的单个决策树的示例。在该上下文中，训练是对预定义负载模式的测量，并将相应的输出值分配给负载模式类别。节点的特征f_i和阈值t_i，叶子的类别标签C_i，整个树结构在训练过程中都会发生变化。在触觉传感器1的上下文中，应力传感器100.1、100.2、100.3、100.4对应特征f₁、f₂、f₃、f₄，阈值t_i对应应力传感器100的输出值，类别C_i对应预定义的负载模式类别。

图16B示出了并行架构部分中的静态实现。为了能够持续训练决策树，树结构必须保持可重构。

如图16C所示，树结构可以通过FPGA中常用的可重新配置计数器部分来实现。将特征分配给节点是通过将特征输入连接到适当的节点比较器的交换和互连网络来实现的。对树结构进行编码并计算叶输出的布尔函数被FPGA逻辑块中使用的查找表(LUT)取代。只有比较器保持固定，它们的阈值必须存储在寄存器中。这使得架构能够支持决策树的更新。

决策树集成的完整实现包括切换和互连块，它们跨越集成并允许在树之间共享比较器。特别地，决策树集成的树可以具有不同的大小。

本发明不受基于这些实施例的描述的限制。相反，本发明包括任何新颖特征以及特征的任何组合，尤其包括权利要求中的特征的任何组合，即使该特征或组合本身没有在专利权利要求或示例性实施例中明确陈述。

附图标记列表

1 触觉传感器

10 芯片

100 应力传感器

100.1 第一应力传感器

100.2 第二应力传感器

100.3 第三应力传感器

100.4 第四应力传感器

111 分类方案

101 输出值集

110 存储器

200 接触体

201 安装件

202 分类安装件

203 模具

200a 检测表面

300 物体

5 验证传感器

FS 静态触觉力

FS0 向上静态触觉力

FS1 前向静态触觉力

FS2 后向静态触觉力

FS3 右静态触觉力

FS4 左静态触觉力

FD 动态触觉力

FD1 前向动态触觉力

FD2 后向动态触觉力

Claims

1.一种触觉传感器(1)，包括

-多个应力传感器(100)和

-至少一个接触体(200)，其中，

-所述应力传感器(100)设置成用于检测施加在接触体的检测表面(200a)上的负载模式。

2.根据权利要求1的触觉传感器(1)，其中，

所述负载模式包括静态触觉力(FS)和/或动态触觉力(FD)，以及

所述动态触觉力(FD)以1Hz至1000Hz的频率变化。

3.根据前述权利要求之一所述的触觉传感器(1)，其中，所述应力传感器(100)被集成到芯片(10)中。

4.根据前一权利要求所述的触觉传感器(1)，其中，所述芯片(10)包括具有分类方案(111)的存储器(110)，其中，所述分类方案(111)将所述多个应力传感器(100)的一组输出值(101)分配给预定义的负载模式。

5.根据前一权利要求所述的触觉传感器(1)，其中，所述分类方案(111)是借助机器学习算法生成的。

6.一种用于操作触觉传感器(1)的方法，所述触觉传感器包括具有检测表面(200a)的接触体(200)、多个应力传感器(100)和芯片(10)，其中，

-在所述接触体(200)的检测表面(200a)上施加负载模式，

-所述应力传感器(100)借助应力传感器将所述负载模式转换为设定的输出值(101)，

-所述芯片(10)借助芯片(10)和分类方案(111)将输出值(101)分配给预定义的负载模式类别。

7.根据前一权利要求所述的方法，其中，通过相同的分类方案方法对由所述检测表面上的静态和动态触觉力生成的负载模式进行分类。

8.根据前述权利要求之一所述的方法，其中，在不对所述输出值(101)进行频谱分析的情况下对所述动态触觉力进行分类。

9.一种生成分类方案的方法，包括以下步骤：

a)预定义负载模式的类别；

b)使用参考触觉传感器对每个预定义的负载模式类别进行多次代表性测量；

c)通过将输出值的集合分别分配给每个预定义的负载模式类别来定义决策树集成。

10.根据前一权利要求所述的方法，其中，生成用于对由静态触觉力和动态触觉力生成的负载模式进行分类的分类方案。