CN114502937A - 触觉传感器 - Google Patents

触觉传感器 Download PDF

Info

Publication number
CN114502937A
CN114502937A CN202080070165.XA CN202080070165A CN114502937A CN 114502937 A CN114502937 A CN 114502937A CN 202080070165 A CN202080070165 A CN 202080070165A CN 114502937 A CN114502937 A CN 114502937A
Authority
CN
China
Prior art keywords
forces
learned
pattern
force
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080070165.XA
Other languages
English (en)
Inventor
W·耶拉祖尼
S·乔丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN114502937A publication Critical patent/CN114502937A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/0061—Force sensors associated with industrial machines or actuators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/084—Tactile sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/04—Measuring force or stress, in general by measuring elastic deformation of gauges, e.g. of springs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
    • G01L1/241—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet by photoelastic stress analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/16—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring several components of force
    • G01L5/166—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring several components of force using photoelectric means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/22—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers
    • G01L5/226—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/22—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers
    • G01L5/226—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping
    • G01L5/228—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes for measuring the force applied to control members, e.g. control members of vehicles, triggers to manipulators, e.g. the force due to gripping using tactile array force sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40575—Camera combined with tactile sensors, for 3-D
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40625—Tactile sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)
  • Manipulator (AREA)

Abstract

一种触觉传感器包括帽，该帽具有顶表面和下表面。下表面包括销，每个具有标记。下表面的一部分可附接至装置。摄像头位于标记的视野中，捕获通过帽的顶表面的弹性变形而处于运动中的标记的图像。处理器接收捕获图像并且通过识别捕获图像当中的图像中测量到的图像位置坐标来确定在捕获图像中标记的相对位置的集合。通过将标记的相对位置的集合与处于运动中的标记的先前学习的相对位置的存储的集合进行比较，使用存储的机器视觉算法来确定作用于顶表面上的净力张量。响应于在处理器中确定的净力张量经由控制器控制装置。

Description

触觉传感器
技术领域
本公开涉及触觉感测，并且更具体地，涉及具有附接至弹性体帽的下侧的多个微型机械销的触觉传感器，并且一旦外力施加到顶表面，将力的模式转成可测量的量。
背景技术
机器人用于组装，但正确的组装取决于机器人始终以完全相同的位置和方向夹持零件。错误抓握导致组装失败、零件损坏，并可能损坏夹持器或机器人本身。即使正确地夹持零件，如果接收零件不正确(或零件被污染或变形)，则机器人也将尝试强制组装，产生组装不良、零件损坏、或者机器人或机器人夹持器损坏。出于这个原因，在机器人应用中使用触觉传感器，例如以辅助正确组装以及现代装置的各种任务。
在机器人技术中，触觉传感器在抓住对象时提供关于机器人手与对象之间接触状态的有价值的数据。由机器人手或夹持器抓住对象的动作可以包括用于保证夹持器和待抓握对象之间的稳定抓握的不同的物理效应。例如，一些效应可以包括：(a)冲击效应(即，如通过直接作用在对象上的冲击而物理抓握的钳子)；(b)侵入效应(即，物理地穿透对象表面的针排)；(c)收缩效应(即，施加到对象表面的吸引力，诸如真空效应)；(d)或邻接效应(即，需要直接接触以发生粘合，诸如胶)。
触觉传感器可以识别对象的有无和压力大小，以及对象在包括组件的机器人应用的夹持器中的位置。然而，大多数机器人传感器都基于类似压力传感器的设计，并且仅测量压缩力，而不考虑剪切运动或其他类型的力或压力。在这些方面中，剪切传感器对于检测被抓握对象的运动是有用的。
发明内容
本公开涉及触觉传感，并且更具体地涉及具有附接到弹性体帽的下侧的多个微型机械销的触觉传感器，并且一旦外力施加到帽的外冲击面，微型机械销将力的模转化为可测量的量。
弹性体帽的一些实施方式包括机械挠曲放大销，即，在压力、剪切和扭矩下挠曲的微型机械销(以下称为“销”)。销的每个尖端载有至少一个标记或基准标记，诸如白色或彩色涂料或回射涂料，其中在深色背景下，可以很容易地利用机器视觉算法来跟踪这些标记。可以记录在压力、偏置压力、剪切或扭矩下弹性体帽的挠曲运动，得到与传统触觉传感器的灵敏度水平相比更高的灵敏度水平。事实上，销可以修改为包括远离销延伸的一个或更多个杆臂，即，类似于树状图形或形状；其中在每个杆臂的尖端可以包括至少一个可追踪标记。基于实验，在销上添加一个或更多个杆臂得到比在没有一个或更多个杆臂的销的灵敏度放大水平更高的灵敏度放大水平。因此，一个或更多个杆臂放大了每个销的灵敏度放大水平，得到弹性体帽的更高灵敏度。
与可以仅记录或测量压缩力而不考虑剪切移动或其他类型的力或压力的传统触觉传感器不同，本公开对弹性体帽上的压缩力、剪切、扭矩、挤压和展开力敏感。本公开的实施方式被配置为记录和测量作用于外冲击面上并且导致外冲击面的挠曲运动的力的模式。例如，使用一个或更多个摄像机或网络摄像头记录或测量的力的模式包括外冲击面在压力、偏置压力、剪切力或扭矩力下的挠曲运动。通过非限制性示例，一个或更多个摄像机以倾斜(0至～20)度角或以某个其他角度观察标记或基准标记。本公开的至少一个实施方式包括使用机器视觉算法，该机器视觉算法使用插值(如果需要)将标记运动与标记挠曲的预存储的或预学习的集合进行匹配，以确定弹性体帽的外冲击面上的力的模式或净力张量。
更详细地说，并且在简单的优选实施方式中，可以是触觉传感器，即，嵌入机器人夹持器的手指中的弹性体触觉传感器；优选地，该机器人夹持器包括可控的力能力，而不是单比特“用全力闭合”以及“用全力打开”控制。例如，随着夹持器闭合，对外冲击面产生力的模式，摄像机记录弹性体帽或帽的下侧的图像，该下侧包括位于标记或微机械销上的标记。由于微机械销的质量非常轻，与它们的直径相比非常长，并且自由移动，因此它们提供了弹性体帽应变引起的运动的3-30倍的扩展，这也使得即使是很小的角度变形也是高可见性的，并且因此高可测量的。如将进一步详细描述的，能够根据不同类型的意欲的可测量灵敏度而定制弹性体帽，具体而言，带有标记的销和杆臂，这能够取决于施加到帽的外冲击面的力的模式的类型。
例如，进行定制以获得不同的可测量灵敏度的方面可以包括：弹性体帽的不同结构配置的定制，包括外冲击面的图案和结构配置(属性)或下表面上的销配置的组合。定制的至少一个样本可以包括：结合帽的下侧上的销结构设计(即，下表面上的每个销位置、销直径、每个销的弹性量、销长度、每个销的杆数量、销结构设计的图案)，属性的组合，即，脊、锥体、光滑度、粗糙纹理；贴合地适合在特定机器人任务中要组装的特定物品的定制的部件特定形状，尤其是在外冲击面上图案化的那些。定制的原因可以是根据用户指定的应用，来确定特定力的模式或单个力的更高水平的可测量灵敏度。例如，如果夹持器被配置为承担涉及剪切力的一系列任务或移动，则用户能够在结构上一起配置属性和销的结构设计的组合，这将导致记录特定于剪切力的更高水平的可测量灵敏度以及力的模式，如果需要的话。
从实验收获的至少一个认识是：对于特定力的模式或单个力的定制的可测量的灵敏度的已发现的方面包括微机械杆，该微机械杆附接或定位于帽的下侧的平坦部分和倒圆部分(radius section)之间的交界区。发现了，当帽被压下0.1mm时，倒圆部分将被迫改变曲率并更紧密地弯曲。更准确地说，倒圆部分将从10mm半径变形到9.9mm半径。假设帽材料相对不可压缩并且弯曲而不是凸出，这转化成帽的弧长变化，从正好90度和15.7079mm长不变形变为在9.9mm半径上15.7079mm的恒定长度，使得15.7079＝9.9mm*新角度，并且新角度为1.5866弧度或90.905度，这是在半径中0.905度的变形。由于帽的外冲击面的平顶被按压对象支承，因此外冲击面的平顶将保持大部分平坦，并且大部分适应将在侧壁中。因此，微机械销将向上移动0.1mm(与帽一起)，而且向外弯曲约0.9度。
假设我们的微机械销长20mm，与我们实验的结果一致，由于微机械销中的倾斜而导致的sin(0.9度)*20mm＝.31mm的侧向位移。销也垂直移动，总移动量略低于0.4mm。这示出了大约4倍的增益，这是显著的，并且经由特定于施加至帽的外冲击面的力的模式的销上的标记，可测量灵敏度增加。
当然，由于示例的二维性质，这过于简单化了。需要解决两个影响：首先，弹性体帽在半径基部的边缘相对于摄像头，位置和角度都是固定的，其次，帽的基部边缘与帽顶平坦的交界处相比具有大得多的承压截面，对于第一个近似值，在弹性体帽的固定根部的截面是平顶处的大约两倍，微型杆经受双倍应变(以及变形，以及倾斜)。其次，被固定的帽的边缘将变形推入帽的中心区域，再次使得在微型杆基部经历的应变(以及变形，以及倾斜)加倍。
总而言之，对于弹性体帽的外冲击面上的0.1mm变形，存在经历了大约1.6mm移动的微型杆尖端的尖端运动，这是根据手工计算和有限元建模而预测的，并且后来通过使用具有微型杆和基准标记的3D打印弹性体帽的实际实验得到了证实。大多数这种运动放大是由于在微型杆的基部经历的倾斜(tip and tilt)，并且响应于外表面力对于翻倒、倾斜和旋转的期望方面没有任何影响，例如加强或支承凝胶，是本公开的至少一个重要方面。
观察到的1.6mm的基准标记运动大于销本身的直径，并且是远大于以0.1mm移动的表面的直接观察的运动。这是在本公开中自由移动微杠杆的理由和目的；这是由于弹性体帽的应变变形在观察移位中的16倍的非常大的增益。这种观察到的移位是非常明显的，并且可以使用诸如网络摄像头之类的简单摄像机来测量。
由于这种微型杆变形增益，摄像机捕获的图像具有在基准标记中较大的运动，并且与传统的触觉传感器方法相比具有更好的信噪比，传统的触觉传感器方法通过掠射照明或通过半球状凝胶的代替物(proxy)，直接对接触面的顶表面进行成像。
使用独立移动的微型杆还允许帽的不同部分经受并回报截然不同的局部应变和力。例如，帽的一部分可以处于从左到右的剪切，帽的另一侧可以处于从右到左的剪切，并且因为微型杆自由移动而不是被俘获在连续凝胶中，因此传感器的定制配置能够将这种情况正确地检测为表面扭矩，而不是对力的特定集合不敏感，就像半球状凝胶对力的这些特定集合不敏感一样。
为了利用这些微型杆放大的基准标记运动来生成力信号输出，进行了几个实验。所考虑的一些方面包括：将固定摄像头在结构上布置在夹持器的腔体内的不同位置处。例如，固定摄像头捕获附接到销的基准标记的图像。图像被发送给计算机，其中，根据至少一个实验，便宜的网络摄像头经由USB连接到运行Debian Linux软件的计算机，但显然，其他实验包括不同类型的摄像头、摄像头位置、摄像头安装布置、以及其他类型的软件。
在计算机上，可以使用图像处理软件来提取每个基准标记的XY位置。显然，存在许多不同但相似的图像处理软件方法，但是优选的方法包括使用开源包“OpenCV”。收获的至少一个认识在于：并非每个标记都需要在一个摄像头或多个摄像头的视野中，所有这些将取决于具体应用。
因为这种XY对的数量等于基准标记的数量，并且较小(至少对于这些特定实验中的一些，只使用了七个载有基准标记的销)，因此下一步是将观察到的基准标记XY位置的集合与基准标记XY位置的预存库进行逐对匹配。基准标记XY位置的预存库是提早通过在弹性体帽上提供已知和受控的力并记录通过图像处理链找到的基准标记的XY位置而产生的。例如，针对总共7+4*4+8+2*(3+3*3)＝55个的XY位置的不同集合，每个集合包含多个单独的XY位置，每个基准标记一个位置，我们可以在帽上的六个位置(我们定义为“区域”)中的每一个处施加0、1、2、5、10、15和20牛顿的压缩力，通常的帽在四个主要平面内方向中的每一个方向上的剪切力为1、2、5和10牛顿，扭矩为-10、-5、-2、-1、1、2、5和10牛顿米，在轴方向的挤压力为2、5和10牛顿，以及在三个不同轴向位置(区域1到区域2、区域3到区域4、和区域5到区域6)的侧向挤压和展开为2、5和10牛顿。对于使用具有七个销的弹性体帽的实验，每个销承载一个基准标记，这得到与55个已知和受控的力设置中的每一个相关联的七个XY位置。
对与特定的已知和受控力设置相关联的XY位置的每个集合进行加标签；该标签可以是人类可理解的文本字符串，诸如无接触(NO_CONTACT)、10牛顿_压缩(10_NT_COMPRESSION)、2牛顿_剪切_东(2_NT_SHEAR_EAST)、2牛顿_中心_挤压(2_NT_CENTRAL_PINCH)等。XY位置的每个集合也可以与力的矢量相关联，比如说，Z1(区域1中的压缩)、Z2(区域2中的压缩)，直至Z6(区域6中的压缩)X剪切(负数字表示相反方向的剪切)、Y(剪切)、A(X轴上的总扭矩和P(挤压)0(轴向挤压)和P1到P3(区域1/区域2挤压/展开，区域3/区域4挤压/展开，和区域5/区域6挤压/展开)中的力。
对于这组特定的实验，在预存库数据库的存储器中存储少于50个预存储的XY集合，从而提供了出色的分辨率和可用性。当然，预存库数据库中可以存储超过50个预存储的XY集，但是，对于这些实验的集合，50个预存储的XY集合似乎足以达到根据本公开的一些方面的一些目标。
下一步包括使用毕达哥拉斯度量(X和Y差异的平方和的平方根)；确定观察到的基准XY位置与库中预存储的XY集合的最佳匹配。至少一个令人惊讶的结果是这种计算非常快；将每个观察到的XY位置与预存库中的每个预存储的XY位置进行比较；在每个基准标记在每个预存储的集合中仅表示一次的假设的基础上，保持针对大约50个预存储集合中的每一个的“运行计算”，因此每个预存储集合运行计算按照观察到的XY基准位置与任何给定预存储集合中的任何基准的最近预存储XY位置之间的毕达哥拉斯距离而递增。在一些应用中，在实验期间，我们发现不需要跟踪哪个观察到的XY基准位置对应于哪个XY销；仅“最接近的XY，在我们不关心复制或再使用的一些应用中”，这导致以极其简单的编码提供出色的结果。
更严格地说，在优选实施方式工作中的毕达哥拉斯度量对于具有k个基准销的帽可以如下表示：
·对于任何观察到的XY集合OBS，包含k个XY对OBS_X[0...k-1]、OBS_Y[0...k-1]
并且，任何存储的XY位置集合STO，包含STO_X[0...j-1]、STO_Y[0...j-1]并使用被定义为arg1减去arg2的平方加上arg3减去arg4的平方的平方根(即，SQRT((arg1–arg2)^2+(arg3–arg4)^2)的函数PDIST(arg1,arg2,arg3,arg4)；这是毕达哥拉斯距离公式。
那么，任何观察到的(OBS)XY集合和任何存储的(STO)集合之间的优选的距离值为：
·Preferred_Distance＝SUM_over_all k(MIN_over_all_j(PDIST(OBS_X[k],STO_X[k],OBS_Y[k],STO_Y[k])))
如上所述，来自这个实验的令人震惊的结果是这个计算异常地快；有10个基准标记和100个预存库集合，总共有1000个XY逐对比较，其总计是2000次平方运算、1000次加法运算和1000次平方根运算或约4000次浮点运算。这意味着并认识到这是非常易于处理的方法，具有出色的结果，就过程配置而言，即使是最便宜的微处理器也以远高于摄像头帧速率来执行。当然，可以测试多于10个标记，该特定量用于实验。
下一步包括采用毕达哥拉斯距离运行计算的总和，以将预存储的XY位置集合的列表分类为按照从最低毕达哥拉斯距离(最佳匹配)到最低(最差匹配)的次序的、匹配列表的排序的质量。
在一些应用中，单个最佳匹配可以是传感器处理的唯一期望和输出。例如，“夹持很好”与“没有找到对象”与“夹持过紧”与“夹在边缘上”可能是所存储的XY位置集合中的一些的标签，因此将由传感器处理器输出这些。应注意，没有禁止具有多个所存储的、带有相同标签的XY位置集合；可以有五个至十个“夹在边缘上”可能性，并且基于应用，对于下游系统确切地知道是哪一个是最佳匹配可能没有必要甚至没有用-重要的是它们都是边缘夹持。
在其他应用中，可以依据选择来输出传感器结果，该传感器结果是在记录了特定存储的XY位置集合时有效的力的某种特定加权、逆加权或线性组合。
限制在加权、逆加权或线性插值中要评估的所存储的XY集合的数量也是合理的；通常，对于一维问题，最佳匹配(最低毕达哥拉斯距离)两个或三个所存储的XY位置集合给出了最佳准确度，对于二维问题为4到6个，对于三维问题为6到8个等等。如从实现所认识到的，本公开的方法针对用户的特定应用需求/要求(即，关于不同类型的力的模式或单个力的可测量灵敏度的类型)高度定制，一直使用非常便宜的组件(包括使用便宜的微处理器)以远高于摄像头帧速率来执行。
如上所述，销将难以测量的东西(诸如，力的模式或净力张量)转为易于测量的东西。也就是说，基于自由微机械销尖端或末端的图像运动，测量变得更容易，即，由以某个角度观察销尖端的诸如廉价网络摄像头之类的摄像头，来跟踪在销的最外端的标记的图像运动。可以在销尖端运动之前(即，在力施加在弹性体帽的外冲击面上之前)，在销尖端运动期间(即，当力正施加到弹性体帽的外冲击面的同时)，以及在销尖端的运动停止之后(即，在外部施加的力已经停止之后)，由摄像头连续地观察销尖端。
在利用外冲击面的属性的不同组合与销配置的组合进行实验时了解的一些其它方面，得到了有用的实现，诸如：
A)故意地使本公开的销即使在对称的力下也变得基本不平行，后来发现这是检测销尖端上的不对称力、剪切和扭矩的至少一个关键方面；
B)用更少的销构造本公开的弹性体帽的一些配置，通过非限制性示例，用于拇指尺寸的传感器的销的数量在5至10个销的范围内，得到基本上可测量的力张量。销的数量越大，诸如超过100个销或200个销，并不会提供满足本公开的一些目标的可测量灵敏度水平，因此对于本公开的一些实施方式，目标是销的数量要少得多。
C)非对称销：本公开的一些实施方式故意地在帽的下侧非对称地放置或布置较少的销。这样，在帽的倒圆角和平面之间，一些销被放置在非对称帽的较低角度或帽的边缘上。与位于帽中间(即，不在边缘上)的销相比，一些实验结果示出帽的更大的灵敏度。另外，销长度可以交错，并且对于高度优化的传感器，例如，当使用有限元建模(FEM)时，FEM可以指示一些销具有不对称(高度椭圆甚至类似飞拱)基部。这样，即使对于对称力，这也有助于非平行运动；以及
D)倾斜摄像机角度：代替沿Z轴(其需要75-100mm垂直高度)观察，而是倾斜地观察(通常在10度左右，以及交错的销长度，允许零度视角，平行于夹持器尖端的平面)。因此，了解到，这提供了使用厚度仅为约10mm至20mm的传感器的机会，而不会损失对力、剪切和扭矩的灵敏度，并且针对紧凑空间和紧凑空间组件二者允许使用本公开的弹性体帽传感器。通过非限制性示例，其他好处/优点在于传感器可用于人类佩戴的“教学手套”中，该“教学手套”记录在机器人装配操作期间要施加的适当力张量。注意，可以利用其他摄像头角度，包括0-10度、10-15度、10-20度和15-30度。
总之，通过非限制性示例，发现的帽的认识到的结构配置中的一些可以包括：(1)尺寸厚度，诸如，外冲击面的均匀厚度或非均匀厚度；(2)尺寸形状，诸如均匀的帽形状(诸如椭圆形的帽形状、半圆形的帽形状、半球形的帽形状等)、非均匀形状；(3)帽的尺寸高度、宽度、长度和深度；(4)帽的材料类型，以及构成帽的不同类型材料的位置；(5)如何构造/制造帽，包括三维(3D)打印、成型制造工艺的类型等。此外，要安装/附接/成型于弹性体帽的下侧的销的数量可以取决于许多因素(如从实验中了解到)，例如，认识到的是，就实现预先确定的水平的灵敏度、耐久性等而言，销的数量可以取决于基于用户意图和目标的特定应用。
与本公开的一些实施方式一起试验并且将与本公开的一些实施方式一起使用的另一种成像处理方法可以是有限元建模(FEM)方法。例如，为了处理从摄像头的包括销移动的捕获图像中生成的数据，可以使用FEM方法将数据处理为超材料设计。超材料是内部结构产生其物理属性(电、磁、机械、热)属性与其“真实”构成材料的体属性显著不同的最终物体的物体，即，负ε、μ、几乎任意光速c、泊松比ν或热导率κ。因为帽具有弹性体外表面，其表现为中等硬度的橡胶(泊松比接近1.0，并且弹性模量在0.01GPai的量级，橡胶的典型值)，而内部微型杆在观察区域内自由移动，模拟泊松比接近0.0且弹性模量也接近0的材料)，将帽作为一个单元进行分析必须将帽模拟为多组分超材料，或者必须包含帽、帽边缘附件、帽纹理和表面特征元件以及微型杆的精细细节。该第二种方法是优选的。
使用该第二种方法，FEM模型可以预测在不同载荷下的弹性体变形。另外，弹性体销提升表面轮廓并将表面倾斜度转换为易于成像的XY运动，即，使用销尖端的低成本网络摄像头图像。此外，具有较少基准标记的帽的结构设计提供了简单的图像阈值处理，没有帧间跟踪/模糊性。事实上，可以使用OpenCV来跟踪被转换成力图的销尖端的运动。这使计算花费最小化并保持了高的帧速率。
在实验期间，逆FEM被证明在计算上是昂贵的。认识到的是，模型的训练应该使用真实数据。从实验中进一步了解到的一个方面是，对于具有抓握位置、角姿态、剪切和扭矩的标签情况，使用14维空间中的欧几里得距离被证明是有益的。例如，计算时间非常快，即，计算成本的量被证明非常低，得到在一个1GHz cpu(例如，Raspberry Pi Zero)上以出色的可视化实时处理的能力。
在许多情况下，计算实际的力张量或力的模式可能并非必须的，使得将销尖端位置与预设的正确和不正确图像库的简单比较就足以确定机器抓握适当或不适当，或者对已知变形库进行插值而实时产生对传感器上实际力张量的良好估计。
本公开的其他实施方式还通过在传递对施加在弹性体触觉传感器上的外力的高度灵敏感测的同时，提供诸如低成本、低质量以及浅轮廓的简单紧凑型触觉传感器之类的益处，来解决当今的工业需求。这些益处中的一些允许本公开的紧凑型触觉传感器用于现有的传统触觉传感器使用对于不同的技术行业而言被证明成本太高的技术中。例如，简单地放置如水果、寿司或烘焙食品之类的精致食品需要一定程度的触摸控制，这使得人类雇员的这种人工昂贵，但是装配有弹性体传感器的机器人将得到的是便宜得多的场所。
如上所述，大多数传统的机器人夹持器存在许多问题，包括很少或没有触觉感测，这给用于柔性组装线的传统机器人带来了问题。许多原因中的至少一个原因在于，这些为高精度零件抓握和抓握验证而设计的传统专用夹持器不能用于柔性组装线，这是因为它们在操作上不能够结合以允许夹持器在变化(无论是预测到的还是不可预测的)的情况下做出反应的一定柔性。类似地，传统机器人知道实际组装操作是否成功的能力水平较低。为了克服传统机器人的这些问题，本公开的一些实施方式被配置为，通过非限制性示例，提供能够使用的、力的模式、单个力、或者就压力、平移、旋转、剪切、挤压和伸展而言的全部力集合的可记录的、可测量灵敏度的机械式机器人通用夹持器手指尖端，用于柔性组装线。
根据本公开的实施方式，一种用于机器人的触觉传感器包括可弹性变形元件，该可弹性变形元件包括外冲击面和具有销、脊或这两者的下表面。每个下表面销或脊包括标记，并且可弹性变形元件附接到机器人的夹持器。摄像头位于夹持器的腔体中以捕获标记的图像。存储器具有存储的数据，该存储的数据包括具有相应的预学习的力的模式的、预学习的标记位置的集合的图像数据，预学习的标记位置的每个集合对应于预学习的力的模式。图像处理器可操作地连接到摄像头和存储器。图像处理器被配置为检测在捕获图像中的标记位置。基于距离函数，将捕获图像中检测到的标记位置与预学习的标记位置的集合进行比较，以确定预学习的标记位置的每个集合的匹配值的质量。使用应用于所确定的质量的匹配值的用户选择的最佳匹配函数，来确定最佳质量匹配的预学习的力的模式，以计算最佳匹配集合的预学习的标记位置和相应的最佳质量匹配的预学习的力的模式。基于所确定的最佳匹配的预学习的力的模式，来识别作用于可弹性变形元件上的力的模式。输出识别出的力的模式以基于识别出作用于可变形元件上的力的模式来启动夹持器的夹持器动作。
根据本公开的另一实施方式，一种用于机器人的触觉传感器具有可变形元件，该可变形元件包括外冲击面和具有销、脊或这两者的下表面。每个下表面销或脊包括标记，并且可变形元件附接到机器人的夹持器。摄像头位于夹持器的腔体中以捕获标记的图像。存储器具有存储的数据，存储的数据包括具有相应的预学习的力的模式的、预学习的标记位置的集合的图像数据，预学习的标记位置的每个集合对应于预学习的力的模式。触觉传感器包括可操作地连接到所述摄像头和所述存储器的图像处理器。该图像处理器被配置为：检测标记在捕获图像中的位置。基于距离函数，将捕获图像中检测到的标记位置与预学习的标记位置的集合进行比较，以确定预学习的标记位置的每个集合的匹配值的质量。使用用户选择的最佳匹配函数，来确定最佳质量匹配的预学习的力的模式。基于所确定的最佳匹配的预学习的力的模式，来识别作用于可变形元件上的力的模式。输出识别出的力的模式，以基于识别出的作用于可变形元件上的力的模式来启动夹持器的夹持器动作。
本公开的另一实施方式，一种用于触觉感测的方法，具有：弹性可变形元件，该弹性可变形元件具有外冲击面和具有销、脊或这两者的下表面，下表面销或脊包括标记。可弹性变形元件附接到机器人的夹持器。摄像头位于夹持器的腔体中以捕获标记的图像。该方法包括：从摄像头捕获图像。访问具有存储的数据的存储器，存储的数据包括具有预学习的力的模式的、预学习的标记位置的集合的图像数据，每个预学习的标记位置的集合对应于预学习的力的模式。检测标记在捕获图像中的位置。评估捕获图像，以检测捕获图像中的每个标记位置，并基于距离函数，将捕获图像中检测到的标记位置与图像数据的预学习的标记位置的集合进行比较，以获得预学习的标记位置的每个集合的匹配值的质量。将用户选择的最佳匹配函数应用于所述质量的匹配值，以计算预学习的标记位置的最佳匹配集和相应最佳质量匹配的预学习的力的模式。基于所确定的最佳匹配的预学习的力的模式，来识别作用于可弹性变形元件上的力的模式。输出识别出的力的模式，以基于识别出的作用于可弹性变形元件上的力的模式，启动夹持器的夹持器动作。
本公开的另一实施方式包括用于机器人的触觉传感器，该触觉传感器具有可变形元件，该可变形元件包括外冲击面和具有销、脊或这两者的下表面。每个下表面销或脊包括标记。可变形元件附接到机器人的夹持器。摄像头位于夹持器的腔体中以捕获标记的图像。存储器具有存储的数据，存储的数据包括具有相应的预学习的力的模式的、预学习的标记位置的集合的图像数据，每个预学习的标记位置的集合对应于预学习的力的模式。触觉传感器包括可操作地连接到摄像头和存储器的图像处理器。图像处理器被配置为：检测标记在捕获图像中的位置。基于距离函数，将捕获图像中检测到的标记位置与预学习的标记位置的集合进行比较，以确定预学习的标记位置的每个集合的匹配值的质量。使用用户选择的最佳匹配函数，来确定最佳质量匹配的预学习的力的模式。基于所确定的最佳匹配的预学习的力的模式，来识别作用于可变形元件上的力的模式。输出识别出的力的模式，以基于识别出的作用于可变形元件上的力的模式来启动夹持器的夹持器动作，其中，识别出的力的模式包括以下中一者或组合：垂直压力Z、中心压力、偏置压力、侧向力X、剪切力Y、在俯仰、偏航或滚动方向上的扭矩，即，挤压侧向力X、挤压剪切力Y和拉伸力。
将参照附图进一步解释本公开的实施方式。所示附图不一定按比例绘制，而是重点通常放在例示本公开的实施方式的原理上。
附图说明
[图1A]
图1A是根据本公开的实施方式的例示了配置有夹持器的弹性体帽的实施方式的示意图。
[图1B]
图1B是根据本公开的一些实施方式的例示了包括连接到弹性体帽的传感器控制计算机的一些部件的示意图，所述帽附接至夹持器，并且夹持器是机器人组件的一部分。
[图1C]
图1C是根据本公开的一些实施方式的例示了弹性体帽的实施方式的示意图。
[图1D]
图1D是根据本公开的实施方式的例示了配置有夹持器的弹性体帽的实施方式的示意图。
[图2A]
图2A是根据本公开的一些实施方式的例示了用于实现方法的一些步骤的实施方式的流程图。
[图2B]
图2B是根据本公开的一些实施方式的例示了用于实现方法的一些步骤的实施方式的流程图。
[图2C]
图2C是根据本公开的一些实施方式的例示了对图2A的步骤225中的存储在存储器中的XY位置的预存库与观察到的基准标记XY位置的集合进行逐对匹配的一些步骤的框图。
[图2D]
图2D是根据本公开的一些实施方式的例示了用于产生XY位置的预存库的一些步骤的框图。
[图2E]
图2E是根据本公开的一些实施方式的例示了用于使用图像测量功能的一些步骤的框图。
[图3A]
图3A是根据本公开的一些实施方式的例示了有限元建模(FEM)的一些步骤的流程图。
[图3B]
图3B是根据本公开的一些实施方式的例示了使用图3A的FEM的方面的示意图。
[图3C]
图3C是根据本公开的一些实施方式的例示了使用图3A的FEM的方面的示意图。
[图4A]
图4A是根据本公开的一些实施方式的例示了包括夹持器和两个弹性体传感器的机器人组件的实施方式的示意图。
[图4B]
图4B是根据本公开的一些实施方式的例示了弹性体帽的实施方式的示意图，该弹性体帽具有在内表面上的销以及附接到弹性体帽的外冲击面上的位置的脊。
[图4C]
图4C是根据本公开的一些实施方式的例示了弹性体帽的实施方式的示意图，该弹性体帽具有在内表面上的销以及附接至弹性体帽的外冲击面上的位置的锥体。
[图4D]
图4D是根据本公开的一些实施方式的例示了具有销的弹性体帽的实施方式的示意图，销具有沿着销附接并从销延伸的微型杆或微型臂，使得每个微型杆或微型臂可以包括标记。
[图5A]
图5A是根据本公开的一些实施方式的例示了关于夹持器的结构的、与直夹持器腔体构造一起布置的弹性体帽的实施方式的示意图。
[图5B]
图5B是根据本公开的一些实施方式的例示了关于夹持器的结构的、与折弯或弯曲的夹持器腔体构造一起布置的弹性体帽的实施方式的示意图。
[图5C]
图5C是根据本公开的一些实施方式的例示了关于夹持器的结构的、附接至直夹持器腔体构造的弹性体帽以及具有面向上以示出销的下侧的另一弹性体帽的实施方式的照片。
[图5D]
图5D是根据本公开的一些实施方式的例示了关于夹持器的结构的附接至折弯或弯曲的夹持器腔体构造的弹性体帽以及人类佩戴的“教学手套”的实施方式的照片。
[图6]
图6A是根据本公开的一些实施方式的例示了在没有压力或力施加到弹性体帽的外冲击面(未示出)的情况下具有销的已照亮视图的弹性体帽的实施方式的照片。
图6B是根据本公开的一些实施方式的在图像处理之后的相同视图，其中检测到的XY特征的集合被标记为灰色圆圈。
图6C是根据本公开的一些实施方式的例示了在力施加到弹性体帽的外冲击面(未示出)的情况下具有销的已照亮视图的弹性体帽的实施方式的照片。
图6D是根据本公开的一些实施方式的在图像处理之后的相同视图，其中检测到的XY特征的集合被标记为灰色圆圈。
图6E是根据本公开的一些实施方式的例示了在扭矩力施加到弹性体帽的外冲击面(未示出)的情况下具有销的已照亮视图的弹性体帽的实施方式的照片。
图6F是根据本公开的一些实施方式的在图像处理之后的相同视图，其中检测到的XY特征的集合被标记为灰色圆圈。
图6G是根据本公开的一些实施方式的例示了在近压力施加到弹性体帽的外冲击面(未示出)的情况下具有销的已照亮视图的弹性体帽的实施方式的照片。
图6H是根据本公开的一些实施方式的在图像处理之后的相同视图，其中检测到的XY特征的集合被标记为灰色圆圈。
图6I是根据本公开的一些实施方式的例示了在侧向剪切力施加到弹性体帽的外冲击面(未示出)的情况下具有销的已照亮视图的弹性体帽的实施方式的照片。
图6J是根据本公开的一些实施方式的在图像处理之后的相同视图，其中检测到的XY特征的集合被标记为灰色圆圈。
图6K是根据本公开的一些实施方式的例示了在偏心远轴(off center faraxial)剪切力施加到弹性体帽的外冲击面(未示出)的情况下具有销的已照亮视图的弹性体帽的实施方式的照片。
图6L是根据本公开的一些实施方式的在图像处理之后的相同视图，其中检测到的XY特征的集合被标记为灰色圆圈。
[图7A]
图7A是根据本公开的一些实施方式的例示了另选的机器人系统的一些部件的示意图，该另选的机器人系统包括具有夹持器的机器人和各种子系统，夹持器具有可弹性变形帽。
[图7B]
图7B是根据本公开的一些实施方式的例示了另选的处理器的示意图。
具体实施方式
尽管以上标识的附图阐述了当前公开的实施方式，但如讨论中所指出的，也可以设想其他实施方式。本公开通过表现而非限制的方式呈现了示例性实施方式。本领域技术人员可以设计出许多落入当前公开的实施方式的原理的范围和精神内的其他修改和实施方式。
本公开涉及触觉感测，并且更具体地涉及具有附接到弹性体帽的下侧的多个微型机械销的触觉传感器或弹性体触觉传感器，并且一旦外力施加到顶表面，将力的模式转化为可测量的量。
图1A是根据本公开的实施方式的例示了弹性体帽的实施方式的示意图。触觉传感器包括具有顶表面16和底表面17的可弹性变形帽18。底表面17包括多个销13，每个销13包括基准尖端标记15。从而当力施加到顶表面16时，可弹性变形帽18变形，使销13运动，并且基准尖端标记15经历挠曲运动。弹性体触觉传感器可以包括摄像头10，摄像头10进入导管11并进入夹持器8的腔体12a中。弹性体帽18连接到夹持器的腔体开口12B，其中一个或全部基准尖端标记15(即，附接至销13)处于摄像头10的视野中。
摄像头10可以被定位为以倾斜角度处于基准尖端标记15的视野中，以捕获基准尖端标记15处于运动之前、运动期间和运动之后的图像。当压力、力、扭矩、挤压、拉伸等被施加到与使标记15移动的销13的移动相对应的外冲击面16时，标记15在处于运动时通过力的模式或净全力张量而运动。
图1B是根据本公开的一些实施方式的例示了包括连接到图1A的弹性体帽16的传感器控制计算机113的一些组件的示意图，所述帽附接至图1A的夹持器8，并且夹持器是机器人组件的一部分。传感器控制计算机113包括通过总线106连接到储存器130的硬件处理器120。硬件处理器可以实现或执行存储在存储器122或储存器130中的存储指令，具体而言，硬件处理器120可以访问预存储的XY集合131。储存器130可以存储包括标签和力值的预存储的XY集合131。处理器120经由总线106连接到存储器122。可选地，具有标签和力值的预存储的XY集合可以存储在储存器103、存储器122或两者中，所有这些都取决于用户预先确定的具体应用。
经由总线106连接的控制模块140连接到机器人控制计算机142，使得机器人控制计算机143可以经由143向控制模块140返向通信。例如，控制模块140可以由机器人控制计算机来配置，以检查夹持器力状态一次并向回报告，从而确认或驳斥夹持器，或者以帧速率连续地监测夹持器状态并在夹持器指示良好或无效夹持时中断机器人控制。
仍然参照图1B，机器人控制计算机142连接到机器人144，其中机器人144可以经由145向机器人控制计算机142返向通信。例如，机器人控制计算机142可以命令机器人144移动、打开夹持器或闭合夹持器。
此外，机器人144连接到外冲击面148的变形，其中物理环境146也连接至外冲击面148的变形。此外，外冲击面148的变形是构成使销运动的力的模式或净力张量的外部压力或力。其中，至少一个摄像机133捕获标记和销位置的图像以获得视频图像数据。例如，外冲击面148的变形可以来自施加到图1A的外冲击面16的外部压力、力等。外面的或外部压力、力等可以是力的模式，本公开的实施方式可以针对外部施加到图1A的外冲击面16的力的模式的每个压力或力而确定可测量灵敏度的量。
仍然参照图1B，可选地，传感器控制计算机113可以包括网络接口控制器150，其适于将系统100通过总线106连接到网络151，该网络151将控制系统100与无线系统连接，该无线系统可以无线地接收所捕获的标记和销位置的图像的摄像机图像数据133，以及其他数据。还可选地，经由总线106的传感器控制系统可以包括连接至发送器165的发送器接口160，以将数据无线地发送给远程机器人控制计算机(未示出)、远程机器人(未示出)、或者甚至远程控制模块(未示出)。此外，传感器控制系统113经由总线106可以连接至控制接口，该控制接口连接至一个或更多个电源128。控制接口可以向电源或其它装置提供包括动作命令的数据。设想的是：电源128可以是电池、替代电源、120伏电源、替代能源(即，太阳、水、风等)中的一种或组合。另外，传感器控制计算机经由总线106可以包括连接至接收器185的接收器接口180，以接收视频图像数据或其他数据。
图1C是根据本公开的一些实施方式的例示了图1A的弹性体帽的实施方式的示意图。弹性体帽18包括外冲击面16、下表面17、销13A-13G和位于销13A-13G上的标记15A-15G。设想的是，弹性体帽18的边缘19或半径可以被构造为安装至夹持器安装面(参见图1D)。当然，依据用户预先确定的具体应用，边缘或半径可以被构造为可附接至另一种类型的安装结构的不同的结构配置。
关于根据一些实施方式的一些弹性体帽18配置，弹性体帽18包括定位于弹性体帽的下侧17的多个微型机械销13A-13G。每个微型机械销(以下称为“销”)13A-13G可以从帽的下侧17延伸并向外延伸。定位在销13A-13G上的最外端(远离下侧)上，标记或基准尖端标记(白色或彩色涂料或回射涂料)15A-15G具有仅被空气阻尼的运动。依据具体应用，标记15A-15G可以定位于销上的任何位置。
仍然参照图1C，销13A-13G可以由弹性体材料制成，诸如硅橡胶、聚氨酯、热塑性弹性体、天然橡胶、聚异戊二烯、聚酰胺(尼龙)、聚乙烯、聚丙烯聚氯乙烯、增塑光聚合丙烯酸或它们的混合物。弹性体帽18的外冲击面17可以由一种可变形材料或多种可变形材料制成。通过非限制性示例，弹性体帽18可以由硅橡胶、聚氨酯、热塑性弹性体、天然橡胶、聚异戊二烯、聚氯乙烯、增塑光聚合丙烯酸等制成，使得可以设想，销13A-13G可以由与弹性体帽18相同的材料或不同的材料、或者材料的组合而制成。例如，销13A-13G可以由尼龙制成，而帽18的主体和冲击面16可以由聚氨酯制成并且按照双射注射成型来制造。
如上所述，销13A-13G将难以测量的东西(诸如，力的模式或净力张量)转化为易于测量的东西。也就是说，基于自由微型机械销尖端或末端的图像运动15A-15G，测量变得更容易，即，由以某个角度观察销尖端的诸如廉价网络摄像头之类的摄像头，来跟踪在销的最外端的标记15A-15G的图像运动。可以在销尖端运动之前(即，在力施加在弹性体帽的外冲击面上之前)，在销尖端运动期间(即，当力正施加到弹性体帽18的外冲击面16的同时)，以及在销尖端的运动已经停止之后(即，已经停止外部施加的力之后)，由摄像头连续地观察销尖端15A-15G。
图1D是根据本公开的实施方式的例示了配置有夹持器的弹性体帽的实施方式的示意图。夹持器组件43可以包括两个手指或夹持器38A、38B，每个夹持器包括附接至夹持器38A、38B的弹性体帽28A、28B。夹持器组件43可以具有用于将手指或夹持器38A、38B附接到夹持器组件43的延伸安装结构42A、42B。附接可以通过包括螺栓、螺钉等的机械装置，或通过磁性装置，或通过一些其他附接布置进行。另外，夹持器38B示出了摄像头30可以插入导管31中以位于夹持器38B中，以便观察弹性体帽28B的销26，以捕获销26和标记27位置的图像。
设想的是，可以有多个摄像头，每个摄像头具有标记的交叠视图，其中摄像头包括照明源。照明源是可见照明的人造光源，或者可以是摄像头的一部分或不是摄像头的一部分并且单独安装的光的可观察特性和效果。另外，根据用户预先确定的应用，标记可以包括不同的标记类型，包括不同尺寸、形状或颜色。例如，标记可以是白色的，诸如白色“液体纸”涂料(如在我们的一些实验中使用的)、或某种类型的回射器(有时称为回射器或反射器(cataphote))，它可以是以最小的散射将辐射(通常是光)反射回其源(或摄像头)的装置或表面。在回射器中，辐射的波阵面被直接反射回波源或摄像头。其以宽范围的入射角工作，这与平面反射镜不同，平面反射镜只有在反射镜与波阵面完全垂直且入射角为零的情况下才会这样做。通过被定向，回射器的反射比漫反射器的反射更亮。微珠涂料和覆层通常用作安全背心、慢跑者服装、背包和醒目的高速公路标记中的柔性或涂抹回射器材料。
仍然参照图1D，不同类型标记的一些方面是可以使用不同类型的照明来照亮或测量标记运动。例如，不同类型的照明可以各自与对应的标记相关联，所述标记允许通过从摄像头捕获图像来测量标记。此外，照明可以包括人眼和摄像头可见的可见光谱。可见光通常定义为波长在介于红外线(具有较长波长)和紫外线(具有较短波长)之间的400-700纳米(nm)范围内，或者4.00×10-7至7.00×10-7m。该波长意味着大约430–750太赫兹(THz)的频率范围。依据具体应用，照明可以是所有类型的电磁辐射(EMR)，如果用户有不受限的费用账户，则可以根据具体应用使用其他部件以利用EMR的类型。
图2A和图2B是根据本公开的一些实施方式的例示了用于实现方法的一些步骤的实施方式的流程图。
图2A的步骤215包括使用摄像头、摄像机或网络摄像头捕获运动的基准尖端标记的从起点到最终端点的图像。例如，固定摄像头捕获载有基准标记的微型杆销的图像。如根据至少一个实验，图像被发送到计算机或处理器，其中便宜的网络摄像头可以经由USB连接到运行软件(诸如，Debian Linux软件)的计算机。然而，显然其他实验可以包括不同类型的摄像头、摄像头位置、摄像头安装布局以及其他类型的软件。
图2A的步骤220包括识别所捕获图像的图像中位置的测量图像坐标。在计算机上，可以使用图像处理软件以提取位于帽的下表面上的每个基准标记的XY位置。显然，存在许多不同但相似的方法，但优选方法包括使用开源包“OpenCV”。认识到的是，依据具体应用，并非每个标记都需要在摄像头的视野中。最初，在此实验颜色期间，网络摄像头图像已被缩减为灰度图像，但这不是必需的，而是可选的。
参照图2B，可选地，步骤221可以包括用于对图像进行阈值化的方法步骤。此时，仅保留黑色(背景)和白色(基准标记)，作为黑或白像素。作为非限制性示例，优选的阈值水平是在0至255的标度内的245的像素亮度值。该方法似乎将基准呈现为黑区域中的不规则白色斑点，以及由传感器中噪声或织物棉绒污染引起的白色小斑。
此外，参照图2B，可选地，步骤222可以包括用于对白色斑点进行去噪的方法步骤，通过称为OpenCV“侵蚀”算子的第一方法将每个像素值替换为在围绕每个像素为中心的3x3区域中找到的最低像素值。这种侵蚀方法执行了3次，这从图像中去除了噪声像素和棉绒污染；这是因为这些噪声特征通常小于跨越6个像素。
此外，参照图2B，可选地，步骤223可以包括用于通过被称为OpenCV“膨胀(dilation)”的逆侵蚀来重新扩展其余的白色斑点的方法步骤。它将每个像素值替换为在以该像素为中心的3x3区域中找到的最高像素值。这导致将其余白色斑点扩大为以基准标记所在的区域为中心的、相对稳定、相对圆形的掩模。然后，我们将这个掩模图像与灰度图像一起使用，以从灰度图像中基本上消除所有噪声和污染，因为侵蚀/膨胀处理后的区/区域/地方没有恢复稳定区为黑色(零)，并且当与原始图像进行逻辑与，产生黑色背景，该黑色背景使标记检测快速且噪声极低。
此外，参照图2B，可选地，步骤224可以包括使用标准OpenCV斑点检测器“简单斑点检测器(Simple Blob Detector)”的方法步骤，以找到这些斑点的中心，它们是微型杆销端部上的基准标记的XY位置。
存在实现斑点检测的许多方式。为了易于理解示例，考虑适用于图2B的步骤224的在深色背景上寻找亮的圆斑点的简单圆斑点检测器。
简单斑点检测器如下工作：对于输入图像中的每个像素，将R1个像素的圆形半径内部的所有像素的值进行求和；将此和称为SUM1。然后，将半径为R2个像素内但在R1半径外的所有像素的值进行求和；即，R1至R2环形内所有像素值的和。将此和称为SUM2。原始像素的输出值为SUM1–SUM2。我们对输入图像中的每个像素重复这个求和过程。
现在，假设我们将R2设置为2的平方根(约1.414)乘以R1，我们看到R1圆和R2圆环的面积相等。由于R1圆的面积和R2-R1圆环的面积相等，因此平均而言，对于均匀(但有噪声)的图像，R1圆的和SUM1与R2-R1圆环的和SUM2将非常接近于相等，并且SUM1减去SUM2的值将非常接近于零。
为方便起见，我们将图像上的这种中心减去环求和运算称为圆减环滤波(CircleMinus Ring Filtering)或CMRF；它接受传入的图像，以每个像素为中心执行圆减环运算，并返回结果。除非另有指明，否则半径R1的CMRF函数将默认为R2＝SQRT(2)*R1。注意，CMRF像素的原始返回结果可能超过8位(值为255)；出于该解释的目的，我们将假设返回的图像允许多字节值。其他更高级的方法可以缩放或重新标准化，但对那些方法的讨论超出了本说明的范围，并且可以在公共文献中得到。
然后，我们在具有单个白色像素的输入图像上测试我们的CMRF，并观察我们的原始白色像素上和周围的输出像素。如果R1＝1，则R1圆包含5个像素，R2为1.414，并且R1-R2环中有4个像素，我们输出的斑点检测图像SUM1减去SUM2在除了在我们测试的白色像素的一个像素内的区域内以外为黑色(零)，我们测试的白色像素具有白色的值(在每像素一个字节的黑白图像中，它将是255)。
现在注意。在我们增加R1和R2时该检测器的行为，保持R2为R1*SQRT(2)的值。随着我们增加R1圆和R2-R1圆环的半径，将出现以单个白色像素为中心的越来越大的白色圆。但是，CMRF值SUM1减去SUM2不会随着R1的增加而增加；它保持在255。
我们在黑色背景上用半径为5的白色圆重复这个实验，并将R1(和R2)的值从1增加到2、到3……等等。然后，我们看到，对于R1从1至5的值，得到的SUM1减去SUM2的最大CMRF值从1增加到～20,000(取决于您的圆绘制算法)，然后对于6或更大的R1，看到CMRF SUM1减去SUM2没有进一步增加。
我们还注意到在SUM1减去SUM2的最大值的像素是我们斑点的中心。移开甚至一个像素的步长，移动CMRF的SUM1(正贡献)区域之外但是SUM2(负贡献)区域内的一些白色(值255)像素。从而发现，具有最大CMRF值的像素将找到斑点的中心。
从这里我们现在看出，如何检测单个斑点。我们反复执行CMRF，将R1从略低于预先选择的最小斑点半径R1min改变为略高于预先选择的最大斑点半径R1max。具有最大CMRF值的像素是斑点的中心；当找到该值时R1的值是斑点的半径。
在多斑点的情况下，仅需一个改变，相同的过程就足够了。不是在整个图像上选择具有最大CMRF值的单个像素，而是我们在排除特定半径R内并且高于合宜的阈值T百分比，寻找最大CMRF值。因此，可能找到不止一个斑点，或者根本找不到斑点。
在我们的实验中，Rmin为～5个像素，Rmax为～20，斑点排除半径为Rmax，T百分比阈值为90％(即，斑点CMRF值必须至少为全白圆斑点可能的最大值的90％)。
我们强调，这只是为了完整起见而给出的非常简化的方法，并且在步骤224中可以使用的更好(但更复杂)的方法已在公开文献中公布并在OpenCV开源软件中可得。
参照图2A，步骤225包括确定捕获图像中基准标记的相对位置的集合。例如，因为这样的XY对的数量等于基准标记的数量，并且很小(对于这些实验，只使用了七个基准销)，所以下一步骤225可以是将观察到的基准标记XY位置的集合与XY位置的预存库进行逐对匹配。
XY位置的预存库是以前通过多次实验产生的。对于该特定实验集合，少于50个预存储的XY集合存储在预存库数据库的存储器中，得到出色的分辨率和可用性。当然，可以在预存库数据库中存储超过50个预存储的XY集合，但是，对于这些实验集合，50个预存储的XY集合似乎足以达到根据本公开的一些方面的一些目标。
图2A的步骤230包括如何算出力的模式或确定作用在可弹性变形帽的顶表面上的净力张量的步骤。作为一般概述，可以通过将基准尖端标记的相对位置的集合与所存储的置于运动中的基准尖端标记的先前已学习的相对位置的集合进行匹配，然后识别与所存储的基准尖端标记的先前已学习的相对位置的集合相关联的力的模式，来确定力的模式。
因此，图2A的步骤230以以下方法步骤开始：使用毕达哥拉斯(毕达哥拉斯)度量(X和Y差的平方和的平方根)；确定观察到的基准XY位置与库中预存储的XY集合的最佳匹配。这个计算非常快；将每个观察到的XY位置与预存库中的每个预存储的XY位置进行比较；在每个基准标记在每个预存储的集合中仅表示一次的假设的基础上，保持针对大约50个预存储集合中的每一个的“运行计算”，因此每个预存储集合运行计算按照观察到的XY基准位置与任何给定预存储集合中的任何基准的最近预存储XY位置之间的毕达哥拉斯距离而增加。在进行此步骤的实验的同时，最初假设需要或有必要随时间跟踪单个标记(即，前排最左边的标记对应于第四预存库集合中的第四个XY坐标等)。然而，后来的实验表明这个假设完全是不必要的计算，并且可以在不损失准确度的情况下省略它。
仍参照图2A的步骤230，来自这个实验的令人震惊的结果是这个计算异常地快；有10个基准标记和100个预存库集合，总共有1000个XY逐对比较，即，总计2000次平方运算、1000次加法运算和1000次平方根运算或约4000次浮点运算。这意味着并认识到这是非常易于处理的方法，具有出色的结果，就过程配置而言，即使是最便宜的微处理器也能以远高于摄像头帧速率来执行。
图2A的步骤235可以包括以下方法步骤：采用毕达哥拉斯距离运行计算的和，以将预存储的XY位置集合的列表分类为匹配列表的排序质量。
在一些应用中，单个最佳匹配是传感器处理的唯一期望和输出。例如，“夹持良好”与“未找到对象”与“夹持过紧”与“夹持在边缘上”可能是所存储的XY位置集合中的一些的标签，因此将由传感器处理器输出这些标签。应注意，没有禁止具有多个所存储的、带有相同标签的XY位置集合；可以有五个至十个“夹持在边缘上”可能性，并且基于应用，对于下游系统确切地知道是哪一个可能没有必要甚至没有用。
仍参照图2A的步骤230，在其他应用中，可以依据选择来输出传感器结果，该传感器结果是在记录了特定存储的XY位置集合时有效的力的某种特定加权、逆加权或线性组合。例如，如果记录了1、2、5和10牛顿的向下力，并存储了相应的基准XY位置集合，然后传感器受到未知力，则可能会捕获图像，其中如上所述地处理图像，以获得毕达哥拉斯距离，然后可以如下进行：
对于1牛顿所存储的XY集合，毕达哥拉斯距离＝350
对于2牛顿所存储的XY集合，毕达哥拉斯距离＝100
对于5牛顿所存储的XY集合，毕达哥拉斯距离＝50
对于10牛顿所存储的XY集合，毕达哥拉斯距离＝400
…然后可以如下计算：
权重倒数的总和＝1/350+1/100+1/50+1/400＝0.0353
1牛顿样本的加权＝1*[1/350]/0.0353＝0.080
2牛顿样本的加权＝2*[1/100]/0.0353＝0.566
5牛顿样本的加权＝5*[1/50]/0.0353＝2.832
10牛顿样本的加权＝10*[1/400]/0.0353＝0.708
总计加权和：4.186
……表明在弹性体帽的感测表面上的近似力为4.186牛顿。
同样的过程可以扩展到单独或组合操作的多个力，诸如1、2、5、10牛顿的向下力，-10、-5、-2、-1、0、1、2、5和10牛顿在X的剪切，-10、-2、2和10牛顿的在Y的剪切，以及-10、-2、+2和+10牛顿的在Z的扭矩。
仍参照图2A的步骤230。限制在加权、逆加权或线性插值中要评估的所存储的XY集合的数量也是合理的；通常，对于一维问题，最佳匹配(最低毕达哥拉斯距离)两个或三个所存储的XY位置集合给出了最佳准确度，对于二维问题为4到6个，对于三维问题为6到8个等等。如您所见，本公开的方法可以针对用户的特定应用需求/要求高度定制，同时使用非常便宜的组件以及使用便宜的微处理器以远高于摄像头帧速率来执行。
仍参照图2A的步骤230，一个方面可以表明该问题可以是逆有限元建模，然而，后来的实验表明，对于人类拇指大小的机器人夹持器帽，在线性有限元模型中足够保真度所需的(以及如果我们允许非线性，则更多)300至1000个网格点之间(每个具有三个自由度)。意味着，这表明计算阶段包括以摄像机帧速率求解高达3000x3000个线性方程组的系统，如果用当前的传统触觉传感器技术并非完全不可能的，则这在计算上肯定是昂贵的。
图2C是根据本公开的一些实施方式的例示了对图2A的步骤225中的存储在存储器中的XY位置的预存库与观察到的基准标记XY位置的集合进行逐对匹配(图2A的步骤225)的一些步骤的框图。基于以下步骤，计算观察到的标记XY位置集合与存储器中存储的XY位置的预存库的逐对匹配距离(PBPMD)：
图2C的步骤251包括将当前存储的XY位置集合设置为上述所存储的XY位置的集合。
图2C的步骤253包括执行以下的例程PBPMD，以寻找观察到的XY位置集合与当前存储的XY位置集合的逐对匹配距离，以获得那个观察到的XY位置集合与观察到的XY位置集合的逐对匹配距离。
图2C的步骤255包括计算当前存储的XY位置集合与观察到的XY位置集合的PBPMD：
图2C的步骤257包括：
Figure BDA0003582466670000241
[--设置CURRENT_STORED_XY_SET＝当前存储的XY位置集合
--设置变量THIS_SET_TOTAL_PYTHAG_DIST＝0
--对于观察到的XY位置集合中的每个观察到的XY位置：]
Figure BDA0003582466670000242
[--设置THIS_LOC_MIN_DIST＝10000000。
--设置THIS_OBS_X和THIS_OBS_Y＝观察到的XY位置的X值和Y值
--对于CURRENT_STORED_XY_SET中每个存储的XY位置：]
Figure BDA0003582466670000243
[--设置THIS_STORED_X和THIS_STORED_Y＝存储的XY位置的X值和Y值--设置THIS_DIST＝SQRT((THIS_OBS_X-THIS_STORED_X)^2+(THIS_OBS_Y-THIS_STORED_Y)^2)
--如果THIS_DIST<THIS_LOC_MIN_DIST:]
Figure BDA0003582466670000244
[将THIS_LOC_MIN_DIST加至THIS_SET_TOTAL_PYTHAG_DIST]
Figure BDA0003582466670000245
[返回THIS_SET_TOTAL_PYTHAG_DIST作为逐对匹配距离。]
图2D是根据本公开的一些实施方式的例示了用于产生XY位置的预存库的一些步骤的框图。产生XY位置的预存库260可以包括步骤261，其包括将已知力(诸如压力、剪切、扭矩、挤压或展开力)强加至帽的外表面上。
图2D的步骤263包括针对强加的力定义标签，诸如“夹持很好(GRIP OK)”或“Y剪切＝30牛顿”。
图2D的步骤265包括捕获帽内部的标记的图像。
图2D的步骤267包括根据与步骤221(阈值处理)、222(侵蚀)、223(膨胀)和224(斑点检测)相同顺序的相同操作处理图像，从而得到XY位置的集合。
图2D的步骤269包括存储具有定义的标签的XY位置的集合，作为存储器中存储的XY位置集合的预存库之一。
图2E是根据本公开的一些实施方式的例示了用于使用图像测量功能270的一些步骤的框图。步骤271包括从多个捕获图像中的一个捕获图像中识别标记的起始位置。
图2E的步骤273包括从多个捕获图像中的另一捕获图像中识别标记的最终位置。
图2E的步骤275包括将识别出的标记的起始位置与所述一个捕获图像中的测量到的图像坐标相关联。
图2E的步骤277包括将识别出的标记的最终位置与所述另一捕获图像中的测量到的图像坐标相关联。
图2E的步骤279包括将基准标记的从起始位置测量坐标到最终位置测量坐标的测量到的图像坐标进行比较，以识别处于运动中的基准标记的相对位置的集合。
图2E的步骤280包括使用图像处理器以转换每个标记的在所述一个捕获图像和所述另一捕获图像之间的图像坐标中测量到的相对位置，对相对位置进行求和作为欧几里得距离，从而形成所述一个捕获图像和所述另一捕获图像之间的匹配距离。
图3A是根据本公开的一些实施方式的例示了使用有限元建模(FEM)310的一些步骤的流程图。当与弹性体帽的“仅”外冲击面的挠曲运动的可测量灵敏度的量相比时，FEM是示出或例示了使用弹性体帽的下表面上的多个销将弹性体帽顶表面的弹性变形的灵敏度测量放大和更大的极好场所。例如，步骤315包括创建弹性体帽的CAD模型，包括内表面、外表面、边缘、微型杆和标记。
图3A的步骤320包括将CAD模型转换成适用于FEM软件包的网格。
图3A的步骤325包括定义网格的通常对应于弹性体帽的边缘的一个固定部或多个固定部。
图3A的步骤330包括定义施加至帽的一个测试力或多个测试力，所述测试力通常对应于施加至帽的压力、剪切、扭矩、挤压或展开力。
图3A的步骤335包括定义构成帽的每种材料或多种材料的杨氏模量和可选的屈服强度。
图3A的步骤340包括对网格、一个固定部或多个固定部、以及一个测试力或多个测试力执行FEM软件包，这通常涉及每个网格点的同时发生的三个力平衡方程的求解(每一个针对X力、Y力、和Z力)。
图3A的步骤345包括解释FEM解的结果，这通常是每个网格点在受到一个测试力或多个测试力时将经历的X位移、Y位移和Z位移。
图3B和图3C是根据本公开的一些实施方式的例示了使用图3A的有限元建模(FEM)的方面的示意图。例如，图3B例示了弹性体帽的CAD模型，细线的网格示出了将用于有限元建模的网格。在网格中的每条短线内，假设材料的行为是线性的。
图3C例示了3B中CAD模型的FEM求解的结果，并且材料设置为弹性体，肖氏硬度计刚度为80A(约等于登山靴的鞋底使用的橡胶)，网格的固定部是帽的边缘，测试力在最右端的前景微型杆销下方垂直向上。注意，尽管最右端的前景微型杆尖端具有较大的运动，但相邻的左前景微型杆尖端具有甚至更大的运动。这是由于测试力的应力导致帽中尖端和倾斜(tip and tilt)变形。左微型杆的基部比右微型杆的基部垂直运动地更少，但整体运动要大得多，并且运动主要在-X方向。这使得可以消除不同力的歧义。
图4A是根据本公开的一些实施方式的包括夹持器408A、408B和两个弹性体传感器418A、418B的机器人组件的实施方式的示意图。对于该特定应用，至少一个目标可以是基于对象姿态297从容器496中拾取对象495。该系统包括具有夹持器408A、408B的6轴机器人臂404。3D传感器409可以布置在臂404上，以获取包括对象495和容器496的场景的数据。然后，夹持器408A、408B可以依据它们的姿态从容器496中拾取对象495。应该注意的是，容器可以容纳不同的对象。
如在图2A的步骤235中表明的，可以期望单个最佳匹配作为传感器处理的输出。例如，“夹持良好”与“没有找到对象”与“夹持过紧”与“夹持在边缘上”可能是一些所存储的XY位置集合的标签，并且因此将由传感器处理器输出它们。
一个示例3D传感器使用由投影仪产生的结构光。诸如立体摄像头和飞行时间测距传感器之类的其他传感器也是可行的。传感器获取3D场景数据，诸如点云。3D传感器相对于机器人臂404进行校准。因此，可以在3D传感器的坐标系中估计对象495的姿态，3D传感器的坐标系可以转变为机器人臂404的坐标系，允许通过经由机器人控制计算机403根据姿态控制机器人臂404来抓握和拾取对象。场景数据可以由控制模块处理，该控制模块可以实现在传感器控制计算机401中要执行的确定方法。传感器控制计算机401可以包括本领域已知的存储器和输入/输出接口。
然而，比传统机器人组件新颖的区别因素是包括弹性体帽418A、418B的弹性体传感器。例如，今天的制造设施包括柔性组装线，然而，大多数传统的机器人夹持器存在许多问题，包括很少或没有触觉感测，这给用于柔性组装线的这些传统机器人带来了问题。至少一个原因在于，这些为高精度零件抓握和抓握验证而设计的传统专用夹持器不能用于柔性组装线。这是因为这些传统的专用夹持器手指在操作上不能够结合允许夹持器在变化(无论是预测到的还是不可预测的)的情况下做出反应的一定柔性。类似地，传统机器人知道实际组装操作是否成功的能力水平较低，即，诸如夹持器抓取是“夹持良好”与“没有找到对象”与“夹持过紧”与“夹在边缘上”。为了克服传统机器人的这些问题，包括图4A的本公开的一些实施方式被配置为，通过非限制性示例，提供压力、平移、旋转和剪切的全部力集合的机械式健壮通用夹持器手指尖端418A、418B，用于柔性组装线。
图4B是根据本公开的一些实施方式的例示了弹性体帽的实施方式的示意图，该弹性体帽具有销和附接至弹性体帽的外冲击面427上的位置的脊。例如，脊420A、420B、420C可以延伸帽428的一部分长度或帽428的全部长度。此外，依据如由用户预先确定的涉及一定水平的期望的可测量灵敏度的具体应用，脊420A、420B、420C可以长度不同、脊高度不同或脊厚度不同。脊420A、420B、420C可以沿着长度延伸，同时脊沿着宽度或狭窄区域延伸。如上所述，依据如由用户预先确定的被设计为完成具体应用的预期水平的可测量灵敏度，可以结合销423A、423B、423C来构造和设计脊420A、420B、420C。
图4C是根据本公开的一些实施方式的例示了弹性体帽438的实施方式的示意图，该弹性体帽438具有销453A-453C和附接至弹性体帽438的外冲击面437上的位置的锥体422A-422L。例如，锥体422A-422L可以覆盖整个帽438或仅帽438不同部分的区域。此外，依据如由用户预先确定的涉及一定水平的期望的可测量灵敏度的具体应用，锥体422A-422L可以底直径不同、锥体高度不同或锥体厚度不同。锥体422A-422L可以沿边缘长度或绕帽438的周边延伸。
图4D是根据本公开的一些实施方式的例示了具有销464A-464G的弹性体帽448的实施方式的示意图，销464A-464G具有沿销附接并从销延伸的微型杆或微型臂463A-463J，其中每个微型杆或微型臂463A-463J可以包括附接在离下表面449最远的端部的标记。具有包括杆臂463A-463J的一些销464A-464G可以在下表面449的侧壁上的位置处附接到弹性体帽448的下表面449上的位置。根据实验，这样的销位置可以提供销464A-464G的增加水平的可测量的运动灵敏度，以及与在没有附接的杆臂的位置处附接的销464A-464G相比，当销具有附近的杆臂463A-463J时，可测量的运动灵敏度的水平进一步提高。
参照图1C、图4B和图4C，设想，外冲击面可以包括属性，属性包括诸如光滑纹理、粗糙纹理的至少一种纹理、对称隆突、非对称隆突、或具有或不具有至少一种纹理的隆突图案中的一种或组合。属性可以包括图4B的脊、图4C的锥体、或其他类似的隆突。从实验中认识到：具有带有或不带有杆臂的销的特定结构布置的属性的特定组合可以提供特定于压力、力或两者的期望模式的更高水平的可测量的运动灵敏度。
具体地，根据涉及可测量力的集合的用户指定的应用，属性可以被构造和布置成包括锥形隆突之一、对称隆突或非对称隆突的组合，其提供力的模式的用户优选的增加的可测量的灵敏度，包括检测跨越弹性体触觉传感器对外冲击面的可测量的平面内力、剪切力和扭矩力的量。
图5A是根据本公开的一些实施方式的例示了关于夹持器的结构的、与直夹持器腔体构造一起布置的弹性体帽的实施方式的示意图。例如，夹持器520包括弹性体帽524附接至的夹持器腔体522，其中，弹性体帽524沿着直的夹持器腔体522布置。
图5B是根据本公开的一些实施方式的例示了关于夹持器的结构的、与折弯或弯曲的夹持器腔体构造一起布置的弹性体帽的实施方式的示意图。例如，夹持器540包括弹性体帽544附接至的夹持器腔体542，其中，弹性体帽544沿夹持器腔体542的折弯或弯曲的构造布置。
图5C是根据本公开的一些实施方式的例示了关于夹持器554的结构的、附接至直夹持器腔构造552的弹性体帽550以及面向上以示出标记565的下侧570的另一弹性体帽560的实施方式的照片。
图5D是根据本公开的一些实施方式的例示了关于夹持器590的结构的、附接至折弯的或弯曲的夹持器腔体构造587的弹性体帽585的实施方式以及人类佩戴的“教学手套”589的照片。在人类佩戴的“教学手套”589中使用的弹性体传感器或弹性体帽585的一些益处/优点在于：可以连同在以后的机器人组装操作中要应用的适当的力张量一起，来记录穿戴手套589的人类手指的运动。注意，对于夹持器590中的摄像头(未示出)，可以利用的其他摄像头角度包括0-10度、10-15度、10-20度和15-30度。
图6A和图6B，根据本公开的一些实施方式，图6A是例示了在没有压力或力施加到弹性体帽610的外冲击面(未示出)的情况下具有销612的已照亮视图的弹性体帽610的实施方式的照片，而图6B是在具有更少照明的情况下销612的相同视图。
图6C和图6D，根据本公开的一些实施方式，图6C是例示了在力施加至弹性体帽620的外冲击面(未示出)的情况下具有销622的已照亮视图的弹性体帽620的实施方式的照片，而图6D是具有较少照明的销622的相同视图。
图6E和图6F，根据本公开的一些实施方式，图6E是例示了在扭矩力施加至弹性体帽630的外冲击面(未示出)的情况下具有销632的已照亮视图的弹性体帽630的实施方式的照片，而图6F是具有较少照明的销632的相同视图。
图6G和图6H，根据本公开的一些实施方式，图6G是例示了在近压力施加至弹性体帽640的外冲击面(未示出)的情况下具有销642的已照亮视图的弹性体帽640的实施方式的照片，而图6H是具有较少照明的销642的相同视图。
图6I和图6J，根据本公开的一些实施方式，图6I是例示了在侧向剪切力施加至弹性体帽660的外冲击面(未示出)的情况下具有销652的已照亮视图的弹性体帽650的实施方式的照片，而图6J是具有较少照明的销652的相同视图。
图6K和图6L，根据本公开的一些实施方式的，图6K是例示了在偏心远轴剪切力施加至弹性体帽660的外冲击面(未示出)的情况下具有销662的已照亮视图的弹性体帽660的实施方式的照片，而图6L是具有较少照明的销662的相同视图。
实验
从实验中获得的至少一个认识是包括微机械杆，该微机械杆附接在帽的下侧的平坦部分和倒圆部分(radius section)之间的交界区。当帽被压下0.1mm时，倒圆部分将被迫改变曲率并且更紧地弯曲。更准确地说，倒圆部分将从10mm半径变形到9.9mm半径。假设帽材料相对不可压缩并且弯曲而不是凸出，这转化成帽的弧长变化，从正好90度和15.7079mm不变形长度转变成在9.9mm半径上15.7079mm的恒定长度，使得15.7079＝9.9mm*新角度，并且新角度为1.5866弧度或90.905度，这是在半径中0.905度的变形。
由于帽的平顶被按压对象支承，因此平顶将保持大部分平坦，并且大部分适应将在侧壁中。因此，微机械销将(与帽一起)向上移动0.1mm，而且向外弯曲约0.9度。
假设我们的微机械销长20mm，与我们实验的结果一致，由于微机械销倾斜而导致的sin(0.9度)*20mm＝.31mm的侧向位移。销也垂直移动，总移动量略低于0.4mm。这示出了大约4倍的增益。
当然，由于示例的二维性质，这过于简单化了。需要解决两个影响：首先，弹性体帽在半径基部的边缘相对于摄像头，位置和角度都是固定的，其次，帽的基部边缘与帽顶平坦的交界处相比具有大得多的承压截面，对于第一个近似值，在弹性体帽的固定根部的截面是平顶处的大约两倍，微型杆经受双倍应变(以及变形，以及倾斜)。其次，被固定的帽的边缘将变形推入帽的中心区域，再次使得在微型杆基部经历的应变、变形和倾斜加倍。
总而言之，存在经历了大约1.6mm移动的微型杆尖端的尖端运动，这是根据粗略计算和有限元建模而预测的，并且后来通过使用3D打印弹性体帽的实际实验得到了证实。
观察到的1.6mm的基准标记运动大于销本身的直径，并且是远大于以0.1mm移动的表面的直接观察的运动。这是在本公开中自由移动微型杆的理由和目的；这是由于弹性体帽的应变变形在观察位置中的16倍的非常大的增益。这种观察到的位置是非常明显的，并且可以使用诸如网络摄像头之类的简单摄像机来测量。
由于这种微型杆变形增益，摄像机捕获的图像具有基准标记的较大的运动，并且与传统的触觉传感器方法相比具有更好的信噪比，传统的触觉传感器方法通过掠射照明或通过半球状凝胶的代理(proxy)，直接对接触面的顶表面进行成像。
使用独立移动的微型杆还允许帽的不同部分经受并报告截然不同的局部应变和力。例如，帽的一部分可以处于从左到右的剪切，帽的另一侧可以处于从右到左的剪切，并且因为微型杆自由移动而不是被俘获在连续凝胶中，因此传感器的定制配置能够将这种情况正确地检测为表面扭矩，而不是对力的特定集合不敏感，就像半球状凝胶对力的这些特定集合不敏感一样。
为了利用这些微型杆放大的基准标记运动来生成力信号输出，进行了几个实验。所考虑的一些方面包括：将固定摄像头在结构上布置在夹持器的腔体内的不同位置处。
基于实验，当具有以0到20度(0至～20)之间的视角(即，倾斜角)定位的一个或更多个摄像机时，该一个或更多个摄像机布置得到低轮廓(profile)高灵敏度弹性体触觉传感器。通过非限制性示例，本公开的低轮廓弹性体传感器的一些益处和优点提供了对具有大轮廓的传统触觉传感器的一些当今技术问题的解决方案。例如，本公开的低轮廓弹性体传感器不仅适用于机器人夹持器工业，而且通过非限制性示例，适用于与人类穿戴的“教学手套”上的安装相关的应用，该“教学手套”能够捕获机器人在执行组装操作时应该经历的典型力。
进行了许多测试，以确定基于灵敏度水平、耐用性以及通过传统注射成型和通过诸如聚合物-SLA之类的3D打印二者的制造能力如何设计和构造弹性体帽。使用臂马达扭矩传感器、夹持后验证传感器、腕力传感器、夹持器马达位置和扭矩传感器进行了实验测试。从夹持后验证实验中了解到，在机器人执行零件抓握操作后，机器人通常会将零件移动到机器视觉站。机器视觉站具有机器视觉系统，该机器视觉系统验证夹持器正保持期望零件处于期望方向，其中如果需要任何校正，则实施校正。然后，组装零件，或将其移至“重试”容器以进行人工重新定向和验证。这种运动发生在零件从进给夹具中取出之后，并且在它被移动到组装区域之前；它只能在这一时间点检测误夹持(miss-grips)。
从利用夹持器手指应变计式传感器的实验了解到，这些传感器将应变计集成到夹持器手指中，因此仅记录指尖力，这似乎等同于仅感测“Z”压力。然而，这些传感器未能提供感测其他力，诸如中心压力、偏置压力、侧向力X、剪切力Y、在俯仰、偏航或滚动方向上的扭矩、挤压侧向力X或挤压剪切力Y。
通过公开文档查阅到的另一传感器是GelSight(凝胶观测)传感器。该传感器使用在一侧带有柔性不透明涂层的透明凝胶的厚块。将该块的涂层侧压在表面上，并且在几个不同角度的掠射照明下照射的同时垂直地观察变形的涂料。了解到，该传感器能够在表面上发现向上伸出的纹理(毛刺)。然而，因为不透明涂层桥接在空隙和针孔之上，因此这种传感器似乎对空隙或针孔没有用处，并且传感器具有非常低水平的损伤力阈值并且来自表面摩擦的损坏是常有的。已发现的许多缺点中的另一缺点是，这种传感器需要大约100mm的Z轴裕度才能使摄像头运行。由于摄像头的裕度如此大，这意味着该传感器当然不能具有低轮廓配置，并且似乎更好地适合纹理表面的机器人检测，而不是任何类型的低轮廓应用。另外，低水平的力损伤阈值和表面磨损使得这种传感器不适用于机器人组装。
从不同类型的传感器实验中了解的一些方面是，机器人用于组装，但正确的组装取决于机器人始终以完全相同的位置和方向夹持零件。误夹持导致组装失败、零件损坏以及夹持器或机器人本身损坏。即使正确地夹持零件，如果接收零件不正确，或者接收零件被污染或变形，则机器人将尝试强制组装，导致组装不良、零件损坏、或者机器人或机器人夹持器损坏。鉴于以上实验结果发现，不能修改或进一步开发实验的传感器，以满足本公开期望的灵敏度水平、耐用性、制造成本以及许多其他因素水平，并且没有进一步分析。
基于广泛的实验以及期望水平的灵敏度、耐用性、制造成本以及其他因素，针对设计和构造本公开的一些实施方式，获得了许多实现。针对一些实施方式的这些实现中的一些包括使销以销远离下侧延伸的方式在帽的下侧上延伸。该配置包括必须设计如下销，该销不仅满足强度水平而且也满足可变形性水平，以便能够变形以记录销由于外力张量的变形量。具体而言，销的一些配置被专门设计为在销之间保持通常恒定的相对角度和位置。例如，从关于经由光流分析的实验的公开文档中发现，销平行地布置于实验的帽中，并且用高柔性透明硅树脂填充帽。组件表现出一定足够水平的强度，即，当施加所应用的外力时影响销变形的强度水平。这种实验的帽得到了可接受的可测量水平的垂直力。然而，基于用销尖端的垂直(z轴)摄像头获得的图像运动，这种相同的实验的帽配置未能提供可接受水平的可测量剪切和扭矩感测/力。从该实验配置中了解到，至少考虑到本公开期望水平的可测量灵敏度目标，销强度水平必须不太高于强度水平，以限制销移动性水平，以实现可测量的力张量。从该实验中还了解到，结合强度水平过高的销来保持销基本平行，导致防止销倾斜(tip and tilt)，这使得实验的销配置对剪切(X和Y压力)不敏感，对X、Y和Z的扭矩不敏感，以及对X和Y的挤压力不敏感。
要安装/附接/模制到弹性体帽的下侧的销的数量可以取决于许多因素(如从实验了解到的)，例如，认识到，就达到预定水平的灵敏度、耐用性等而言，销的数量可以取决于基于用户意图和目标的特定应用。
例如，施加在弹性体帽的外冲击面(垂直“Z”压力、中心和偏置二者、侧向“X”和“Y”剪切、以及在俯仰、偏航和滚动方向上的扭矩))的施加的外力(即，全力张量)全部可以由弹性体触觉传感器感测。本公开的简单、紧凑的触觉传感器设计可以与机器人、假肢应用、计算机应用、人类安全协作机器人安全传感器、和车辆相关应用一起使用。此外，本公开的一些实施方式的高分辨率触觉传感器也可以用于精确控制装置(诸如，高密度微型计算机产品)，用于高灵敏机器人帽感测；触敏虚拟现实装置，诸如远程操作员佩戴的控制手套；以及用于患者外科手术的机器人的手指。
为了处理从摄像头的销运动的图像生成的数据，可以使用有限元建模(FEM)，来处理帽的数据，作为超材料(metamaterial)设计。超材料是内部结构产生最终物体的物体，所述最终物体的物理(电、磁、机械、热)属性与其组成的“真实”材料的体属性显著不同，即，负ε、μ、几乎任意光速c、泊松比ν或热导率κ。基本上，FEM模型可以预测在不同载荷下的弹性体变形。另外，弹性体销提升表面轮廓并将表面倾斜转换为易于成像的XY运动，即，使用销尖端的低成本网络摄像头图像。此外，具有较少基准标记的帽的结构设计提供了简单的图像阈值处理，没有帧间跟踪/模糊性。事实上，可以使用OpenCV来跟踪被转换成力图的销尖端的运动。这使计算费用最小化并保持了高的帧速率。
在实验期间，逆FEM被证明在计算上是昂贵的。认识到，模型的训练应该使用真实数据。从实验中进一步了解到的一个方面是，对于具有抓握位置、角姿态、剪切和扭矩的标签情况使用14维空间中的欧几里得距离，被证明是有益的。例如，计算时间非常快，即计算成本的量被证明非常低，得到在一个1GHz cpu(例如，Raspberry Pi Zero)上以出色的可视化实时处理的能力。
本公开的实施方式可以使用的一些技术包括FEM、微机械弹性体组件的3D打印、小(5.5mm直径)网络摄像头。其中可以便宜地(即，20美元或更少)购买网络摄像头。实施方式还可以用于机器人夹持，它将以30Hz提供角度、重心、力张量和抓握姿态的验证。此外，机器人教学，使得控制程序可以记录抓握应该感觉像什么、抓握的难度如何以及滑倒感觉像什么。
使用FEM和3D打印的其他一些益处可以使弹性体帽的设计和生产具有许多属性。例如，一些属性可以包括提供具有期望量的灵敏度或损伤阈值或特定量的力方向的弹性体帽。其中，帽的不对称性、销高度、销位置和安装配置使得能够区分不同的力方向。另外，帽的低轮廓可以使触觉传感器用在机器人夹持器和教导机器人的人类所佩戴的“教学手套”二者上，从而针对正在执行的任务捕获正确的力张量。在许多情况下，可能没有必要计算实际的力张量，从而将销尖端位置与正确和不正确图像的预设库进行简单比较就足以确定机器人抓握适当或不适当，或者对照已知变形库进行插值而实时产生对传感器上实际力张量的良好估计。
本公开的其他实施方式在传递对施加在弹性体触觉传感器上的外力的高度灵敏感测的同时，还通过提供诸如低成本、低质量以及浅轮廓的简单紧凑型触觉传感器之类的益处来解决当今的工业需求。这些益处中的一些允许本公开的紧凑型触觉传感器用于现有的传统使用对于不同的技术行业而言证明成本太高的技术中。例如，简单地放置如水果、寿司或烘焙食品之类的精致食品需要一定程度的触摸控制，这使得人类雇员被更廉价的机器人代替。
特征
根据本公开的另一实施方式，一种用于机器人的触觉传感器，其包括可弹性变形元件，该可弹性变形元件包括外冲击面和具有销、脊或这两者的下表面。每个下表面销或脊包括标记，并且可弹性变形元件附接到机器人的夹持器。摄像头位于夹持器的腔体中以捕获标记的图像。存储器具有存储的数据，该存储的数据包括具有相应的预学习的力的模式的、预学习的标记位置的集合的图像数据，每个预学习的标记位置的集合对应于预学习的力的模式。图像处理器可操作地连接到摄像头和存储器。图像处理器被配置为检测在捕获图像中的标记位置。基于距离函数，将捕获图像中检测到的标记位置与预学习的标记位置的集合进行比较，以确定每个预学习的标记位置的集合的匹配值的质量。使用应用于所确定的质量的匹配值的用户选择的最佳匹配函数，来确定最佳质量匹配的预学习的力的模式，以计算最佳匹配集合的预学习的标记位置和相应的最佳质量匹配的预学习的力的模式。基于所确定的最佳匹配的预学习的力的模式，来识别作用于可弹性变形元件上的力的模式。输出识别出的力的模式以基于识别出的、作用于可变形元件上的力的模式来启动夹持器动作。其中下面的以下方面被认为是配置以上实施方式的变型实施方式。
根据本公开的方面，图像处理器通过使用图像测量功能来识别捕获图像当中的图像中的测量的图像位置坐标，来转换捕获图像中检测到的每个标记位置，以获得检测到的标记位置，捕获图像包括每个标记的起始位置图像和最终位置图像。其中，对检测到的每个标记位置进行求和作为欧几里德距离，从而形成标记的起始位置图像和最终位置图像之间的匹配距离。
该方面的至少一个益处可以是确定作用于可弹性变形元件上的力的模式包括使用机器视觉算法。还有一个方面，作用于可弹性变形元件上的力的模式包括以下中一个或组合：垂直压力Z、中心压力、偏置压力、侧向剪切力X、侧向剪切力Y、在俯仰、偏航或滚动方向上的中心或偏置扭矩、中心或偏置挤压力X、中心或偏置挤压力Y、中心或偏置展开侧向力X、或中心或偏置展开侧向力Y。另一方面可以是：机器人为动态机器人，并且响应于识别出的作用于图像处理器中确定的外冲击面上的力的模式来控制夹持器。
另一方面是：当力施加到外冲击面时，外冲击面弹性变形，使下表面销、脊或这两者经受检测标记的挠曲运动。此外，一方面可以是：使用包括用户选择的匹配函数来确定最佳匹配集合的预学习的标记位置，所述用户选择的匹配函数包括：(1)经由距离函数的最佳质量的匹配；(2)经由距离函数在用户选择数量的最佳质量的匹配值当中的预定加权平均值；或(3)所有质量的匹配值的预定加权和。另一方面是：每个力的模式包括垂直于外冲击面的力、扭矩力和剪切力的集合。
一个方面可以包括：外冲击面在当没有力施加至外冲击面时的未变形状态和当力施加至外冲击面时的弹性变形状态之间变化，当力施加至外冲击面时使外冲击面弹性变形，导致下表面销、脊或这两者经受检测标记的挠曲运动，并且其中图像处理器通过评估在未变形状态和弹性变形状态之间下表面销、脊或这两者的相对位置，来比较标记在捕获图像中的位置。
又一方面可以是：外冲击面包括属性，根据涉及可测量力的集合的用户指定应用，属性包括以下中的一种或者组合：诸如平滑纹理或粗糙纹理的至少一种纹理、对称隆突、非对称隆突、或具有或不具有至少一种纹理的隆突的图案，并结合下表面销、脊或这两者来构造和布置，以提供力的模式的用户优选的可测量灵敏度。一个方面可以是：用户选择的最佳匹配函数应用于所确定的质量的匹配值，并计算最佳匹配集合的预学习的标记位置和相应的最佳质量匹配的预学习的力的模式。此外，另一方面可以是：外冲击面包括属性，使得根据涉及可测量力的集合的用户指定应用，属性被构造和布置为包括粗糙纹理的至少一个区域，其提供力的模式的用户优选的增加和均匀的可测量的灵敏度，包括检测跨越可弹性变形元件对外冲击面的可测量的垂直力的量。另一方面可以是：根据涉及可测量力的集合的用户指定应用，属性被构造和布置为包括锥形隆突、对称隆突或非对称隆突中的一个的组合，其提供力的模式的用户优选的增加的可测量灵敏度，包括检测跨越弹性体触觉传感器对外冲击面的可测量的平面内力、剪切力和扭矩力的量。又一方面是：根据涉及可测量力的集合的用户指定应用，属性被构造和布置为包括脊状隆突的至少一个区域，该脊状隆突被定位为垂直于对力的模式的可测量力或扭矩的用户优选的可测量的灵敏度的轴线。而且，一个方面是：根据涉及可测量力的集合的用户指定应用，属性包括垂直于优选的可测量灵敏度的轴线而定位的脊状隆突、粗糙纹理、锥形隆突、对称隆突、和非对称隆突中的一个或组合的用户预先确定的图案，其提供力的模式的用户优选的可测量灵敏度。
以下这些方面可以结合到任何以上装置、方法和系统中。例如，一个方面可以是：图像处理器通过使用图像测量功能识别捕获图像当中的图像中的测量到的位置的图像坐标，来转换捕获图像中每个基准尖端标记的相对位置，以获得基准尖端标记的相对位置的集合，使得在捕获图像和另一捕获图像之间作为图像坐标中测量到的每个基准标记具有作为欧几里得距离求和的相对位置，从而形成在捕获图像和另一捕获图像之间的匹配距离。
另一方面可以是通过图像测量功能检测捕获图像中的标记位置。图像处理器实现图像测量功能的步骤，图像测量功能包括从存储器中检索具有预学习的力的模式的、预学习的标记位置的集合。从图像数据中识别与捕获图像中检测到的标记位置相对应的预学习的标记位置的集合。使用图像测量功能识别捕获图像当中的图像中测量到的位置的图像坐标，以获得检测到的标记位置，捕获图像包括每个标记的起始位置图像和最终位置图像，将检测到的每个标记位置求和作为欧几里得距离，从而形成标记的起始位置图像和最终位置图像之间的匹配距离。
又一方面是摄像头包括以倾斜角观察基准标记的一个或更多个摄像头，该倾斜角包括以下之一的范围：零度角至高达10度角、零度角至高达20度角、或者21度角到高达30度角。
一个方面可以是：每个销包括附接至弹性体帽的下表面上的位置的杆臂，包括下表面的侧壁上的至少一个位置，使得销是机械运动放大销，其中与销附接在单个位置而没有杆臂附接至弹性体帽的下表面上的位置相比，利用附接至下表面上的位置的杆臂，销的运动灵敏度水平增加。
又一方面可以是：使用多个销放大弹性体帽的顶表面的弹性变形的灵敏度的度量，因为当与弹性体帽的顶表面的挠曲运动的可测量灵敏度量相比，多个销的挠曲运动的可测量灵敏度的量更大。
此外，一个方面可以包括：每个基准标记通过颜色、条形码、类似QR的点码或其他类型的编码中的一种来编码，使得与捕获图像的基准标记的基准标记位置相比，在捕获图像中的位置中的基准标记和在先前学习的捕获图像的子集中的先前学习的捕获图像的最近位置中的基准标记之间的匹配是可确定的。
一个方面可以包括：图像测量功能通过从多个捕获图像当中的捕获图像中识别基准标记的最终位置，来确定处于运动中的多个基准标记中的每个基准标记的相对位置。将基准标记的识别出的最终位置与捕获图像中测量到的图像坐标相关联。将最终位置测量坐标与来自存储数据的先前学习的弹性体帽的基准标记的捕获图像的集合进行比较，以识别包含相应的先前学习的基准标记的、先前学习的捕获图像的子集，该相应的先前学习的基准标记包括具有从捕获图像中识别出的最终测量图像坐标的基准标记。将相应的先前存储的基准标记与先前存储的捕获图像的子集进行比较，以识别具有先前存储的起始位置的先前学习的捕获图像。将识别出的先前存储的起始位置与测量到的图像坐标相关联，以获得先前存储的起始位置测量图像坐标。将从先前存储的起始位置测量坐标到最终位置测量坐标的基准标记的测量图像坐标进行比较，以识别处于运动中的基准标记的相对位置的集合。
又一方面是：对基准标记的相对位置进行求和作为欧几里得距离，从而形成捕获图像和先前学习的捕获图像的子集之间的匹配距离。使得图像处理器然后基于具有最近欧几里得匹配距离的先前学习的图像的先前学习的可接受标签或先前学习的不可接受标签，将捕获图像分类为按可接受或不可接受进行加标签。
定义
根据本公开的方面，并且基于实验，已经建立了以下定义，并且肯定不是每个短语或术语的全部定义。其中所提供的定义是基于从实验中的学习仅作为示例而提供的，其中，可能涉及其他解释、定义和其他方面。然而，至少针对所呈现的短语或术语的仅基本预览，已经提供了这样的定义。
张量：在数学中，张量是与向量空间及其对偶空间相关的代数对象，可以用几种不同的方式来定义，通常标量、在点处的切向量、在点处的余切向量(对偶向量)、或者从向量空间到结果向量空间的多线性映射。欧几里得向量和标量(通常用于与广义相对论无关的物理和工程应用中)是最简单的张量。虽然张量是独立于任何基础而定义的，但物理学文献通常通过它们在与特定坐标系相关的基础中的分量来引用它们。
有限元建模(FEM)：根据本公开的一些实施方式，FEM可以将整个域细分为更简单的部分，具有几个优点：(A)准确表示复杂几何形状；(B)包含不同的材料特性；(C)易于表示整体解决方案；(D)捕获局部效应。
该方法当中的工作可以涉及(1)将问题的域划分为子域的集合，每个子域由原始问题的一组元方程表示，然后(2)将所有组的元方程系统地重新组合为用于最终计算的全局方程系统。全局方程系统具有已知的求解技术，并且可以从原始问题的初始值开始计算，以获得数值答案。
仍然涉及FEM，在以上第一步骤中，元方程是局部近似待研究的原始复杂方程的简单方程，其中，原始方程通常是偏微分方程(PDE)。为了解释这个过程中的近似，通常引入FEM作为Galerkin(伽辽金)方法的特例。用数学语言来说，这个过程是构造残差和权重函数的内积的积分并将积分设置为零。简单来说，过程通过将试探函数(trail function)拟合到PDE中，使近似误差最小化。残差是试探函数引起的误差，权重函数是投影残差的多项式逼近函数。该过程消除了PDE的所有空间导数，从而对于稳态问题用一组代数方程而对于瞬态问题用一组常微分方程，来局部近似PDE。
这些方程组是元方程。如果基础PDE是线性的，则它们是线性的，反之亦然。稳态问题中出现的代数方程组使用数值线性代数方法来求解，而在瞬态问题中出现的常微分方程组使用标准技术(诸如Euler(欧拉)法或Runge-Kutta(龙格-库塔)法)通过数值积分来求解。
仍然参考FEM，在以上步骤(2)中，通过坐标从子域的局部节点到域的全局节点的变换，从元方程生成全局方程系统。该空间变换包括与参考坐标系相关的所应用的适当定向调整。该过程通常由FEM软件使用从子域生成的坐标数据来实施。
图7A是根据本公开的一些实施方式的例示了另选机器人系统的一些部件的示意图，该机器人系统包括具有夹持器的机器人和各种子系统，夹持器具有可弹性变形帽。例如，根据本公开的一些实施方式，图7A可以包括连接到机器人782的传感器控制计算机770。传感器控制计算机770可以包括连接到存储器772的硬件处理器777，存储器772包括存储的软件774和包括标签和表面力值的预学习的XY集合数据库。硬件处理器777可以实现或执行存储在存储器772中的存储指令。处理器777连接到控制模块778，控制模块778连接到机器人控制计算机780。机器人控制计算机780可以经由779与控制模块返向通信。机器人控制计算机780连接到机器人782，其中机器人782连接回机器人控制计算机780。
仍然参照图7A，机器人782连接到外冲击面785的变形，其中物理环境784连接到外冲击面785的变形。例如，物理环境784包括对象或者可以引起对外冲击面的冲击的一些东西。此外，外冲击面785的变形可以是构成导致销运动的力的模式或净力张量的外部压力或力。其中，至少一个摄像机769捕获标记和销位置的图像，以获得视频图像数据。例如，外冲击面785的变形可以来自施加到图1A的外冲击面16的外部压力、力等。外面的或外部压力、力等可以是力的模式，本公开的实施方式可以确定外部施加到图1A的外冲击面16的力的模式的每个压力或力的可测量灵敏度的量。
仍然参照图7A，可选地，其他数据可以从其他传感器获得到硬件处理器777。例如，其他数据可以包括环境数据、历史数据、或与实现机器人动作有关的数据。
图7B是根据本公开的实施方式的通过非限制性示例而例示了可用于实现方法和系统的一些技术的计算设备700的示意图。计算设备或装置700代表各种形式的数字计算机，诸如膝上型计算机、台式机、工作站、个人数字助理、服务器、刀片式服务器、大型机和其他合适的计算机。
计算装置700可以包括全部连接至总线750的电源708、处理器709、存储器710、储存装置711。此外，高速接口712、低速接口713、高速扩展端口714和低速连接端口715可以连接到总线750。另外，低速扩展端口716与总线750连接。依据具体应用，通过非限制性示例730，设想了可以安装在普通主板上的各种部件配置。此外，输入接口717可以经由总线750连接到外部接收器706和输出接口718。接收器719可以经由总线750连接到外部发送器707和发送器720。还连接到总线750的可以是外部存储器704、外部传感器703、机器702和环境701。此外，一个或更多个外部输入/输出装置705可以连接到总线750。网络接口控制器(NIC)721可以适于通过总线750连接到网络722，其中数据或其他数据等可以在计算机装置700之外的第三方显示装置、第三方成像装置和/或第三方打印装置上被渲染。
设想的是存储器710可以存储计算机装置700可执行的指令、历史数据以及可以被本公开的方法和系统利用的任何数据。存储器710可以包括随机存取存储器(RAM)、只读存储器(ROM)、闪存或任何其他合适的存储器系统。存储器710可以是一个或多个易失性存储器单元、和/或一个或多个非易失性存储器单元。存储器710也可以是另一种形式的计算机可读介质，诸如磁盘或光盘。
仍然参照图7B，储存装置758可以适于存储补充数据和/或计算机装置700使用的软件模块。例如，储存装置711可以存储如关于本公开以上提及的历史数据和其他相关数据。附加地或另选地，储存装置711可以存储与关于本公开以上所提及的数据相似的历史数据。储存装置711可以包括硬盘驱动器、光驱、拇指驱动器、驱动器阵列或它们的任何组合。此外，储存装置711可以包含计算机可读介质，诸如软盘装置、硬盘装置、光盘装置或磁带装置、闪存或其他类似的固态存储器装置，或装置阵列，包括储存区域网络或其他配置中的装置。指令可以存储在信息载体中。指令在由一个或更多个处理装置(例如，处理器709)执行时，执行一种或更多种方法，诸如上述那些方法。
该系统可以通过总线750可选地链接到显示接口或用户接口(HMI)723，该显示接口或用户接口(HMI)723适于将系统连接到显示装置725和键盘724，其中显示装置725可以包括计算机监视器、摄像头、电视、投影仪或移动装置等。
仍然参照7B，计算机装置700可以包括适于打印机接口(未示出)的用户输入接口717，打印机接口也可以通过总线750连接并适于连接至打印装置(未示出)，其中打印装置可以包括液体喷墨打印机、固体墨打印机、大型商用打印机、热敏打印机、UV打印机或染料升华打印机等。
高速接口712管理计算装置700的带宽密集型操作，而低速接口713管理较低带宽密集型操作。这种功能分配仅是示例。在一些实现中，高速接口712可以联接至存储器710、用户接口(HMI)723、键盘724和显示器725(例如，通过图形处理器或加速器)、以及可以经由总线750接受各种扩展卡(未示出)的高速扩展端口714。在实现中，低速接口713经由总线750联接至储存装置711和低速扩展端口715。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口715可以联接至一个或更多个输入/输出装置705、以及其它装置键盘724、定点装置(未示出)、扫描仪(未示出)、或网络装置，诸如交换机或路由器，例如通过网络适配器。
仍然参照图7B，可以以大量不同的形式来实现计算装置700，如图所示。例如，它可以实现为标准服务器726，或者在这样的服务器组中多次实现。另外，它可以在诸如膝上型计算机727的个人计算机中实现。它也可以实现为机架服务器系统728的一部分。另选地，来自计算装置700的部件可以与移动装置(未示出)中的其他部件组合。每个这样的装置可以包含计算装置和移动计算装置中的一种或更多种，并且整个系统可以由彼此通信的多个计算装置组成。
实施方式
以下描述仅提供示例性实施方式，并非旨在限制本公开的范围、适用性或配置。相反，示例性实施方式的以下描述将为本领域技术人员提供用于实现一个或更多个示例性实施方式的充分描述。在不脱离如所附权利要求书中阐述的所公开主题的精神和范围的情况下，可以想到在元件的功能和布置上可以进行的各种变型。
在以下描述中给出了具体细节以提供对实施方式的透彻理解。然而，本领域普通技术人员可以理解，可以在没有这些具体细节的情况下实践实施方式。例如，所公开的主题中的系统、过程和其他元件可以以框图形式示出为组件，以免以不必要的细节模糊实施方式。在其他情况下，可以在没有非必要细节的情况下示出已知的过程、结构和技术，以避免使实施方式模糊不清。此外，在各个附图中相同的附图标记和标志指代相同元件。
而且，各个实施方式可以被描述为被描绘为流程图、流图、数据流图、结构图或框图的过程。尽管流程图可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，操作顺序可以重新安排。当过程的操作完成时，过程可以终止，但是可以具有未讨论或未包含在图中的其他步骤。此外，并非在任何特定描述的过程中的所有操作可以在所有实施方式中发生。过程可以对应于方法、函数、处理、子例程、子程序等。当过程对应于函数时，函数的终止可以对应于函数返回到调用函数或主函数。
此外，所公开主题的实施方式可以至少部分、或手动地、或自动地实现。手动或自动实现可以被执行，或至少用机器、硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合辅助。当以软件、固件、中间件或微代码实现时，执行必要任务的程序代码或代码段可以存储在机器可读介质中。处理器可以执行必要的任务。
此外，本公开的实施方式和本说明书中描述的功能操作能够以数字电子电路实现，以有形体现的计算机软件或固件实现、以计算机硬件实现，并且包括本说明书中公开的结构及其等同结构，或他们中的一个或更多个的组合。此外，本公开的另外一些实施方式可以实现为一个或更多个计算机程序，即，在有形的非暂时性程序载体上编码的计算机程序指令的一个或更多个模块，以由数据处理设备执行或控制数据处理设备的操作。更进一步，程序指令能够编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，所述信号被生成以对用于向适当接收器设备传输的信息进行编码，以由数据处理设备执行。计算机存储介质能够是机器可读存储装置、机器可读存储基板、随机或串行访问存储器装置或他们中的一个或更多个的组合。
根据本公开的实施方式，术语“数据处理设备”能够涵盖用于处理数据的所有类型的设备、装置和机器，作为示例包括可编程处理器、计算机或多处理器或多计算机。该设备能够包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，该设备还能够包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或他们中的一个或更多个的组合的代码。
计算机程序(其也可以称为或描述为程序、软件、软件应用程序、模块、软件模块、脚本或代码)能够以任何形式的编程语言(包括编译或解释语言)或声明性或程序语言编写，并且能够以包括作为独立程序或作为模块、组件、子例程或适于在计算环境中使用的其他单元的任何形式进行部署。计算机程序可以，但并非必须，对应于文件系统中的文件。程序能够存储在持有其他程序或数据的文件的一部分中，例如存储在标记语言文档中的一个或更多个脚本，存储在专用于所讨论程序的单个文件中，或者存储在多个协调文件(例如，存储一个或更多个模块、子程序或部分代码的文件)中。能够部署计算机程序，以在一台计算机上或在位于一个站点上或分布在多个站点上并通过通信网络互连的多台计算机上执行。适合于执行计算机程序的计算机作为示例包括，能够是基于通用或专用微处理器或两者、或者任何其他类型的中央处理单元。通常，中央处理单元将接收来自从只读存储器或随机存取存储器或两者的指令和数据。计算机的基本元件是用于执行或实施指令的中央处理单元以及用于存储指令和数据的一个或更多个存储装置。通常，计算机还将包括一个或更多个用于存储数据的大容量存储装置(例如，磁盘、磁光盘或光盘)，或者可操作地联接以从大容量储存装置中接收数据或向大容量储存装置数据传输数据或二者。但是，计算机并非必须具有这种装置。此外，计算机能够被嵌入到另一装置中，例如，仅举几例，移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式储存装置，例如，通用串行总线(USB)闪存驱动器。
为了提供与用户的交互，本说明书中描述的主题的实施方式能够在具有向用户显示信息的显示装置(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户通过其能够向计算机提供输入的键盘以及定点装置(例如，鼠标或轨迹球)的计算机上实现。其他类型的设备也能够用于提供与用户的交互；例如，提供给用户的反馈能够是例如视觉反馈、听觉反馈或触觉反馈的任何形式的感官反馈；并且能够以包括声学、语音或触觉输入的任何形式接收来自用户的输入。另外，计算机能够通过向用户使用的装置发送文档或从用户使用的装置接收文档来与用户进行交互；例如，通过响应从网络浏览器收到的请求，向用户客户端装置上的Web浏览器发送网页。
能够在包括后端组件(例如，作为数据服务器)或包括中间件组件(例如，应用服务器)或包括前端组件(例如，具有用户通过其能够与本说明书中描述的主题的实现进行交互的、图形用户界面或网络浏览器的客户端计算机)、或者一个或更多个这种后端、中间件或前端组件的任何组合的计算系统中实现本说明书中描述的主题的实施方式。系统的组件能够通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)，例如互联网。
计算系统能够包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器之间的关系是通过在各自计算机上运行并彼此具有客户端-服务器关系的计算机程序产生的。
尽管已经参照某些优选实施方式描述了本公开，但是应当理解，在本公开的精神和范围内可以进行各种其他适配和修改。因此，所附权利要求的方面涵盖落入本公开的真实精神和范围内的所有这种变型和修改。

Claims (20)

1.一种用于机器人的触觉传感器，该触觉传感器包括：
可弹性变形元件，该可弹性变形元件包括外冲击面和具有销、脊或这两者的下表面，每个下表面销或脊包括标记，并且所述可弹性变形元件附接到夹持器；
摄像头，该摄像头位于所述夹持器的腔体中以捕获所述标记的图像；
存储器，该存储器具有存储的数据，所述存储的数据包括具有相应的预学习的力的模式的、预学习的标记位置的集合的图像数据，每个预学习的标记位置的集合对应于预学习的力的模式；
图像处理器，该图像处理器在操作上连接到所述摄像头和所述存储器，所述图像处理器被配置为：
检测所述标记在捕获图像中的位置；
基于距离函数，将所述捕获图像中检测到的标记位置与所述预学习的标记位置的集合进行比较，以确定每个所述预学习的标记位置的集合的匹配值的质量；
使用用户选择的最佳匹配函数来确定最佳质量匹配的预学习的力的模式，以计算最佳匹配集合的预学习的标记位置和相应的最佳质量匹配的预学习的力的模式，所述用户选择的最佳匹配函数应用于所确定的质量的匹配值；
基于所确定的最佳匹配的预学习的力的模式，来识别作用于所述可弹性变形元件上的力的模式；以及
输出识别出的力的模式，以基于识别出的作用于可变形元件上的力的模式来启动所述夹持器的夹持器动作。
2.根据权利要求1所述的触觉传感器，其中，所述图像处理器通过使用图像测量功能识别所述捕获图像当中的图像中的测量出的图像位置坐标，来转换所述捕获图像中的每个标记的位置。
3.根据权利要求2所述的触觉传感器，其中，将检测到的每个标记位置求和作为检测到的所述标记位置与所述预学习的标记位置之间的欧几里得距离，从而形成所述标记的捕获图像与所述标记的预学习图像之间的匹配距离。
4.根据权利要求1所述的触觉传感器，其中，确定作用于所述可弹性变形元件上的力的模式包括使用机器视觉算法。
5.根据权利要求1所述的触觉传感器，其中，所述作用于所述可弹性变形元件上的力的模式包括以下中的一者或组合：垂直压力Z、中心压力、偏置压力、侧向剪切力X、剪切力Y、在俯仰、偏航或滚动方向上的扭矩、挤压侧向力X、展开侧向力X、展开侧向力Y、或挤压剪切力Y。
6.根据权利要求1所述的触觉传感器，其中，所述夹持器附接至机器人，所述机器人是被配置为移动的动态机器人，并且基于所述夹持器动作来控制所述夹持器，所述夹持器被配置为接受由所述图像处理器通过其它传感器数据确定的或者由所述夹持器的用户确定的其他夹持器动作，所述其它传感器数据是从与所述图像处理器通信的其他传感器获得的。
7.根据权利要求1所述的触觉传感器，其中，用于将检测到的标记位置与所述预学习的标记位置的集合进行比较的距离函数是基于欧几里得距离函数的。
8.根据权利要求1所述的触觉传感器，其中，使用包括以下的所述用户选择的匹配函数来确定所述最佳匹配集合的预学习的标记位置：(1)经由所述距离函数的最佳质量的匹配；(2)用户选择数量的最佳质量的匹配值当中的预定加权平均值、或者动态可更新的所有质量的匹配值的用户指定的加权函数；或(3)所有质量的匹配值的预定加权和。
9.根据权利要求1所述的触觉传感器，其中，每个力的模式包括：垂直于所述外冲击面的力、扭矩力和剪切力的集合，其中，当力施加到所述外冲击面时，所述外冲击面弹性变形，导致所述下表面销、脊或这两者经历使所述标记移位的挠曲运动。
10.根据权利要求1所述的触觉传感器，其中，所述外冲击面在当没有力施加至所述外冲击面时的未变形状态和当力施加至所述外冲击面使所述外冲击面弹性变形导致所述下表面销、脊或这两者经受使所述标记移位的挠曲运动时的弹性变形状态之间变化，并且其中所述图像处理器通过评估在所述未变形状态和所述弹性变形状态之间所述下表面销、脊或这两者的相对位置，来比较所述捕获图像中的所述标记位置。
11.根据权利要求1所述的触觉传感器，其中，所述外冲击面包括属性，根据涉及可测量力的集合的用户指定应用，所述属性包括以下中的一者或者组合：诸如平滑纹理或粗糙纹理的至少一种纹理、对称隆突、非对称隆突、或具有或不具有所述至少一种纹理的隆突的图案，并且结合所述下表面销、脊或这两者来构造和布置所述属性，以提供所述力的模式的用户优选的可测量灵敏度。
12.一种用于机器人的触觉传感器，该触觉传感器具有：可变形元件，该可变形元件包括外冲击面和具有销、脊或这两者的下表面，每个下表面销或脊包括标记，并且所述可变形元件附接到所述机器人的夹持器；以及摄像头，该摄像头位于所述夹持器的腔体中以捕获所述标记的图像，以及具有存储的数据的存储器，所述存储的数据包括具有相应的预学习的力的模式的、预学习的标记位置的集合的图像数据，每个预学习的标记位置的集合对应于预学习的力的模式，所述触觉传感器包括：
图像处理器，该图像处理器可操作地连接到所述摄像头和所述存储器，该图像处理器被配置为：
检测所述标记在捕获图像中的位置；
基于距离函数，将所述捕获图像中检测到的标记位置与所述预学习的标记位置的集合进行比较，以确定每个所述预学习的标记位置的集合的匹配值的质量；
使用用户选择的最佳匹配函数来确定最佳质量匹配的预学习的力的模式；
基于所确定的最佳匹配的预学习的力的模式，来识别作用于所述可变形元件上的力的模式；
输出识别出的力的模式，以基于识别出的作用于所述可变形元件上的力的模式来启动所述夹持器的夹持器动作。
13.根据权利要求12所述的触觉传感器，其中，所述用户选择的最佳匹配函数应用于所确定的质量的匹配值，并计算最佳匹配集合的预学习的标记位置和对应的最佳质量匹配的预学习的力的模式。
14.根据权利要求13所述的触觉传感器，其中，所述外冲击面包括属性，根据涉及可测量力的集合的用户指定应用，所述属性包括以下中的一者或者组合：诸如平滑纹理或粗糙纹理的至少一种纹理、对称隆突、非对称隆突、或具有或不具有所述至少一种纹理的隆突的图案，并且结合所述下表面销、脊或这两者来构造和布置所述属性，以提供所述力的模式的用户优选的可测量灵敏度。
15.根据权利要求12所述的触觉传感器，其中，所述外冲击面包括属性，使得根据涉及可测量力的集合的用户指定应用，所述属性被构造和布置为包括粗糙纹理的至少一个区域，所述区域提供力的模式的用户优选的增加且均匀的可测量的灵敏度，包括检测跨越可弹性变形元件对所述外冲击面的可测量的垂直力的量。
16.根据权利要求12所述的触觉传感器，其中，根据涉及可测量力的集合的用户指定应用，属性被构造和布置为包括锥形隆突、对称隆突或非对称隆突中的一者的组合，其提供力的模式的用户优选的增加的可测量灵敏度，包括检测跨越所述触觉传感器对所述外冲击面的可测量的平面内力、剪切力和扭矩力的量。
17.根据权利要求12所述的触觉传感器，其中，根据涉及可测量力的集合的用户指定应用，属性被构造和布置为包括脊状隆突的至少一个区域，所述区域被定位为垂直于对力的模式的可测量力或扭矩的用户优选的可测量的灵敏度的轴线。
18.根据权利要求12所述的触觉传感器，其中，根据涉及可测量力的集合的用户指定应用，属性包括垂直于优选的可测量灵敏度的轴线而定位的脊状隆突、粗糙纹理、锥形隆突、对称隆突、和非对称隆突中的一者或组合的用户预先确定的图案，其提供力的模式的用户优选的可测量灵敏度。
19.一种用于触觉感测的方法，具有：可弹性变形元件，该可弹性变形元件具有外冲击面和具有销、脊或这两者的下表面，所述下表面销或脊包括标记，并且所述可弹性变形元件附接到机器人的夹持器；以及摄像头，该摄像头位于所述夹持器的腔体中以捕获所述标记的图像，该方法包括以下步骤：
从所述摄像头捕获图像；
访问具有存储的数据的存储器，所述存储的数据包括具有预学习的力的模式的、预学习的标记位置的集合的图像数据，每个预学习的标记位置的集合对应于预学习的力的模式；
检测所述标记在捕获图像中的位置；
评估所述捕获图像，以检测所述捕获图像中的每个标记位置，并基于距离函数，将所述捕获图像中检测到的标记位置与所述图像数据的所述预学习的标记位置的集合进行比较，以获得每个所述预学习的标记位置的集合的匹配值的质量；
将用户选择的最佳匹配函数应用于所述质量的匹配值，以计算所述预学习的标记位置的最佳匹配集和相应最佳质量匹配的预学习的力的模式；
基于所确定的最佳匹配的预学习的力的模式，来识别作用于所述可弹性变形元件上的力的模式；以及
输出识别出的力模式，以基于识别出的作用于所述可弹性变形元件上的力的模式，启动所述夹持器的夹持器动作。
20.一种用于机器人的弹性体触觉传感器，该弹性体触觉传感器具有：可变形元件，该可变形元件包括外冲击面和具有销、脊或这两者的下表面，每个下表面销或脊包括标记，并且所述可变形元件附接到所述机器人的夹持器；以及摄像头，该摄像头位于所述夹持器的腔体中以捕获所述标记的图像，以及存储器，该存储器具有存储的数据，所述存储的数据包括具有相应的预学习的力的模式的、预学习的标记位置的集合的图像数据，每个预学习的标记位置的集合对应于预学习的力的模式，所述触觉传感器包括：
图像处理器，该图像处理器在操作上连接到所述摄像头和所述存储器，所述图像处理器被配置为：
检测所述标记在捕获图像中的位置；
基于距离函数，将所述捕获图像中检测到的标记位置与所述预学习的标记位置的集合进行比较，以确定每个预学习的标记位置的集合的匹配值的质量；
使用用户选择的最佳匹配函数，来确定最佳质量匹配的预学习的力的模式；
基于所确定的最佳匹配的预学习的力的模式，来识别作用于所述可变形元件上的力的模式；以及
输出识别出的力的模式，以基于识别出的作用于所述可变形元件上的力的模式来启动所述夹持器的夹持器动作，其中，所述识别出的力的模式包括以下中的一者或组合：垂直压力Z、中心压力、偏置压力、侧向力，即侧向剪切力X、侧向剪切力Y、在俯仰、偏航或滚动方向上的中心或偏置扭矩、中心或偏置挤压力X、中心或偏置挤压力Y、中心或偏置展开侧向力X、中心或偏置展开侧向力Y。
CN202080070165.XA 2019-10-10 2020-10-06 触觉传感器 Pending CN114502937A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/598,106 US11472040B2 (en) 2019-10-10 2019-10-10 Tactile sensor
US16/598,106 2019-10-10
PCT/JP2020/038413 WO2021070967A1 (en) 2019-10-10 2020-10-06 Tactile sensor

Publications (1)

Publication Number Publication Date
CN114502937A true CN114502937A (zh) 2022-05-13

Family

ID=73449139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080070165.XA Pending CN114502937A (zh) 2019-10-10 2020-10-06 触觉传感器

Country Status (5)

Country Link
US (1) US11472040B2 (zh)
EP (1) EP3903080B1 (zh)
JP (1) JP7278493B2 (zh)
CN (1) CN114502937A (zh)
WO (1) WO2021070967A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210063975A (ko) * 2019-11-25 2021-06-02 엘지전자 주식회사 로봇 및 그 제어 방법
CN113796963B (zh) * 2021-08-27 2023-07-21 中科尚易健康科技(北京)有限公司 具备力感知反馈调节的机械臂控制方法和控制终端
CN113834727B (zh) * 2021-09-02 2024-04-12 浙江大学 一种水果成熟度触觉传感装置及其检测方法
US20230083592A1 (en) * 2021-09-13 2023-03-16 Baker Hughes Holdings Llc Sensor element suspension

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07128163A (ja) * 1993-11-08 1995-05-19 Fuji Electric Co Ltd 触覚センサ
JP3047021B1 (ja) * 1999-04-05 2000-05-29 工業技術院長 触覚センサ
EP1664710A4 (en) * 2003-09-16 2007-01-03 Toudai Tlo Ltd OPTICAL TOUCH SENSOR AND METHOD FOR RESTITUTING THE DISTRIBUTION OF A FORCE VECTOR USING THE SENSOR
JP2006003137A (ja) * 2004-06-16 2006-01-05 Toudai Tlo Ltd 光学式触覚センサ及び該センサにおける情報取得方法
JP4708979B2 (ja) * 2005-11-28 2011-06-22 ニッタ株式会社 光学式触覚センサ
JP5261786B2 (ja) * 2007-12-11 2013-08-14 国立大学法人 筑波大学 ３次元触覚センサ及び３次元触覚センシング方法
JP2009285737A (ja) * 2008-05-27 2009-12-10 Univ Of Tokyo 入力インタフェース
JP5443257B2 (ja) * 2010-04-30 2014-03-19 株式会社明電舎 接触力測定方法及び接触力測定装置
WO2014062970A1 (en) * 2012-10-17 2014-04-24 Gelsight, Inc. Three-dimensional digital impression and visualization of objects
KR101396203B1 (ko) * 2013-03-13 2014-05-19 한국생산기술연구원 에어 쿠션 동작 감지 장치 및 방법
US9757862B2 (en) * 2014-10-16 2017-09-12 Technische Universität München Tactile sensor
US10197392B2 (en) * 2015-06-23 2019-02-05 The Boeing Company Automated resin ridge reduction system
WO2018235214A1 (ja) * 2017-06-21 2018-12-27 株式会社齋藤創造研究所 マニピュレーターおよびロボット
EP4242615A3 (en) * 2017-08-14 2023-11-22 Contactile Pty Ltd. System and method for assessing grip security

Also Published As

Publication number Publication date
JP2022546642A (ja) 2022-11-04
EP3903080A1 (en) 2021-11-03
JP7278493B2 (ja) 2023-05-19
US20210107165A1 (en) 2021-04-15
WO2021070967A1 (en) 2021-04-15
EP3903080B1 (en) 2022-05-11
US11472040B2 (en) 2022-10-18

Similar Documents

Publication Publication Date Title
CN114502937A (zh) 触觉传感器
US9757862B2 (en) Tactile sensor
Hasan et al. RETRACTED ARTICLE: Static hand gesture recognition using neural networks
EP3971684A1 (en) Vision-based tactile measurement method, apparatus, chip and storage medium
JP6126437B2 (ja) 画像処理装置および画像処理方法
Prisacariu et al. 3D hand tracking for human computer interaction
CN106256512B (zh) 包括机器视觉的机器人装置
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
Lévesque et al. A model-based scooping grasp for the autonomous picking of unknown objects with a two-fingered gripper
JP2012002761A (ja) 位置姿勢計測装置、その処理方法及びプログラム
EP3742142A1 (en) Tactile information estimation device, tactile information estimation method, and program
JP2018119833A (ja) 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
KR20220063847A (ko) 대상자의 보행 패턴을 식별하는 방법 및 이를 수행하는 전자 장치
Prisacariu et al. Robust 3D hand tracking for human computer interaction
Zhang et al. Multidimensional tactile sensor with a thin compound eye-inspired imaging system
Gorges et al. Haptic object recognition using statistical point cloud features
Li et al. Tactile Sensing, Skill Learning, and Robotic Dexterous Manipulation
JP7278491B2 (ja) エラストマー触覚センサ
KR102056728B1 (ko) 평면 물체의 자세 인식 방법 및 이를 위한 장치
Romero Soft, round, high resolution tactile fingertip sensors for dexterous robotic manipulation
Kim et al. Robust haptic exploration of remote environments represented by streamed point cloud data
Rouhafzay et al. Biologically Inspired Vision and Touch Sensing to Optimize 3D Object Representation and Recognition
Ribeiro Development of an active vision system for robot inspection of complex objects
Jabalameli et al. Near Real-Time Robotic Grasping of Novel Objects in Cluttered Scenes
Dreßel et al. Automated acquisition of anisotropic friction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination