CN106092382A - 一种基于弹性体三维形变的触觉传感器及检测方法 - Google Patents

Abstract

本发明涉及一种基于弹性体三维形变的触觉传感器及检测方法。传感器部分主要包括弹性体、双目相机和照明光源；双目相机和照明光源均位于弹性体的上方，双目相机通过弹性体的形变采集到图像信息并求得接触力的大小，随后计算出接触力的方向及分布。本发明通过设计全新的结构，依靠采集弹性体的三维形变进行分析计算从而得到接触力的大小及方向，且结构简单，布线方便，能够极大的降低整体成本。

Description

一种基于弹性体三维形变的触觉传感器及检测方法

技术领域

本发明涉及触觉传感器相关技术领域，具体的说，是涉及一种基于弹性体三维形变的触觉传感器及检测方法。

背景技术

触觉传感器应用广泛，最常见是基于传感器阵列来实现检测的。但是此类传感器缺点是引线多，电路复杂，布线、制造都很困难。在实际应用中，传感器和操作目标之间大多是刚性接触，造成检测精度低，操作减震性和稳定性都不理想。

因此，有必要设计一种新的触觉传感器，来解决上述问题。

发明内容

本发明的目的是为克服上述现有技术的不足，提供一种基于弹性体三维形变的触觉传感器。本发明通过设计全新的结构，依靠采集弹性体的三维形变进行分析计算从而得到接触力的大小及方向，且结构简单，布线方便，能够极大的降低整体成本。

为了达成上述目的，本发明采用如下技术方案：

一种基于弹性体三维形变的触觉传感器，包括弹性体、双目相机和照明光源；

双目相机和照明光源均位于弹性体的上方，双目相机通过弹性体的形变采集到图像信息并求得接触力的大小，随后计算出接触力的方向及分布。

优选的，弹性体为中空的半球形结构，该弹性体的半球四周边缘与传感器支架连成一体。

优选的，所述弹性体半球形结构的外直径尺寸为34-36mm，壁厚2-4mm，在弹性体内壁上设置标记点，标记点为n×n的正方矩阵，直径0.5-1.5mm，间距4-6mm。

优选的，在弹性体内壁上使用激光做6×6的标记点，标记点直径0.5-1.5mm，间距4-6mm。

优选的，所述弹性体的材料是硅橡胶，型号NE-7130，硬度为30HA。

优选的，双目相机对称布置在弹性体正上方，且双目相机的两镜头轴线相互平行，双目间距为13-17mm，镜头距离弹性体底面为35-45mm。

一种基于弹性体三维形变的触觉传感器的检测方法，包括以下步骤：当弹性体受力变形时，双目相机在正上方同时采集弹性体变形图像，然后使用程序提取图片中的特征点并对两幅图像中的特征点进行匹配，再与经过标定的双目相机的参数进行运算，得到标记点的三维坐标，进而获得弹性体的三维形变数据，利用接触力与弹性体三维形变的关系，求得接触力的大小，并计算出接触力的方向和分布。

上述的检测方法中，具体包括以下步骤：

(1)图像采集与特征点的提取：

使用OpenCV设计程序控制双目相机同时采集弹性体图像，然后，利用标记点与背景的灰度差提取标记点图像，以其面积大小和圆度值为条件，过滤掉周围的噪声点并做出标记，记录其坐标位置，按照标记点的排列方式对其排序，以此顺序识别出双目相机图像中相同的对应点；

(2)特征点的三维坐标：

利用标记点在图像坐标系中的二维坐标和双目相机的内外部参数，计算得到标记点在世界坐标系中的三维坐标，进而实现弹性体变形的三维重构；

(3)弹性体变形分析：

使用有限元软件分析弹性体接触变形，首先确定了弹性体的材料属性和尺寸，然后模拟了弹性体在各种情况下的受力，并进行了有限元分析，最后把变形分析结果记录汇总；

(4)接触力的计算：

利用双目视觉方法获得的以弹性体三维形变数据为基础，并以此数据与弹性体未变形时的三维数据比较，得到弹性体的绝对变形量；利用上述有限元分析结果得到变形量与接触力的关系得到不同变形下接触力的大小，并进一步得到接触力的方向、分布。

上述的检测方法中，优选的是：

步骤(1)中，筛选标记点，去除小的不规则的噪声点的筛选条件是像素面积大于5，圆度值在1附近；识别出特征点后，记录特征点的位置坐标,根据已求得的特征点的二维坐标，先将特征点横坐标从小到大排列分成n组，每组n个，再依据纵坐标大小将每组特征点排序，以此完成n×n个点的排序；

步骤(2)中，双目相机标定的内外部参数和特征点的二维坐标代入下式(a)和(b)联立可得特征点的三维坐标，

$z_c^1\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=\left[\begin{array}{cccc}\frac{f}{d_x}& 0& {\mathrm{\μ}}_0^1& 0\\ 0& \frac{f}{d_y}& v_0^1& 0\\ 0& 0& 1& 0\end{array}\right]\×\left[\begin{array}{cc}{R}_1& t_1\\ 0& 1\end{array}\right]\×\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(a\right)$

$z_c^2\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=\left[\begin{array}{cccc}\frac{f}{d_x}& 0& {\mathrm{\μ}}_0^2& 0\\ 0& \frac{f}{d_y}& v_0^2& 0\\ 0& 0& 1& 0\end{array}\right]\×\left[\begin{array}{cc}{R}_2& t_2\\ 0& 1\end{array}\right]\×\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(b\right)$

两公式中，等号右边第一个矩阵是相机的内部参数矩阵，旋转矩阵R和平移矩阵t是双目相机的外部参数，而(x_w,y_w,z_w)是特征点的三维矩阵，

利用以上方法得到的弹性体三维形貌；

步骤(3)中，用双参数Money-Rivlin模型模拟弹性体，通过施加位移得到弹性体内壁变形情况和弹性体与施力平面之间的作用力，选择弹性体底面作为固定面；

步骤(4)中，计算接触力的大小的过程包括；

首先，利用上述步骤(3)计算出不同挤压绝对位移下对应的接触力，并通过公式(c)拟合出弹性体的挤压绝对位移-接触力(ΔZ-F)曲线，以此拟合曲线可以得到任意挤压位移下的接触力；

F＝a(ΔZ)²+b(ΔZ)²+c (c)

其次，利用上述具体实施方案步骤(1)和(2)得到弹性体受力后的三维形变数据，并和弹性体未受挤压时的原始数据进行比较，得到弹性体受到挤压后各点的挤压绝对位移ΔZ；

最后，寻找各点挤压位移的最大值max(ΔZ)，将该挤压位移带入公式(c)，求得接触力的大小；

计算接触力的方向的过程包括：

首先，按照步骤(1)得到特征点的坐标，可知坐标值变化大的特征点是发生接触变形的区域；

然后，计算该区域的各特征点的法向向量，各点的方向向量通过公式(d)计算，

$\stackrel{\→}{a}=(x_1-x_0,y_1-y_0,z_1-z_0)---\left(d\right)$

其中x₀、y₀、z₀是弹性体未变形时特征点的坐标，x₁、y₂、z₃是变形后标记点的坐标，将这些向量相加求平均，即为所求的接触力的方向α；

计算接触力的分布的过程包括：

通过弹性体三维形貌得到接触力的分布。

上述的检测方法中，优选的是：步骤(1)中，n为6，排序步骤(3)中，挤压绝对位移从1mm开始，每次增加1mm，一直到10mm。

本发明的有益效果是：

1.弹性体可以做成和人手、皮肤等相似的柔性和形状，可以改善操作时接触面的接触情况，变刚性接触为柔性接触，可减小操作的振动，提高操作的稳定性；

2.克服了传感阵列检测方法布线复杂、制造困难等问题，整个传感器除了双目相机部位需要有接线外，其他部位都无布线的需求，结构简单；

3.实现力多维信息采集，不仅可以测量力的大小，而且接触力的方向、分布以及接触力的变化也可求出。

附图说明

图1是本发明的结构示意图；

图2是本发明中弹性体的结构示意图；

图3是本发明中双目相机采集的弹性体图像图；

图4是本发明中特征点提取效果图；

图5是本发明中计算后弹性体的形貌图；

图6是本发明中弹性体测量误差曲线图；

图7是本发明中有限元分析结果和实测结果对比图；

图8是本发明中弹性体的受力示意图；

图9是本发明中计算后弹性体的接触力分布图；

图中：1、弹性体，2、双目相机，3、照明光源，4、传感器支架。

具体实施方式

下面将结合附图对本发明进行详细说明。

实施例：一种基于弹性体三维形变的触觉传感器，其结构如图1和图2所示，包括传感器支架4，传感器支架4上设置有双目相机2，双目相机2周圈安装有多个照明光源3，双目相机2下方为弹性体1。

弹性体1为中空的半球形结构，半球形结构的外直径尺寸为35mm，壁厚3mm；弹性体的材料是硅橡胶，型号NE-7130，硬度为30HA；在弹性体内壁上使用激光做6X6的标记点，直径1mm，间距5mm，标记点的实际结构如图3所示。

传感器支架4与弹性体1半球四周边缘连成一体，具有良好的固定作用。双目相机2对称布置在弹性体1正上方，且相机两镜头的轴线相互平行，间距为15mm，镜头距离弹性体底面约40mm。

利用上述的触觉传感器进行检测的过程包括：

(1)图像采集与特征点的提取：

使用OpenCV设计程序控制双目相机同时采集弹性体图像，采集后的图像如图3所示。然后，利用标记点与背景的灰度差提取标记点图像，以其面积大小和圆度值为条件，过滤掉周围的噪声点并做出标记，记录其坐标位置。按照标记点的排列方式对其排序，以此顺序便可识别出双目相机图像中相同的对应点。

具体来说，如图3所示，特征点的灰度值与背景区别较大。研究后可知，背景区域的灰度值主要集中在100以上，100以下的主要是黑色特征点的灰度值，将100的灰度值作为二值化图像的阈值，再将图像灰度值取反。因为可能存在噪声，所以需要筛选标记点，去除小的不规则的噪声点，本实施例的筛选条件是像素面积大于5，圆度值在1附近；识别出特征点后，记录特征点的位置坐标。

图4为特征点提取后的效果图。

根据已求得的特征点的二维坐标，先将特征点横坐标从小到大排列分成6组，每组6个，再依据纵坐标大小将每组特征点排序，以此完成36个点的排序。左右两个图像各以36个点的排列顺序相互匹配。

(2)特征点的三维坐标：

利用标记点在图像坐标系中的二维坐标和摄像机的内外部参数，计算得到标记点在世界坐标系中的三维坐标，进而实现弹性体变形的三维重构。

具体来说，双目相机标定的内外部参数和特征点的二维坐标代入下式(a)和(b)联立可得特征点的三维坐标。

$z_c^1\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=\left[\begin{array}{cccc}\frac{f}{d_x}& 0& {\mathrm{\μ}}_0^1& 0\\ 0& \frac{f}{d_y}& v_0^1& 0\\ 0& 0& 1& 0\end{array}\right]\×\left[\begin{array}{cc}{R}_1& t_1\\ 0& 1\end{array}\right]\×\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(a\right)$

$z_c^2\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=\left[\begin{array}{cccc}\frac{f}{d_x}& 0& {\mathrm{\μ}}_0^2& 0\\ 0& \frac{f}{d_y}& v_0^2& 0\\ 0& 0& 1& 0\end{array}\right]\×\left[\begin{array}{cc}{R}_2& t_2\\ 0& 1\end{array}\right]\×\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(b\right)$

公式(a)和公式(b)中，等号右边第一个矩阵是相机的内部参数矩阵，旋转矩阵R和平移矩阵t是双目相机的外部参数，而(x_w,y_w,z_w)是特征点的三维矩阵。利用以上方法得到的弹性体三维形貌如图5所示。

图6是弹性体受到平面挤压时，实际的挤压位移与通过双目视觉方法测量的挤压位移之间的误差曲线。图中，横坐标Z是实际的挤压位移，纵坐标Δ是实际的挤压位移与通过双目视觉方法测量的弹性体形变位移之间的误差。可见，测量误差始终控制在0.12mm内，证明了该双目视觉测量方法具有较高的精度。

(3)有限元分析：

使用有限元软件分析弹性体接触变形，首先确定了弹性体的材料属性和尺寸，然后模拟了弹性体在各种情况下的受力，并进行了有限元分析，最后把变形分析结果记录汇总。

具体来说，

用双参数Money-Rivlin模型模拟硅橡胶，本实施例在接触类型上选择的是粗糙类型，通过施加位移得到弹性体内壁变形情况和弹性体与施力平面之间的作用力，选择弹性体底面作为固定面，在实际实验中也是将弹性体底面与装置支架连接固定。挤压绝对位移从1mm开始，每次增加1mm，一直到10mm。下表1是平面挤压的有限元分析结果

表1 平面挤压弹性体有限元分析数据

将有限元分析结果数据和实测数据绘制在一幅图片中对比，如图7所示，横坐标是挤压绝对位移，纵坐标是接触力，两者曲线非常接近、重合度高，可知，有限元分析的数据准确度高。

(4)接触力的计算

利用上述双目视觉方法获得弹性体三维形变数据，并以此数据与弹性体未变形时的三维数据比较，得到弹性体的绝对变形量；利用上述有限元分析结果得到变形量与接触力的关系得到不同变形下接触力的大小，并进一步得到接触力的方向和分布。

具体来说，图8是传感器弹性体受平面挤压的示意图。接触力F的大小、方向、分布通过以下步骤确定：

a.接触力大小的计算

首先，利用上述具体实施方案步骤(3)分别计算出10组不同挤压绝对位移下对应的接触力，并通过公式(c)拟合出弹性体的挤压绝对位移-接触力(ΔZ-F)曲线，以此拟合曲线可以得到任意挤压位移下的接触力；

F＝a(ΔZ)²+b(ΔZ)²+c (c)

其次，利用上述具体实施方案步骤(1)和(2)得到弹性体受力后的三维形变数据，并和弹性体未受挤压时的原始数据进行比较，得到弹性体受到挤压后各点的挤压绝对位移ΔZ；最后，寻找各点挤压位移的最大值max(ΔZ)，将该挤压位移带入公式(c)，求得接触力的大小。

b.接触力的方向的计算

首先，按照上述具体实施方案步骤(1)得到特征点的坐标，可知坐标值变化大的特征点是发生接触变形的区域；

然后，计算该区域的各特征点的法向向量，各点的方向向量通过公式(d)计算，

$\stackrel{\→}{a}=(x_1-x_0,y_1-y_0,z_1-z_0)---\left(d\right)$

其中x₀、y₀、z₀是弹性体未变形时特征点的坐标，x₁、y₂、z₃是变形后标记点的坐标。将这些向量相加求平均，即为所求的接触力的方向α。

c.接触力的分布

在本传感器中，弹性体受力后产生变形，发生变形的位置即是受力的位置，且形变越大，接触力越大，因此通过上述具体实施方案步骤(1)和(2)得到的弹性体三维形貌就是接触力的分布。图9显示了传感器受力后的接触力分布情况，图中，灰度值代表了接触力的大小，灰度值越大，接触力越大。

采用了上述结构及方法后，本方案可以在基于弹性体变形的情况下检测出外力的方向、大小及分布，且无需采用阵列式传感器进行数据采集。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现，未予以详细说明和局部放大呈现的部分，为现有技术，在此不进行赘述。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和特点相一致的最宽的范围。

Claims (10)

1.一种基于弹性体三维形变的触觉传感器，其特征在于，包括弹性体、双目相机和照明光源；

双目相机和照明光源均位于弹性体的上方，双目相机通过弹性体的形变采集到图像信息并求得接触力的大小，随后计算出接触力的方向及分布。

2.根据权利要求1所述的基于弹性体三维形变的触觉传感器，其特征在于：弹性体为中空的半球形结构，该弹性体的半球四周边缘与传感器支架连成一体。

3.根据权利要求1或2所述的基于弹性体三维形变的触觉传感器，其特征在于：所述弹性体半球形结构的外直径尺寸为34-36mm，壁厚2-4mm，在弹性体内壁上设置标记点，标记点为n×n的正方矩阵，直径0.5-1.5mm，间距4-6mm。

4.根据权利要求3所述的基于弹性体三维形变的触觉传感器，其特征在于：在弹性体内壁上使用激光做6×6的标记点，标记点直径0.5-1.5mm，间距4-6mm。

5.根据权利要求1或2所述的基于弹性体三维形变的触觉传感器，其特征在于：所述弹性体的材料是硅橡胶，型号NE-7130，硬度为30HA。

6.根据权利要求1或2所述的基于弹性体三维形变的触觉传感器，其特征在于：双目相机对称布置在弹性体正上方，且双目相机的两镜头轴线相互平行，双目间距为13-17mm，镜头距离弹性体底面为35-45mm。

7.一种基于弹性体三维形变的触觉传感器的检测方法，其特征在于：过程如下：

当弹性体受力变形时，双目相机在正上方同时采集弹性体变形图像，然后提取图片中的特征点并对两幅图像中的特征点进行匹配，再与经过标定的双目相机的参数进行运算，得到标记点的三维坐标，进而获得弹性体的三维形变数据，利用接触力与弹性体三维形变的关系，求得接触力的大小，并计算出接触力的方向和分布。

8.根据权利要求7所述的基于弹性体三维形变的触觉传感器的检测方法，其特征在于：具体包括以下步骤：

(1)图像采集与特征点的提取：

控制双目相机同时采集弹性体图像，然后，利用标记点与背景的灰度差提取标记点图像，以其面积大小和圆度值为条件，过滤掉周围的噪声点并做出标记，记录其坐标位置，按照标记点的排列方式对其排序，以此顺序识别出双目相机图像中相同的对应点；

(2)特征点的三维坐标：

利用标记点在图像坐标系中的二维坐标，计算得到标记点在世界坐标系中的三维坐标，进而实现弹性体变形的三维重构；

(3)弹性体变形分析：

分析弹性体接触变形，首先确定了弹性体的材料属性和尺寸，然后模拟了弹性体在各种情况下的受力，并进行分析，最后把变形分析结果记录汇总；

(4)接触力的计算：

以弹性体三维形变数据为基础，并以此数据与弹性体未变形时的三维数据比较，得到弹性体的绝对变形量；利用分析结果得到变形量与接触力的关系得到不同变形下接触力的大小，并进一步得到接触力的方向和分布。

9.根据权利要求8所述的基于弹性体三维形变的触觉传感器的检测方法，其特征在于：

步骤(1)中，筛选标记点，去除小的不规则的噪声点的筛选条件是像素面积大于5，圆度值在1附近；识别出特征点后，记录特征点的位置坐标,根据已求得的特征点的二维坐标，先将特征点横坐标从小到大排列分成n组，每组n个，再依据纵坐标大小将每组特征点排序，以此完成n×n个点的排序；

步骤(2)中，双目相机标定的内外部参数和特征点的二维坐标代入下式(a)和(b)联立可得特征点的三维坐标，

$z_c^1\left[\begin{array}{c}{u}_1\\ {\mathrm{\ν}}_1\\ 1\end{array}\right]=\left[\begin{array}{cccc}\frac{f}{d_x}& 0& {\mathrm{\μ}}_0^1& 0\\ 0& \frac{f}{d_y}& {\mathrm{\ν}}_0^1& 0\\ 0& 0& 1& 0\end{array}\right]\×\left[\begin{array}{cc}{R}_1& t_1\\ 0& 1\end{array}\right]\×\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(a\right)$

$z_c^2\left[\begin{array}{c}{u}_2\\ {\mathrm{\ν}}_2\\ 1\end{array}\right]=\left[\begin{array}{cccc}\frac{f}{d_x}& 0& {\mathrm{\μ}}_0^2& 0\\ 0& \frac{f}{d_y}& {\mathrm{\ν}}_0^2& 0\\ 0& 0& 1& 0\end{array}\right]\×\left[\begin{array}{cc}{R}_2& t_2\\ 0& 1\end{array}\right]\×\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(b\right)$

两公式中，等号右边第一个矩阵是相机的内部参数矩阵，旋转矩阵R和平移矩阵t是双目相机的外部参数，而(x_w,y_w,z_w)是特征点的三维矩阵，

利用以上方法得到的弹性体三维形貌；

步骤(3)中，进行模拟弹性体，通过施加位移得到弹性体内壁变形情况和弹性体与施力平面之间的作用力，选择弹性体底面作为固定面；

步骤(4)中，计算接触力的大小的过程包括：

首先，利用上述步骤(3)计算出不同挤压绝对位移下对应的接触力，并通过公式(c)拟合出弹性体的挤压绝对位移-接触力(ΔZ-F)曲线，以此拟合曲线可以得到任意挤压位移下的接触力；

F＝a(ΔZ)²+b(ΔZ)²+c (c)

其次，利用步骤(1)和(2)得到弹性体受力后的三维形变数据，并和弹性体未受挤压时的原始数据进行比较，得到弹性体受到挤压后各点的挤压绝对位移ΔZ；

最后，寻找各点挤压位移的最大值max(ΔZ)，将该挤压位移带入公式(c)，求得接触力的大小；

计算接触力的方向的过程包括：

首先，按照步骤(1)得到特征点的坐标，可知坐标值变化大的特征点是发生接触变形的区域；

然后，计算该区域的各特征点的法向向量，各点的方向向量通过公式(d)计算，

$\stackrel{\→}{a}=(x_1-x_0,y_1-y_0,z_1-z_0)---\left(d\right)$

其中x₀、y₀、z₀是弹性体未变形时特征点的坐标，x₁、y₂、z₃是变形后标记点的坐标，将这些向量相加求平均，即为所求的接触力的方向α；

计算接触力的分布的过程包括：

通过弹性体三维形貌得到接触力的分布。

10.根据权利要求8所述的基于弹性体三维形变的触觉传感器的检测方法，其特征在于：步骤(1)中，n为6，排序步骤(3)中，挤压绝对位移从1mm开始，每次增加1mm，一直到10mm。