CN117804528A - 一种基于分光棱镜的双相机视触觉传感器 - Google Patents

Abstract

本发明属于触觉传感器领域，具体涉及一种基于分光棱镜的双相机视触觉传感器，旨在解决现有视触觉传感器空间尺寸要求高、空间分辨率不足、生产成本高的问题。本发明通过透明凝胶层接触物体后表面产生的形变来反映空间信息，然后光源为透明凝胶层表面提供照明，透明凝胶层将表面反射的光线通过分光棱镜传递给两个相机，相机将捕捉得到的图像数据进行处理，空间分辨率较高。本发明所有部件安装在支撑框架内，空间尺寸要求较低，生产成本较低，可进行高分辨率(高于0.01mm)的三维空间重建，能应用于高精度的触觉感知，对于机器人的力控制、抓取控制等任务具有潜在的应用价值。

Description

一种基于分光棱镜的双相机视触觉传感器

技术领域

本发明属于触觉传感器领域，具体涉及了一种基于分光棱镜的双相机视触觉传感器。

背景技术

触觉传感器可以提供关于物体物理特性的信息，并通过力控制来帮助增强抓握稳定性。在机器人领域，触觉感知可以增强机器人的抓握能力。目前有许多类型的传感器可以实现触觉传感，例如基于电阻的触觉传感器和基于磁性的触觉传感器，但是因为目前的方法通常依赖于离散的感测元件，因此难以实现高分辨率的触觉感知。

视触觉传感器(Visual Tactile)是一种新型的复合传感器，视触觉传感器通过摄像头或红外线传感器采集图像或深度信息，并基于该图像或深度信息得到有关的触觉信息。2009年，麻省理工学院提出了一种著名的视觉触觉传感器，名为GelSight，该传感器是目前主流的视触觉传感器。Gelsight通过单个彩色RGB相机实现高分辨率的触觉感知。与测量接触力的传统触觉传感器不同，GelSight主要测量几何形状，具有非常高的空间分辨率。

除了GelSight视触觉传感器外，其他机构也在研发类似GelSight的视触觉传感器，根据使用相机的数量可分为单目和双目，但都只使用彩色RGB相机进行测量。只使用彩色RGB相机的局限在于捕捉的图片效果单一，且由于光线波长相近，难以进一步实现图像互补，提高分辨率。

使用多种类相机，其优点在于能收集不同波段或不同类型的图像，由此进行图像细节的互补，能够很好的解决空间分辨率的问题，但目前双目相机视触觉传感器通常使用相机并列排布的方式，相比单目相机又会增大传感器尺寸。

综上所述，目前急需开发一种能实现图像互补、提高分辨率、尺寸适中的视触觉传感器。

发明内容

为了解决现有技术中的问题，即现有视触觉传感器尺寸限制大和空间分辨率不足的问题，本发明提供了以下技术方案：

根据本发明的一个方面，本发明提供了一种基于分光棱镜的双相机视触觉传感器，包括支撑框架以及位于所述支撑框架中部的分光棱镜，在所述分光棱镜的透射光路方向上依次包括位于所述分光棱镜前端的透明凝胶层、第一光源、透明亚克力板；在所述分光棱镜的折射光路方向上的第一相机；以及所述透射光路方向上位于所述分光棱镜后端的第二光源、第二相机，所述折射光路垂直于所述透射光路；

所述透明凝胶层、所述第一相机的背部、所述第二相机的背部用于将所述支撑框架封端，所述支撑框架用于提供安装所述透明凝胶层、透明亚克力板、分光棱镜、第一相机、第二相机、第一光源、第二光源的载体；

所述第一相机、第二相机分别接收第一光源和第二光源产生的光，所述第一光源、第二光源产生光的光谱不同；

所述第一光源、第二光源表面均贴合有光学扩散片。

根据本发明的一个实施方式，所述透明凝胶层的邵氏硬度为8-10A，既能足够柔韧以避免断裂，又能够产生可观察到的变形。

根据本发明的一个实施方式，所述透明凝胶层采用食品级的铂金硅胶，厚度为1-1.5mm。

根据本发明的一个实施方式，所述透明凝胶层表面涂有银灰色片状漆粉作为漫反射涂料，所述银灰色片状漆粉用于增强漫反射效应，以提供明显的梯度信息。

根据本发明的一个实施方式，所述分光棱镜采用立方分光棱镜，具有相等的反射光光程及透射光光程，光谱比为1:1，折射率为1.5168。

根据本发明的一个实施方式，所述立方分光棱镜由一个直角棱镜胶合另一个相同的直角棱镜组成，其中所述直角棱镜的斜面均镀有一层避免像散的膜。

根据本发明的一个实施方式，所述第一相机和第二相机分别为彩色RGB相机和近红外NIR相机，所述第一相机和第二相机均禁用自动曝光和自动白平衡功能，并在其镜头处均集成有滤波器。如此则能采集不同波长的图像信息，提取到不同的表面梯度信息，最后合并处理后能得到高于0.01mm的空间分辨率。

根据本发明的一个实施方式，所述第一光源和第二光源分别包括彩色LED灯和红外线LED灯，其中所述彩色LED灯在第一光源上排列成多行，用于照亮透明凝胶层矩形截面的四个侧面；所述红外线LED灯以圆形排列的方式分布于第二光源上，用于对第一光源的补充照亮。

根据本发明的一个实施方式，所述支撑框架为立体箱式支撑框架，所述立体箱式支撑框架采用立体光固化3D打印成型，具有更高的装配精度。

本发明的有益效果：

1.本发明基于分光棱镜的双相机视触觉传感器，可使用多类型的相机，比如能接受不同光谱的相机，因为不同类型相机采集的图像不同，因此可将不同图像的细节进行互补，有着较高的空间分辨率以及精度(高于0.01mm)。

2.本发明基于分光棱镜的双相机视触觉传感器通过合理安排相机以及光源，结构较为紧凑，能在实现较高空间分辨率的前提下保持较小的体积。

3.本发明基于分光棱镜的双相机视触觉传感器，选用了低成本的食品级硅胶透明凝胶层和易购买的相机，制造成本较低，方便推广生产。

附图说明

图1是本发明基于分光棱镜的双相机视触觉传感器的结构示意图。

图2是本发明基于分光棱镜的双相机视触觉传感器的安装结构示意图。

图3是本发明基于分光棱镜的双相机视触觉传感器的设计与制造过程示意图。

图4是本发明基于分光棱镜的双相机视触觉传感器的各部件示意图。

图5是本发明基于分光棱镜的双相机视触觉传感器的整体示意图。

图6是本发明基于分光棱镜的双相机视触觉传感器的三维空间重建效果图。

附图标记说明：

1-透明凝胶层，2-彩色LED灯，3-光学扩散片，4-透明亚克力板，5-分光棱镜，6-彩色RGB相机，7-近红外NIR相机，8-红外线LED灯，9-支撑框架。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例1

为了更清晰地对本发明基于分光棱镜的双相机视触觉传感器进行说明，下面结合图1对本发明实施例中各模块展开详述。

基于分光棱镜的双相机视触觉传感器处理弹性透明凝胶层发生的几何形变进而得到触觉信息，根据得到的图像的梯度信息进行三维重建。本实施例的基于分光棱镜的双相机视触觉传感器(以下简称为GelSplitter传感器)由透明凝胶层、分光棱镜、第一相机、第二相机、第一光源、第二光源、支撑框架组成。

本实施例中第一相机、第二相机分别为彩色RGB相机和近红外NIR相机，第一光源、第二光源分别为彩色LED灯和近红外NIR相机。

如图2所示，为本发明实施例的GelSplitter传感器结构示意图。该GelSplitter传感器包括透明凝胶层1，彩色LED灯2，光学扩散片3，透明亚克力板4，分光棱镜5，彩色RGB相机6，近红外NIR相机7，红外线LED灯8，支撑框架9。

透明凝胶层1为涂有漫反射涂料的铂金硅胶，其质量配比为铂金和硅胶1:1；彩色RGB相机6和近红外NIR相机7能捕捉不同波长的光照下的图像且相机镜头上均安装有滤波器，用于过滤不同波长的光线；光源为彩色LED灯2和红外线LED灯8，安装在可弯折的柔性电路板上，照亮透明凝胶层1表面；分光棱镜5为中性分束镜，形状为立方体，并同样嵌入有光学扩散片(未示出)，能将凝胶表面的物理信息用图像的方式传递给两个相机；支撑框架9用于提供安装各个部件的载体。

当本实施例的传感器与物体接触时，透明凝胶层1产生几何形变，在不同光源的照射下产生不同的梯度信息，相机捕捉梯度信息并转换为触觉信息，如图3所示，为本实施例基于分光棱镜的双相机视触觉传感器一种实施例的传感器设计与制造过程示意图，其过程具体包括：

步骤A10，相机选型及调试校准。

该步骤的主要目的是根据实际需要选择对应参数的相机。在本实施例GelSplitter中的相机为一个近红外NIR相机和一个彩色RGB相机，其COMS传感器都为豪威科技制造的CMOS传感器OV5640。相机分辨率调整为640×480，并禁用自动曝光(AEC)和自动白平衡(AWB)功能以获得图像的线性响应特性。

相机的镜头与滤波器集成，以分离对应波长范围的光线。在本实施例GelSplitter中使用650nm带通滤波器和940nm窄带滤波器将光线的RGB分量与NIR分量分离，其中650nm带通滤波器安装在彩色RGB相机镜头处，940nm窄带滤波器安装在近红外NIR相机镜头处，如图4中的c所示。

相机使用前需要进行调试与校准。在本实施例GelSplitter中通过旋转镜头来调整相机焦距以获取清晰的图像，并进行数据对齐来消除组装中的装配误差。

步骤A20，光源选型及制作。

该步骤的主要目的是根据所用相机类型来选择合适的光源，并设计制作对应的电路板。在本实施例GelSplitter中选用了五种类型的LED灯进行照明，包括红色LED灯(型号NCD0603R1，波长范围615～630nm)，绿色LED灯(型号NCD0603W1，波长515～530nm)，蓝色LED灯(型号NCD0603B1，波长463～475nm)，白色LED灯(型号NCD0603W1)和红外线LED灯(型号XL-1608IRC940，波长940nm)。各个LED灯的封装为0603封装，具体尺寸为1.6mm×0.8mm。

为了表示表面梯度信息，LED灯以两种不同的方式排列。在本实施例GelSplitter中，红色、绿色、蓝色和白色LED灯排列成行，照亮凝胶的四个侧面，从而清晰地表示不同角度的表面梯度。红外线LED灯以圆形的方式排列在凝胶上方，环绕红外摄像头，使红外光能够照射在阴影区域，补充缺失的梯度信息，如图4中的e所示。

根据所选排列方式设计驱动LED灯和相机的电路板。在本实施例GelSplitter中，选用柔性电路板(FPC)，和印刷电路板(PCB)进行有关电路的设计。红色、绿色、蓝色和白色LED灯安装在柔性电路板上，折叠嵌入到透明亚克力板四周，并在亚克力板与柔性电路板之间装有光学扩散片，与如图4的d所示。红外线LED灯安装在印刷电路板上。柔性电路板LED灯的亮度通过电阻进行配置，并通过亮度计测量各个LED灯来保证亮度的一致性。

选用光学扩散膜并裁剪为光学扩散片，并将其光学耦合到灯源表面上，从而避免空气界面的反射，产生更均匀的全局照明。在本实施例GelSplitter中选用了“3M Diffuser3635-70”光学扩散膜，将光学扩散膜裁剪为中间有圆孔的八边形，如图4中的b所示，贴合到红外线LED灯光源表面。

步骤A30，分光棱镜的选型。

该步骤的主要目的是选择合适尺寸的分光棱镜。在本实施例GelSplitter中选用了棱长为15mm的立方分光棱镜，该分光棱镜的反射及透射光光程是相等的，具有1:1的光谱比和1.5168的折射率，能形成两个相同的视窗。该立方分光棱镜如图4中的a所示。在立方分光棱镜的六个方向中，除了两个相机的方向和凝胶的一个方向外，其他三个方向涂有黑色，以减少二次反射。

步骤A40，凝胶材料的选型及透明凝胶层的制作。

该步骤的主要目的是选择凝胶材料并进行透明凝胶层的制作。在本实施例GelSplitter中，选用铂金硅胶作为透明凝胶材料，其液体硅胶与含有铂金成分的催化剂的操作配比为1:1。铂金硅胶倒入到模具中，制成1.5mm厚的凝胶垫，保持环境温度为10℃，施加-0.08MPa的真空压力，以消除空腔中的气泡。最终制作的透明凝胶层邵氏硬度为10A，裁剪为方形，如图4中的f所示。

步骤A50，支撑框架的设计及制作。

该步骤的主要目的是设计及制作支撑框架，以容纳各个部件。在本实施例GelSplitter中，设计的支撑框架的体积为31立方厘米，采用立体光固化3D打印技术制作，与目前最流行的视触觉传感器GelSlim3.0大小对比如图4中的g所示。

步骤A60，传感器各部分结构集成。

该步骤的主要目的是将各个部分集成到支撑框架中。在本实施例GelSplitter中，首先安装带有红外线LED灯的PCB印刷电路板，其次安装彩色RGB相机和近红外NIR相机，接着安装分光棱镜和装有LED灯的柔性电路板以及亚克力板，最后安装透明凝胶层，完成各个部分结构的集成，组装后的视触觉传感器如图5所示。

使用制作好的GelSplitter传感器对指纹进行了三维空间重建，其效果图如图6所示，可见该视触觉传感器的空间分辨率高于0.01mm。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于分光棱镜的双相机视触觉传感器，其特征在于，包括支撑框架以及位于所述支撑框架中部的分光棱镜，在所述分光棱镜的透射光路方向上依次包括位于所述分光棱镜前端的透明凝胶层、第一光源、透明亚克力板；在所述分光棱镜的折射光路方向上的第一相机；以及所述透射光路方向上位于所述分光棱镜后端的第二光源、第二相机，所述折射光路垂直于所述透射光路；

所述透明凝胶层、所述第一相机的背部、所述第二相机的背部用于将所述支撑框架封端，所述支撑框架用于提供安装所述透明凝胶层、透明亚克力板、分光棱镜、第一相机、第二相机、第一光源、第二光源的载体；

所述第一相机、第二相机分别接收第一光源和第二光源产生的光，所述第一光源、第二光源产生光的光谱不同；

所述第一光源、第二光源表面均贴合有光学扩散片。

2.根据权利要求1所述的一种基于分光棱镜的双相机视触觉传感器，其特征在于，所述透明凝胶层的邵氏硬度为8-10A，既能足够柔韧以避免断裂，又能够产生可观察到的变形。

3.根据权利要求1所述的一种基于分光棱镜的双相机视触觉传感器，其特征在于，所述透明凝胶层采用食品级的铂金硅胶，厚度为1-1.5mm。

4.根据权利要求1所述的一种基于分光棱镜的双相机视触觉传感器，其特征在于，所述透明凝胶层表面涂有银灰色片状漆粉作为漫反射涂料。

5.根据权利要求1所述的一种基于分光棱镜的双相机视触觉传感器，其特征在于，所述分光棱镜采用立方分光棱镜，具有相等的反射光光程及透射光光程，光谱比为1:1，折射率为1.5168。

6.根据权利要求1所述的一种基于分光棱镜的双相机视触觉传感器，其特征在于，所述立方分光棱镜由一个直角棱镜胶合另一个相同的直角棱镜组成，其中所述直角棱镜的斜面均镀有一层避免像散的膜。

7.根据权利要求1所述的一种基于分光棱镜的双相机视触觉传感器，其特征在于，所述第一相机和第二相机分别为彩色RGB相机和近红外NIR相机，所述第一相机和第二相机均禁用自动曝光和自动白平衡功能，并在其镜头处均集成有滤波器。

8.根据权利要求1所述的一种基于分光棱镜的双相机视触觉传感器，其特征在于，所述第一光源和第二光源分别包括彩色LED灯和红外线LED灯，其中所述彩色LED灯在第一光源上排列成多行，用于照亮透明凝胶层矩形截面的四个侧面；所述红外线LED灯以圆形排列的方式分布于第二光源上，用于对第一光源的补充照亮。

9.根据权利要求1所述的一种基于分光棱镜的双相机视触觉传感器，其特征在于，所述支撑框架为立体箱式支撑框架，所述立体箱式支撑框架采用立体光固化3D打印成型。